python - 在 ipdb-fashion 中调试 pyspark

Question

在开发 python 代码时，我使用包 ipdb。

这会停止那里的 python 代码的执行，我在其中插入了 ipdb.set_trace()，并向我显示了一个 python 解释器命令行。

但是，在我为 pyspark 开发并使用 spark-submit 发送的 python 代码中，ipdb 包不起作用。

所以我的问题是:有没有一种方法可以像使用 ipdb 包一样调试我的 pyspark 代码？

注意:显然，对于在远程节点上执行的 python 代码，这是不可能的。但是，当使用带有选项 --master local[1] 的 spark-submit 时，我希望这是可能的。

附言。这里有一个相关的问题，但范围较窄:How to PySpark Codes in Debug Jupyter Notebook

Answer 1

PYSPARK_DRIVER_PYTHON=ipython pyspark

      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /__ / .__/\_,_/_/ /_/\_\   version 2.4.3
      /_/

Using Python version 3.7.1 (default, Jun 16 2019 23:56:28)
SparkSession available as 'spark'.

In [1]: sc.stop()

In [2]: run -d main.py
Breakpoint 1 at /Users/andrii/work/demo/main.py:1
NOTE: Enter 'c' at the ipdb>  prompt to continue execution.
> /Users/andrii/work/demo/main.py(1)<module>()
1---> 1 print(123)
      2 import ipdb;ipdb.set_trace()
      3 a = 2
      4 b = 3

或

In [3]: run main.py
123
> /Users/andrii/work/demo/main.py(3)<module>()
      2 import ipdb;ipdb.set_trace()
----> 3 a = 2
      4 b = 3