pandas - 如何修复 "ImportError: Pandas >= 0.19.2 must be installed; however, it was not found"？

Question

我使用 Spark 2.3.1 并想使用 toPandas() (使用 unique() )。

当我在 pyspark 中执行以下代码时:

df.toPandas()['column_01'].unique()

我面临以下异常:

>>> df.toPandas()
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/Users/xxx/spark/python/pyspark/sql/dataframe.py", line 2075, in toPandas
    require_minimum_pandas_version()
  File "/Users/xxx/spark/python/pyspark/sql/utils.py", line 129, in require_minimum_pandas_version
    "it was not found." % minimum_pandas_version)
ImportError: Pandas >= 0.19.2 must be installed; however, it was not found.

如何解决？

Answer 1

您需要安装 Pandas :pip install pandas .
此外，要获得唯一值，您无需转换为 Pandas 数据帧。您可以在 spark 数据框中实现这一点。
df.select('column_01').distinct()