python - python运行spark的问题

Question

两个问题:

1. 如何在spark模块中运行python3？我运行 /bin/.pyspark，它会自动运行 Python 2.7。如何运行Python3？
2. 在我运行 pyspark 后，它会弹出如下警告:16/12/29 17:33:37 WARN NativeCodeLoader:无法为您的平台加载 native-hadoop 库...在适用的情况下使用内置 java 类这是否意味着我下载了错误的 spark 平台？

我正在使用 MacProBook。谢谢。

Answer 1

按照以下步骤:

1 次:

PYSPARK_PYTHON=python3 ./bin/pyspark

每次:

>>>cd
>>>vim .bashrc

在文件末尾添加这两行并保存文件。

导出 PYSPARK_PYTHON=/usr/bin/python3
导出 PYSPARK_DRIVER_PYTHON=python3

退出文件后，获取 .bashrc 文件以反射(reflect)更改。

>>>source .bashrc

现在当您启动 spark 时，它将使用 Python3。

---

阅读此内容以了解您的第二个错误。它与 32 位与 64 位源代码编译有关:

Hadoop "Unable to load native-hadoop library for your platform" warning