apache-spark - RN ProcfsMetricsGetter : Exception when trying to compute pagesize, 作为 ProcessTree 指标报告的结果已停止

Question

我安装了 spark 并正确设置了 spark 和 python 的所有环境变量，如 stackoverflow 中所述，但在启动 spark 时仍然收到此警告

20/09/06 13:33:52 WARN ProcfsMetricsGetter: Exception when trying to compute pagesize, as a result reporting of ProcessTree metrics is stopped

Answer 1

我遇到了同样的问题。原因是环境变量没有设置好。早些时候我所做的只是在警告出现时单击“Enter”，然后该过程从下一行继续，没有任何问题。虽然这是一个临时解决方案，但它确实有效。

另一种对我长期有效的解决方案是正确配置环境/PATH 变量。

Steps:

1. Make sure to have py4j zip file available. My py4j was in the directory, 
   "C:\Spark\spark-3.0.1-bin-hadoop2.7\python\lib".
2. Now, Go to Environment Variables.
3. Go to PATH in user variables.
4. Click on Edit, and Now add these path as a new. 
5. %SPARK_HOME%\bin
6. %SPARK_HOME%\python
7. %SPARK_HOME%\python\lib\py4j-(version number)-src.zip, mine was 0.10.9
   so I typed, %SPARK_HOME%\python\lib\py4j-0.10.9-src.zip
8. Finally add, %PYTHONPATH%

单击“确定”并保存所有更改。重新运行程序，它应该可以正常工作。