java - 冰雹.utils.java.FatalError : IllegalStateException: unread block data

Question

我正在尝试在 Spark 集群上运行一个基本脚本，该脚本接收一个文件，将其转换并以不同的格式输出。目前的 Spark 集群由 1 个主节点和 1 个从节点组成，两者都运行在同一节点上。完整的命令是:

nohup spark-submit --master spark://tr-nodedev1:7077 --verbose --conf spark.driver.port=40065 --driver-memory 4g --conf spark.driver.extraClassPath=/opt/seqr/.conda/envs/py37/lib/python3.7/site-packages/hail/hail-all-spark.jar
--conf spark.executor.extraClassPath=./hail-all-spark.jar ./hail_scripts/v02/convert_vcf_to_hail.py /clinvar_37.vcf -ht
--genome-version 37 --output /seqr-reference-hail2/clinvar_37.ht &

它给出了一个错误:

hail.utils.java.FatalError: IllegalStateException: unread block data

更详细的堆栈跟踪可以在我问过同样问题的另一个论坛上找到:

https://discuss.hail.is/t/unread-block-data-error-spark-master-slave-issue/1182

这样的命令工作正常:

nohup spark-submit --conf spark.driver.extraClassPath=/opt/seqr/.conda/envs/py37/lib/python3.7/site-packages/hail/hail-all-spark.jar 
--conf spark.executor.extraClassPath=./hail-all-spark.jar ./hail_scripts/v02/convert_vcf_to_hail.py /hgmd_pro_2019.3_hg19_noDB.vcf -ht 
--genome-version 37 --output /seqr-reference-hail2/hgmd_2019.3_hg19_noDB.ht &

因此，在本地模式下它运行良好，但在独立模式下则不然。所以，我猜测是主从不同设置的问题，可能是JAVA。但是，在 spark-env.sh 中设置它们，如下所示:

export JAVA_HOME=/usr/lib/jvm/java

export SPARK_JAVA_OPTS+=" -Djava.library.path= $SPARK_LIBRARY_PATH : $JAVA_HOME "

无法解决问题。要启动主站+从站，我只需使用 start-all.sh 脚本。任何建议将不胜感激。

Answer 1

好的，我们修复了它，解决方案是将以下设置添加到运行脚本的命令中:

–jars /opt/seqr/.conda/envs/py37/lib/python3.7/site-packages/hail/hail-all-spark.jar

因此，工作命令如下:

spark-submit --master spark://ai-grisnodedev1:7077 --verbose --conf spark.driver.port=40065 --driver-memory 4g --conf spark.driver.extraClassPath=/opt/seqr/.conda/envs/py37/lib/python3.7/site-packages/hail/hail-all-spark.jar --conf spark.executor.extraClassPath=./hail-all-spark.jar --jars /opt/seqr/.conda/envs/py37/lib/python3.7/site-packages/hail/hail-all-spark.jar test_hail.py

对于 future 的Hail 0.2用户来说，了解这个--jars参数是需要指定的，并且它应该指向hail-all，这一点可能很重要-spark.jar。