Dataproc 上的 Pyspark 作业陷入阶段 0

Question

我有一个包含 2 个工作节点的 Dataproc 集群。我的pyspark程序很简单

1) 从 Bigquery 读取 500MB 数据2)应用一些UDF3)根据某些条件显示 pyspark SQL 数据帧的结果

在第三步，作业陷入阶段 0 并且什么都不做。我是 Pyspark 的新手，但我不认为数据太大会导致它被挂起。请帮助我。

@亚当，

我的UDF来自RDkit库。是否可以提高 UDF 的效率，使输出以秒为单位？

from rdkit import Chem

user_smile_string = 'ONC(=O)c1ccc(I)cc1' 
mol = Chem.MolFromSmiles(user_smile_string)

def Matched(smile_structure):
    try:
        match = mol.HasSubstructMatch(Chem.MolFromSmiles(smile_structure))
    except Exception:
        pass
    else:
        return (match)

Answer 1

正如评论中提到的，您需要对工作进行故障排除才能了解发生了什么。

您可以从探索job driver output开始, job logs和 Spark job DAG可从 Google Cloud UI 访问。

如果这不会产生任何有用的信息，那么您需要 enable debug logging Spark 中并从那里开始。