python - 无法在 Spark Streaming 作业中导入 kafkaProducer

Question

我有一个简单的 spark streaming 作业，它跟踪 HDFS 目录，读取新添加的文件，并将其发送到 Kafka。

提交 spark 作业时它不起作用并抛出以下异常。

ImportError: cannot import name KafkaProducer

这是作业的代码 ( http://pastebin.com/mpKkMkph )

错误很明显。该脚本无法导入 kafkaProducer。问题是我可以毫无问题地从 python shell 导入它。

Answer 1

最后我可以解决问题，但解决方案很奇怪，我无法解释发生了什么。

我运行此命令 cat my_script.py > new_script.py 然后我使用新文件提交作业。

一切正常，但正如我上面提到的，我无法解释这个问题。

这里要注意的另一件事是，使用普通的 cp 命令复制文件也不起作用。仅将内容 cat 到另一个文件。

这是我第二次遇到 python 脚本的这个问题，我希望任何人都可以对此进行说明。