python-3.x - Apache NiFi : Import Error: No module named Pandas 中的 Python 错误

Question

我是 NiFi 的新手。我正在尝试使用 ExecuteScript 处理器执行 Python 脚本。当我尝试一个没有导入命令的简单脚本时，它运行良好并在 nifi.StdOut 中显示输出。当我尝试运行包含导入命令(如 import pandas)的脚本时。它显示以下错误:

Import Error: No module named Pandas

我尝试在属性的模块目录中提供 pkgs 的路径。但它不锻炼。任何帮助将不胜感激!

Answer 1

我认为问题在于 pandas 是一个本地编译的模块(它是用 C 编写的)而不是纯 Python。这是一个问题的原因是由于 JSR-223 引擎，Apache NiFi ExecuteScript 处理器使用 Jython 而不是实际的 Python。所以 Python 代码可以很好地运行，但它不能依赖于非纯 Python 的模块。

解决方法是使用 ExecuteStreamCommand 处理器通过命令行调用依赖于 pandas 的 Python 脚本(即 python my_script_that_uses_pandas.py)。流文件内容将流式传输到 STDIN 并从 STDOUT 捕获。这是一个 related answer详细描述这一点。