python - Apache Nifi:我想将数据CSV导入Elasticsearch而不使用apache nifi将其流式传输到其他处理器

Question

我正在尝试建立一个简单的过程来修改我的CSV文件，并使用Apache Nifi将其吸收到elasticsearch数据库中。我不想在Stdout上流式传输CSV文件，而是将文件从一个处理器传递到另一个处理器。

我已经做了两个流程。

Myfirst流使用GetFile处理器获取我的CSV文件，并使用ExecuteStreamCommand对其进行自定义，我在其中运行python脚本以在本地读取，修改和保存CSV文件。

我的第二个流程再次使用GetFile处理器读取了修改后的CSV文件，并将其直接摄取到我的ElasticSearch DB中。

现在，为了完成此任务，我分别运行了这两个流程。

我可以将第一个流的ExecuteStreamCommand和第二个流的GetFile连接在一起，以便可以将它们作为一个单独的流一起运行。

还有其他选择可以读取ExecuteStreamCommand本地写入的文件而不进行流传输吗？

Answer 1

由ExecuteStreamCommand执行的命令的输出将被写入流文件，该文件将转移到“输出流”关系。您应该能够将ExecuteStreamCommand“输出流”直接连接到PutElasticSearch。