hadoop - Google Cloud Platform for NiFi 数据路径

Question

我想在 NiFi 的 GetFile 处理器中给出 input folder 的位置。根据 NiFi，我提供的路径不正确。它仍然显示警告标志。我跟着这个link但它不能提供太多帮助。下面是我在 GetFile 处理器的 input path 属性中使用的路径:

/browser/<bucket-name>/

我什至试过下面的链接

gs://<bucket-name>

或

gs://browser/<bucket-name>

他们都没有帮助。

按照 Shu 的建议，我创建了一个 ListGCSBucket 处理器并为其创建了一个新的 GCPCredentialsService 但是当我运行这个处理器时它给出了一个错误:com.google.cloud.storage.StorageException: Not Found 存储桶。以下是我的一些配置:处理器详情:

GCSControllerService 详细信息:

在最后一张图片中，它不允许我将值更改为 true。所以这是我的完整细节。请指导我哪里出错了。非常感谢任何帮助。

Answer 1

根据对问题的评论。

GetFile 处理器查找指定在所有 NiFi 安装节点上的输入路径。

使用ListGCSBucket + FetchGCSObject处理器从 GoogleCloudPlatform 获取数据。

有关更多引用资料，请参阅 this和 this在 nifi 中使用 list+fetch 处理器的链接。