amazon-s3 - 有没有办法将 Gzip 文件从 Amazon S3 加载到 Pentaho(PDI/Spoon/Kettle)中？

Question

有没有办法将 Gzip 文件从 Amazon S3 加载到 Pentaho Data Integration (Spoon) 中？

有一个“文本文件输入”具有支持 Gzip 的压缩属性，但此模块无法连接到 S3 作为源。

有一个“S3 CSV Input”模块，但是没有Compression属性，所以它不能将Gzipped内容解压成表格形式。

此外，无法将数据从 S3 保存到本地文件。下载的内容只能“跳”到另一个 Step，但没有 Step 可以读取前一个 Step 的 gzip 数据，Gzip 兼容的 steps 都只从文件中读取。

因此，我可以从 S3 获取压缩数据，但我无法将该数据发送到可以使用它的任何地方。

我错过了什么吗？有没有办法从非文件源解压缩压缩数据？

Answer 1

Kettle 在处理文件时使用 VFS(虚拟文件系统)。因此，您可以通过 http、ssh、ftp、zip 等方式获取文件，并在读取文件的所有步骤中将其用作常规的本地文件。只需使用正确的“网址”。你会发现更多here和 here ，以及一个非常好的教程 here .另外，查看 Kettle 附带的 VFS 转换示例。

这是 S3 的 url 模板:s3://<Access Key>:<Secret Access Key>@s3<file path>

在您的情况下，您将使用“文本文件输入”和您提到的压缩设置，选择的文件将是:

s3://aCcEsSkEy:SecrEttAccceESSKeeey@s3/your-s3-bucket/your_file.gzip