apache-spark - 如何将 Palantir Foundry 与 Amazon S3 或 HDFS 集成

Question

在Palantir Foundry平台内，我正在从事数据集成。我是Palantir软件的新手，所以需要一些帮助。是否有关于此主题的任何文档，白皮书，链接或教程？
如何整合来自其他来源(例如Amazon S3或HDFS)的数据？

Answer 1

要集成来自另一个平台的数据，您需要数据连接中的源和同步。您需要拥有平台权限才能创建这些，并非所有用户都可以，因为它可能涉及组织数据治理策略。
假设您没有具有 S3 有效配置的源。你需要创建一个。在数据连接上，单击“源”，然后单击“新建源”。然后，您可以通过两种方式执行此操作:

使用预构建的 S3 源:单击新 File System 下拉列表中的 New Source 并按照向导步骤

使用自定义连接器，例如 magritte-rest:单击同一下拉列表中的 Custom。

对于magritte-rest:

根据您的首选项，选择可用的代理之一或“云提取”。

为其命名并将其保存到文件夹中。

添加如下配置:

type: magritte-rest
url: 'https://foobar.organization.s3.amazonaws.com'

现在要创建同步，请使用与此类似的配置:

type: rest-source-adapter
method: GET
path: the/path/in/s3/yourdata
outputFileType: csv

还支持其他输出文件类型( json 、 zip ，...)