gpt4 book ai didi

apache-spark - 如何将 Palantir Foundry 与 Amazon S3 或 HDFS 集成

转载 作者:行者123 更新时间:2023-12-03 18:32:24 27 4
gpt4 key购买 nike

在Palantir Foundry平台内,我正在从事数据集成。我是Palantir软件的新手,所以需要一些帮助。是否有关于此主题的任何文档,白皮书,链接或教程?
如何整合来自其他来源(例如Amazon S3或HDFS)的数据?

最佳答案

要集成来自另一个平台的数据,您需要数据连接中的源和同步。您需要拥有平台权限才能创建这些,并非所有用户都可以,因为它可能涉及组织数据治理策略。
假设您没有具有 S3 有效配置的源。你需要创建一个。在数据连接上,单击“源”,然后单击“新建源”。然后,您可以通过两种方式执行此操作:

  • 使用预构建的 S3 源:单击新 File System 下拉列表中的 New Source 并按照向导步骤
  • 使用自定义连接器,例如 magritte-rest:单击同一下拉列表中的 Custom

  • 对于magritte-rest:
  • 根据您的首选项,选择可用的代理之一或“云提取”。
  • 为其命名并将其保存到文件夹中。
  • 添加如下配置:
  • type: magritte-rest
    url: 'https://foobar.organization.s3.amazonaws.com'
    现在要创建同步,请使用与此类似的配置:
    type: rest-source-adapter
    method: GET
    path: the/path/in/s3/yourdata
    outputFileType: csv
    还支持其他输出文件类型( jsonzip ,...)

    关于apache-spark - 如何将 Palantir Foundry 与 Amazon S3 或 HDFS 集成,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/54297507/

    27 4 0
    Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
    广告合作:1813099741@qq.com 6ren.com