google-cloud-storage - 使用 Google Cloud Storage 的 Apache Drill

Question

Apache Drill 功能列表提到它可以从 Google Cloud Storage 查询数据，但我找不到有关如何执行此操作的任何信息。我已经让它在 S3 上运行良好，但怀疑我在 Google 云存储方面遗漏了一些非常简单的东西。

有人有 Google Cloud Storage 的存储插件配置示例吗？

谢谢

中号

Answer 1

这是一个相当古老的问题，所以我想您要么找到了解决方案，要么继续您的生活，但对于任何在不使用 Dataproc 的情况下寻找解决方案的人，这里有一个解决方案:

1. 将 GCP 连接器中的 JAR 文件添加到 jars/3rdparty 目录。
2. 将以下内容添加到 conf 目录中的 site-core.xml 文件(将 YOUR_PROJECT_ID 等大写值更改为您自己的详细信息):

<property>
    <name>fs.gs.project.id</name>
    <value>YOUR_PROJECT_ID</value>
    <description>
      Optional. Google Cloud Project ID with access to GCS buckets.
      Required only for list buckets and create bucket operations.
    </description>
  </property>
  <property>
    <name>fs.gs.auth.service.account.private.key.id</name>
    <value>YOUR_PRIVATE_KEY_ID</value>
  </property>
    <property>
        <name>fs.gs.auth.service.account.private.key</name>
        <value>-----BEGIN PRIVATE KEY-----\nYOUR_PRIVATE_KEY\n-----END PRIVATE KEY-----\n</value>
    </property>
  <property>
    <name>fs.gs.auth.service.account.email</name>
    <value>YOUR_SERVICE_ACCOUNT_EMAIL/value>
    <description>
      The email address is associated with the service account used for GCS
      access when fs.gs.auth.service.account.enable is true. Required
      when authentication key specified in the Configuration file (Method 1)
      or a PKCS12 certificate (Method 3) is being used.
    </description>
  </property>
  <property>
    <name>fs.gs.working.dir</name>
    <value>/</value>
    <description>
      The directory relative gs: uris resolve in inside of the default bucket.
    </description>
  </property>
   <property>
    <name>fs.gs.implicit.dir.repair.enable</name>
    <value>true</value>
    <description>
      Whether or not to create objects for the parent directories of objects
      with / in their path e.g. creating gs://bucket/foo/ upon deleting or
      renaming gs://bucket/foo/bar.
    </description>
  </property>
   <property>
    <name>fs.gs.glob.flatlist.enable</name>
    <value>true</value>
    <description>
      Whether or not to prepopulate potential glob matches in a single list
      request to minimize calls to GCS in nested glob cases.
    </description>
  </property>
   <property>
    <name>fs.gs.copy.with.rewrite.enable</name>
    <value>true</value>
    <description>
      Whether or not to perform copy operation using Rewrite requests. Allows
      to copy files between different locations and storage classes.
    </description>
  </property>

启动 Apache Drill。

向 Drill 添加自定义存储。

一切顺利。

解决方案来自here ，我在这里详细介绍了我们使用 Apache Drill 进行数据探索所做的工作。