azure - Trino、Iceberg 和 ADLS/Azure

Question

我想将 Trino 与 Iceberg 表和 Azure ADLS/Blob 存储一起使用，而不是 S3。

我能够成功连接到 S3，例如

connector.name=iceberg
iceberg.catalog.type=jdbc
iceberg.jdbc-catalog.catalog-name=test
iceberg.jdbc-catalog.driver-class=org.postgresql.Driver
iceberg.jdbc-catalog.connection-url=jdbc:postgresql://127.0.0.1:5432/iceberg
iceberg.jdbc-catalog.connection-user=user
iceberg.jdbc-catalog.connection-password=pwd
iceberg.jdbc-catalog.default-warehouse-dir=s3://mybucket

现在我想对 Azure 做同样的事情，因为我们的主要云平台是 Azure。我尝试了一些组合

iceberg.jdbc-catalog.default-warehouse-dir=abfss://<a href="https://stackoverflow.com/cdn-cgi/l/email-protection" class="__cf_email__" data-cfemail="4f3b2a3c3b0f2d232e612b293c612c203d2a613826212b20383c61212a3b" rel="noreferrer noopener nofollow">[email protected]</a>

但到目前为止还没有成功。有人曾成功将 Trino 连接到 Azure 上的 Iceberg Tables(没有 Hive)吗？我们想使用 REST Catalog(JDBC 仅用于测试)。几乎没有关于如何将 Azure 与 Trino 结合使用的文档。

Answer 1

好吧，我自己想出来了。我们开始吧:

connector.name=iceberg
iceberg.catalog.type=jdbc
iceberg.jdbc-catalog.catalog-name=test
iceberg.jdbc-catalog.driver-class=org.postgresql.Driver
iceberg.jdbc-catalog.connection-url=jdbc:postgresql://127.0.0.1:5432/iceberg
iceberg.jdbc-catalog.connection-user=user
iceberg.jdbc-catalog.connection-password=pwd
iceberg.jdbc-catalog.default-warehouse-dir=abfs://<a href="https://stackoverflow.com/cdn-cgi/l/email-protection" class="__cf_email__" data-cfemail="4e2d21222a2f3d272d2b0e2d21222a2f3d272d2b602a283d602d213c2b603927202a21393d60202b3a" rel="noreferrer noopener nofollow">[email protected]</a>
hive.azure.abfs-storage-account = coldasice
hive.azure.abfs-access-key = KGKGGSDJF...