java - 使用 Apache Beam 的 ZetaSQL 示例

Question

我在 Apache beam Framework (2.17.0-SNAPSHOT) 中使用 ZetaSQL 时遇到问题。在浏览完 apache beam 的文档后，我找不到 ZetaSQL 的任何示例。

我尝试添加规划器: options.setPlannerName("org.apache.beam.sdk.extensions.sql.zetasql.ZetaSQLQueryPlanner");

但仍然面临问题，下面添加了代码片段以寻求帮助。

    ```
    String sql =
                    "SELECT CAST (1243 as INT64), "
                        + "CAST ('2018-09-15 12:59:59.000000+00' as TIMESTAMP), "
                        + "CAST ('string' as STRING);";

      ZetaSQLQueryPlanner zetaSQLQueryPlanner = new ZetaSQLQueryPlanner();
            BeamRelNode beamRelNode = zetaSQLQueryPlanner.convertToBeamRel(sql);
            PCollection<Row> stream = BeamSqlRelUtils.toPCollection(p, beamRelNode);
    p.run();

我知道我们需要以下代码片段，但未能创建配置 Frameworks.newConfigBuilder()

在运行代码时我发现以下异常:

    Exception in thread "main" java.util.ServiceConfigurationError: com.google.zetasql.ClientChannelProvider: Provider com.google.zetasql.JniChannelProvider could not be instantiated
        at java.util.ServiceLoader.fail(Unknown Source)
        at java.util.ServiceLoader.access$100(Unknown Source)
        at java.util.ServiceLoader$LazyIterator.nextService(Unknown Source)

Answer 1

更新:自 2020 年 6 月 23 日起，Mac OS 也支持 Beam ZetaSQL(不是所有版本，但至少是最新版本)!

====

我认为这与您的操作系统有关。 Beam 是一个统一的框架，但您的异常是从它的依赖项来看的:ZetaSQL 解析器。如果您更改为较新版本的 Linux，我认为您的代码片段应该可以工作。