python - Apache Beam + 大查询表读取

Question

我在项目中的大查询中有数据集:项目:项目-x表:表01数据集:dataset01

我想从 Apache Beam 连接到它并读取一列的值 - 例如，column01...

这就是我所拥有的:

import apache_beam as beam
from apache_beam.options.pipeline_options import PipelineOptions
import os

os.environ["GOOGLE_APPLICATION_CREDENTIALS"]="Z:\DEV\CREDENTIALS\cred.json"

QUERY="""
    SELECT column01 from project-x:table01.dataset01
    """
options = {'project': 'project-x',
'runner': 'DirectRunner',
'region': 'EU'
}
pipeline_options = beam.pipeline.PipelineOptions(flags=[], **options)
pipeline=beam.Pipeline(options=pipeline_options)   
BQ_source = beam.io.BigQuerySource(query = QUERY)
BQ_data = pipeline | beam.io.Read(BQ_source)

所以执行后我什么也没得到......我认为这是一些基本问题，但我才刚刚开始，真的很想看到一些结果。感谢您的帮助。

Answer 1

有 1 个错误，我有 1 个建议错误:来自格式为项目:数据集。表是旧版 SQL。

建议:更喜欢标准 SQL，以便能够使用所有新的 bigquery 功能!格式为“project.dataset.table”需要反报价。并在beam中设置选项legacy=off。