amazon-redshift-spectrum - Redshift 频谱显示所有行的 NULL 值

Question

当我在 Athena 查询编辑器中运行此查询时，它按预期工作。

SELECT * FROM "sampledb"."elb_logs" limit 10;

elb_logs表是根据官方教程生成的。当我尝试在红移中使用光谱时，我可以看到所有列的所有“NULL”值。我正在使用这些命令创建 athena_schema:

drop schema "athena_schema";

create external schema athena_schema from data catalog 
database 'sampledb' 
iam_role 'arn:aws:iam::94331XXXXXXX:role/RedshiftCopyUnload'
region 'ap-south-1';

以及系统表的输出:

select * from svv_external_tables;

schemaname  tablename   location    input_format    output_format   serialization_lib   serde_parameters    compressed  parameters

athena_schema   elb_logs    s3://athena-examples-ap-south-1/elb/plaintext   org.apache.hadoop.mapred.TextInputFormat    org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat  org.apache.hadoop.hive.serde2.RegexSerDe    {"input.regex":"([^ ]*) ([^ ]*) ([^ ]*):([0-9]*) ([^ ]*):([0-9]*) ([.0-9]*) ([.0-9]*) ([.0-9]*) (-|[0-9]*) (-|[0-9]*) ([-0-9]*)     0   {"EXTERNAL":"TRUE","transient_lastDdlTime":"1480278335"}

我不确定为什么 athena 控制台显示所有列的正确值，而 redshift 显示所有 NULL？

Answer 1

这是因为 elb_logs 表使用了频谱无法处理的正则表达式序列化。我使用此命令将表转换为 parquet 文件格式。

CREATE TABLE elb_logs3
WITH (
      format = 'PARQUET',
      parquet_compression = 'SNAPPY',
      external_location = 's3://elb163/parqfiles'
) AS SELECT * from elb_logs

现在 athena 将有 2 个表“elb_logs”和“elb_logs3”。一旦我使用像这样的标准命令创建了外部模式...

drop schema "athena_schema";

create external schema athena_schema from data catalog 
database 'sampledb' 
iam_role 'arn:aws:iam::XXX:role/RedshiftCopyUnload'
region 'us-east-1';

我现在可以像这样从 elb_logs 表中选择记录...

select * from athena_schema.elb_logs3 limit 10;

请注意，从 elb_logs 表中选择仍然会显示所有列的 NULL 值。