azure - 如何使用 PARQUET FORMAT 创建外部配置单元表

Question

我遇到了在 Parquet 文件上创建配置单元表的问题。有人可以帮忙解决这个问题吗？我读过很多文章，但无法加载 parquet 文件。

我关注了这个article

Answer 1

根据 MS Document ，我在我的环境中重现了相同的结果并得到了以下结果:

如果您要创建 parquet 格式，请确保添加 ROW FORMAT SERDE'org.apache.hadoop.hive.ql.io.parquet.serde .ParquetHiveSerDe'

请按照此代码创建 Parquet 格式的外部 Hive 表。

CREATE EXTERNAL TABLE `demo_table`(
  `first_name` string,
  `Last_name` int)
ROW FORMAT SERDE
  'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe'
  
STORED AS INPUTFORMAT
  'org.apache.hadoop.hive.ql.io.SymlinkTextInputFormat'
OUTPUTFORMAT
  'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION
  'dbfs:/FileStore/'
TBLPROPERTIES (
  'totalSize'='2335',
  'numRows'='240',
  'rawDataSize'='2095',
  'COLUMN_STATS_ACCURATE'='true',
  'numFiles'='1',
  'transient_lastDdlTime'='1418173653')

输出: