azure - 禁用azure sql数据仓库中的列存储

Question

我正在将 Azure Databricks 中的数据帧写入 SQL 数据仓库

res.write \
    .format("jdbc") \
    .option("url", url) \
    .option("dbtable", table) \
    .option("user", user) \
    .option("password", password) \
    .save()

这样我收到错误 Column ‘username’’具有无法参与列存储索引的数据类型。

如何完全消除列存储，或更改列的数据类型以适合列存储？

我有几列将被视为整数，还有一些列将被视为 varchar。

Answer 1

将此选项子句添加到您的写入语句中。它取代了 CREATE TABLE (AS) 语句的 with() 子句:

.option ("tableOptions","heap,distribution=MY_DISTRIBUTION")

引用资料在这里:

https://docs.databricks.com/spark/latest/data-sources/azure/sql-data-warehouse.html

根据以下指导选择 MY_DISTRIBUTION 的值:

https://learn.microsoft.com/en-us/azure/sql-data-warehouse/sql-data-warehouse-tables-distribute