azure-machine-learning-service - 读取 Parquet 文件失败

Question

Azure ML 无法从 Parquet 文件(许多 Parquet 文件)读取表格数据集。
创建数据集

from azureml.data.datapath import DataPath
datastore_path = [DataPath(datastore, 'churn')]
tabular_dataset = Dataset.Tabular.from_parquet_files(path=datastore_path)

Answer 1

添加扩展名:*.parquet:

from azureml.data.datapath import DataPath
datastore_path = [DataPath(datastore, 'churn/*.parquet')]
tabular_dataset = Dataset.Tabular.from_parquet_files(path=datastore_path)

其他不一次将所有数据读入内存的方法是使用 skip()和 take()在 TabularDataset 上一次仅请求部分源数据。
或者将 Parquet 文件挂载为 FileDataset，然后为训练脚本中的文件子集构建单独的 TabularDataset。
这是一个示例笔记本供您引用: https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/machine-learning-pipelines/parallel-run/tabular-dataset-inference-iris.ipynb