gpt4 book ai didi

python - 如何将多个 CSV 文件添加到 Kedro 的目录中?

转载 作者:行者123 更新时间:2023-12-04 16:40:40 25 4
gpt4 key购买 nike

我有数百个 CSV 文件要类似地处理。为简单起见,我们可以假设它们都在 ./data/01_raw/ 中。 (如 ./data/01_raw/1.csv./data/02_raw/2.csv )等。我宁愿不给每个文件一个不同的名称,并在构建我的管道时单独跟踪它们。我想知道是否有任何方法可以通过在 catalog.yml 中指定某些内容来批量读取所有这些内容。文件?

最佳答案

您正在寻找 PartitionedDataSet .在您的示例中, catalog.yml可能看起来像这样:

my_partitioned_dataset:
type: "PartitionedDataSet"
path: "data/01_raw"
dataset: "pandas.CSVDataSet"

关于python - 如何将多个 CSV 文件添加到 Kedro 的目录中?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/61645397/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com