python - Kedro:如何从一个目录中传递多个相同的数据作为节点输入？

Question

我有一个包含相同数据格式的多个文件的目录(每天 1 个文件)。这就像一个数据分成多个文件。

是否可以在不指定每个文件的情况下将所有文件传递给 A Kedro 节点？那么它们都是根据运行程序顺序或并行处理的吗？

Answer 1

如果文件数量很少且固定，您可以考虑手动为每个文件创建这些预处理管道。

如果文件数量很大/动态，您可以为每个文件以编程方式创建管道定义，然后将它们全部添加在一起。同样可能适用于所需数据集的编程创建。

另一种选择是在第一个节点中读取所有文件，将它们全部连接成一个数据集，并使所有连续的预处理节点使用该数据集(或其派生类)作为输入