python - 如何动态加载kedro DataSet对象

Question

我目前正在使用 yaml api 通过 kedro==15.5 创建所有数据集。我希望能够不时动态地查看这些信息。看来我可以通过 io.datasets 来获取此信息，它是一个 _FrozenDatasets 对象。但我无法循环它或以编程方式访问它。

具体用例

具体来说，我想添加一个循环数据集的测试，以检查是否有多个目录条目使用相同的文件路径。不使用 eval 可以吗？目前我认为需要做这样的事情

filepaths = {}
for entry_name in io.list()
   eval(f'filepaths[{entry_name}] = io.datasets.{entry_name}'.filepath)

Answer 1

不幸的是，我不认为AbstractDataSet(它们都是从中定义的)具有文件路径或构建它的配置的属性。您可以读取 ProjectContext 配置，但这不会涵盖动态构建的数据集。