tensorflow - TensorFlow TFX 中存储在 MLMD 中的数据

Question

据我了解，TensorFlow 使用 MLMD记录和检索与工作流相关的元数据。这可能包括:

管道组件的结果

关于通过管道组件生成的工件的元数据

有关这些组件执行的元数据

有关管道和关联沿袭信息的元数据

特点:
以上(例如#1 又名“组件结果”)是否暗示 MLMD 存储实际 数据 ? (例如，输入 特征 用于 ML 训练？)。如果不是，管道组件的结果是什么意思？
编排和管道历史记录:
此外，当使用 TFX 时，例如AirFlow 使用自己的元存储(例如，关于 DAG、它们的运行以及其他 Airflow 配置(如用户、角色和连接)的元数据)MLMD 是否存储冗余信息？它会取代它吗？

Answer 1

TFX 是一个 ML 管道/工作流，因此当您编写 TFX 应用程序时，您所做的基本上是构建工作流的结构并准备 WF 以接受一组特定的数据并处理或使用它(转换、模型构建、推理、部署等)。所以在这方面它从不存储实际数据，它存储信息(元数据)以便处理或使用数据。因此，例如在检查异常的情况下，它需要记住以前的数据模式/统计信息(而不是实际数据)，因此它将该信息作为元数据保存在 MLMD 中；除了实际的运行元数据。
在 Airflow 方面，它还将保存运行元数据。这可以看作是所有元数据的一个子集，与 MLMD 中保存的元数据相比非常有限。虽然会涉及冗余。
Controller 是 TFX，它定义并使用了下划线 Airflow 编排。它不会取代，但如果发生冲突，它肯定会失败。