google-cloud-data-fusion - 在 Cloud Data Fusion 中加载多个表失败并出现 DAG 错误

Question

我有一个包含大约 1000 个表的 MS SQL Server 数据源，我需要将其放入 BigQuery。我希望使用 Data Fusion 将它们全部加载到 BigQuery 中的暂存表中，然后再对它们执行转换。但是，一旦我创建了一个带有两个“孤岛”的管道，它就会出现 DAG 错误。这是一个功能还是我做错了什么？我在文档中找不到任何内容。我的管道看起来像这样:

我在尝试部署时遇到的错误是:“无效的 DAG。有一个由阶段 BigTest、BigQuery BigTest 组成的岛(没有其他阶段连接到它们)。”

Answer 1

每个管道都是一个 DAG(有向无环图)，所有源和汇都应该连接以使配置有效。您可以使用多表源插件，它可以一次将多个表引入到 BQ 中的登陆表。

您可以针对您的用例使用多表插件和 BQ 多表接收器。