azure - 如何将数据从多个事件中心发送到 ADX？

Question

我的服务部署在 Azure 的多个区域中。在所有区域中，我都有一个事件中心和 ADX 集群(数据库和表)。假设我的服务位于X和Y两个区域。当用户请求到来时，它会由最近的区域处理。该请求还包含 origin-region 的一个属性。因此，如果用户存在于区域 X 并且他的请求包含设置为区域 Y 的属性“origin-region”，则该请求将由区域 X 的服务处理，然后其数据将发送到区域 X 的事件中心。最后，我希望将这些数据从区域 X 的事件中心传输到 Y 的 ADX 表。

此用例的最佳设计应该是什么？

我正在考虑在每个不同的区域创建多个表(比如region-x-table、region-y-table 等等)。并且从事件中心到所有区域的 adx 表将存在一对多映射。基本上，任何区域的 Region-x-table 都会摄取区域 X 事件中心中存在的数据。来自 X 事件中心的数据将仅被提取到该区域的 ADX 表中，该表存在于请求的属性“orgin-region”中。

区域 X 的事件中心的数据将根据请求的“origin-region”值提取到区域 X 的 ADX 表(region-x-table) 或区域 Y 的 ADX 表(region-x-table)。

因此，每个区域将有 1 个事件中心，以及每个区域的 n 个表(region-x-table，region-y-table，....)。有没有更好的方法？

我还想过在 ADX 中仅创建一张表，并通过检查数据架构从多个区域的事件中心提取数据，但这是不可能的，因为一张表只能从一个事件中心提取数据。

Answer 1

Sending data from multiple event hubs to ADX can be done by creating a data connection for each event hub and configuring the connection settings to event hub, event hub namespace and consumer groups.

• 在每个区域创建多个表并将数据从相应的事件中心提取到相应的表中也是一个不错的方法。
• 它还为更多地区提供了更大的灵 active 。

这将确保根据请求的 origin-region 属性将数据提取到正确的表中。

另一种方法

使用 Azure 流分析 处理来自事件中心的数据，并根据 origin-region 属性将其发送到适当的 ADX 表。

这涉及创建 Stream Analytics每个区域的作业并将其配置为从相应的事件中心读取并写入相应的 ADX 表。

更多信息请参阅Create an Event Hubs data connection和 Use one-click ingestion data from Event Hub into Azure Synapse Data Explorer.