azure - 检索 Azure 诊断日志

Question

我们在 Azure 中运行 5 个部署中的大约 10 个实例，并记录到 Azure 诊断 (WADLogsTable)。我需要每隔几分钟检索一次这些日志，以便通过第三方工具在本地进行分析。我已经有简单的版本，它从表中读取日志，保存最后一个分区和行键，并下次运行查询 PartitionKey >= SavedPartitionKey。问题是这样并不能检索到所有日志:WAD 使用日志缓冲，每 5 分钟(每个实例)一次将日志批量存储在表中。记录事件的 RowKey 以部署 id(即 guid)开头。

1. 在时间 00:05:30 DeploymentId=999 的 InstanceA... 放置最近 5 分钟的日志PK RK 消息00:01:00 999 条消息100:01:00 999 条消息200:02:00 999 条消息300:02:00 999 条消息400:05:00 999 消息5
2. 在时间 00:06:00 启动传输脚本，获取所有日志，保存 LastPK=00:05:00
3. 在时间 00:06:30 DeploymentId=111 的 InstanceB...放置最近 5 分钟的日志00:02:00 111 消息600:03:00 111 消息700:05:00 111 消息800:06:00 111 消息9
4. 在时间 00:07:00 启动传输脚本，获取 PK>=LastPK=00:05:00 的日志，并且实际上仅检索 msg8 和 msg9(msg6 和 msg7 丢失)。

我想到的解决方案是每次TransferScript检索最近6分钟的所有日志(wad同步5分钟+缓冲区1分钟)，但这会大大增加传输的数据量(比如5次)+需要以某种方式过滤掉已经检索到的日志，这可能会出现问题。另外我想过添加 Timestamp>LastSeenTimestamp 但我不确定它是否解决了数据量和重复的问题以及这样我是否不会丢失消息。有任何想法吗？谢谢

Answer 1

向第三方工具的传输是否需要实时或“尽快”？是否只能传输 5 分钟或更早的数据，而不传输小于 5 分钟的数据？这将确保您只传输已完成的分区。