azure - 如何避免 EventhubTriggered Function 应用程序中的重复数据处理

Question

我正在尝试使用 20 个 eventhub 分区和设置为 20 个实例的可扩展函数应用程序来处理大量事件(100,000 个)。函数应用中的 maxBatchSize 设置为 100，batchCheckpointFrequency 设置为 1。

函数应用程序是一个 EventhubTriggered 函数应用程序，用于处理批量事件数据。

函数应用正在获取和处理重复消息(可能占总数的 5%)。我想知道是否需要进行任何设置/任何更改以避免重复的数据处理？

函数应用是否有办法知道数据在不同批处理的事件中是否重复？

Answer 1

Azure 事件中心保证至少一次传递，请参阅 the docs 。您应该确保您的逻辑是幂等的。如果您无法做到这一点，则可以在消息中包含诸如唯一 ID 之类的内容，并且在处理消息后，根据分布式存储对其进行检查，以了解具有该 ID 的消息是否已被处理。

Azure Function 不具备开箱即用的重复数据删除逻辑，这是肯定的。