azure-cosmosdb - Cosmo ChangeFeed - 错误、异常和服务失败场景

Question

全部，

我正在使用 Change Feed Processor Library。想知道处理服务失败的最佳方法以及 ProcessChangesAsync 方法中的异常/错误场景。以下是我所指的事件。

1) 服务失败 - 具有处理器库的服务在某些操作中间崩溃。如何从同一文档(失败实例的文档)启动流程？是否有任何内置机制可以让更改提要从最后一个失败的文档开始？例如。假设，在当前批次中，我们成功处理了 10 个 docs.5，然后由于网络故障或其他原因导致服务中断。一旦服务重新启动，我的流程是否会从第 6 个文档开始？如何实现这一目标？

2) 异常和错误 - ProcessChangesAsync 方法中的任何错误都可以在全局级别使用 try catch 处理，但如何保留这些失败记录并使其可用于下一批？再次，在更改提要过程中寻找任何可用的内置机制。

Answer 1

1) 处理器库，默认情况下，在成功运行 ProcessChangesAsync 后检查点.最新library version ，您可以自定义 Checkpointer 以在需要时执行手动检查点。如果由于某种原因处理器在检查点之前关闭，那么它将从存储在 Leases 集合中的最后一个成功检查点开始下一个处理。在您的情况下，它将再次从第一个文档开始，因此您永远不会丢失更改，但您可能会遇到双重处理(这是“至少一次”模型)。

2) 没有可以利用的内置机制来处理 ProcessChangesAsync 中的异常。是你的责任。您不仅可以添加全局 try/catch，而且在循环遍历文档的情况下，在循环内添加 try/catch 以处理失败的文档(可能将其发送到队列以供以后分析/后处理)不会丢失批次。如果您需要记录这些错误(我假设这就是您所说的持续错误的意思？)，那么最新版本与 LibLog 兼容。 ，因此插入您自己的自定义日志记录非常简单:

using Microsoft.Azure.Documents.ChangeFeedProcessor.Logging;

var hostName = "SampleHost";
var tracelogProvider = new TraceLogProvider(); //You can use any provider supported by LibLog
using (tracelogProvider.OpenNestedContext(hostName))
{
    LogProvider.SetCurrentLogProvider(tracelogProvider);
    // After this, create IChangeFeedProcessor instance and start/stop it.
}

Source

评论的额外信息

为避免异常停止批处理或导致批处理被重新处理，您可以进行如下处理:

public async Task ProcessChangesAsync(IChangeFeedObserverContext context, IReadOnlyList<Document> documents, CancellationToken cancellationToken)
{
    try
    {
        foreach(var document in documents)
        {
            try
            {
                // Do your work for the document
            }
            catch(Exception ex)
            {
                // Something happened with the current document, handle it, send it to a queue / another storage to analyze, log it. This catch will make the loop continue with the next.
            }

        }
    }
    catch(Exception ex)
    {
        // Something unhandled happened, log it and avoid throwing it again so the next batch is processed    
    }
}