azure - 使用实体组事务清除 WADLogs 表时如何处理 "The specified resource does not exist"异常

Question

我们需要定期清除 Azure WADLogs 表。我们通过使用实体组事务删除超过 15 天的记录来实现此目的。逻辑是这样的。

bool recordDoesNotExistExceptionOccured = false;
CloudTable wadLogsTable = tableClient.GetTableReference(WADLogsTableName);

partitionKey = "0" + DateTime.UtcNow.AddDays(noOfDays).Ticks;
TableQuery<WadLogsEntity> buildQuery = new TableQuery<WadLogsEntity>().Where(
                            TableQuery.GenerateFilterCondition("PartitionKey",                
                            QueryComparisons.LessThanOrEqual, partitionKey));

while (!recordDoesNotExistExceptionOccured)
{
    IEnumerable<WadLogsEntity> result = wadLogsTable.ExecuteQuery(buildQuery).Take(1000);

    //// Batch entity delete.
    if (result != null && result.Count() > 0)
    {
         Dictionary<string, TableBatchOperation> batches = new Dictionary<string, TableBatchOperation>();
         foreach (var entity in result)
         {
             TableOperation tableOperation = TableOperation.Delete(entity);

             if (!batches.ContainsKey(entity.PartitionKey))
             {
                 batches.Add(entity.PartitionKey, new TableBatchOperation());
             }

             // A Batch Operation allows a maximum 100 entities in the batch which must share the same PartitionKey.                        
             if (batches[entity.PartitionKey].Count < 100)
             {
                 batches[entity.PartitionKey].Add(tableOperation);
             }
        }

        // Execute batches.
        foreach (var batch in batches.Values)
        {
            try
            {
                await wadLogsTable.ExecuteBatchAsync(batch);
            }
            catch (Exception exception)
            {
                // Log exception here.

                // Set flag.
                if (exception.Message.Contains(ResourceDoesNotExist))
                {
                    recordDoesNotExistExceptionOccured = true;
                }
                break;
            }
        }
    }
    else
    {                            
        break;
    }
}

我的问题是:

1. 这是清除 WADLogs 表的有效方法吗？如果不是，怎样才能让它变得更好？
2. 这是处理“指定资源不存在异常”的正确方法吗？如果没有，我怎样才能做得更好？
3. 这个逻辑在任何特定情况下都会失败吗？
4. 如果此代码位于部署了多个实例的工作线程中，这种方法会如何变化？

我通过引用 here 给出的解决方案想出了这段代码.

Answer 1

1. 如果您无法删除整个表，则批处理通常是清除部分表的最佳方法。但是，上面的代码中存在一些细节问题，我将在下面概述。

2. 我不确定为什么在查询中返回的表实体会出现此错误，除非您在不同线程上从该表中删除内容。但是，根据您给出的情况，当出现错误时，您不应该不停止整个过程。假设您有 1000 个结果要删除。第二个已被另一个线程删除，并在您尝试再次删除它时返回错误 - 现在您错过了删除所有其他实体，包括该批处理中的其他实体，因为批处理是原子的!为了解决这种情况，我建议从批处理中删除失败的实体(错误消息将包括其索引)，重试该批处理，然后继续删除其余批处理。

3. 参见 2。此外，如果您有超过 100 个具有相同分区键的实体，您不会立即删除剩余的实体，而是忽略它们并在下一个循环迭代中删除它们。如果有许多条目具有相同的分区键，这可能会导致大量额外的查询，因此将它们添加到新批处理中可能会更有效。

4. 一旦你让更多的工作人员开始工作，在当前的设计中，2 中的问题将会变得更加严重，因为你总是查询前 1000 个。现在你将有多个线程下载相同的结果并尝试删除相同的结果事物。根据当前的设计，这将导致很多错误，因为工作人员将删除相同的结果。我看到的最简单的解决方案是找到一种更好的方法来划分不会导致重叠的工作。一种想法可能是让每个工作人员在不同的一天进行删除，这还有优化必须发送的批处理数量的额外好处。当然，还有许多其他有效的策略。