c# - 如何从Azure Blob存储中的Hadoop AvroContainer删除记录？

Question

我一直在以 AVRO 格式将来自不同设备的消息存储在 Azure Blob Storage 中。

其中一个设备发生故障，最终转储了“垃圾”消息。现在有一个任务是从特定设备搜索和删除消息。因此我写了下面的代码。

循环遍历容器中的每个Blob并查找消息

  foreach (var container in client.ListContainers(null, ContainerListingDetails.All))
  {
         if (permissions.PublicAccess == BlobContainerPublicAccessType.Blob || permissions.PublicAccess == BlobContainerPublicAccessType.Container)
         {
              //for each blob
              foreach (var blobItem in container.ListBlobs(null, true))
              {
                     if (blobItem is CloudBlockBlob)
                     {
                         string blobname = ((CloudBlockBlob)blobItem).Name;
                         var blob = container.GetBlockBlobReference(blobname);

                          using (var myBlob = blob.OpenRead())
                          {
                             using (var reader = AvroContainer.CreateGenericReader(myBlob))
                             {
                                 while (reader.MoveNext())
                                 {
                                    foreach (dynamic avroRecord in reader.Current.Objects)
                                    {
                                          var eventData = new AvroEventData(avroRecord);
                                          var jsonString = Encoding.UTF8.GetString(eventData.Body);

                                           JObject _json = JObject.Parse(jsonString);

                                           //DeserializeObject and check the device ID
                                           // if found, then delete
                                           // but how do I delete? do I get reference here?
                                    }
                                 }
                              }
                        }
                    }
              }
         }
  }

上面的代码，可以根据消息ID找到消息，但是现在怎么删除呢？ reader可能无法帮助删除!

注意:我不想删除整个blob，因为它可能包含来自其他工作设备的消息。

Answer 1

我之前也遇到过类似的问题(但不是avro格式)，经过一些研究和谷歌搜索后，我发现当blob托管在azure中时很难修改它。

我的解决方案是，将文件下载到本地，然后根据您的代码对其进行修改，最后可以将修改后的文件上传到azure blob存储中。所有步骤都可以通过代码完成。

希望有帮助。