python - 如何通过 python 将 JSON 数据附加到存储在 Azure Blob 存储中的现有 JSON 文件？

Question

我一直在网上寻找将数据附加到 Azure 存储中现有 JSON 文件的方法，我还检查了 this帖子，但没有帮助。我有数百万条实时的 JSON 记录，这些记录可在 python 列表中找到，我想将这些 JSON 记录附加到 azure blob 中的现有 JSON 文件中。虽然我的主要数据源是 KafkaConsumer，并且我正在使用来自 Kafka 主题的数据，并且我希望该数据以 JSON 格式存储到 azure 存储中。因为，我正在使用 python，我不想在本地硬盘上读/写，我只是想如果我有 JSON 记录列表，我可以直接附加到已经在 azure 容器中的 JSON 文件。任何人都可以帮助我或提供一些引用，这对我来说将是很高兴的。谢谢

Answer 1

我尝试在我的系统中将数据附加到现有文件中，我使用了虚拟 json 数据进行测试，您可以传递您的 json 数据

from azure.storage.blob import AppendBlobService
import json

def append_data_to_blob(data):
  service = AppendBlobService(account_name="appendblobex", 
            account_key="key")
  data1 = {}
  data1['hi'] = 'hello'
  json_data = json.dumps(data1)
  data = json.dumps(data1)
  print(data1)
  try:
    service.append_blob_from_text(container_name="test", blob_name="test1", text = data)
  except:
     #To create the blob and append data
    #service.create_blob(container_name="test", blob_name="test1")
    service.append_blob_from_text(container_name="test", blob_name="test1", text = data)
  print('Data Appended to Blob Successfully.')


append_data_to_blob("data")

输出

下载后数据附加在azure存储文件中打开文件并查看数据