gpt4 book ai didi

azure - Azcopy 数据移动的最佳替代方案是什么?

转载 作者:行者123 更新时间:2023-12-03 02:33:49 25 4
gpt4 key购买 nike

我有数百 TB 数据需要从 S3 移动到 Blob 存储。 Azcopy 有最好的替代品吗?因为 Azcopy 使用高带宽并且 CPU 使用率很高。我不想使用它。在 Azcopy v10 中,应用所需参数后仍然会出现这些问题。有人可以在这方面帮助我吗,我对其进行了研发,但没有找到任何替代方案。

最佳答案

我同意@S RATH 的观点。

对于大数据移动,Data Factory是 Azcopy 的最佳替代品。它具有更好的复制性能: enter image description here

数据工厂支持 Amazon S3 和 Blob 存储作为连接器。

启用复制后,您可以创建 Amazon S3 作为源数据集,并将 Blob 存储创建为接收器数据集。

引用这些教程:

  1. Copy data from Amazon Simple Storage Service by using Azure DataFactory :本文概述了如何从 Amazon Simple Storage Service (Amazon S3) 复制数据。要了解 Azure 数据工厂,请阅读介绍性文章。
  2. Copy and transform data in Azure Blob storage by using Azure DataFactory :本文概述了如何使用 Azure 数据工厂中的复制事件将数据从 Azure Blob 存储复制到 Azure Blob 存储。它还介绍了如何使用数据流事件来转换 Azure Blob 存储中的数据。要了解 Azure 数据工厂,请阅读介绍性文章。

数据工厂还提供了很多方法来提高数据复制性能,引用:Copy activity performance and scalability guide

我认为这会帮助您节省大量时间,众所周知,时间就是金钱。

关于azure - Azcopy 数据移动的最佳替代方案是什么?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/63996567/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com