powershell - 使用 powershell 将项目从一个资源组复制到 Azure 数据湖存储中的另一个资源组

Question

我想要的只是将数据从开发环境复制到 Azure 数据湖存储中的生产环境。 没有 QA..

这些是 .CSV 文件，环境只不过是不同的资源组。我尝试使用命令复制类似资源组中的数据

Move-AzureRmDataLakeStoreItem -AccountName "xyz" -path "/Product_S
ales_Data.csv" -destination "/mynewdirectory

效果很好，但是，我希望数据移动在两个不同的资源组之间进行。

我遇到的

可能的解决方案是使用导出命令将文件下载到本地计算机中，然后使用导入命令并将它们上传到不同的资源组。

Import-AzureRmDataLakeStoreItem
Export-AzureRmDataLakeStoreItem

使用 PowerShell 的原因是自动化导入文件/跨不同环境复制文件的过程，这只不过是使用 PowerShell 自动化整个部署过程。

上面提到的解决方案可能会帮助我处理该过程，但我正在寻找不需要本地计算机或虚拟机的更好的解决方案。

Answer 1

您确实有很多选择，以下所有选择都将能够实现您想要实现的目标。请记住，您需要检查每种方法的局限性并权衡成本。例如，Azure 函数的执行时间有限(默认最长为 5 分钟)和本地存储限制。

1. Azure Logic Apps (从配置中拖出)
2. Azure Data Factory (使用数据湖衬里服务)
3. Azure Functions(使用 Data Lake REST API)
4. 您可以使用Azure Automation和 PowerShell 来自动化您当前的方法。
5. 使用ADLCopy在湖泊(和其他商店)之间复制

选择哪个可能是固执己见且主观的。