azure - 具有计划任务和日志文件影响的 AzCopy

Question

我将创建一个 Windows 计划任务，每 3 小时触发一次，使用 AzCopy v8 将文件从 Azure 托管磁盘复制到 Azure 文件容器(此项目启动时 v10 仍处于预览状态)。

我的计划是排除旧文件(“/XO”标志)，以便仅复制新文件。

我担心我的方法在两种特定情况下可能无法正常工作，我希望有人能提供建议:

1) 如果先前的文件传输失败且文件在 Azure 文件容器中不完整，则当先前的日志文件存在时，使用“/XO”标志重新运行 AzCopy 时，是否会传输并完成此不完整/损坏的文件？

2) 当上一个命令未完成(即:存在日志文件)时重新运行 AzCopy 命令时，AzCopy 将完成日志文件中的所有文件并发送以下情况下不存在的任何新文件原始日志文件已创建？

Answer 1

AzCopy V10 将故障日志保存在 Windows 上的 %USERPROFILE.azcopy 文件夹中以及 Mac 和 Linux 上的 $HOME.azcopy 文件夹中。脚本中的任何失败都会在那里报告。让我知道你在那里看到了什么

每个日志(包含故障)的相应作业文件存储在名为“plans”的子文件夹中。可以重新运行与失败日志对应的作业。当前 AzCopy V10 文档的这一部分描述了该工作流程 - https://learn.microsoft.com/en-us/azure/storage/common/storage-use-azcopy-v10?toc=%2fazure%2fstorage%2fblobs%2ftoc.json#troubleshooting .

至于仅复制新文件。最佳的 AzCopy V10 方法。作业文件可能对要做什么有一定的了解。您始终可以再次复制同一组文件并使用 –overwrite=false 标志来避免覆盖现有文件。

其他信息:如果日志文件已存在，则 AzCopy 将根据日志文件恢复操作，这意味着它将从中断处恢复。如果您使用XO，并删除日志，它将检查所有正在上传的文件，如果它们的修改日期匹配，则不会上传。我希望这会有所帮助。