azure - 如何将数据附加到现有的Azure数据湖文件中？

Question

我正在尝试将文件附加到现有数据湖存储文件中。使用azure CLI命令我成功地将数据附加到文件中。但是附加的数据仅附加到单行中。因为该文件结构发生了变化。为此，我使用 Azure CLI 运行以下命令。

首先，我从 Azure 数据湖读取 test1.txt 并将输出存储到一个变量中。

$data = az dls fs preview --account xxxxadls --path /Input/xxx/dbo.test_1.txt  --output table

此后，我逐行读取记录并将其附加到数据湖上的现有测试文件中。

foreach($ds in $data) {
   az dls fs append --account xxxxadls --path /Input/xxx/dbo.test.txt --content $ds
}

最后，当我检查数据湖中的数据时，所有数据都附加在单行中，如下所示。

所以，任何人都知道如何在将数据附加到数据湖时打破界限。

Answer 1

这似乎是由代码 foreach($ds in $data) 中的 $ds 值缺少换行符引起的。

据官方博客PowerTip: New Lines with PowerShell ，您可以尝试在$ds末尾手动添加powershell的换行符，如下代码修复。

foreach($ds in $data) {
   az dls fs append --account xxxxadls --path /Input/xxx/dbo.test.txt --content "$($ds)`n"
}