azure - 将不同类型的文件从 Gen1 Azur Lake 复制到具有属性的 Azur Gen2 Lake(如上次更新)

Question

我需要将所有数据从 Azur 数据湖 Gen1 迁移到 Lake Gen2。在我的湖中，我们混合了不同类型的文件(.txt、.zip、.json 等)。我们希望将它们按原样移至 GEN2 湖。除此之外，我们还希望将所有文件的上次更新时间保留为 GEN1 Lake。

我希望在这个用例中使用 ADF。但为此我们需要定义数据集，并且为了定义数据集我们必须定义数据格式(Avro、json、xml、二进制等)。由于我们混合了不同类型的数据，我尝试使用二进制格式。但对于二进制格式，目标处的所有文件都具有内容类型“application/octate-stream”。也无法保留文件更新时间。

Answer 1

正如您所说，当文件复制到 Data Lake Gen2 时，所有文件属性都会发生更改，例如“上次修改”时间。

与文件上传一样，这些文件是在 Gen 2 中新创建的，Azure 将为它们创建新属性。这就是为什么我们不能保留第一代中的旧属性。

当使用二进制格式作为数据集时，所有内容类型都是application/octate-stream，我们也无法更改它。

Gen1和Gen 2之间的属性差异(我将文件从Gen 1复制到Gen 2):

除非我们下载“word.csv”文件并重新上传，否则内容类型将更改为 application/vnd.ms-excel:

HTH。