c# - 使用 DataLakeStore FileSystem ManagementClient 上传到 Azure Data Lake 的 30Mb 限制

Question

我在使用时收到错误

_adlsFileSystemClient.FileSystem.Create(_adlsAccountName, destFilePath, stream, overwrite)

将文件上传到数据湖。文件超过 30Mb 时会出现该错误。它适用于较小的文件。

错误是:

at Microsoft.Azure.Management.DataLake.Store.FileSystemOperations.d__16.MoveNext() --- End of stack trace from previous location where exception was thrown --- at System.Runtime.CompilerServices.TaskAwaiter.ThrowForNonSuccess(Task task) at System.Runtime.CompilerServices.TaskAwaiter.HandleNonSuccessAndDebuggerNotification(Task task) at Microsoft.Azure.Management.DataLake.Store.FileSystemOperationsExtensions.d__23.MoveNext() --- End of stack trace from previous location where exception was thrown --- at System.Runtime.CompilerServices.TaskAwaiter.ThrowForNonSuccess(Task task) at System.Runtime.CompilerServices.TaskAwaiter.HandleNonSuccessAndDebuggerNotification(Task task) at Microsoft.Azure.Management.DataLake.Store.FileSystemOperationsExtensions.Create(IFileSystemOperations operations, String accountName, String directFilePath, Stream streamContents, Nullable1 overwrite, Nullable1 syncFlag) at AzureDataFunctions.DataLakeController.CreateFileInDataLake(String destFilePath, Stream stream, Boolean overwrite) in F:\GitHub\ZutoDW\ADF_ProcessAllFiles\ADF_ProcessAllFiles\DataLakeController.cs:line 122

还有人遇到过这种情况吗？或者观察到类似的行为？我通过将文件分成 30Mb 的片段并上传来解决这个问题。

但是，从长远来看，这是不切实际的，因为原始文件为 380Mb，并且可能更大。从长远来看，我不希望我的数据湖中有 10-15 个经过剖析的文件。我想作为单个文件上传。

我可以通过门户界面将完全相同的文件上传到数据湖。

Answer 1

它回答了here .

目前大小限制为 30000000 字节。您可以通过创建初始文件然后追加来解决此问题，两者的流大小都小于限制。