webhdfs - Azure Data Lake Store 并发性

Question

我一直在尝试使用 Azure Data Lake Store，并且在文档中 Microsoft 声称该系统针对低延迟小文件写入进行了优化。测试它我尝试对单个文件执行大量并行任务写入，但此方法在大多数情况下会失败并返回错误请求。此链接https://issues.apache.org/jira/secure/attachment/12445209/appendDesign3.pdf显示 HDFS 无法处理单个文件上的并发追加，因此我再次尝试使用 API 中找到的 ConcurrentAppendAsync 方法，但尽管该方法不会崩溃，但我的文件从未在存储中被修改。

Answer 1

您发现关于并行写入如何工作的信息是正确的。我假设您已经阅读了 documentation ConcurrentAppendAsync 的。

那么，在您的情况下，您是否使用相同的文件进行 Webhdfs 写入测试和 ConcurrentAppendAsync？如果是这种情况，那么 ConcurrentAppendAsync 将不起作用，如文档中所述。但在这种情况下你应该会遇到错误。

无论如何，请让我们知道发生了什么，我们可以进一步调查。

谢谢

萨钦·谢思

项目经理 - Azure 数据湖