gpt4 book ai didi

hadoop - 为什么 alluxio 文件一直保持 TO_BE_PERSISTED 状态

转载 作者:可可西里 更新时间:2023-11-01 15:52:37 25 4
gpt4 key购买 nike

我已经部署了一个基于HDFS 集群的Alluxio 集群。当我使用 Alluxio Native Java Api 将一些文件写入 Alluxio 并设置 writetype ASYNC_THROUGH 时,文件(即使只有 1G)似乎没有写入 HDFS,几天后一直保持 TO_BE_PERSISTED 状态。

最佳答案

我找到了答案。我发现日志“错误 DefaultAsyncPersistHandler - 并非所有文件 block /test/sample_data/order_detail_titile_2.0.txt 都存储在同一个 worker 上”,当使用 ASYNC_THROUGH 时,Alluxio 请求一个 worker 中的所有文件拦截器。我用CACHE_THROUGH的地方没有问题

关于hadoop - 为什么 alluxio 文件一直保持 TO_BE_PERSISTED 状态,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/47530681/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com