gpt4 book ai didi

caching - 如何确保shdfs集中式缓存正常工作

转载 作者:行者123 更新时间:2023-12-02 21:39:29 28 4
gpt4 key购买 nike

我只是想知道hdfs dfs copyToLocal <file1> <file2>是否是测试hdfs读取缓存是否配置正确的好方法。

在我的实验中,在将<file1>目录添加到hdfs高速缓存后,我看不出将1gb <file1>复制到本地目录的合理改进。在将<file1>添加到缓存之前和之后,完成复制的时间约为17秒。

已验证<file1>通过listDirective -stats命令添加到缓存中。

感谢任何帮助。

最佳答案

包括hdfs dfsadmin -report的输出将很有用。

增加ulimit并设置dfs.datanode.max.locked.memory

http://hadoop.apache.org/docs/r2.3.0/hadoop-project-dist/hadoop-hdfs/CentralizedCacheManagement.html

关于caching - 如何确保shdfs集中式缓存正常工作,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/29858064/

28 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com