gpt4 book ai didi

hadoop - HDFS 原子重命名文件系统依赖

转载 作者:可可西里 更新时间:2023-11-01 16:14:07 25 4
gpt4 key购买 nike

关于堆栈溢出的其他问题以及 hadoop 2.x 文档指出 HDFS 重命名操作是原子的。但是 hadoop 2.x 文档还说明了以下内容:

Note that atomicity of rename is dependent on the file system implementation. Please refer to the file system documentation for details Source: Hadoop 2.x FileContext documentation

该短语还暗示了对底层文件系统的依赖。直到知道我不可能理解或阐述那句话的确切含义。只是文件系统的重命名操作也必须是原子的吗?哪些常用的文件系统与这句话有冲突?

最佳答案

DistributedFileSystem 的重命名似乎是原子的。 rename(Path src, Path dst, final Options.Rename... options) 方法有一个 Javadoc 注释:
/**
* 此重命名操作保证是原子的。
*/
latest documentation还说原子重命名是与 Hadoop 兼容的文件系统的核心期望之一,因此我假设经常使用的文件系统(如 WebHdfsFileSystem 和 S3FileSystem)支持原子重命名。源代码有点难以理解,所以我不是 100% 确定。

关于hadoop - HDFS 原子重命名文件系统依赖,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/25662356/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com