gpt4 book ai didi

Hadoop 分布式文件系统

转载 作者:可可西里 更新时间:2023-11-01 14:23:22 25 4
gpt4 key购买 nike

HDFS 的构建理念是最高效的数据处理模式是一次写入、多次读取的模式。

我能举出 HDFS 如何一次写入多次就绪的实时示例吗?我想深入了解这个核心概念。

最佳答案

HDFS 应用程序需要一种一次写入多次读取的文件访问模型。文件一旦创建、写入和关闭就不需要更改。这种假设简化了数据一致性问题并实现了高吞吐量数据访问。 MapReduce 应用程序或网络爬虫应用程序非常适合此模型。(来源: HDFS Design)

HDFS 的构建理念是文件很少更新。相反,它们被读取为用于某些计算的数据,并且可能不时将附加数据附加到文件中。例如,航空公司预订系统不适合DFS,即使数据很大,因为数据被改变所以频繁地。(来源:Mining of Massive Datasets)

另见 Why HDFS is write once and read multiple times?

关于Hadoop 分布式文件系统,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/30827905/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com