gpt4 book ai didi

hadoop - HDFS的默认 block 大小为128 MB,而Hive的默认 strip 大小为250 MB

转载 作者:行者123 更新时间:2023-12-02 20:27:31 29 4
gpt4 key购买 nike

HDFS块大小默认为128 MB(来源:https://hadoop.apache.org/docs/r2.9.0/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml)

hive strip 大小默认为250 MB(来源:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+ORC#LanguageManualORC-FileStructure)

据我了解,HDFS的1个块中必须完全容纳1条。

我在这里想念什么吗?我的信息不正确吗?

您是否仅需要将HDFS配置为具有250 MB的块以适合 strip 化?

最佳答案

Orc文件格式可在 strip 级别拆分。这意味着不需要将一个 strip 大小适合到一个块中。

HDFS块大小在文件级别,而不管其格式如何。

关于hadoop - HDFS的默认 block 大小为128 MB,而Hive的默认 strip 大小为250 MB,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/55128225/

29 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com