gpt4 book ai didi

hadoop - hadoop-如果一个文件只有一个记录并且文件的大小大于 block 大小,那么输入拆分形式会如何?

转载 作者:行者123 更新时间:2023-12-02 21:26:39 24 4
gpt4 key购买 nike

示例来说明问题-

我有一个500MB的文件(input.csv)

该文件中仅包含一行(记录)

那么如何将文件存储在HDFS块中以及如何计算输入拆分?

最佳答案

您可能需要检查以下链接:How does Hadoop process records split across block boundaries?注意所提到的“远程阅读”。

您的问题中提到的单个记录将存储在多个块中。但是,如果使用TextInputFormat进行读取,则映射器将必须跨块执行远程读取以处理记录。

关于hadoop - hadoop-如果一个文件只有一个记录并且文件的大小大于 block 大小,那么输入拆分形式会如何?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/35738523/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com