gpt4 book ai didi

hadoop - 具有任意,不可拆分,预先存在的二进制文件的Hadoop

转载 作者:行者123 更新时间:2023-12-02 21:47:56 25 4
gpt4 key购买 nike

我正在尝试对一大堆预先存在的二进制文件运行MapReduce作业。文件已经存在,我无法更改其格式。

我应该为此编写自己的InputFormat吗?如何制作一个简单的InputFormat,它仅返回InputStream以便处理文件?

最佳答案

我认为我们没有内置的InputFormat可以忽略拆分并将映射器提供给整个文件。

您将需要编写自己的自定义InputFormat。您可以找到here的详细信息

关于hadoop - 具有任意,不可拆分,预先存在的二进制文件的Hadoop,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/23565648/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com