个人中心
文章发布
退出
作者热门文章
- android - RelativeLayout 背景可绘制重叠内容
- android - 如何链接 cpufeatures lib 以获取 native android 库？
- java - OnItemClickListener 不起作用，但 OnLongItemClickListener 在自定义 ListView 中起作用
- java - Android 文件转字符串
27
4
我使用 SequenceFileInputFormat 作为我的 map 输入，其中键是文本，值是文本。共有 106 个文件，每个文件的大小在 500 MB 到 750 MB 之间。我查看了我的日志，其中显示拆分数为 290。
我想知道是否有办法增加拆分次数，因为我的作业运行时间很长。谢谢您的帮助。
最佳答案
您可以通过使用 mapreduce.input.fileinputformat.split.maxsize 属性减小每个拆分的最大大小来增加拆分的数量。要设置的值是以字节为单位的最大拆分大小。
关于java - 增加 SequenceFileInputFormat 的分割数，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/24835763/
27
4
0
我使用 SequenceFileInputFormat 作为我的 map 输入，其中键是文本，值是文本。共有 106 个文件，每个文件的大小在 500 MB 到 750 MB 之间。我查看了我的日志，
我正在尝试理解一个示例 hadoop 项目。它有以下代码块 jconf.setOutputKeyClass(Text.class); jconf.setOutputValueClass(Text.cl
我正在尝试运行电子书 Mahout in Action 中第 6 章( list 6.1 ~ 6.4)中的推荐系统示例。有两个映射器/缩减器对。这是代码: 映射器 - 1 public class W
我希望能够创建一个自定义的 InputFormat 来读取序列文件，但另外公开记录所在文件中的文件路径和偏移量。 退后一步，这里是用例:我有一个包含可变大小数据的序列文件。键大多是无关紧要的，值高达几
我是一名优秀的程序员,十分优秀！