apache - 如何从 tsv 文件创建用于文本分类的序列文件

Question

我有一个 tsv 文件，它在类、id 和文本中分开，例如

positive    2342    This is very good.
negative    4343    I hate it.

我正在尝试输入 Mahout 的 nbayes 来对文本部分进行正负分类。

我的第一次尝试是在每一行上使用 mahout seqdirectory 命令作为其类目录中的单独文件。这适用于少量数据，但最终在大约 30 GB 的数据时失败并出现 OutOfMemoryException。增加堆大小失败并显示“超出 GC 开销限制”可能是因为存在大量单独的文件。

我的第二次尝试是将数据加载到配置单元表并将其转换为序列文件，如此处所述 [0]，一开始似乎工作正常，但在创建矢量文件并拆分数据集之后trainnb 步骤失败并出现 ArrayIndexOutOfBounds 异常。

[0] http://files.meetup.com/6195792/Working%20With%20Mahout.pdf

现在我不知道要寻找什么。有什么想法可以将 tsv 文件或配置单元表转换为序列文件，因为它是由目录上的 seqdirectory 命令生成的？

Answer 1

如果其他人需要解决相同或相似问题的解决方案，我将自己回答:

我找到了这段代码片段 at github并根据我的需要修改它。此外，我必须修剪值字符串以获得正确的结果。