mahout - 如何使用存储为 CSV 的矢量数据在 mahout 中执行 k 均值聚类？

Question

我有一个包含数据向量的文件，其中每一行都包含一个以逗号分隔的值列表。我想知道如何使用 mahout 对这些数据执行 k 均值聚类。维基中提供的示例提到了创建序列文件，但我不确定是否需要进行某种类型的转换才能获得这些序列文件。

Answer 1

我建议手动读取 CSV 文件中的条目，从中创建 NamedVectors，然后使用序列文件编写器将向量写入序列文件中。从那时起，KMeansDriver run 方法应该知道如何处理这些文件。

序列文件对键值对进行编码，因此键将是样本的 ID(它应该是一个字符串)，而值是向量周围的 VectorWritable 包装器。

这是一个关于如何执行此操作的简单代码示例:




    List<NamedVector> vector = new LinkedList<NamedVector>();
    NamedVector v1;
    v1 = new NamedVector(new DenseVector(new double[] {0.1, 0.2, 0.5}), "Item number one");
    vector.add(v1);

    Configuration config = new Configuration();
    FileSystem fs = FileSystem.get(config);

    Path path = new Path("datasamples/data");

    //write a SequenceFile form a Vector
    SequenceFile.Writer writer = new SequenceFile.Writer(fs, config, path, Text.class, VectorWritable.class);
    VectorWritable vec = new VectorWritable();
    for(NamedVector v:vector){
        vec.set(v);
        writer.append(new Text(v.getName()), v);
    }
    writer.close();

另外，我建议阅读 Mahout in Action 的第 8 章。 .它提供了有关 Mahout 中数据表示的更多详细信息。