java - 在java中使用k-means算法执行文档聚类的步骤

Question

我需要在 Java 中使用 k-means 算法执行文档聚类的步骤。轻松提供步骤对我来说非常有用。提前致谢。

Answer 1

你需要对每个文档中的单词进行统计，并制作一个通常称为词袋的特征。在此之前，您需要删除停用词(很常见但不会提供太多信息，例如 the、a 等)。您通常可以从文档中获取前 n 个常用词。统计这些词出现的频率，存储在n维 vector 中。

对于距离测量，您可以使用余弦 vector 。

这是一维数据点的 2 均值的简单算法。您可以轻松地将其扩展到 k 均值和 n 维数据点。如果你想要 n dim 实现，请告诉我。

double[] x = {1,2,2.5,3,3.5,4,4.5,5,7,8,8.5,9,9.5,10};<p></p>

<p>double[] center = new int[2];
double[] precenter = new int[2];
ArrayList[] cluster = new ArrayList[2];</p>

<p>//generate 2 random number from 0 to x.length without replacement
int rand = new int[2];
Random rand = new Random();
rand[0] = rand.nextInt(x.length + 1);
rand[1] = rand.nextInt(x.length + 1);</p>

<p>while(rand[0] == rand[1] ){
  rand[1] = rand.nextInt(x.length + 1);
}
center[0] = x[rand[0]];
center[1] = x[rand[1]];
//there is a better way to generate k random number (w/o replacement) just search.</p>

<p>do{
  cluster[0].clear();
  cluster[1].clear();
  for(int i = 0; i < x.length; ++i){
          if(abs(x[i]-center1[0]) <= abs(x[i]-center1[1])){
             cluster[0].add(x[i]);
          }
          else{
             cluster[0].add(x[i]);
          }
          precenter[0] = center[0];
          precenter[1] = center[1];<br/>
          center[0] = mean(cluster[0]);
          center[1] = mean(cluster[1]);
 }
} while(precenter[0] != center[0] && precenter[1] != center[1]);</p>

<p>double mean(ArrayList list){
    double mean = 0;
    double sum = 0;
    for(int index=0;index
}</p>

<p></p>

集群 [0] 和集群 [1] 包含集群中的点，中心 [0]、中心 [1] 是 2 个均值。你需要做一些调试，因为我已经用 R 编写了代码，只是为你将它转换成 java:)