gpt4 book ai didi

java - R 和 Java + WEKA 在计算最近邻方面的差异

转载 作者:行者123 更新时间:2023-11-30 10:34:23 25 4
gpt4 key购买 nike

我正在调试一个库和另一个涉及计算 k 最近邻的实现。我用一个我很难理解的例子来提出问题。

首先我会用一个玩具示例来解释演示,然后显示将导致问题的输出。

任务

此处的演示读取一个包含 10 个二维数据点的 csv 文件。任务是找到所有数据点到第一个数据点的距离,并以非递减顺序列出所有点和到第一个数据点的距离。

基本上,这是基于 kNN 的算法的一个组成部分,我在执行 Java 版本(库的组成部分)和用 R 编写它时发现了差异。为了证明差异,请考虑以下代码。

代码一:Java + WEKA

以下代码使用 Java 和 WEKA .我用过LinearNNSearch计算最近的邻居。使用它的原因是因为 LinearNNSearch在我正在调试和/或与 R 代码进行比较的特定库中使用。

import weka.core.converters.CSVLoader;
import weka.core.Instances;
import weka.core.DistanceFunction;
import weka.core.EuclideanDistance;
import weka.core.Instances;
import weka.core.neighboursearch.LinearNNSearch;
import java.io.File;

class testnn
{
public static void main (String args[]) throws Exception
{
// Load csv
CSVLoader loader = new CSVLoader ();
loader.setSource (new File (args[0]));

Instances df = loader.getDataSet ();

// Set the LinearNNSearch object
EuclideanDistance dist_obj = new EuclideanDistance ();

LinearNNSearch lnn = new LinearNNSearch ();
lnn.setDistanceFunction(dist_obj);
lnn.setInstances(df);
lnn.setMeasurePerformance(false);

// Compute the K-nearest neighbours of the first datapoint (index 0).
Instances knn_pts = lnn.kNearestNeighbours (df.instance (0), df.numInstances ());

// Get the distances.
double [] dist_arr = lnn.getDistances ();

// Print
System.out.println ("Points sorted in increasing order from ");
System.out.println (df.instance (0));
System.out.println ("V1,\t" + "V2,\t" + "dist");
for (int j = 0; j < knn_pts.numInstances (); j++)
{
System.out.println (knn_pts.instance (j) + "," + dist_arr[j]);
}
}
}

代码 2:R

为了计算距离,我使用了 dist .使用 daisy也得到了相同的答案。

// Read file
df <- read.csv ("dat.csv", header = TRUE);

// All to all distances, and select distances of points from first datapoint (index 1)
dist_mat <- as.matrix (dist (df, diag=TRUE, upper=TRUE, method="euclidean"));
first_pt_to_all <- dist_mat[,1];

// Sort the datapoints and also record the ordering
sorted_order <- sort (first_pt_to_all, index.return = TRUE, decreasing = FALSE);

// Prepare dataset with the datapoints ordered in the non-decreasing order of the distance from the first datapoint
df_sorted <- cbind (df[sorted_order$ix[-1],], dist = sorted_order$x[-1]);

// Print
print ("Points sorted in increasing order from ");
print (df[1,]);

print (df_sorted);

输出

为了便于比较,我将两个输出并排放置。两个表都以非递减顺序显示点数。

  • 左侧表 由 R 生成,R 输出中最左边的列表示原始数据点索引。
  • 右边的表是由 Java + WEKA 生成的。
     R                                              Java + WEKA[1] "Points sorted in increasing order from "   Points sorted in increasing order from         V1       V21 0.560954 0.313231                      0.560954,0.313231         V1        V2      dist              V1,        V2,     dist5  0.866816  0.476897 0.3468979          0.866816,0.476897,0.328072192806562410 0.262637  0.554558 0.3837079          0.262637,0.554558,0.378716589166753164  1.038752  0.396173 0.4849436          1.038752,0.396173,0.435172447975437752  0.330345 -0.137681 0.5064604          1.053889,0.486349,0.47951843598170837  1.053889  0.486349 0.5224507          1.113799,0.42203,0.5067820099662626  1.113799  0.422030 0.5634490          0.330345,-0.137681,0.54482564343594638  0.416051 -0.338858 0.6679947          0.416051,-0.338858,0.74118410200528563  0.870481 -0.302856 0.6894709          0.870481,-0.302856,0.74255417675631349  1.386459  0.425101 0.8330507          1.386459,0.425101,0.7451474897289354

问题

距离明显不同,一些数据点排序也不同。

可视化

我绘制了 10 个点并根据它们的排序顺序对它们进行了编号,由图中的数字表示。

  • 黑色 文本表示从 R
  • 生成的排序数据集中绘制的点
  • 红色 文本表示从 Java + WEKA 生成的排序数据集中绘制的点

enter image description here

因此 4、5 和 6 不同。如果两个数据点等距,那么这可以解释不同的排序,但没有两个点与第一个数据点等距。

数据集

"V1", "V2"0.560954,0.3132310.330345,-0.1376810.870481,-0.3028561.038752,0.3961730.866816,0.4768971.113799,0.422031.053889,0.4863490.416051,-0.3388581.386459,0.4251010.262637,0.554558

问题

  • 为什么 dist 列中的距离不同,从而导致最近邻点的排序不同?
  • 您是否可以在代码或我使用库的方式中找出任何错误?我是否正确使用了这些(尤其是 WEKA)?

如果有什么不清楚或需要更多信息,请发表评论。

最佳答案

如评论中所述,R 距离是正确的。问题是 WEKA 默认值。你用过:

EuclideanDistance dist_obj = new EuclideanDistance ();

WEKA 中的欧几里德距离具有带默认值的参数。其中之一是 DontNormalize=FALSE,即默认情况下,WEKA 在计算距离之前对数据进行归一化。我对 Java 帮助不大,所以我将在 R 中执行此操作。如果缩放数据,使每个变量的最小值为零,最大值为一,您将获得 WEKA 提供的距离度量。

NData = Data
NData[,1] = (NData[,1]-min(NData[,1]))/(max(NData[,1])-min(NData[,1]))
NData[,2] = (NData[,2]-min(NData[,2]))/(max(NData[,2])-min(NData[,2]))
dist(NData)

这些距离与您为 WEKA 显示的距离相匹配。要获得与 R 相同的结果,请查看 WEKA 中 EuclideanDistance 的参数。

关于java - R 和 Java + WEKA 在计算最近邻方面的差异,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/41680764/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com