r - R 和 WEKA 上的支持向量机

Question

我的数据在 e1071 包中的 R 上使用 svm 生成了奇怪的结果，因此我尝试检查 R svm 是否可以生成与 WEKA(或 python)相同的结果，因为我过去一直使用 WEKA。

我用谷歌搜索了这个问题，发现一个问题与我有完全相同的困惑，但没有答案。 This is the question .

所以我希望我能在这里得到答案。

为了让事情变得更简单，我还使用了 iris 数据集，并使用整个 iris 数据训练了一个模型(WEKA 中的 SMO 和 R 包 e1071 中的 svm)，并对其自身进行了测试。

WEKA 参数:

weka.classifiers.functions.SMO -C 1.0 -L 0.001 -P 1.0E-12 -N 0 -V 10 -W 1 -K "weka.classifiers.functions.supportVector.RBFKernel -G 0.01 -C 250007"

除了默认之外，我将内核更改为RBFKernel，以使其与R函数保持一致。

结果是:

  a  b  c   <-- classified as
 50  0  0 |  a = Iris-setosa
  0 46  4 |  b = Iris-versicolor
  0  7 43 |  c = Iris-virginica

R 脚本:

library(e1071)
model <- svm(iris[,-5], iris[,5], kernel="radial", epsilon=1.0E-12)
res <- predict(model, iris[,-5])
table(pred = res, true = iris[,ncol(iris)]) 

结果是:

            true
pred         setosa versicolor virginica
  setosa         50          0         0
  versicolor      0         48         2
  virginica       0          2        48

我不是机器学习人员，所以我猜测这两种方法的默认参数非常不同。例如，e1071 的默认 epsilon 为 0.01，WEKA 的默认值为 1.0E-12。我尝试阅读手册，想让所有参数都相同，但很多参数似乎与我没有可比性。

谢谢。

Answer 1

引用http://weka.sourceforge.net/doc.dev/weka/classifiers/functions/SMO.html获取 SMO 的 RWeka 参数，并使用 ?svm 查找 e1071 svm 实现的相应参数。

根据 ?svm，R e1071 svm 是 libsvm 的接口(interface)，并且似乎使用标准 QP 求解器。

For multiclass-classification with k levels, k>2, libsvm uses the ‘one-against-one’-approach, in which k(k-1)/2 binary classifiers are trained; the appropriate class is found by a voting scheme. libsvm internally uses a sparse data representation, which is also high-level supported by the package SparseM.

相反？RWeka 中的 SMO

implements John C. Platt's sequential minimal optimization algorithm for training a support vector classifier using polynomial or RBF kernels. Multi-class problems are solved using pairwise classification.

因此，这两种实现总体上是不同的(因此结果可能会略有不同)。但如果我们选择相同的相应超参数，混淆矩阵几乎是相同的:

library(RWeka)
model.smo <- SMO(Species ~ ., data = iris,
control = Weka_control(K = list("RBFKernel", G=2), C=1.0, L=0.001, P=1.0E-12, N=0, V=10, W=1234))
res.smo <- predict(model.smo, iris[,-5])
table(pred = res.smo, true = iris[,ncol(iris)]) 

             true
pred         setosa versicolor virginica
  setosa         50          0         0
  versicolor      0         47         1
  virginica       0          3        49

library(e1071)
set.seed(1234)
model.svm <- svm(iris[,-5], iris[,5], kernel="radial", cost=1.0, tolerance=0.001, epsilon=1.0E-12, scale=TRUE, cross=10)
res.svm <- predict(model.svm, iris[,-5])
table(pred = res.svm, true = iris[,ncol(iris)])  

           true
pred         setosa versicolor virginica
  setosa         50          0         0
  versicolor      0         49         1
  virginica       0          1        49

另请参阅:[ https://stats.stackexchange.com/questions/130293/svm-and-smo-main-differences][1]还有这个[https://www.quora.com/Whats-the-difference-between-LibSVM-and-LibLinear][1]