- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我正在尝试按照此网站上的本教程进行操作:https://beta.rstudioconnect.com/content/1518/notebook-classification.html#auc_and_accuracy
我不知道为什么,因为我刚刚粘贴了网站上的代码。我也不知道如何将列转换为正确的类型。有人有解决办法吗? :)
我的数据位于分区中,并且具有以下形状:
> partition
$train
# Source: table<sparklyr_tmp_100e145972790> [?? x 9]
# Database: spark_connection
Survived Pclass Sex Age SibSp Parch Fare Embarked Family_Sizes
<dbl> <chr> <chr> <dbl> <dbl> <dbl> <dbl> <chr> <chr>
1 0. 1 female 2. 1. 2. 152. S 1
2 0. 1 female 25. 1. 2. 152. S 1
3 0. 1 female 50. 0. 0. 28.7 C 0
4 0. 1 male 18. 1. 0. 109. C 1
5 0. 1 male 19. 1. 0. 53.1 S 1
6 0. 1 male 19. 3. 2. 263. S 2
7 0. 1 male 22. 0. 0. 136. C 0
8 0. 1 male 24. 0. 0. 79.2 C 0
9 0. 1 male 24. 0. 1. 248. C 1
10 0. 1 male 27. 0. 2. 212. C 1
# ... with more rows
然后我只应用一个模型,例如逻辑回归。
# Create table references
train_tbl <- partition$train
test_tbl <- partition$test
# Model survival as a function of several predictors
ml_formula <- formula(Survived ~ Pclass + Sex + Age + SibSp + Parch + Fare +
Embarked + Family_Sizes)
# Train a logistic regression model
ml_log <- ml_logistic_regression(train_tbl, ml_formula)
# Create a function for scoring
score_test_data <- function(model, data=test_tbl){
pred <- sdf_predict(model, data)
select(pred, Survived, prediction)
}
# Calculate the score and AUC metric
ml_score <- score_test_data(ml_log)
现在,ml_score 是:
> ml_score
# Source: lazy query [?? x 2]
# Database: spark_connection
Survived prediction
<dbl> <dbl>
1 0. 1.
2 0. 0.
3 0. 0.
4 0. 0.
5 0. 0.
6 0. 0.
7 0. 0.
8 0. 0.
9 0. 0.
10 0. 0.
# ... with more rows
现在我应用函数 ml_binart_classification_eval :
ml_binary_classification_eval(ml_score,'Survived','prediction')
然后我有错误:
Error: java.lang.IllegalArgumentException: requirement failed: Column prediction must be of type org.apache.spark.mllib.linalg.VectorUDT@f71b0bce but was actually DoubleType.
at scala.Predef$.require(Predef.scala:233)
at org.apache.spark.ml.util.SchemaUtils$.checkColumnType(SchemaUtils.scala:42)
at org.apache.spark.ml.evaluation.BinaryClassificationEvaluator.evaluate(BinaryClassificationEvaluator.scala:82)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:498)
at sparklyr.Invoke$.invoke(invoke.scala:102)
at sparklyr.StreamHandler$.handleMethodCall(stream.scala:97)
at sparklyr.StreamHandler$.read(stream.scala:62)
at sparklyr.BackendHandler.channelRead0(handler.scala:52)
at sparklyr.BackendHandler.channelRead0(handler.scala:14)
at io.netty.channel.SimpleChannelInboundHandler.channelRead(SimpleChannelInboundHandler.java:105)
at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:308)
at io.netty.channel.AbstractChannelHandlerContext.fireChannelRead(AbstractChannelHandlerContext.java:294)
at io.netty.handler.codec.MessageToMessageDecoder.channelRead(MessageToMessageDecoder.java:103)
at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:308)
at io.netty.channel.AbstractChannelHandlerContext.fireChannelRead(AbstractChannelHandlerContext.java:294)
at io.netty.handler.codec.ByteToMessageDecoder.channelRead(ByteToMessageDecoder.java:244)
at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:308)
at io.netty.channel.AbstractChannelHandlerContext.fireChannelRead(AbstractChannelHandlerContext.java:294)
at io.netty.channel.DefaultChannelPipeline.fireChannelRead(DefaultChannelPipeline.java:846)
at io.netty.channel.nio.AbstractNioByteChannel$NioByteUnsafe.read(AbstractNioByteChannel.java:131)
at io.netty.channel.nio.NioEventLoop.processSelectedKey(NioEventLoop.java:511)
at io.netty.channel.nio.NioEventLoop.processSelectedKeysOptimized(NioEventLoop.java:468)
at io.netty.channel.nio.NioEventLoop.processSelectedKeys(NioEventLoop.java:382)
at io.netty.channel.nio.NioEventLoop.run(NioEventLoop.java:354)
at io.netty.util.concurrent.SingleThreadEventExecutor$2.run(SingleThreadEventExecutor.java:111)
at io.netty.util.concurrent.DefaultThreadFactory$DefaultRunnableDecorator.run(DefaultThreadFactory.java:137)
at java.lang.Thread.run(Thread.java:748)
最佳答案
在当前版本中,您需要将原始预测列名称传递给 ml_binary_classification_evaluator()
。默认情况下它是 "rawPrediction"
文档 ?ml_evaluator
不正确,现已更新。
关于r - Sparklyr : Column prediction must be of type org. apache.spark.mllib.linalg.VectorUDT@f71b0bce 上的类型错误,但实际上是 DoubleType,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/50016746/
使用 Spark1.6.0 MLLib,我将构建一个模型(如 RandomForest)并保存到 hdfs,然后可以从 hdfs 加载随机森林模型以在没有 SparkContext 的情况下进行预测。
我在某处读到 MLlib 本地向量/矩阵目前正在包装 Breeze 实现,但是将 MLlib 转换为 Breeze 向量/矩阵的方法是 org.apache.spark.mllib 范围内的私有(pr
我正在尝试在 Web 项目中使用 spark mllib.jar。我下载了 spark-1.1.0-bin-hadoop2.4 并解压。找到如下jar: datanucleus-api-jdi-3.2
在尝试使用 Python 使用 Spark mllib 的 LinearRegressionWithSGD 进行线性回归时,我一直得到非常糟糕的结果。 我调查了类似的问题,如下所示: Spark -
我使用 mllib 创建了 Apache Spark 机器学习管道。评估器结果是一个带有“概率”列的 DataFrame,它是概率的 mllib 向量(类似于 scikit-learn 中的 pred
我正在尝试使用 Spark 的 MLlib 在 Java 上实现 KMeans,我偶然发现了一个问题,那就是,尽管我导入了正确的 jar,但我的编译器无法识别这一行 // Cluster the da
我正在使用 Scala 对其进行编程,但语言在这里并不重要。 在这种情况下,隐式反馈协作过滤器 (ALS.trainImplicit) 的输入是产品的 View : Rating("user1", "
假设我有一个Array[RDD]类型的对象data。我想学习此对象中每个 RDD 上的独立机器学习模型。例如,对于随机森林: data.map{ d => RandomForest.trainRegr
我想运行 SVM 回归,但输入格式有问题。现在,我为一位客户设置的训练和测试集如下所示: 1 '12262064 |f offer_quantity:1 has_bought_brand_compan
我在 Spark 控制台中尝试了以下代码 import org.apache.spark.mllib.linalg.{Matrix, Matrices, DenseMatrix} val dm: De
Spark 2.0.0 中是否有任何预构建的异常值检测算法/四分位距识别方法?我在这里找到了一些代码,但我认为这在spark2.0.0中尚不可用 谢谢 最佳答案 如果您没有找到预构建的方法,您可以执行
我正在使用 pySpark MLlib 和开箱即用的 ALS 方法进行协同过滤。只是想知道,Spark 是否提供了其他一些进行过滤(用于计算距离)的方法,例如 Pearson 或 Cosine 的?可
您好,我是 spark mllib 的新手。我已经有一个 r 模型。我正在尝试使用 spark mllib 的相同模型。这里是 R 模型代码。 R 代码。 delhi data = sc.textF
我正在学习如何将机器学习与 Spark MLLib 结合使用,目的是对推文进行情感分析。我从这里得到了一个情绪分析数据集: http://thinknook.com/wp-content/upload
我有一个具有这种结构的小文件“naivebayetest.txt” 10 1:1 20 1:2 20 1:2 根据这些数据,我试图对 vector (1) 进行分类。如果我正确理解贝叶斯 (1) 的标
“spark mllib”提供的机器学习算法,如 naive byes、random forest 能否在 spark 集群中以并行模式运行?或者我们需要更改代码?请提供一个并行运行的例子?不确定 M
我正在使用 Spark 1.5.0 MLlib 随机森林算法(Scala 代码)进行二分类。由于我使用的数据集高度不平衡,因此多数类以 10% 的采样率进行下采样。 是否可以在 Spark 随机森林训
我正在使用 Spark MLlib 1.4.1 创建决策树模型。现在我想从决策树中提取规则。 如何提取规则? 最佳答案 您可以通过调用 model.toDebugString() 以字符串形式获取完整
我正在尝试使用 MlLib 进行协作过滤。 我在 Apache Spark 1.0.0 中运行 Scala 程序时遇到以下错误。 14/07/15 16:16:31 WARN NativeCod
我正在尝试在 Spark 中实现的协作过滤算法,并遇到以下问题: 假设我用以下数据训练模型: u1|p1|3 u1|p2|3 u2|p1|2 u2|p2|3 现在,如果我用以下数据测试它: u1|p1
我是一名优秀的程序员,十分优秀!