个人中心
文章发布
退出
作者热门文章
- html - 出于某种原因，IE8 对我的 Sass 文件中继承的 html5 CSS 不友好？
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景？
25
4
我必须获取数据类型并进行大小写匹配并将其转换为某种所需的格式。但是 org.apache.spark.ml.linalg.VectorUDT 的用法表明 VectorUDT 是 private。此外，我特别需要使用 org.apache.spark.ml.linalg.VectorUDT 而不是 org.apache.spark.mllib.linalg.VectorUDT。有人可以建议如何解决这个问题吗？
最佳答案
对于 org.apache.spark.ml.linalg 类型，您应该使用 org.apache.spark.ml.linalg.SQLDataTypes 指定架构 which provide singleton instances of the private UDT types :
MatrixType对于矩阵 (org.apache.spark.ml.linalg.Matrix)。
scala> org.apache.spark.ml.linalg.SQLDataTypes.MatrixType.getClass
res0: Class[_ <: org.apache.spark.sql.types.DataType] = class org.apache.spark.ml.linalg.MatrixUDT
VectorType对于向量 (org.apache.spark.ml.linalg.Vector)。
scala> org.apache.spark.ml.linalg.SQLDataTypes.VectorType.getClass
res1: Class[_ <: org.apache.spark.sql.types.DataType] = class org.apache.spark.ml.linalg.VectorUDT
关于apache-spark - VectorUDT 用法，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/45868854/
25
4
0
我正在使用 Spark cluster 2.0，我想从 org.apache.spark.mllib.linalg.VectorUDT 转换一个向量至org.apache.spark.ml.linal
我必须获取数据类型并进行大小写匹配并将其转换为某种所需的格式。但是 org.apache.spark.ml.linalg.VectorUDT 的用法表明 VectorUDT 是 private。此外，
我正在尝试使用 pyspark.ml.evaluation 二进制分类指标，如下所示 evaluator = BinaryClassificationEvaluator(rawPredictionCo
我正在尝试了解 DataFrame 列类型。当然，DataFrame 不是物化对象，它只是 Spark 的一组指令，将来要转换成代码。但我想象这个类型列表代表了在执行操作时可能在 JVM 中实现的对象
我想将一个大的 spark 数据框转换为超过 1000000 行的 Pandas。我尝试使用以下代码将 spark 数据帧转换为 Pandas 数据帧: spark.conf.set("spark.s
我正在编写一个 UDAF，将其应用于 Vector 类型的 Spark 数据框列 (spark.ml.linalg.Vector)。我依赖于spark.ml.linalg包，这样我就不必在datafr
我在使用一个热编码器时遇到 scala spark 中的 ml.crossvalidator 问题。 这是我的代码 val tokenizer = new Tokenizer().
我正在使用 Spark 集群，我想通过执行以下代码来实现线性回归: data = sqlContext.read.format("com.databricks.spark.csv") \ .o
我想在 pyspark (spark 2.1.1) 中运行此代码: from pyspark.ml.feature import PCA bankPCA = PCA(k=3, inputCol="fe
在 2.0.0 版中使用 pySpark ML API 作为线性回归简单示例时，我在新的 ML 库中遇到错误。 代码是: from pyspark.sql import SQLContext sqlC
我有一个情绪分析程序，可以使用循环中性网络预测给定的电影评论是正面的还是负面的。我正在为该程序使用 Deeplearning4j 深度学习库。现在我需要将该程序添加到 apache spark 管道。
我是 Spark 的新手，我正在尝试将 StandardScaler() 应用于 DataFrame 中的列。 +---------------+ | DF_column| +-------
我正在尝试按照此网站上的本教程进行操作:https://beta.rstudioconnect.com/content/1518/notebook-classification.html#auc_an
我是一名优秀的程序员,十分优秀！