个人中心
文章发布
退出
作者热门文章
- html - 出于某种原因，IE8 对我的 Sass 文件中继承的 html5 CSS 不友好？
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景？
25
4
我正在使用Spark 2.0 Scala。我可以使用toDF()方法将RDD转换为DataFrame。
val rdd = sc.textFile("/pathtologfile/logfile.txt")
val df = rdd.toDF()
最佳答案
它来自这里:
Spark 2 API
说明:如果导入sqlContext.implicits._，则有一个隐式方法将RDD转换为DataSetHolder(rddToDataSetHolder)，然后在toDF上调用DataSetHolder
关于scala - Spark 2.0 Scala-RDD.toDF()，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/38968351/
25
4
0
我已附加错误“value toDF is not a member of org.apache.spark.rdd.RDD”的代码片段。我正在使用 scala 2.11.8 和 Spark 2.0.0
例如， val columns=Array("column1", "column2", "column3") val df=sc.parallelize(Seq( (1,"example1", Seq
我正在尝试加载 SVM 文件并将其转换为 DataFrame，以便可以使用 Spark 的 ML 模块 (Pipeline ML)。我刚刚在 Ubuntu 14.04 上安装了新的 Spark 1.5
我正在使用Spark 2.0 Scala。我可以使用toDF()方法将RDD转换为DataFrame。 val rdd = sc.textFile("/pathtologfile/logfile.tx
以下代码以前对我有用，但现在不行了。我得到了错误: AttributeError: 'DataFrame' object has no attribute 'toDF' if __name__ ==
在我的项目中，我的外部库是 spark-assemble-1.3.1-hadoop2.6.0，如果我按“.”，IDE 会通知我 toDF()，但它告诉我，当我编码时无法解析符号 toDF() 。很抱歉
toDF() 方法的文档指定我们可以将选项参数传递给此方法。但它没有指定这些选项可以是什么( https://docs.aws.amazon.com/glue/latest/dg/aws-glue-a
def main(args: Array[String]) { val conf = new SparkConf().setMaster("local").setAppName("test")
我正在尝试执行以下代码但收到此错误:value toDF is not a member of Seq[(Int,String)] . 我在 main 之外有 case 类，我导入了 implicit
我是初学者，刚开始使用spark。我在 pySpark (Scala 2.11.8) 中执行了以下查询 dic = [{"a":1},{"b":2},{"c":3}] spark.paralleliz
我正在尝试使用 toDF() 将 Spark RDD 转换为 Spark SQL 数据帧.我多次成功使用此函数，但在这种情况下，我收到编译器错误: error: value toDF is not a
我的代码在 spark-shell 中运行良好: scala> case class Person(name:String,age:Int) defined class Person scala> v
这个问题已经有答案了: 'PipelinedRDD' object has no attribute 'toDF' in PySpark (2 个回答) 已关闭 5 年前。 我有一个形式为 RDD[(
我已经在其他 SO 帖子中读到过这个问题，但我仍然不知道我做错了什么。原则上，添加这两行: val sqlContext = new org.apache.spark.sql.SQLContext(s
这个问题在这里已经有了答案: 'PipelinedRDD' object has no attribute 'toDF' in PySpark (2 个回答) 3年前关闭。 from pyspark
我有一些在 spark-shell 中没有问题的 spark scala 代码。 这个问题的核心就在这几条线上。我想在数据框中添加一行: object SparkPipeline { def ma
异常(exception): val people = sc.textFile("resources/people.txt").map(_.split(",")).map(p => Person(p(
我是 Spark 的新手。当我使用 toDF() 函数将 RDD 转换为数据帧时，它似乎计算了我之前编写的所有转换函数，如 map() 。我想知道 PySpark 中的 toDF() 是转换还是 Ac
似乎他们都返回了一个新的DataFrame 源代码: def toDF(self, *cols): jdf = self._jdf.toDF(self._jseq(cols)) ret
为什么下面的结果会出错？ scala> import sqlContext.implicits._ import sqlContext.implicits._ scala> val rdd = sc.
我是一名优秀的程序员,十分优秀！