gpt4 book ai didi

scala - 将几个变量从 scala/spark-shell 提供给配置单元表

转载 作者:可可西里 更新时间:2023-11-01 14:45:27 27 4
gpt4 key购买 nike

我在 scala/spark-shell 中有 4 个变量。

S1 = (a string) = "age"
S2 = (another string) = "school"
D1 = (a double) = 0.50
D2 = (another double) = 0.75

我需要像这样将其提供给配置单元表:

因子系数

0.50岁

学校 0.75

我能够从 scala/spark-shell 创建表:

val hiveContext = new org.apache.spark.sql.hive.HiveContext(sc)

//后续作品

hiveContext.sql("create table students_table (factor STRING, coeff FLOAT) stored as orc")

但是,我不知道如何将这些值插入到配置单元表中。

我玩过insert和update语句。我也玩过数据框。我也尝试过将数据转储到 hdfs 中的文本文件中(首先将它们转换为 RDD),但格式以这样一种方式出现,我无法将其用作配置单元表的饲料。

我确信我错过了关于如何做到这一点的整个想法。

真诚感谢任何帮助。

最佳答案

val input = sc.parallelize(Array((s1,D1), (s2, D2)))
case class StudentTable(factor : String, coeff : Double)
import sqlContext.implicits._
val df = input.map(x=>StudentTable(x._1, x._2)).toDF
df.saveAsTable("students_table", org.apache.spark.sql.SaveMode.Append)

关于scala - 将几个变量从 scala/spark-shell 提供给配置单元表,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/35504983/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com