个人中心
文章发布
退出
作者热门文章
- Java 双重比较
- java - 比较器与 Apache BeanComparator
- Objective-C 完成 block 导致额外的方法调用？
- database - RESTful URI 是否应该公开数据库主键？
26
4
我正在使用 SparkSession 来运行我的 spark 应用程序，因为我使用了很多 spark-sql 功能。我想使用 JavaSparkContext 从列表中创建 RDD。但是通过 Session 我只能得到一个普通 SparkContext。有没有办法朝这个方向转换上下文？
最佳答案
确定SparkContext后，您可以使用:
SparkContext sc = ...
JavaSparkContext jsc = JavaSparkContext.fromSparkContext(sc);
这将为您返回 JavaSparkContext 的新实例，但只要您维护 SparkContext 的一个 Activity 实例就没有问题。
关于java - 从 SparkSession 获取 JavaSparkContext，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/42582951/
26
4
0
我正在学习 Spark，对 Spark 的目录感到困惑。 我在SparkSession中找到了一个catalog，它是CatalogImpl的一个实例，如下 /** * Interface
我在 main() 中创建了一个 session 函数，像这样: val sparkSession = SparkSession.builder.master("local[*]").appName(
我创建了一个本地Spark集群和一个Spark session ，如下所示 val sparkConf = new SparkConf(true).setAppName("test").setMast
在我的应用程序中，我正在创建一个 SparkSession对象，然后尝试读取我的属性文件并在运行时设置属性。但它没有选择我在运行时传递的属性。 我正在以 YARN 集群模式提交我的应用程序 这是我在
如何在Java中使用builder创建sparkSession？我已经尝试过这个: sparkSession = SparkSession.builder() .master("local[*
我有一个 pyspark 2.0.0 脚本，其中定义了以下 session : spark = SparkSession \ .builder \ .appName("Python S
我的操作系统是 windows 10 from pyspark.conf import SparkConf sc = SparkContext.getOrCreate() spark = SparkS
我正在尝试运行一个简单的 Spark Structured Streaming 作业，但是在 SparkSession 上调用 getOrCreate() 时出现错误... 我这样创建 SparkSe
我的 Spark 代码充斥着这样的代码 object Transformations { def selectI(df:DataFrame) : DataFrame = { //
如何创建 sparksession？ scala> import org.apache.spark.SparkConf import org.apache.spark.SparkConf scala>
我正在尝试使用 SparkSession 将文件的 JSON 数据转换为带有 Spark Notebook 的 RDD。我已经有了 JSON 文件。 val spark = SparkSession
下面2个有什么区别？ object Example1 { def main(args: Array[String]): Unit = { try { v
我的 spark 应用程序中有一个从 MySQL 数据库加载数据的方法。该方法看起来像这样。 trait DataManager { val session: SparkSession def loa
我将https://github.com/apache/spark/blob/master/examples/src/main/scala/org/apache/spark/examples/ml/R
当我启动 pyspark 时，会自动生成一个 SparkSession 并作为“spark”提供。我想打印/查看 spark session 的详细信息，但在访问这些参数时遇到很多困难。 Pyspar
我有一些单元测试需要有自己的 sparkSession。我扩展了 SQLTestUtils，并覆盖了在许多其他 Spark 单元测试中使用的 beforeAll 和 afterAll 函数(来自源代码
我想创建一个 pyspark 数据框，其中一列指定名称包含一系列整数(这是为了输入 ALS 模型的 suggestForUserSubset 方法)。 所以我使用范围创建了一个整数列表，并发现 thi
I cannot import SparkSession from pyspark.sql,but i can import Row 我的spark-1.6.0-bin-hadoop2.6安装在doc
我在本地机器上运行 spark 2、hive、hadoop，我想使用 spark sql 从 hive 表中读取数据。 当我在默认 hdfs://localhost:9000 下运行 hadoop 时
我有一个pyspark程序，有多个独立的模块，每个模块都可以独立处理数据，以满足我的各种需求。但它们也可以链接在一起以在管道中处理数据。这些模块中的每一个都构建一个 SparkSession 并自行完
我是一名优秀的程序员,十分优秀！