个人中心
文章发布
退出
作者热门文章
- android - RelativeLayout 背景可绘制重叠内容
- android - 如何链接 cpufeatures lib 以获取 native android 库？
- java - OnItemClickListener 不起作用，但 OnLongItemClickListener 在自定义 ListView 中起作用
- java - Android 文件转字符串
24
4
我正在创建配置单元上下文并查询配置单元表，如下所示，spark 上下文是使用 yarn-cluster 创建的
HiveContext hv = new HiveContext(sc)
hv.sql("use schema")
val df = hv.sql(query)
但是它返回一个空数据框。
但是，如果我直接在配置单元环境中运行查询，它会返回有效值。可能是什么问题
最佳答案
一般来说，spark中的dataframe可以看作是一个map来检索/计算数据，直到需要数据时才会具体化。为了获取数据，您可以使用 df.collect()
关于hadoop - Hivecontext.sql 返回空结果 spark，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/43673837/
24
4
0
我想知道spark如何处理这些情况以及使用什么会更快更好。数据帧中的原生计数和 Spark sql 中的计数哪个更好？我认为这不仅仅涉及计数。 hc = HiveContext(sc) t0 = ti
我试图使用 HiveContext 对象从我的 spark 代码运行一些配置单元查询。当我使用 spark submit 从命令行运行它时，它工作正常。但是，当我尝试从 oozie 工作流运行相同的内
您好，我正在尝试使用 Apache Hive 和 Apache Spark 运行一个简单的 Java 程序。程序编译没有任何错误，但在运行时出现以下错误: Exception in thread "m
我尝试将数据帧存储到Spark 1.3.0(PySpark)中的持久性Hive表中。这是我的代码: sc = SparkContext(appName="HiveTest") hc = HiveCon
我试图在单元测试中做到这一点: val sConf = new SparkConf() .setAppName("RandomAppName") .setMaster("local") val
我正在尝试使用 Spark 中的 HiveContext 访问 hive 中映射的 hbase 表。但是我收到了 ClassNotFoundException 异常。下面是我的代码。 import o
我已经使用 Maven 构建了 Spark-1.2.1，以使用以下命令启用 Hive 支持:mvn -Pyarn -Phadoop-2.4 -Dhadoop.version=2.4.0 -Phive
当我运行以下命令时: val df1 = sqlContext.read.format("orc").load(myPath) df1.columns.map(m => println(m)) 这些列
我正在尝试使用 Spark 中的 HiveContext 访问 hive 中映射的 hbase 表。但是我收到了 ClassNotFoundException 异常。下面是我的代码。 import o
我有一个“iplRDD”，它是一个 json，我执行以下步骤并通过 hivecontext 进行查询。我得到了结果，但没有列标题。有没有办法获取列名和值？ val teamRDD = hiveCont
我正在创建配置单元上下文并查询配置单元表，如下所示，spark 上下文是使用 yarn-cluster 创建的 HiveContext hv = new HiveContext(sc) hv.sql(
我是 Spark 的新手。我发现使用 HiveContext 我们可以连接到 hive 并运行 HiveQL。我运行它并且成功了。 我怀疑Spark是不是通过spark jobs来实现的，也就是说，它
例如，我想传递给 Spark SQL 的 Hive HQL 语句很少: set parquet.compression=SNAPPY; create table MY_TABLE stored as
我正在尝试使用我的 HiveContext 运行插入语句，如下所示: hiveContext.sql('insert into my_table (id, score) values (1, 10)'
我是 zeppelin notebook 的新手。但我注意到一件事，与 spark-shell 不同，当我启动笔记本时，hiveContext 不会在 zeppelin 中自动创建。 当我尝试在 ze
我在 Apache Spark 1.3 中使用 HiveContext，因为我需要它更好的查询支持(相对于 1.3 的 SQLContext)。 我正在 Azure“HDInsight”Spark 群
我在 Apache Spark 1.3 中使用 HiveContext，因为我需要它更好的查询支持(相对于 1.3 的 SQLContext)。 我正在 Azure“HDInsight”Spark 群
我使用 pyspark 进行一些数据处理，并将 HiveContext 用于窗口函数。 为了测试代码，我使用了 TestHiveContext，基本上是从 pyspark 源代码中复制实现: http
我正在使用 Jupyter 笔记本对 pySpark 进行分析。我的代码最初使用 sqlContext = SQLContext(sc) 构建数据帧，但现在我已切换到 HiveContext，因为我将
我想为任何新添加/删除的分区修复配置单元表。而不是在配置单元中手动运行 msck 修复命令，有什么方法可以在 java 中实现这一点？我正在尝试从 hdfs 和配置单元中获取所有分区Metastore
我是一名优秀的程序员,十分优秀！