gpt4 book ai didi

hadoop - Spark中HIVE表的显示

转载 作者:可可西里 更新时间:2023-11-01 14:46:23 25 4
gpt4 key购买 nike

<分区>

我正在尝试读取 Spark 1.6.1 中的 HIVE 表。一切都按要求工作,只有 Spark 中的表显示是有线的。 HIVE 表由 1 亿条奇数记录组成。

import os
from pyspark import SparkContext
sc = SparkContext("local", "Simple App")
from pyspark.sql import HiveContext

hive_context = HiveContext(sc)

db= hive_context.sql("SELECT * FROM HIVE_DB.HIVE_TBL").show()

如您所见,我编写了查询以查看整个 1 亿条记录。但输出仍然是 20 条记录。我的问题:

  1. 这是 Spark 1.6.1 的某种限制吗?

  2. 如果是,是否已在更高版本的 Spark 中排除该限制?

  3. 如果以上都不是,那么有没有办法更改此配置以查看任何记录?

我也试过下面的查询::

SELECT * FROM HIVE_DB.HIVE_TBL LIMIT 200

还是一样的显示。

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com