json - 使用 get_json_object 在 HIVE 中创建 View 后查询性能？-6ren

json - 使用 get_json_object 在 HIVE 中创建 View 后查询性能？

转载作者：可可西里更新时间：2023-11-01 16:50:58

27

4

Hive get_json_object 函数是否解析每个 JSON 对象以进行字段解析，即使我们在 JSON 数据之上创建 View 之后也是如此？

我们在使用 SERDE 读取 JSON 数据时遇到问题。出于这个原因，我们想使用这个 udf 并在数据之上创建 View 。

问题是担心将来使用此路径查询数据可能会很慢。

如果在 Hive 表之上创建 View 将在创建 View 时只解析一次数据，这将很有帮助。

Hive 是否支持这个？

Hive 专家对此有何想法？

最佳答案

我相信 Hive 确实支持观点。不过，如果您担心它的速度，您可以加载 impala。它使用与 hive 相同的元数据和表，但用户查询速度要快得多。

关于json - 使用 get_json_object 在 HIVE 中创建 View 后查询性能？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/33286225/

27

4

0

json - 如何使用 Hive (get_json_object) 查询结构数组？
我将以下 JSON 对象存储在 Hive 表中: { "main_id": "qwert", "features": [ { "scope": "scope1",
arrays - 如何在 Apache Spark 中分解 get_json_object
我的数据框的列之一中有以下字符串: row1:[{"key":"foo"},{"key":"bar"},{"key":"baz"}] row2:[{"key":"foo"},{"key":"bar"}
hadoop - 配置单元 get_json_object() : How to check if JSON field exists?
我正在使用 Hive 和 get_json_object() 函数来查询存储为 JSON 的数据。 JSON 有一个 coordinate 键和两个字段(纬度和经度)，如下所示: "coordi
python - 仅从 PySpark 中的 get_json_object 获取 NULL 值
我有一个带有列“c_temperature”的 Spark Dataframe(在 Palantir Foundry 中)。此列在每一行中包含一个具有以下架构的 JSON 字符串: {"TempCel
json - 如何使用 Hive (get_json_object) 或 json serde 查询结构数组
我正在尝试查询存储在我的 HDFS 上的以下 JSON 示例文件 { "tag1": "1.0", "tag2": "blah", "tag3": "blahblah",
json - 使用 get_json_object 在 HIVE 中创建 View 后查询性能？
Hive get_json_object 函数是否解析每个 JSON 对象以进行字段解析，即使我们在 JSON 数据之上创建 View 之后也是如此？我们在使用 SERDE 读取 JSON 数据时遇
json - 在 Spark 或 Hive 中调用 get_json_object() 时无法获取值
json 字符串 '{"5.1": 1,"s":2}' 调用时 select get_json_object('{"5.1": 1,"s":2}',concat("$.","5.1")) return