gpt4 book ai didi

hive - 根据组将数据发送到 HDFS 文件系统

转载 作者:行者123 更新时间:2023-12-04 21:43:43 25 4
gpt4 key购买 nike

我在 cassandra 中有一个大数据集,我使用 hive 分析数据并将数据发送到 hdfs 文件系统。我想知道是否可以按 appName 分组,并根据 appName 我将数据发送到不同的 hdfs 文件系统(请注意应用名称不是预定义的)

应用名称数据

a1 abc

a1 pqr

a1 qwe

a2 我的

a2数据

a2 abc

a2bnm

a3 ewr

a3asf

a4 abc123

a1 数据集 ->/apps/a1
a2 数据集 ->/apps/a2

最佳答案

动态分区:https://cwiki.apache.org/confluence/display/Hive/Tutorial#Tutorial-DynamicpartitionInsert可能适合你。
您将无法在 HDFS 中选择路径,但不同的应用程序将进入不同的文件夹。

关于hive - 根据组将数据发送到 HDFS 文件系统,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/18961399/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com