hadoop - 用另一个查询的结果填充Hive SQL查询的列

Question

Apache Hive(版本1.2.1000.2.6.5.0-292)

我有一个表A，其中有很多列。我试图仅从A中选择我需要的列，然后将它们保留在键值对表B中。(下面的示例)。我可以查询B来获取所需的列，但是我正在努力将此sql查询的输出作为A中使用的查询的列。有没有办法在一个sql查询中做到这一点？我可以编写一个python程序来执行此操作以创建SQL，但是我希望只在一个查询中使用它，以简化最终用户。

表的DDL

create table A (
a1 string,
a2 string,
a3 string,
b1 string,
b2 string,
b3 string,
)

create table B (
key string,
value string,
)

表B(键值表)中的数据。应当注意，不能通过 value列中的相应值来推断 key列中的数据。为了简单起见，我将它们写为 a1,a2。

key,value
a,a1
a,a2
a,a3
b,b1
b,b2
b,b3

查询以获取正确的列= select value from B where key='a'
当您将此查询的结果与表A查询合并时，应获得此sql语句

select a1,a2,a3 from A

如您所见，我们正在尝试导出表A中使用的列

我的第一次尝试不起作用:

select 
(select value from B where key='a')
from A

什么是正确的方法？

提前致谢!

Answer 1

您可以尝试生成查询并写入文件。完成后，您可以使用source命令调用现有的配置单元hql:

这是通过举例说明的示例查询:

创建表和虚拟数据:

CREATE EXTERNAL TABLE IF NOT EXISTS a_table(
a1 string,
a2 string,
a3 string,
b1 string,
b2 string,
b3 string)
LOCATION '/user/xyz/a_table';

insert into table a_table
 VALUES ('a11', 'a12', 'a13','b11','b12','b13'), ('a21', 'a22', 'a23','b21','b22','b23');


CREATE EXTERNAL TABLE IF NOT EXISTS b_table (
key string,
value string
)
LOCATION '/user/xyz/b_table';

insert into table b_table
 VALUES ('a', 'a1'), ('a','a2'),('a','a3'), ('b', 'b1'), ('b','b2'),('b','b3');

验证数据到表中:

select * from a_table;
OK
a11     a12     a13     b11     b12     b13
a21     a22     a23     b21     b22     b23
Time taken: 0.124 seconds, Fetched: 2 row(s)


select * from b_table;
OK
a       a1
a       a2
a       a3
b       b1
b       b2
b       b3
Time taken: 0.15 seconds, Fetched: 6 row(s)

这是 hive hql部分，用于根据给定的键生成语句，然后使用 source运行查询:

insert overwrite local directory '/home/xyz/temp_hql/out'
select concat_ws(" ", "select",concat_ws("," , collect_list(value)), "from a_table") 
from b_table where key = 'a';

source /home/xyz/temp_hql/out/000000_0;
OK
a11     a12     a13
a21     a22     a23

insert overwrite local directory '/home/xyz/temp_hql/out' 
select concat_ws(" ", "select",concat_ws("," , collect_list(value)), "from a_table") 
from b_table where key = 'b';

source /home/xyz/temp_hql/out/000000_0;
OK
b11     b12     b13
b21     b22     b23