sql - 如何在Hadoop中使用sql将所有联合与多个表一起使用？

Question

我试图在Hadoop中“联合” SAS中的所有表(使用sql)。我找到了所有线程上的线程，并能够使其在我的本地sas用户中运行，但是输出太大并且SAS崩溃，因此我必须将要合并的数据集放入Hadoop中，然后再将它们合并。这是我语法出现问题的地方。代码如下。我通常使用代码的开头和结尾部分来连接到Hadoop。

Proc SQL noerrorstop; 
Connect to HADOOP (server='X' port=X); 
Execute (set X) by HADOOP; 
Execute (drop Table X.CV_All) by HADOOP; 
Execute (create Table X.CV_All as
SELECT cv.* 
INTO: CV_All
FROM (SELECT * FROM X.CV_Dec
UNION ALL
SELECT * FROM X.CV_Jan
UNION ALL
SELECT * FROM X.CV_Feb) cv;
) by HADOOP;
DISCONNECT FROM HADOOP;
quit;

我收到以下错误:错误:执行错误:编译语句时出错:失败:ParseException行1:86在'INTO'附近的':'缺少EOF

先感谢您。

Answer 1

我认为Hadoop使用create table as而不是select into。这样行吗？

CREATE TABLE cv_all as
    SELECT cv.* 
    FROM (SELECT * FROM X.CV_Dec
          UNION ALL
          SELECT * FROM X.CV_Jan
          UNION ALL
          SELECT * FROM X.CV_Feb
         ) cv;

一些评论。首先，我认为该语句不需要子查询，但是我将其保留了下来。

其次，由于有多个具有相同格式的表，所以您错过了Hadoop的要点。您应该有一个带有日期列的表格。您可以按日期对数据进行分区。