hadoop - 将数据从远程服务器加载到配置单元

Question

hive 加载:

如何使用以下命令将数据从外部服务器或远程机器加载到配置单元表。通常，以下语句将从 hadoop 本地边缘节点工作。

加载数据本地路径“本地文件系统”覆盖到表 hive_table

Answer 1

Hive 在内部处理 HDFS 中存在的模式，在 HDFS 中创建一个位置，然后将所有数据移动到该 HDFS 位置。

现在创建一个 Hive 表，它将读取/指向该位置。

如果是 Cloudera/HortonWorks 等任何商业发行版，那么 Apache 色相 是你的救星。

如果不是商业发行版，请使用 scp 协议(protocol)创建 hdfs 文件，然后使用下面提到的 Hive 语法:

hive> CREATE  TABLE `remote_file`(
    >   `Temperature` int, 
    >   `Year` string)
    > ROW FORMAT DELIMITED 
    >   FIELDS TERMINATED BY ',' 
    >   LINES TERMINATED BY '\n' 
    > LOCATION
    >   'hdfs:///tmp/remote_file';