hadoop - 如何将文件从Windows操作系统复制到cloudera？我也想将.csv文件导入到配置单元中，我该怎么做？

Question

如何将文件从Windows操作系统复制到cloudera？我也想将.csv文件导入到配置单元中，我该怎么做？请帮助我完成它。

Answer 1

要将文件导入Linux，您需要将其通过ftp下载到CentOS CLoudera盒中，或者挂载文件共享并从那里复制它。

进入CentOS / Cloudera框后，您可以打开Web浏览器并登录Cloudera Manager和Hue，这是Hive / Pig等的用户界面。顶部有图标，左起第三个是Beeswax / Hive。单击该图标，然后从那里开始。

将文件放在Cloudera框上后，您的另一选择是使用HERE特别是copyFromLocal找到的Hadoop fs命令

要将文件加载到Hive中，您可以执行以下两项操作之一。将其加载到单个大的暂存字段中，然后使用偏移量将其解析为所需的字段，如下所示:

LOAD DATA INPATH '/user/xyz/Inbound/files/target.csv' INTO TABLE 'myTable'

这会将整个记录加载到一个字段中。然后，您将在加载后执行以下操作。

INSERT OVERWRITE TABLE myTable SELECT
regexp_extract(col_value, '^(?:([^,]*)\,?)(1)', 1) New_Field_name1
regexp_extract(col_value, '^(?:([^,]*)\,?)(5)', 1) New_Field_name2
......
FROM myTable;

语法看起来很有挑战性，但还不错，您只需要阅读 HiveQL
Hue还允许您将CSV加载到各个字段中，但是您必须自己添加字段名称。我从来没有做过。