hadoop - 当我使用命令将所有文件从本地文件系统/var/log/httpd 复制到 hadoop 分布式文件系统时

Question

嗨，你能帮我解决这个错误吗？

[hadoop@bigdata hadoop]$  bin/hdfs dfs -put /var/log/httpd  logs

15/05/10 10:51:06 WARN util.NativeCodeLoader:无法为您的平台加载 native-hadoop 库。在适用的情况下使用内置 java 类
放:访问文件时出错:/var/log/httpd

Answer 1

[hadoop@bigdata hadoop]$ bin/hdfs dfs -put /var/log/httpd logs

在 HDFS 中创建目录:

hdfs dfs -mkdir /logs

将文件复制到 HDFS:

hdfs dfs -put /var/log/httpd/*.* /logs/
注意:如果您无法复制到 HDFS，则可能是文件夹/var/log/httpd 的权限问题

如果您收到权限被拒绝错误，请尝试以下操作:

sudo mkdir -p /usr/local/httpdlogs sudo chown hadoop:hadoop -R /usr/local/httpdlogs sudo cp /var/log/httpd/*.* /usr/local/httpdlogs/ hdfs dfs -put /usr/local/httpdlogs/*.* /logs/