Bash脚本上传文件到hdfs

Question

我正在尝试创建一个 bashscript 以将文件从本地边缘节点文件系统上传到 hdfs。我想知道在文件中添加时间戳的好方法。在让时间戳工作时遇到一些问题。

#!/bin/bash
echo Running upload script to hdfs...
timestamp(){date +"%T"}

hdfs dfs -put /home/myname/folder1/* /user/myname/example_1_$(timestamp).txt
hdfs dfs -put /home/myname/folder2/* /user/myname/example_2_$(timestamp).txt

Answer 1

使用 date +%T 是不可能的，因为命令结果将包含 : 字符，如 11:12:45，并且使用 : 字符创建文件名在 HDFS 中是不可能的。参见 Hadoop-3275 .

在脚本中尝试这个命令，

hdfs dfs -put /home/myname/folder1/* /user/myname/example_1_`date +%H%M%S`.txt

这将创建类似 /user/myname/example_1_111245.txt 的文件名。