python - 使用Python将文件从SFTP服务器复制到HDFS

Question

我正在使用mget参数使用lftp将文件从远程位置复制到本地计算机。然后我正在使用hdfs dfs -cp localfolder/localfile to hdfsLocation。我希望能够将这些文件复制到HDFS，而不必将其存储在本地计算机上。

我已经尝试过下面的代码，但想通过本地计算机绕过该副本。我也试过了

subprocess.Popen("""lftp sftp://login:password@adressLocal -e "lcd hdfs://serverHDFS:8020/projects/folder/child/tmp/;mget /var/projects/stockage/folder/child/.success/"""+fileName.ext+""";bye " """,
                 shell=True,stdout=subprocess.PIPE,stderr=subprocess.STDOUT)

但它不起作用

谢谢你的帮助

import os
import subprocess
s=subprocess.Popen("""lftp sftp://login:password!@adress-e "lcd /projects/folder/child/tmp/;mget /var/projects/stockage/folder/child/.success/"""+fileName.ext+""";bye " """,shell=True,stdout=subprocess.PIPE,stderr=subprocess.STDOUT)
cmd = 'hdfs dfs -put /var/projects/folder/file.ext hdfs://server:8020/projects/folder/tmp/'
subprocess.call(cmd, shell=True)

Answer 1

我建议您安装Apache Nifi，StreamSet或KNIME，它们允许您以图形方式将FTP内容传输到HDFS(以及其他更高级的ETL工作负载)

StreamSets或KNIME将在幕后为您生成Spark代码