ssh - Apache Airflow 无法通过 FTP/SFTP 建立与远程主机的连接

Question

我是 Apache Airflow 的新手，到目前为止，我已经能够解决遇到的问题。

我现在已经碰壁了。我需要通过 sftp 将文件传输到远程服务器。我做这件事没有任何运气。到目前为止，我已经通过各自的钩子(Hook)获得了 S3 和 Postgres/Redshift 连接，以便在各种 DAG 中工作。我已经能够使用 FTPHook 在本地 FTP 服务器上成功测试，但无法弄清楚如何使用 SFTP 连接到远程主机。

我能够使用 FileZilla 通过 SFTP 连接到远程主机，因此我知道我的凭据是正确的。

通过Google搜索我找到了SFTPOperator ，但我不知道如何使用它。我还发现了FTPSHook ，但我仍然无法让它工作。

我在 Airflow 日志中不断收到错误nodenamenor servnameprovided,ornotknown或常规操作超时。

有人能指出我正确的方向吗？我应该将 FTPSHook 与 SSH 或 FTP Airflow Conn 类型一起使用吗？或者我需要使用 SFTPOperator 吗？我也对如何在 Airflow 连接中设置凭据感到困惑。我使用 SSH 配置文件还是 FTP？

如果我可以提供更多可能有帮助的附加信息，请告诉我。

干杯!

Answer 1

SFTPOperator 使用 ssh_hook 底层来打开 sftp 传输 channel ，作为文件传输的基础。您可以自行配置ssh_hook，也可以通过ssh_conn_id提供连接ID。

op = SFTPOperator(
    task_id="test_sftp",
    ssh_conn_id="my_ssh_connection",
    local_filepath="",
    remote_filepath="",
    operation=SFTPOperation.PUT,
    dag=dag
)