gpt4 book ai didi

python - 使用 Paramiko 将文件从 SFTP 传输到 S3

转载 作者:行者123 更新时间:2023-12-05 01:08:40 30 4
gpt4 key购买 nike

我正在使用 Paramiko 访问远程 SFTP 文件夹,并且我正在尝试编写将文件从 SFTP 中的路径传输的代码(使用文件元数据检查其上次修改日期的简单逻辑)到 AWS S3 存储桶.我已经使用 Boto3 设置了与 S3 的连接,但我似乎仍然无法编写一个工作代码来传输文件而不先将它们下载到本地目录。这是我尝试使用 Paramiko 的 getfo() 方法的一些代码。但它不起作用。

for f in files:
# get last modified from file metadata
last_modified = sftp.stat(remote_path + f).st_mtime
last_modified_date = datetime.fromtimestamp(last_modified).date()
if last_modified_date > date_limit: # check limit
print('getting ' + f)
full_path = f"{folder_path}{f}"
fo = sftp.getfo(remote_path + f,f)
s3_conn.put_object(Body=fo,Bucket=s3_bucket, Key=full_path)

谢谢!

最佳答案

使用 Paramiko SFTPClient.open获取可以传递给 Boto3 Client.put_object 的类文件对象:

with sftp.open(remote_path + f, "r") as f:
f.prefetch()
s3_conn.put_object(Body=f)

关于 f.prefetch() 的目的,请参阅 Reading file opened with Python Paramiko SFTPClient.open method is slow .


反方向见:
Transfer file from AWS S3 to SFTP using Boto 3

关于python - 使用 Paramiko 将文件从 SFTP 传输到 S3,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/65787027/

30 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com