gpt4 book ai didi

c# - 有没有办法直接从 C# 中的 Amazon S3 制表符分隔文件批量插入 Amazon Aurora RDS?

转载 作者:太空狗 更新时间:2023-10-29 21:33:04 25 4
gpt4 key购买 nike

我目前正在使用 Amazon Redshift 存储来自 50 - 100 GB(即数百万行)制表符分隔文件的聚合数据,这些文件每天被推送到 Amazon S3 中的存储桶。

Redshift 通过提供一个copy 命令使这一切变得简单,该命令可以直接定位到 S3 存储桶以批量加载数据。

出于同样的目的,我想使用 Amazon Aurora RDS。目前,关于 Aurora 的文档充其量是很薄的。有没有办法直接从 S3 批量加载到 Aurora?

据我所知,MySql 的 LOAD DATA INFILE 需要磁盘上文件的路径,我想我可以通过将 tsv 下载到 AWS 实例并运行命令来解决这个问题在那里,虽然那并不理想。

我还尝试将 tsv 读入内存并构造多个 insert 语句。这显然又慢又笨重。

想法?

2016 年 11 月更新:

从 Aurora 1.8 版开始,您现在可以使用以下命令批量加载 S3 数据:

从 S3 加载数据

从 S3 加载 XML

Aurora Load From S3


2018 年 7 月更新:

更新了 AWS 文档链接。感谢 Mark Holmes 捕获了它。


最佳答案

您可以使用 AWS Data Pipeline。甚至还有一个用于将数据从 S3 加载到 RDS 的模板:

http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-template-copys3tords.html

关于c# - 有没有办法直接从 C# 中的 Amazon S3 制表符分隔文件批量插入 Amazon Aurora RDS?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/32635829/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com