sql-server - 有什么办法可以将数据从s3导入到mssql

Question

我在amazon EMR上运行了hadoop集群，该集群处理一些数据并将输出写入s3。现在，我想将该数据导入mssql。是否有任何开源连接器？或者我必须手动下载数据，将默认的分隔符“\ 001”更改为“，”，然后以mssql导入数据。

Answer 1

没有直接的方法。

在map的config中使用以下config写入输出，作为定界符

job.getConfiguration()。set(“mapreduce.textoutputformat.separator”，“，”);

最好的方法是将处理后的数据保留在s3中。您可以CSV到s3。编写一个php / java / shell以从s3下载数据并将其加载到mssql。

您可以使用s3download目录下载处理后的数据，然后使用批量插入将csv文件加载到mssql。