azure - MS Azure 数据工厂 ADF 从 BLOB 到 Azure Postgres Gen5 8 核心的复制事件失败，连接因主机错误而关闭

Question

我正在使用 ADF 复制事件将 azure blob 上的文件复制到 azure postgres.. 我正在执行递归复制，即文件夹中有多个文件.. 很好.. 我必须复制的 5 个文件的大小总计约为6GB。运行 30-60 分钟后事件失败。使用 100-500 的写入批量大小但仍然失败。使用 4 或 8 或 auto DIUS，类似地尝试使用 1,2,4,8 或自动并行连接到 postgres。通常情况下，它似乎每个源文件使用 1 个。 azure postgres 服务器有 8 个核心，临时缓冲区大小为 8192 kb。允许的最大大小为 16000 kb。甚至尝试使用它，但我不断遇到两个错误。 MS 支持团队建议使用重试选项。如果我得到一些但低于 r 的错误，仍在等待 pg 团队的回复。

答案:{“错误代码”:“2200”，'message':''Type = Npgsql.NpgsqlException，Message =从流读取时出现异常，Source = Npgsql，''Type = System.IO.IOException，Message =无法从传输连接读取数据:强制现有连接被远程主机关闭。,Source=System,''Type=System.Net.Sockets.SocketException,Message=现有连接被远程主机强制关闭,Source=System,'','failureType': '用户错误','target': 'csv 到 pg 暂存数据迁移','细节': []}

或

对 objective-c sv 到 pg 暂存数据迁移的操作失败:'Type=Npgsql.NpgsqlException，Message=刷新流时出现异常，Source=Npgsql，''Type=System.IO.IOException，Message=无法将数据写入传输连接: 现有连接被远程主机强制关闭。,Source=System,''Type=System.Net.Sockets.SocketException,Message=现有连接被远程主机强制关闭,Source=System

Answer 1

我最近也遇到了这个问题，并联系了我们的微软代表，他们于 2020 年 1 月 16 日回复了我以下更新:

“This is another issue we found in the driver, we just finished our deployment yesterday to fix this issue by upgrading driver version. Now customer can have up to 32767 columns data in one batch size(which is the limitation in PostgreSQL, we can’t exceed that).

Please let customer make sure that (Write batch size* column size)< 32767 as I mentioned, otherwise they will face the limitation. “

“列大小”是指表中的列数。 “区域”(行写入批量大小 * 列数)不能大于 32,767。

我能够将复制事件上的 ADF 写入批量大小更改为动态公式，以确保每个表的最佳批量大小，具体如下:

@div(32766,length(pipeline().parameters.config)

pipeline().parameters.config 指的是包含有关表的列信息的数组。数组的长度 = 表的列数。

希望这有帮助!我能够通过 ADF 填充数据库(尽管很慢)...更喜欢基于 COPY 的方法以获得更好的性能。