sql - 尽管有大量可用内存，但 SSIS 内存不足

Question

它从谚语开始:

[Notes - F1 [107]] Error: An error occurred with the following error message: "System.OutOfMemoryException: Insufficient memory to continue the execution of the program. (SSIS Integration Toolkit for Microsoft Dynamics 365, v10.2.0.6982 - DtsDebugHost, v13.0.1601.5)".

但即使在它自己的诊断中，它也显示有足够的​​内存可用(是的，我的系统上有 32GB):

Error: The system reports 47 percent memory load. There are 34270687232 bytes of physical memory with 18094620672 bytes free. There are 4294836224 bytes of virtual memory with 981348352 bytes free. The paging file has 34270687232 bytes with 12832284672 bytes free.

信息消息报告内存压力:

Information: The buffer manager failed a memory allocation call for 506870912 bytes, but was unable to swap out any buffers to relieve memory pressure. 2 buffers were considered and 2 were locked. Either not enough memory is available to the pipeline because not enough are installed, other processes were using it, or too many buffers are locked.

在此示例中，我目前将最大行数设置为 500，缓冲区大小设置为 506,870,912。我试过最大缓冲区大小，但立即失败，最小缓冲区大小仍然会引发错误。我摆弄过各种尺寸，但它永远无法接近处理整个数据集。将 DefaultBufferSize 设置得较低时出现的错误是:

[Notes - F1 [107]] Error: An error occurred with the following error message: "KingswaySoft.IntegrationToolkit.DynamicsCrm.CrmServiceException: CRM service call returned an error: Failed to allocate a managed memory buffer of 536870912 bytes. The amount of available memory may be low. (SSIS Integration Toolkit for Microsoft Dynamics 365, v10.2.0.6982 - DtsDebugHost,

我一直在寻找有关如何调整它的资源，但找不到与拥有 32GB RAM 的 64 位 Window 10 机器(而不是服务器)相关的任何内容。

关于更多上下文，我正在使用 Kingsway 将笔记从一个 CRM D365 环境迁移到另一个环境。带附件的注释是导致问题的原因。

属性:

执行

来源

目的地

Answer 1

我以前遇到过这个问题，它不是物理内存(即 RAM)，而是存储数据库的物理磁盘空间。检查存储数据库和事务日志文件的驱动器上有多少可用硬盘空间 - 很可能它已满，因此无法分配任何额外的磁盘空间。

在这种情况下，引用“内存”的错误消息有点误导。

更新

我认为这实际上是管道缓冲区中的数据过多造成的。您将需要查看扩展缓冲区的内存分配(即 DefaultBufferSize)，或者您需要查看流经管道的数据。典型的原因可能是许多列的 NVARCHAR() 字符数很大。使用 MultiCast 复制行只会使问题复杂化。关于您使用的第 3 方组件，您的猜测与我的一样好，因为我没有使用过它们。