c# - SqlClient 返回奇怪的 OOM 异常？ C#.NET 4

Question

我正在开发一些每天处理大量数据的企业应用程序，为此它有用 C# .NET 4 编写的 WINDOWS SERVICE 应用程序。它还连接到 SQL SERVER 2008 R2，但由于某种原因(随机) 在存储 JSON 序列化数据的同步表中抛出这个错误:

Exception of type 'System.OutOfMemoryException' was thrown.
at System.Data.SqlClient.TdsParser.ReadPlpUnicodeChars(Char[]& buff, Int32 offst, Int32 len, TdsParserStateObject stateObj)
at System.Data.SqlClient.TdsParser.ReadSqlStringValue(SqlBuffer value, Byte type, Int32 length, Encoding encoding, Boolean isPlp, TdsParserStateObject stateObj)
at System.Data.SqlClient.TdsParser.ReadSqlValue(SqlBuffer value, SqlMetaDataPriv md, Int32 length, TdsParserStateObject stateObj)
at System.Data.SqlClient.SqlDataReader.ReadColumnData()
at System.Data.SqlClient.SqlDataReader.ReadColumn(Int32 i, Boolean setTimeout)
at System.Data.SqlClient.SqlDataReader.GetValueInternal(Int32 i)
at System.Data.SqlClient.SqlDataReader.GetValues(Object[] values)

此表是用于保存 LOB 数据的相当通用的表:

CREATE TABLE [dbo].[SyncJobItem](
 [id_job_item] [int] IDENTITY(1,1) NOT NULL,
 [id_job] [int] NOT NULL,
 [id_job_item_type] [int] NOT NULL,
 [id_job_status] [int] NOT NULL,
 [id_c] [int] NULL,
 [id_s] [int] NULL,
 [job_data] [nvarchar](max) NOT NULL,
 [last_update] [datetime] NOT NULL,
CONSTRAINT [PK_SyncJobItem] PRIMARY KEY CLUSTERED)

失败的 LOB 记录在 job_data 列中有 36.231.800 个字符的数据，这是(如果我们说 1 个字符是 2 个字节，UTF-8)大约 70MB 的数据，这不是很多。

请考虑更改工作数据存储(例如磁盘)或类似的东西对我来说不是一个选项。我想修复此错误，所以如果有人知道任何事情，请提供帮助!

此错误也随机发生在同一数据上，运行的系统是 vmWare-vCloud，我认为是一些大型 Blade 系统。我们有大约 6GB 的 RAM 专用于我们的虚拟机(服务最多使用大约 1-2GB)，服务被编译为 x64，系统是 x64 Windows 2008R2 Standard。我已经确保没有单个对象的内存超过 2GB，所以不是这样，而且 SqlClient 内部也有错误，在我 15 年的开发经验中，我从未见过它，谷歌什么也没发现。此外，错误不在数据库端，因为数据库有超过 32GB 的 RAM 并且仅使用 20GB 峰值。对于我在这个系统中使用的不常见的细节，是多线程和每个作业步骤之后的 GC.Collect()(数据有多个步骤)。

编辑:

这是解决这个问题的完整代码:

    internal static void ExecuteReader(IConnectionProvider conn, IList destination, IObjectFiller objectBuilder, string cmdText, DbParameterCollection parameters, CommandType cmdType, int cmdTimeout)
    {
        IDbCommand cmd = CreateCommand(conn.DBMS, cmdText, parameters, cmdType, cmdTimeout);
        cmd.Connection = conn.Connection;

        bool connIsOpennedLocally = EnsureOpenConnection(conn);
        try
        {
            AssignExistingPendingTransactionToCommand(conn, cmd);
            using (IDataReader reader = cmd.ExecuteReader(CommandBehavior.SingleResult))
            {
                objectBuilder.FillCollection(reader, destination);
                PopulateOutputParameterValues(parameters, cmd);
            }
        }
        finally
        {
            CloseConnectionIfLocal(conn, connIsOpennedLocally);
            cmd.Dispose();
        }
    }

...

    private void FillFromAlignedReader(ICollection<TEntity> collection, IDataReader openedDataReader, IDbTable table)
    {
        // Fastest scenario: data reader fields match entity field completely.
        // It's safe to reuse same array because GetValues() always overwrites all members. Memory is allocated only once.
        object[] values = new object[openedDataReader.FieldCount];
        while (openedDataReader.Read())
        {
            openedDataReader.GetValues(values);
            TEntity entity = CreateEntity(table, EntityState.Synchronized, values);
            collection.Add(entity);
        }
    }

Answer 1

对于那些经过大量测试和 MSDN ( link ) 遇到此问题的人，我得出的结论是，SqlDataReader 在正常读取模式下能够读取的最大单个字段大小约为 70MB在 x64 机器上，在此之后它需要将其 SqlCommand 切换为 CommandBehavior.SequentialAccess 并流式传输字段内容。

这样工作的示例代码:

    ...
    behaviour = CommandBehavior.SequentialAccess;
    using (IDataReader reader = cmd.ExecuteReader(behaviour))
    {
       filler.FillData(reader, destination);
    }

当你在循环中读取数据时，你需要按顺序获取列，当你到达 BLOB 列时，你应该调用这样的东西(取决于数据类型):

    ...
    private string GetBlobDataString(IDataReader openedDataReader, int columnIndex)
    {
        StringBuilder data = new StringBuilder(20000);
        char[] buffer = new char[1000];
        long startIndex = 0;

        long dataReceivedCount = openedDataReader.GetChars(columnIndex, startIndex, buffer, 0, 1000);
        data.Append(buffer, 0, (int)dataReceivedCount);
        while (dataReceivedCount == 1000)
        {
            startIndex += 1000;
            dataReceivedCount = openedDataReader.GetChars(columnIndex, startIndex, buffer, 0, 1000);
            data.Append(buffer, 0, (int)dataReceivedCount);
        }

        return data.ToString();
    }

    private byte[] GetBlobDataBinary(IDataReader openedDataReader, int columnIndex)
    {
        MemoryStream data = new MemoryStream(20000);
        BinaryWriter dataWriter = new BinaryWriter(data);

        byte[] buffer = new byte[1000];
        long startIndex = 0;

        long dataReceivedCount = openedDataReader.GetBytes(columnIndex, startIndex, buffer, 0, 1000);
        dataWriter.Write(buffer, 0, (int)dataReceivedCount);
        while (dataReceivedCount == 1000)
        {
            startIndex += 1000;
            dataReceivedCount = openedDataReader.GetBytes(columnIndex, startIndex, buffer, 0, 1000);
            dataWriter.Write(buffer, 0, (int)dataReceivedCount);
        }

        data.Position = 0;
        return data.ToArray();
    }

这应该适用于大约 1GB-1.5GB 的数据，之后它会在单个对象无法保留足够大小的连续内存块时中断，因此要么直接从缓冲区刷新到磁盘，要么将数据拆分为多个较小的对象.