c# - 导致内存不足异常的大字符串数组 (C#)

Question

我编写了一个 c# win 表单应用程序，允许用户打开日志(文本)文件并在数据网格中查看日志行。记录数据的应用程序格式，以便用户可以过滤、搜索等。

我遇到的问题是，当用户打开大于 300mb 的日志文件时，应用程序会抛出内存不足异常。

该应用程序首先将所有日志行加载到一个字符串数组中，然后遍历日志行，将日志条目对象添加到列表中。

var allLogLines = File.ReadAllLines(logPath).ToList();
var nonNullLogLines = allLogLines.Where(l => !string.IsNullOrEmpty(l));

this.ParseLogEntries(nonNullLogLines.ToArray());

这个初始步骤(将日志数据加载到字符串数组中)在任务管理器中占用了大约 1GB 的内存。

internal override void ParseLogEntries(string[] logLines)
{
    this.LogEntries = new List<LogEntry>();
    this.LogLinesCount = logLines.Count();

    for (int i = 0; i < this.LogLinesCount; i++)
    {
        int entryStart = this.FindMessageCompartment(logLines, i);
        int entryEnd = this.FindMessageCompartment(logLines, entryStart + 1);
        int entryLength = (entryEnd - entryStart) + 1;

        if (entryStart + entryLength > this.LogLinesCount)
        {
            entryLength = this.LogLinesCount - entryStart;
        }

        var logSection = new string[entryLength];

        Array.Copy(logLines, entryStart, logSection, 0, entryLength);
        Array.Clear(logLines, i, entryLength - 1);

        this.AddLogEntry(logSection);

        i = (entryEnd - 1);
    }
}

AddLogEntry 方法将日志条目添加到列表 (LogEntries)。 for 循环设法解析了大约 50% 的日志文件，然后发生内存不足异常。此时任务管理器报告应用程序正在使用大约 1.3gb 的内存。

正如您在上面看到的那样，我添加了 Array.Clear 以清空已成功解析的日志数据部分，因此我希望随着对象被添加到集合中，内存量 ( 1gb 开始) 由大型日志数据阵列使用会稳步减少，但事实并非如此。事实上，这一行对内存使用没有影响，即使我定期添加 GC 收集也是如此。

阅读了有关 LOH 的内容后，我假设这是因为堆没有被压缩，因为大数组的一部分正在被清空，所以它总是使用相同的 1gb 内存，尽管它的内容。

有什么方法可以减少解析数据时占用的内存量，或者可以通过返工来更好地利用内存？一个 300mb 的文本文件放入字符串数组时会消耗 1gb 的内存，这对我来说似乎很奇怪？

谢谢。

Answer 1

您可以使用 ParseLogEntry(string logLine) 方法代替一次性解析所有日志行的方法 ParseLogEntries(string[] logLines)解析单行。

如果您将它与一次一个地遍历日志文件中的行相结合(例如通过为自己创建一个 enumerator )，这将避免创建大数组 string[] logLines首先。

一种方式可能是这样的:

static IEnumerable<string> ReadLines(string filename)
{
    using (TextReader reader = File.OpenText(filename))
    {
        string line;
        while ((line = reader.ReadLine()) != null)
        {
            yield return line;
        }
    }
}

// And use the function somewhere to parse the log

var logEntries = new List<LogEntry>()
foreach (string line in ReadLines("log.txt"))
{
    logEntries.Add(ParseLogEntry(line));
}

如果您使用的是 .NET 4.0 或更高版本，您当然可以只使用 sll 在另一个答案中指出的 File.ReadLines 方法，而不是创建您自己的方法。