c# - .NET 堆填满了字符串对象 -> OutOfMemoryException

Question

我经常(每 30-60 分钟)在我的 Windows 服务中收到 System.OutOfMemoryException。该服务的工作是遍历 6 个目录，其中包含服务数据清洗为通用 XML 数据格式的数据文件。

这 6 个文件夹每个包含 5-10.000 个文件，因此文件总数约为 45.000，并且每天都会添加新文件。每天大约添加 1-2000 个新文件。文件大小在 4KB 到 500KB 之间。

每个数据文件通过XElement对象被清洗成通用的XML数据格式。

我在服务上使用了 RedGates ANTS Memory Profiler，使用最多内存的对象是字符串(大约 90.000.000 字节)和 XElement(大约 51.000.000 字节)。

在 Memory Profiler 中，当我跟踪什么在使用字符串对象时，我可以看到大部分 (93%) XElement 对象正在使用字符串对象。

服务器有 6 个 CPU 和 6GB RAM，所以我不明白为什么我会收到 OutOfMemoryException。如果我查看进程中的 Windows 服务，它最大使用 RAM 是 1.2GB。

我读到 .NET 垃圾收集器不清除字符串对象，因为字符串对象存储在内部表中。这可能是错误吗？如果是，我该怎么办？

下面的代码显示了我是如何遍历文件的。如您所见，我也曾尝试一次获取 20 个文件。这只会将 OutOfMemoryException 推送几个小时，因此该服务将运行 4-5 小时而不是 30-60 分钟。

为什么我会出现 OutOfMemoryException？

private static void CheckExistingImportFiles(object sender, System.Timers.ElapsedEventArgs e)
    {
        CheckTimer.Stop();
        var dir = Directory.GetFiles(RawDataDirectory.FullName, "*.*", SearchOption.AllDirectories);

        List<ManualResetEvent> doneEvents = new List<ManualResetEvent>();
        int i = 0;
        //int doNumberOfFiles = 20;

        foreach (string existingFile in Directory.GetFiles(RawDataDirectory.FullName, "*.*", SearchOption.AllDirectories))
        {
            if (existingFile.EndsWith("ignored") || existingFile.EndsWith("error") || existingFile.EndsWith("importing"))
            {
                //if (DateTime.UtcNow.Subtract(File.GetCreationTimeUtc(existingFile)).TotalDays > 5)
                //  File.Delete(existingFile);
                //continue;
            }

            StringBuilder fullFileName = new StringBuilder().Append(existingFile);

            if (!fullFileName.ToString().ToLower().EndsWith("error") && !fullFileName.ToString().ToLower().EndsWith("ignored") && !fullFileName.ToString().ToLower().EndsWith("importing"))
            {
                File.Move(fullFileName.ToString(), fullFileName + ".importing");
                fullFileName = fullFileName.Append(".importing");

                ImportFileJob newJob = new ImportFileJob(fullFileName.ToString());

                doneEvents.Add(new ManualResetEvent(false));

                ThreadPool.QueueUserWorkItem(newJob.Run, doneEvents.ElementAt(i));
                i++;
            }

            //if (i > doNumberOfFiles)
            //{
            //    i = 0;
            //    doNumberOfFiles = 20;
            //    break;
            //}
        }
        i = 0;
        WaitHandle.WaitAll(doneEvents.ToArray());

        CheckTimer.Start();
    }

Answer 1

Directory.GetFiles(RawDataDirectory.FullName, "*.*", SearchOption.AllDirectories);

这将返回一个数组。如果目录中的文件与您声明的一样多，那么这些文件将是非常大的数组，大到足以放置在大对象堆中。那里的多个大型数组很容易导致 OutOfMemoryException。以下行没有帮助

var dir = Directory.GetFiles(RawDataDirectory.FullName, "*.*", SearchOption.AllDirectories);

有一个什么都不做的变量“dir”。每次方法执行都会创建两次大数组。