c# - 这个函数的内存泄漏在哪里？

Question

Edit2:我只想确保我的问题很清楚:为什么在 AppendToLog() 的每次迭代中，应用程序多使用 15mb？ (原始日志文件的大小)

我有一个名为 AppendToLog() 的函数，它接收 HTML 文档的文件路径，进行一些解析并将其附加到文件中。它被这样调用:

this.user_email = uemail;
string wanted_user = wemail;

string[] logPaths;
logPaths = this.getLogPaths(wanted_user);

foreach (string path in logPaths)
{              

    this.AppendToLog(path);                

}

在每次迭代中，RAM 使用量增加 15mb 左右。就是这个函数:(看起来很长其实很简单)

public void AppendToLog(string path)
{

Encoding enc = Encoding.GetEncoding("ISO-8859-2");
StringBuilder fb = new StringBuilder();
FileStream sourcef;
string[] messages;

try
{
    sourcef = new FileStream(path, FileMode.Open);
}
catch (IOException)
{
    throw new IOException("The chat log is in use by another process."); ;
}
using (StreamReader sreader = new StreamReader(sourcef, enc))
{

    string file_buffer;
    while ((file_buffer = sreader.ReadLine()) != null)
    {
        fb.Append(file_buffer);
    }                
}

//Array of each line's content
messages = parseMessages(fb.ToString());

fb = null;

string destFileName = String.Format("{0}_log.txt",System.IO.Path.GetFileNameWithoutExtension(path));
FileStream destf = new FileStream(destFileName, FileMode.Append);
using (StreamWriter swriter = new StreamWriter(destf, enc))
{
    foreach (string message in messages)
    {
        if (message != null)
        {
            swriter.WriteLine(message);
        }
    }
}

messages = null;

sourcef.Dispose();
destf.Dispose();


sourcef = null;
destf = null;
}

这几天我都不知道该怎么办:(

编辑: 这是 ParseMessages，一个使用 HtmlAgilityPack 去除部分 HTML 日志的函数。

public string[] parseMessages(string what)
{
StringBuilder sb = new StringBuilder();
HtmlDocument doc = new HtmlDocument();

doc.LoadHtml(what);            

HtmlNodeCollection messageGroups = doc.DocumentNode.SelectNodes("//body/div[@class='mplsession']");
int messageCount = doc.DocumentNode.SelectNodes("//tbody/tr").Count;

doc = null;

string[] buffer = new string[messageCount];

int i = 0;

foreach (HtmlNode sessiongroup in messageGroups)
{
    HtmlNode tablegroup = sessiongroup.SelectSingleNode("table/tbody");

    string sessiontime = sessiongroup.Attributes["id"].Value;

    HtmlNodeCollection messages = tablegroup.SelectNodes("tr");
    if (messages != null)
    {
        foreach (HtmlNode htmlNode in messages)
        {
            sb.Append(
                    ParseMessageDate(
                        sessiontime,
                        htmlNode.ChildNodes[0].ChildNodes[0].InnerText
                    )
                ); //Date
            sb.Append(" ");

            try
            {
                foreach (HtmlTextNode node in htmlNode.ChildNodes[0].SelectNodes("text()"))
                {
                    sb.Append(node.Text.Trim()); //Name
                }
            }
            catch (NullReferenceException)
            {
                /*
                 * We ignore this exception, it just means there's extra text
                 * and that means that it's not a normal message
                 * but a system message instead
                 * (i.e. "John logged off")
                 * Therefore we add the "::" mark for future organizing
                 */
                sb.Append("::");
            }
            sb.Append(" ");

            string message = htmlNode.ChildNodes[1].InnerHtml;
            message = message.Replace(""", "'");
            message = message.Replace(" ", " ");
            message = RemoveMedia(message);
            sb.Append(message); //Message
            buffer[i] = sb.ToString();
            sb = new StringBuilder();
            i++;
        }
    }
}
messageGroups = null;
what = null;
return buffer;
}

Answer 1

正如许多人所提到的，这可能只是 GC 没有像您期望的那样快速清理内存存储的产物。这对于托管语言(如 C#、Java 等)来说是正常的。如果您对这种用法感兴趣，您真的需要查明分配给您的程序的内存是否空闲。与此相关的问题是:

1. 您的程序运行了多长时间？它是一个持续运行的服务类型程序吗？
2. 在整个执行过程中，它是继续从操作系统分配内存还是达到稳定状态？ (你运行了足够长的时间来找出答案吗？)

您的代码看起来不会有“内存泄漏”。在托管语言中，您确实不会像在 C/C++ 中那样发生内存泄漏(除非您使用的是 不安全 或 C/C++ 的外部库)。但是发生的事情是您确实需要注意保留或隐藏的引用(例如 Collection 类已被告知删除项目但未将内部数组的元素设置为 null).通常，在堆栈上具有引用(局部变量和参数)的对象不会“泄漏”，除非您将对象的引用存储到对象/类变量中。

对您的代码的一些评论:

1. 您可以通过至少将 StringBuilder 预分配到适当的大小来减少内存的分配/解除分配。因为你知道你需要将整个文件保存在内存中，所以将它分配给文件大小(这实际上会给你一个比所需的大一点的缓冲区，因为你没有存储换行符序列，但文件可能有它们):

   FileInfo fi = new FileInfo(path);
   StringBuilder fb = new StringBuilder((int) fi.Length);
   

   您可能希望在获取文件长度之前确保文件存在，使用 fi 进行检查。请注意，我只是将长度向下转换为 int 而没有进行错误检查，因为根据您的问题文本，您的文件小于 2GB。如果不是这种情况，那么您应该在转换之前验证长度，如果文件太大可能会引发异常。

2. 我建议删除代码中的所有 variable = null 语句。这些不是必需的，因为它们是堆栈分配的变量。同样，在这种情况下，它不会帮助 GC，因为该方法不会存活很长时间。因此，使用它们会在代码中造成额外的困惑，并且更难以理解。

3. 在您的 ParseMessages 方法中，您捕获了一个 NullReferenceException 并假设它只是一个非文本节点。这可能会导致将来出现令人困惑的问题。由于这是您预计通常会发生的事情，由于数据中可能存在某些事情，您应该检查代码中的条件，例如:

   if (node.Text != null)
       sb.Append(node.Text.Trim()); //Name
   

   异常是代码中异常/意外的情况。为 NullReferenceException 赋予比存在 null 引用更重要的意义可以(很可能会)隐藏同一 try block 的其他部分中的错误，现在或 future 的更改。