c# - 如何在 Open XML SDK 中有效地缓冲和刷新流

Question

我使用 OpenXML SDK 2.0 生成包含大量数据的 Excel 文件，大约。 1000000 行，我需要优化内存使用，因为我的机器速度非常快。

我想通过在运行时将生成的 DOM 树的一部分刷新到文件中来解决这个问题。我为数据制作自己的缓冲。例如，我有 100000 条记录要写入，当我将 1000 行添加到 Excel 工作表时，我希望将流刷新到文件中。我通过使用方法 worksheetPart.Worksheet.Save() 来实现。文档说这个方法 Save():“将 DOM 树中的数据保存回部件。它也可以被调用多次。每次调用时，流都会被刷新。”

         foreach (Record m in dataList)
         {
            Row contentRow = CreateContentRow(index, m);         // my own method to create row content

            //Append new row to sheet data.
            sheetData.AppendChild(contentRow);

            if (index % BufferSize == 0)
            {
                worksheetPart.Worksheet.Save();
            }

            index++;

        }

此方法之所以有效，是因为内存使用图表已经成型，但不幸的是内存使用量随时间增长。

有人知道如何解决这个问题吗？

Answer 1

SpreadsheetGear for .NET可以在 74 秒内创建一个包含 1,000,000 行 x 40 列随机数(即 4000 万个单元格)的 xlsx 工作簿(包括从随机数在内存中创建工作簿并在超频的 Intel QX 6850 和 Windows Vista 32 上保存到磁盘)。

您看到 Open XML SDK 的性能如何？

您可以下载 SpreadsheetGear 免费试用版 here并亲自尝试。

我将通过代码生成下面的 4000 万个单元格工作簿。

免责声明:我拥有 SpreadsheetGear LLC

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using SpreadsheetGear;

namespace ConsoleApplication10
{
    class Program
    {
        static void Main(string[] args)
        {
            try
            {
                // Run once with 100 rows and then run forever with 1,000,000 rows.
                for (int rows = 100; rows <= 1000000; rows = 1000000)
                {
                    Console.Write("rows={0}, ", rows);
                    var startMemory = System.GC.GetTotalMemory(true);
                    var timer = System.Diagnostics.Stopwatch.StartNew();
                    var workbook = BuildWorkbook(rows);
                    var usedMemory = System.GC.GetTotalMemory(true) - startMemory;
                    Console.WriteLine("usedMemory={0}, time={1} seconds, workbook.Name={2}", usedMemory, timer.Elapsed.TotalSeconds, workbook.Name);
                    workbook = null;
                }
            }
            catch (Exception e)
            {
                Console.WriteLine("got exception={0}", e.Message);
            }
        }

        static IWorkbook BuildWorkbook(int rows)
        {
            var workbook = Factory.GetWorkbook();
            var worksheet = workbook.Worksheets[0];
            var values = (SpreadsheetGear.Advanced.Cells.IValues)worksheet;
            Random rand = new Random();
            int cols = 40;
            for (int col = 0; col < cols; col++)
            {
                for (int row = 0; row <= rows; row++)
                {
                    values.SetNumber(row, col, rand.NextDouble());
                }
            }
            workbook.SaveAs(string.Format(@"c:\tmp\Rows{0}.xlsx", rows), FileFormat.OpenXMLWorkbook);
            return workbook;
        }
    }
}