c# - 保存一个巨大文本文件的特定部分(超过 2GB)

Question

我有一个很大的日志文件，其中包含每隔一秒的时间戳。我需要从这个巨大的文件中剪切一个用户定义的部分并将其保存在另一个文本文件中。我很困惑，因为 fstream 类可以处理最大2GB 的文件大小和读取所有行是时间和内存灾难。

时间戳模式:!<< dd.mm.yyyy hh:min:sec> 每秒，每行一个。一位教授这家伙建议使用 LINQ 和 readline()。

文件示例:

!<<14.12.2012 16:20:03>
some text some text some 
some text some text some 
some text some text some 
!<<14.12.2012 16:20:04>
some text some text some 
some text some text some 
some text some text some 
some text some text some 
some text some text some 
!<<14.12.2012 16:20:05>
some text some text some
!<<14.12.2012 16:20:06>
some text some text some 
some text some text some 

以此类推，直到 EOF。

Answer 1

ReadLine 根本不是您想做的...打开文件阅读器...寻找您想要的位置，读出您想要的数据(到另一个文件流中)。

“ReadLine”必须实际读取数据...而查找 (myStream.Position = whereIWantToGo) 基本上是即时的。

您可以像处理已排序的数据库一样处理它。一个拥有 1,000,000 条记录的 DB 只需要 20 次“查找”操作就可以找到... 半路开始，太高了？刚刚保存了 500,000 次搜索...中途返回...太高了？刚刚减少了 250,000 次搜索...冲洗，重复。

如果您发现有趣的字符(编码错误)

根据你的电子邮件(顺便说一句 - 你真的应该继续使用 S.O.，而不是电子邮件 - 这样其他人也可以受益)......答案是你需要尝试不同的编码类型。您的文件可能不是 UTF8 编码(这是我下面的代码所期望的)。因此，请使用 new StreamReader("MyLogFile.txt", Encoding.ASCII) 或其他一些编码，直到它适合您为止。

应该可以帮助您入门的 C# 控制台应用

免责声明...此代码令人讨厌，并且可能在存在无限循环的地方存在错误 :)...但是，这里有一个适合您的控制台应用程序。

using System;
using System.Collections.Generic;
using System.Globalization;
using System.IO;

namespace ConsoleApplication1
{
    class Program
    {
        static void Main(string[] args)
        {
            // example dates
            var lookFor = new DateTime(2012, 12, 14, 16, 20, 02);
            var readUntilDate = new DateTime(2012, 12, 14, 16, 20, 05);

            using (var stream = File.OpenText("MyLogFile.txt"))
            {
                if (SeekToEntry(stream, lookFor) == false)
                {
                    Console.WriteLine("Could not find entry for date {0}", lookFor);
                    return;
                }

                foreach (var line in ReadEntriesUntil(stream, readUntilDate))
                {
                    Console.WriteLine("Line: {0}", line);
                }
            }
        }

        // This method simply spits out one line at a time until it hits
        // the target cut-off.
        static IEnumerable<string> ReadEntriesUntil(StreamReader stream, DateTime target)
        {
            while (true)
            {
                string line = stream.ReadLine();

                if (line == null)
                {
                    break;
                }

                if (line.StartsWith("!<<"))
                {
                    DateTime entryDate;

                    if (DateTime.TryParseExact(line.Substring(3, 19).Replace(".", ""), @"ddMMyyyy HH:mm:ss",
                        CultureInfo.InvariantCulture, DateTimeStyles.None, out entryDate))
                    {
                        if (entryDate >= target)
                        {
                            break;
                        }
                    }
                }

                yield return line;
            }
        }

        // This method will bounce around the stream till it finds your
        // target entry date.
        static bool SeekToEntry(StreamReader stream, DateTime target)
        {
            long from = 0;
            long to = stream.BaseStream.Length;

            while (true)
            {
                long testIndex = (to - from) / 2;

                stream.BaseStream.Seek(testIndex, SeekOrigin.Begin);

                var entryDate = GetNextEntryDate(stream, out testIndex);

                if (entryDate == null || (from == to))
                {
                    return false;
                }

                switch (entryDate.Value.CompareTo(target))
                {
                    case -1:
                        // Found too low...
                        from = testIndex;
                        break;

                    case 1:
                        // Fount too high...
                        to = testIndex;
                        break;

                    default: return true;
                }
            }
        }

        // This is a function that is meant to keep seeking forward until
        // it hits an entry date.
        static DateTime? GetNextEntryDate(StreamReader stream, out long actualIndex)
        {
            actualIndex = stream.BaseStream.Position;
            DateTime? result = null;
            string line = null;

            // Find the next entry.
            while ((line = stream.ReadLine()) != null && line.StartsWith("!<<") == false) ;

            if (line != null)
            {
                actualIndex = stream.BaseStream.Position - line.Length;

                DateTime timeStamp;

                if (DateTime.TryParseExact(line.Substring(3, 19).Replace(".", ""), @"ddMMyyyy HH:mm:ss",
                    CultureInfo.InvariantCulture, DateTimeStyles.None, out timeStamp))
                {
                    result = timeStamp;
                }
            }

            return result;
        }
    }
}