c# - 解析大文本文件，即时修改

Question

我需要实时解析一个大型 CSV 文件，同时它正在被另一个进程修改(追加)。总的来说，我的意思是此时大约 20 GB，并且在缓慢增长。应用程序只需要检测和报告数据流中的某些异常，为此它只需要存储小的状态信息(O(1) 空间)。

我正在考虑每隔几秒轮询一次文件的属性(大小)，打开一个只读流，寻找以前的位置，然后继续解析我第一次停下来的地方。但由于这是一个文本 (CSV) 文件，我显然需要在以某种方式继续时跟踪换行符，以确保我始终解析整行。

如果我没记错的话，这不应该是实现的问题，但我想知道是否已经有解决其中一些问题的通用方法/库？

注意:我不需要 CSV 解析器。我需要有关库的信息，该库可以简化从动态修改的文件中读取行的过程。

Answer 1

我没有测试它，但我认为您可以使用 FileSystemWatcher 来检测不同进程何时修改了您的文件。在 Changed 事件中，您将能够搜索到您之前保存的位置，并阅读其他内容。