import - 大文本文件处理

Question

我需要在 Mathematica 中实现延迟加载。我有一个需要处理的 600 Mb CSV 文本文件。该文件包含大量重复记录:

1;0;0;13;6
1;0;0;13;6
..........
2;0;0;13;6
2;0;0;13;6
..........
etc.

因此，我不想将它们全部加载到内存中，而是想创建一个包含记录和该记录在文件中出现的次数的列表:

{{10000,{1,0,0,13,6}}, {20000,{2,0,0,13,6}}, ...}

我找不到使用导入功能的方法。我正在寻找类似的东西

Import["my_file.csv", "CSV", myProcessingFunction]

其中 myProcessingFunction 将一次获取一条记录并创建一个数据集。是否可以使用 Import 或任何其他 Mathematica 函数执行此操作？

Answer 1

我想你想要 Read[]功能。