performance - 需要帮助提高 PowerShell 分隔文本解析脚本的性能

Question

我需要解析一个大的管道分隔文件来计算第 5 列满足和不满足我的条件的记录数。

PS C:\temp> gc .\items.txt -readcount 1000 | `
  ? { $_ -notlike "HEAD" } | `
  % { foreach ($s in $_) { $s.split("|")[4] } } | `
  group -property {$_ -ge 256} -noelement | `
  ft –autosize

此命令执行我想要的操作，返回如下输出:

计数名称
----- ----
1129339 真
2013703 假

但是，对于 500 MB 的测试文件，根据 Measure-Command 的测量，此命令大约需要 5.5 分钟才能运行。一个典型的文件超过 2 GB，等待 20 分钟以上的时间太长了。

您是否看到了提高此命令性能的方法？

例如，有没有办法确定 Get-Content 的 ReadCount 的最佳值？没有它，完成同一个文件需要 8.8 分钟。

Answer 1

您是否尝试过 StreamReader？我认为 Get-Content 在对文件执行任何操作之前将整个文件加载到内存中。

StreamReader class