powershell - 在 Powershell 中将标准输入重定向到大文件 - 内存消耗

Question

在 PowerShell 中，将标准输入重定向到文件的常规方法是通过管道传输文件的内容:

Get-Content input-file.txt | Write-Host

但是，如果文件非常大，PowerShell 就会开始消耗大量内存。使用较小的 -ReadCount 似乎可以加快 Get-Content 开始将行输入命令的速度，但内存消耗仍然很大。

为什么内存占用这么高？ PowerShell 是否将文件的内容保留在内存中，即使它不需要？有什么方法可以缓解这种情况吗？

Answer 1

以下函数将使用 .NET StreamReader 逐行读取文件类并将每一行发送到管道中。将此发送至 Out-Null在将近 2,000,000 行的日志文件 (~186 MB) 上执行时，我的内存使用量只增加了几十 KB:

function Get-ContentByLine {
  param (
    [Parameter(Mandatory=$true,ValueFromPipeline=$true)][PsObject]$InputObject
  )

  begin {
    $line = $null
    $fs = [System.IO.File]::OpenRead($InputObject)
    $reader = New-Object System.IO.StreamReader($fs)
  }

  process {
    $line = $reader.ReadLine()
    while ($line -ne $null) {
        $line
        $line = $reader.ReadLine()
    }
  }

  end {
    $reader.Dispose();
    $fs.Dispose();
  }
}

你会像这样调用它:

PS C:\> Get-ContentByLine "C:\really.big.log" | Out-Null