- android - RelativeLayout 背景可绘制重叠内容
- android - 如何链接 cpufeatures lib 以获取 native android 库?
- java - OnItemClickListener 不起作用,但 OnLongItemClickListener 在自定义 ListView 中起作用
- java - Android 文件转字符串
偶尔会创建日志 (.txt) 文件,这些文件太大而无法打开 (5GB+),我需要创建一个解决方案来拆分成更小的可读 block 以便在写字板中使用。这是在 Windows Server 2008 R2 中。
我需要的解决方案是批处理文件、powerShell 或类似的东西。理想情况下,应该硬编码每个文本文件不超过 999 MB,并且不要停在一行的中间。
我在 https://gallery.technet.microsoft.com/scriptcenter/PowerShell-Split-large-log-6f2c4da0 找到了一个与我的需求类似的解决方案,它有时可以(按行数)工作
#############################################
# Split a log/text file into smaller chunks #
#############################################
# WARNING: This will take a long while with extremely large files and uses lots of memory to stage the file
# Set the baseline counters
# Set the line counter to 0
$linecount = 0
# Set the file counter to 1. This is used for the naming of the log files
$filenumber = 1
# Prompt user for the path
$sourcefilename = Read-Host "What is the full path and name of the log file to split? (e.g. D:\mylogfiles\mylog.txt)"
# Prompt user for the destination folder to create the chunk files
$destinationfolderpath = Read-Host "What is the path where you want to extract the content? (e.g. d:\yourpath\)"
Write-Host "Please wait while the line count is calculated. This may take a while. No really, it could take a long time."
# Find the current line count to present to the user before asking the new line count for chunk files
Get-Content $sourcefilename | Measure-Object | ForEach-Object { $sourcelinecount = $_.Count }
#Tell the user how large the current file is
Write-Host "Your current file size is $sourcelinecount lines long"
# Prompt user for the size of the new chunk files
$destinationfilesize = Read-Host "How many lines will be in each new split file?"
# the new size is a string, so we convert to integer and up
# Set the upper boundary (maximum line count to write to each file)
$maxsize = [int]$destinationfilesize
Write-Host File is $sourcefilename - destination is $destinationfolderpath - new file line count will be $destinationfilesize
# The process reads each line of the source file, writes it to the target log file and increments the line counter. When it reaches 100000 (approximately 50 MB of text data)
$content = get-content $sourcefilename | % {
Add-Content $destinationfolderpath\splitlog$filenumber.txt "$_"
$linecount ++
If ($linecount -eq $maxsize) {
$filenumber++
$linecount = 0 } }
# Clean up after your pet
[gc]::collect()
[gc]::WaitForPendingFinalizers
()
但是,当我运行它时,我在 powershell 中遇到了很多错误,类似于:
Add-Content : The process cannot access the file 'C:\Desktop\splitlog1.txt'
because it is being used by another process...
所以我请求帮助修复上述代码,或者请帮助创建不同/更好的解决方案。
最佳答案
好的,我迎接了挑战。这是适合您的功能。它可以按行拆分文本文件,在不超过 size 字节的情况下将尽可能多的完整输入行放入每个输出文件。
注意:无法严格执行输出文件大小限制。
示例: 输入文件包含两个非常长的字符串,每个字符串 1Mb。如果您尝试将此文件拆分为 512KB 的 block ,则生成的文件将为每个 1MB。
函数 Split-FileByLine
:
<#
.Synopsis
Split text file(s) by lines, put into each output file as many complete lines of input as possible without exceeding size bytes.
.Description
Split text file(s) by lines, put into each output file as many complete lines of input as possible without exceeding size bytes.
Note, that output file size limit can't be strictly enforced. Example: input files contains two very long strings, 1Mb each.
If you try to split this file into the 512KB chunks, resulting files will be 1MB each.
Splitted files will have orinignal file's name, followed by the "_part_" string and counter. Example:
Original file: large.log
Splitted files: large_part_0.log, large_part_1.log, large_part_2.log, etc.
.Parameter FileName
Array of strings, mandatory. Filename(s) to split.
.Parameter OutPath
String, mandatory. Folder, where splittedfiles will be stored. Will be created, if not exists.
.Parameter MaxFileSize
Long, mandatory. Maximum output file size. When output file reaches this size, new file will be created.
You can use PowerShell's multipliers: KB, MB, GB, TB,PB
.Parameter Encoding
String. If not specified, script will use system's current ANSI code page to read the files.
You can get other valid encodings for your system in PowerShell console like this:
[System.Text.Encoding]::GetEncodings()
Example:
Unicode (UTF-7): utf-7
Unicode (UTF-8): utf-8
Western European (Windows): Windows-1252
.Example
Split-FileByLine -FileName '.\large.log' -OutPath '.\splitted' -MaxFileSize 100MB -Verbose
Split file "large.log" in current folder, write resulting files in subfolder "splitted", limit output file size to 100Mb, be verbose.
.Example
Split-FileByLine -FileName '.\large.log' -OutPath '.\splitted' -MaxFileSize 100MB -Encoding 'utf-8'
Split file "large.log" in current folder, write resulting files in subfolder "splitted", limit output file size to 100Mb, use UTF-8 encoding.
.Example
Split-FileByLine -FileName '.\large_1.log', '.\large_2.log' -OutPath '.\splitted' -MaxFileSize 999MB
Split files "large_1.log" ".\large_2.log" and in current folder, write resulting files in subfolder "splitted", limit output file size to 999MB.
.Example
'.\large_1.log', '.\large_2.log' | Split-FileByLine -FileName -OutPath '.\splitted' -MaxFileSize 999MB
Split files "large_1.log" ".\large_2.log" and in current folder, write resulting files in subfolder "splitted", limit output file size to 999MB.
#>
function Split-FileByLine
{
[CmdletBinding()]
Param
(
[Parameter(Mandatory = $true, ValueFromPipeline = $true, ValueFromPipelineByPropertyName = $true)]
[string[]]$FileName,
[Parameter(ValueFromPipelineByPropertyName = $true)]
[string]$OutPath = (Get-Location -PSProvider FileSystem).Path,
[Parameter(Mandatory = $true, ValueFromPipelineByPropertyName = $true)]
[long]$MaxFileSize,
[Parameter(ValueFromPipelineByPropertyName = $true)]
[string]$Encoding = 'Default'
)
Begin
{
# Scriptblocks for common tasks
$DisposeInFile = {
Write-Verbose 'Disposing StreamReader'
$InFile.Close()
$InFile.Dispose()
}
$DisposeOutFile = {
Write-Verbose 'Disposing StreamWriter'
$OutFile.Flush()
$OutFile.Close()
$OutFile.Dispose()
}
$NewStreamWriter = {
Write-Verbose 'Creating StreamWriter'
$OutFileName = Join-Path -Path $OutPath -ChildPath (
'{0}_part_{1}{2}' -f [System.IO.Path]::GetFileNameWithoutExtension($_), $Counter, [System.IO.Path]::GetExtension($_)
)
$OutFile = New-Object -TypeName System.IO.StreamWriter -ArgumentList (
$OutFileName,
$false,
$FileEncoding
) -ErrorAction Stop
$OutFile.AutoFlush = $true
Write-Verbose "Writing new file: $OutFileName"
}
}
Process
{
if($Encoding -eq 'Default')
{
# Set default encoding
$FileEncoding = [System.Text.Encoding]::Default
}
else
{
# Try to set user-specified encoding
try
{
$FileEncoding = [System.Text.Encoding]::GetEncoding($Encoding)
}
catch
{
throw "Not valid encoding: $Encoding"
}
}
Write-Verbose "Input file: $FileName"
Write-Verbose "Output folder: $OutPath"
if(!(Test-Path -Path $OutPath -PathType Container)){
Write-Verbose "Folder doesn't exist, creating: $OutPath"
$null = New-Item -Path $OutPath -ItemType Directory -ErrorAction Stop
}
$FileName | ForEach-Object {
# Open input file
$InFile = New-Object -TypeName System.IO.StreamReader -ArgumentList (
$_,
$FileEncoding
) -ErrorAction Stop
Write-Verbose "Current file: $_"
$Counter = 0
$OutFile = $null
# Read lines from input file
while(($line = $InFile.ReadLine()) -ne $null)
{
if($OutFile -eq $null)
{
# No output file, create StreamWriter
. $NewStreamWriter
}
else
{
if($OutFile.BaseStream.Length -ge $MaxFileSize)
{
# Output file reached size limit, closing
Write-Verbose "OutFile lenght: $($InFile.BaseStream.Length)"
. $DisposeOutFile
$Counter++
. $NewStreamWriter
}
}
# Write line to the output file
$OutFile.WriteLine($line)
}
Write-Verbose "Finished processing file: $_"
# Close open files and cleanup objects
. $DisposeOutFile
. $DisposeInFile
}
}
}
您可以像这样在脚本中使用它:
function Split-FileByLine
{
# function body here
}
$InputFile = 'c:\log\large.log'
$OutputDir = 'c:\log_split'
Split-FileByLine -FileName $InputFile -OutPath $OutputDir -MaxFileSize 999MB
关于windows - 根据大小将文本文件拆分为更小的文件 (Windows),我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/32360801/
为什么我可以在控制台 window.window.window.window 中执行此操作并无限追加 .window 并返回 DOM 窗口? 最佳答案 因为 window 对象有一个指向它自身的 wi
Windows管理员用户和系统用户之间有什么权限区别吗? 有些时候,我必须将 cmd 窗口提升到系统权限才能删除一些文件。这可能是因为系统用户锁定了文件,或者系统用户可能具有更高的访问权限,我希望找出
按照目前的情况,这个问题不适合我们的问答形式。我们希望答案得到事实、引用或专业知识的支持,但这个问题可能会引发辩论、争论、投票或扩展讨论。如果您觉得这个问题可以改进并可能重新打开,visit the
Windows 服务和 Windows 进程之间的区别是什么? 最佳答案 服务是真正的 Windows 进程,没有区别。服务的唯一特殊之处在于它由操作系统启动并在单独的 session 中运行。一个独
我有一个 Windows 网络 (peer-2-peer) 以及 Active Directory,我需要记录向服务器发送任何类型打印的用户的名称。我想编写一个程序来记录他们的用户名和/或他们各自的
当我让一个 Windows 服务尝试安装另一个 Windows 服务时遇到问题。 具体来说,我有一个 TeamCity 代理在 Windows 2008 AWS 实例上为我运行测试。这些测试是用 Ja
我创建了一个应用程序来接收广播的 Windows 消息,效果很好。当我把它变成一个服务、安装它并启动服务时,该服务没有收到消息。 最佳答案 服务可能必须被授予访问桌面的权限。从服务属性、“登录”选项卡
我正在使用 Delphi 2010 编写应用程序。我希望在 Windows 启动时启动我的应用程序。我需要它在最新版本的 Windows XP、7.0 和最新的服务器中工作。 将其存储在以下关键工作下
我想开发一个适用于所有三个版本的 Windows XP、Vista 和 7 的应用程序。该应用程序允许人们选择要打开的文件,并允许他们在某些操作后保存文件。三个版本的 Windows 中的每一个都有不
对于\Windows\中的文件类型与\Windows\System32 中的文件类型是否有标准约定? 我正在开发一个 SDK,其中包含各种 DLL、帮助程序 exe 和 Windows 服务 exe。
要求是,必须在 WINDOWS7 机器上配置自动登录,但是这个自动登录应该等待(即延迟)直到另一个 Windows 服务发出继续自动登录的信号。 我使用了自定义凭据提供程序,它在其中等待另一个 Win
很抱歉,这不是一个大问题,而是更多的帮助人们解决这些特定问题的方法。我正在解决的问题要求使用串行I/O,但主要在Windows CE 6.0下运行。但是,最近有人问我是否也可以在Windows下运行该
关闭。这个问题不符合Stack Overflow guidelines .它目前不接受答案。 这个问题似乎不是关于 a specific programming problem, a softwar
不幸的是 SC 命令在 W2000 上还不可用,所以我不能使用它。 我正在尝试检查服务是否在 W2000 服务器上运行,如果它没有运行,脚本应该能够启动该服务。 如何在 Windows 2000 上执
如何在登录到 Windows 之前启动 Windows 窗体应用程序?是否可以在登录到 Windows 之前启动 Windows 窗体应用程序?如果不是,我是否有机会在登录前启动 Windows 服务
关闭。这个问题不符合Stack Overflow guidelines .它目前不接受答案。 这个问题似乎不是关于 a specific programming problem, a softwar
我想在 XML 文件中区分 Windows XP 和 Windows 7。我想我会在 XML 中为它使用一个环境变量。 但是我找不到在 Windows 中定义的任何系统环境变量来提供此信息。 我看到了
有谁知道我可以在注册表中的哪个位置检查机器上是否安装了这些应用程序: Windows 通讯录 Windows 联系人 最佳答案 来自 Microsoft:我知道它说的是 win 95,但 reg 是一
我正在尝试从我的 Windows 服务器调用放置在远程 Windows 服务器上的批处理文件。我在远程服务器上安装了 freeSSHd。我尝试使用 putty/plink 但没有结果。 我使用的命令语
( 大家好。我是 Windows 编程的新手,所以如果已经有人问过我,我提前道歉,我只是不知道要搜索什么,但这个问题一直让我发疯,我知道有人可能真的很容易回答这个问题。) 我的公司有一个在 Windo
我是一名优秀的程序员,十分优秀!