- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我的程序中有一个 FindFile 例程,它将列出文件,但如果填写了“包含文本”字段,那么它应该只列出包含该文本的文件。
如果输入“包含文本”字段,则我将搜索找到的每个文件以查找该文本。我目前的方法是:
var
FileContents: TStringlist;
begin
FileContents.LoadFromFile(Filepath);
if Pos(TextToFind, FileContents.Text) = 0 then
Found := false
else
Found := true;
上面的代码很简单,一般情况下是可以运行的。但它有两个问题:
对于非常大的文件(例如 300 MB),它会失败
我觉得还可以更快。这还不错,但如果有一种简单的方法可以加快速度,为什么还要花 10 分钟搜索 1000 个文件呢?
我需要它在 Delphi 2009 上工作并搜索可能是或不是 Unicode 的文本文件。它只需要适用于文本文件。
那么如何才能加快搜索速度并使其适用于非常大的文件?
<小时/>奖励:我还想允许“忽略大小写”选项。这是一个更难提高效率的方法。有什么想法吗?
<小时/>解决方案:
嗯,mghie 指出了我之前的问题 How Can I Efficiently Read The First Few Lines of Many Files in Delphi ,正如我所回答的,它是不同的并且没有提供解决方案。
但他让我想到我以前做过这件事,而且我确实这么做了。我为大文件构建了一个 block 读取例程,将其分成 32 MB 的 block 。我用它来读取程序的输入文件,该文件可能很大。这个例程运行良好且快速。因此,第一步是对我正在查看的这些文件执行相同的操作。
所以现在的问题是如何在这些 block 内有效地搜索。好吧,我之前确实有过关于该主题的问题:Is There An Efficient Whole Word Search Function in Delphi? RRUZ 向我指出了 SearchBuf 例程。
这也解决了“奖励”问题,因为 SearchBuf 的选项包括全字搜索(该问题的答案)和 MatchCase/noMatchCase(奖励的答案)。
所以我就出发了。再次感谢 SO 社区。
最佳答案
这里最好的方法可能是使用内存映射文件。
首先你需要一个文件句柄,使用CreateFile
windows API 函数。
然后将其传递给 CreateFileMapping
获取文件映射句柄。最后使用MapViewOfFile
将文件映射到内存中。
要处理大文件,MapViewOfFile
能够仅将特定范围映射到内存中,因此您可以例如映射前 32MB,然后使用 UnmapViewOfFile
取消映射它,然后是 MapViewOfFile
接下来的 32MB 等等。 (编辑:正如下面所指出的,确保您以这种方式映射的 block 重叠 4kb 的倍数,并且至少与您正在搜索的文本的长度一样多,这样您就不会忽略任何文本可能会在 block 边界处 split )
要在文件(部分)映射到内存后进行实际搜索,您可以为 StrPosLen
制作源代码的副本来自 SysUtils.pas(不幸的是,它仅在实现部分中定义,并未在接口(interface)中公开)。保留一份副本不变并制作另一份副本,替换 Wide
与 Ansi
每次。另外,如果您希望能够在可能包含嵌入的 #0
的二进制文件中进行搜索的,您可以删除 (Str1[I] <> #0) and
部分。
找到一种方法来识别文件是 ANSI 还是 Unicode,或者简单地在文件的每个映射部分上调用 Ansi 和 Unicode 版本。
完成每个文件后,请务必调用 CloseHandle
首先是文件映射句柄,然后是文件处理。 (并且不要忘记先调用UnmapViewOfFile
)。
编辑:
使用内存映射文件而不是使用例如TFileStream 将文件以 block 的形式读入内存的原因是字节只会在内存中出现一次。
通常,在文件访问时,Windows 首先将字节读取到操作系统文件缓存中。然后将它们从那里复制到应用程序内存中。
如果使用内存映射文件,操作系统可以直接将操作系统文件缓存中的物理页映射到应用程序的地址空间,而无需再次复制(减少复制所需的时间并减少一半的内存使用量)。
额外答案:通过调用 StrLIComp 而不是 StrLComp,您可以进行不区分大小写的搜索。
关于delphi - 用Delphi快速搜索大文件中是否存在字符串,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/5012664/
如何使用 SPListCollection.Add(String, String, String, String, Int32, String, SPListTemplate.QuickLaunchO
我刚刚开始使用 C++ 并且对 C# 有一些经验,所以我有一些一般的编程经验。然而,似乎我马上就被击落了。我试过在谷歌上寻找,以免浪费任何人的时间,但没有结果。 int main(int argc,
这个问题已经有答案了: In Java 8 how do I transform a Map to another Map using a lambda? (8 个回答) Convert a Map>
我正在使用 node + typescript 和集成的 swagger 进行 API 调用。我 Swagger 提出以下要求 http://localhost:3033/employees/sear
我是 C++ 容器模板的新手。我收集了一些记录。每条记录都有一个唯一的名称,以及一个字段/值对列表。将按名称访问记录。字段/值对的顺序很重要。因此我设计如下: typedef string
我需要这两种方法,但j2me没有,我找到了一个replaceall();但这是 replaceall(string,string,string); 第二个方法是SringBuffer但在j2me中它没
If string is an alias of String in the .net framework为什么会发生这种情况,我应该如何解释它: type JustAString = string
我有两个列表(或字符串):一个大,另一个小。 我想检查较大的(A)是否包含小的(B)。 我的期望如下: 案例 1. B 是 A 的子集 A = [1,2,3] B = [1,2] contains(A
我有一个似乎无法解决的小问题。 这里...我有一个像这样创建的输入... var input = $(''); 如果我这样做......一切都很好 $(this).append(input); 如果我
我有以下代码片段 string[] lines = objects.Split(new string[] { "\r\n", "\n" }, StringSplitOptions.No
这可能真的很简单,但我已经坚持了一段时间了。 我正在尝试输出一个字符串,然后输出一个带有两位小数的 double ,后跟另一个字符串,这是我的代码。 System.out.printf("成本:%.2
以下是 Cloud Firestore 列表查询中的示例之一 citiesRef.where("state", ">=", "CA").where("state", "= 字符串,我们在Stack O
我正在尝试检查一个字符串是否包含在另一个字符串中。后面的代码非常简单。我怎样才能在 jquery 中做到这一点? function deleteRow(locName, locID) { if
这个问题在这里已经有了答案: How to implement big int in C++ (14 个答案) 关闭 9 年前。 我有 2 个字符串,都只包含数字。这些数字大于 uint64_t 的
我有一个带有自定义转换器的 Dozer 映射: com.xyz.Customer com.xyz.CustomerDAO customerName
这个问题在这里已经有了答案: How do I compare strings in Java? (23 个回答) 关闭 6 年前。 我想了解字符串池的工作原理以及一个字符串等于另一个字符串的规则是
我已阅读 this问题和其他一些问题。但它们与我的问题有些无关 对于 UILabel 如果你不指定 ? 或 ! 你会得到这样的错误: @IBOutlet property has non-option
这两种方法中哪一种在理论上更快,为什么? (指向字符串的指针必须是常量。) destination[count] 和 *destination++ 之间的确切区别是什么? destination[co
This question already has answers here: Closed 11 years ago. Possible Duplicates: Is String.Format a
我有一个Stream一个文件的,现在我想将相同的单词组合成 Map这很重要,这个词在 Stream 中出现的频率. 我知道我必须使用 collect(Collectors.groupingBy(..)
我是一名优秀的程序员,十分优秀!