个人中心
文章发布
退出
作者热门文章
- html - 出于某种原因，IE8 对我的 Sass 文件中继承的 html5 CSS 不友好？
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景？
25
4
我必须解决一个接近于解析 3 GB 或更大文件的问题。好吧，该文件的结构类似于伪 xml 文件:
<docFileNo_1>
<otherItems></otherItems>
<html>
<div=XXXpostag>
</html>
</docFileNo>
... others doc...
<docFileNo_N>
<otherItems></otherItems>
<html>
<div=XXXpostag>
</html>
</docFileNo>
网上冲浪我读到一些人在管理文件时遇到问题，但他们建议我使用 NIO 映射文件。所以我认为解决方案过于广泛，可能会让我抛出异常。所以我认为我的问题是解决 2 个问题:
所以..我尝试用这种方式解决第一个问题:
提取 25 MB 的过程平均需要大约 88 秒....所以我想执行它。
我如何进行提取？？
最佳答案
无论你做什么，不要做什么(伪代码):
String data = "";
for line in file {
data += line;
}
但使用 StringBuilder:
StringBuilder data = new StringBuilder();
for line in file {
data.append(line);
}
return data.toString();
此外，考虑遍历文件并创建一个只包含有趣部分的 map 。我假设您没有 XML，但只是看起来有点像它，您给出的示例是内容的公平表示。
Map<String, String> entries = new HashMap<String,String>(1000);
StringBuilder entryData = null;
for line in file {
if line starts with "<docFileNo" {
docFileNo = extract number from line;
} else if line starts with "<div=XXXpostag>" {
// Content of this entry starts here
entryData = new StringBuilder();
} else if line starts with "</html>" {
// content of this entry ends here
// so store content, and indicate that the entry is finished by
// setting data to null
entries.put(docFileNo, entryData.toString);
entryData = null;
} else if entryData is not null {
// we're in an entry as data is not null, so store the line
entryData.append(line);
}
}
map 只包含条目大小的字符串，这使得它们更容易处理。我认为您需要使其适应真实数据，但这是您可以在大约半小时内测试的内容。
线索是entryData。它不仅是构建 1 个条目数据的 StringBuilder，而且如果不是 null，它还表示我们看到了一个开始条目标记(div)，如果为 null，我们看到了结束标记 (</html>)指示下一行不需要存储。
我假设你想保留文档编号，并且 XXXposttag 是不变的。
此逻辑的替代实现可以使用 Scanner类。
关于java - 用 Java 解析一个很大的格式不正确的文件，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/4355107/
25
4
0
这个问题已经有答案了: How to do case insensitive string comparison? (23 个回答) 已关闭 3 年前。 用户在我的输入栏中写入“足球”，然后执行第 6
啊，不习惯 javascript 中的字符串。 character_id= + id + correct= + correctOrIncorrect 这就是我需要制作成字符串的内容。如果您无法猜测字符
$(function() { var base_price = 0; CalculatePrice(); $(".math1").on('change', function(e) { Calc
我找不到任何文章回答问题:将Spinnaker部署到Spinnaker将管理的同一Kubernetes集群是否安全/正确？我主要是指生产，HA部署。 最佳答案 我认为Spinnaker和Kuberne
我正在使用MSVC在Windows上从源代码(官方源代码发布，而不是从仓库中)构建Qt5(Qt 5.15.0)。 我正在设置环境。变量，依赖项等，然后运行具有1600万个选项的configure，最后
我需要打印一个包含重复单词的数组。我的数组已经可以工作，但我不知道如何正确计算单词数。我已经知道，当我的索引计数器 (i) 为 49 时，并且当 (i) 想要计数到 50 时，我会收到错误，但我不知道
我正在遵循一个指南，该指南允许 Google map 屏幕根据屏幕尺寸禁用滚动。我唯一挣扎的部分是编写一个代码，当我手动调整屏幕大小时动态更改 True/False 值。 这是我按照说明操作的网站，但
我有一个类“FileButton”。它的目的是将文件链接到 JButton，FileButton 继承自 JButton。子类继承自此以使用链接到按钮的文件做有用的事情。 JingleCardButt
我的 friend 数组只返回一个数字而不是所有数字。 ($myfriends = 3) 应该是…… ($myfriends = 3 5 7 8 9 12). 如果我让它进入 while 循环……整个
这个问题在这里已经有了答案: Is there a workaround to make CSS classes with names that start with numbers valid?
我正在制作一个 JavaScript 函数，当调整窗口大小时，它会自动将 div 的大小调整为与窗口相同的宽度/高度。 该功能非常基本，但我注意到在调整窗口大小时出现明显的“绘制”滞后。在 JS fi
此问题的基本视觉效果可在 http://sevenx.de/demo/bootstrap-carousel/inc.carousel/tabbed-slider.html 获得。 - 如果你想看一看。
我明白，如果我想从函数返回一个字符串文字或一个数组，我应该将其声明为静态的，这样当被调用的函数被返回时，内容就不会“消亡”。 但我的问题是，当我在函数内部使用 malloc 分配内存时会怎样？ 在下面
在 mySQL 数据库中存储 true/false/1/0 值最合适(读取数据消耗最少)的数据字段是什么？ 我以前使用过一个字符长的 tinyint，但我不确定它是否是最佳解决方案？ 谢谢! 最佳答案
我想一次读取并处理CSV文件第一行中的条目(例如打印)。我假设使用Unix风格的\n换行符，没有条目长度超过255个字符，并且(现在)在EOF之前有一个换行符。这意味着它是fgets()后跟strto
所以，我们都知道 -1 > 2u == true 的 C/C++ 有符号/无符号比较规则，并且我有一种情况，我想有效地实现“正确”比较。 我的问题是，考虑到人们熟悉的尽可能多的架构，哪种方法更有效。显
**摘要：**文章的标题看似自相矛盾。 本文分享自华为云社区《Java异常处理：如何写出“正确”但被编译器认为有语法错误的程序》，作者： Jerry Wang 。 文章的标题看似自相矛盾，然而我在“正
我有一个数据框，看起来像: dataDemo % mutate_each(funs(ifelse(. == '.', REF, as.character(.))), -POS) # POS REF
有人可以帮助我使用 VBScript 重新格式化/正确格式化带分隔符的文本文件吗？ 我有一个文本文件 ^分界如下: AGREE^NAME^ADD1^ADD2^ADD3^ADD4^PCODE^BAL^A
就目前而言，这个问题不适合我们的问答形式。我们希望答案得到事实、引用或专业知识的支持，但这个问题可能会引起辩论、争论、投票或扩展讨论。如果您觉得这个问题可以改进并可能重新打开，visit the he
我是一名优秀的程序员,十分优秀！