java - 如何使用 Java HTMLParser 库解析大型 HTML 文件

Question

我有一些由 Filemaker 导出创建的 html 文件。每个文件基本上都是一个巨大的 HTML 表格。我想遍历表行并将它们填充到数据库中。我试着用 HTMLParser 来做如下:

String inputHTML = readFile("filemakerExport.htm","UTF-8");
Parser parser = new Parser();
parser.setInputHTML(inputHTML);
parser.setEncoding("UTF-8");    
NodeList nl = parser.parse(null); 
NodeList trs = nl.extractAllNodesThatMatch(new TagNameFilter("tr"),true);
for(int i=0;i<trs.size();i++) {
    NodeList nodes = trs.elementAt(i).getChildren();
    NodeList tds  = nodes.extractAllNodesThatMatch(new TagNameFilter("td"),true);
    // Do stuff with tds
}

以上代码适用于 1 Mb 以下的文件。不幸的是，我有一个 4.8 Mbs 的 html 文件，并且出现内存不足错误。

Exception in thread "main" java.lang.OutOfMemoryError: Java heap space
    at org.htmlparser.lexer.Lexer.parseTag(Lexer.java:1002)
    at org.htmlparser.lexer.Lexer.nextNode(Lexer.java:369)
    at org.htmlparser.scanners.CompositeTagScanner.scan(CompositeTagScanner.java:111)
    at org.htmlparser.util.IteratorImpl.nextNode(IteratorImpl.java:92)
    at org.htmlparser.Parser.parse(Parser.java:701)
    at Tools.main(Tools.java:33)

是否有更有效的方法来使用 HTMLParser 解决这个问题(我是这个库的新手)，还是我应该使用不同的库或方法？

Answer 1

您是否尝试过增加 JVM 的最大堆大小

以下命令行参数会将其增加到 512 兆字节:-Xmx512M

例如

java -Xmx512M myrunclass