java - 我怎样才能让 java 的解析器容忍格式错误的 html？

Question

我正在尝试进行一些屏幕抓取，但是返回的 html 导致错误，因为没有标题(我认为)。下面是代码

public class xpath
{
  private Document doc = null;

  public xpath()
  {
    HttpClient httpclient = new DefaultHttpClient();
    HttpGet httpget = new HttpGet("http://blah.com/blah.php?param1=value1&param2=value2");

    ResponseHandler<String> responseHandler = new BasicResponseHandler();

    try
    {
      String responseBody = httpclient.execute(httpget, responseHandler);
      doc = parserXML(responseBody);

      visit(doc, 0);
    }
      catch(Exception error)
    {
      error.printStackTrace();
    }
  }

  public void visit(Node node, int level)
  {
    NodeList nl = node.getChildNodes();

    for(int i=0, cnt=nl.getLength(); i<cnt; i++)
    {
      System.out.println("["+nl.item(i)+"]");

      visit(nl.item(i), level+1);
    }
  }

  public Document parserXML(String file) throws SAXException, IOException, ParserConfigurationException
  {
    return DocumentBuilderFactory.newInstance().newDocumentBuilder().parse(file);
  }

  public static void main(String[] args)
  {
     new xpath();
  }
}

它抛出异常“java.net.MalformedURLException:无协议(protocol):”

有没有办法让解析器更宽容一些？

谢谢

Answer 1

顺便说一下，您提到的异常与 XML 解析无关。这表明您提供的 URL 无法正确解析。 DocumentBuilder 的 parse(String uri)方法认为您传递的字符串是一个 URI，并试图这样解析它，因此您得到了异常。

---

我认为您不能对 Java 的默认 XML 解析器宽容。 SAX 解析器用于 XML，如果数据格式不正确，则必须停止。

您可能希望将 XML 解析内容换成 HTML 解析器，例如 this one .有一个用于 Java 的开源 HTML 解析器列表 here .作为奖励，您可能会找到一个公开更好的类似浏览器的 API。