java - XQuery 表达式 - 屏幕抓取

java - XQuery 表达式 - 屏幕抓取 - Saxon/JTidy

转载作者：行者123 更新时间：2023-11-30 08:01:01

25

4

我正在开发一个使用 Jtidy/Saxon 的 Java Web Scraper。 Tidy Parsed DOM 通过 XQuery 表达式发送到 Saxon 以提取数据。我在使用 XQuery 表达式时遇到困难。

网站是http://www.pacra.com.pk/reports.php 。我想提取所有表数据，必须使用 XQuery 来完成才能与旧系统配合使用。

本质上我想要的是循环遍历此 XPath 上的所有 tr 标记 //*[@id="mainDiv"]/div/table/tbody

返回tr标签循环遍历每个 tr 中的所有 td 标签返回前 6 个 td 标签 1, 2, 3, 4, 5, 6

中的文本

到目前为止我想到的是

for $tr in //table/tbody
    for $row in $tr/child::tbody/child::tr
        return <tr><td>{data($row/td[1])}</td>
            <td>{data($row/td[1])}</td>
            <td>{data($row/td[2])}</td> 
            <td>{data($row/td[3])}</td>
            <td>{data($row/td[4])}</td>
            <td>{data($row/td[6])}</td>

我的语法显然是错误的，我正在尝试学习 XQuery，但发现这个网站与教程示例 XML 有很大不同。如果有人可以提供帮助，我们将不胜感激!

最佳答案

该网站的 HTML 无效可能对您没有帮助，例如:

<table align="center" width="1024px">
    <tr>
        <td align="center" ><div id="mainDiv"><!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/1999/xhtml">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
<title></title>
</head>
<body>
<table>

注意新的html页面出现在<div id="main">内标签。另外，我不认为您想要的数据实际上位于带有 id="main" 的 div 中。 !

无论如何，您应该能够使用如下方式查询它:

declare namespace h = "http://www.w3.org/1999/xhtml";

for $tr in /h:html/h:html[2]/h:body/h:div/h:table/h:tr
return
    <tr>{
        $tr/h:td[position() le 6]
    }</tr>

我使用 EXPath HTTP 客户端检索 HTML 并将其整理为 XML，因此以下内容对我有用:

import module namespace http = "http://expath.org/ns/http-client";
declare namespace h = "http://www.w3.org/1999/xhtml";

for $tr in http:send-request(<http:request href="http://www.pacra.com.pk/reports.php" method="get"/>)[2]/h:html/h:html[2]/h:body/h:div/h:table/h:tr
return
    <tr>{
        $tr/h:td[position() le 6]
    }</tr>

关于java - XQuery 表达式 - 屏幕抓取 - Saxon/JTidy，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/31922897/

25

4

0

文章推荐： java - Fork-Join Pool 不产生任何结果，而串行代码工作最佳

文章推荐： javascript - AngularJS函数()与指令中的函数工厂()

文章推荐： java - Pentaho java api 工作

grammar - 是否有可能使这个 YACC 语法明确？表达式 : . .. |表达式表达式
我正在用 yacc/bison 编写一个简单的计算器。表达式的语法看起来有点像这样: expr : NUM | expr '+' expr { $$ = $1 + $3; } | expr '-'
java - Lambda 表达式 - 使用 lambda 表达式
我开始学习 lambda 表达式，并在以下情况下遇到了以下语句: interface MyNumber { double getValue(); } MyNumber number; nu
C# Linq Where(表达式).FirstorDefault() 与 .FirstOrDefault(表达式)
这两个 Linq 查询有什么区别: var result = ResultLists().Where( c=> c.code == "abc").FirstOrDefault(); // vs. va
c++ - 为什么在未计算的操作数中不允许使用 lambda 表达式，但在常量表达式的未计算部分中允许使用 lambda 表达式？
如果我们查看 draft C++ standard 5.1.2 Lambda 表达式段 2 说(强调我的 future ): The evaluation of a lambda-expressio
java - -source 1.6 不支持 lambda 表达式 [错误](使用 -source 8 或更高版本启用 lambda 表达式)
我使用的是 Mule 4.2.2 运行时、studio 7.5.1 和 Oracle JDK 1.8.0_251。我在 java 代码中使用 Lambda 表达式，该表达式由 java Invoke
XPath 表达式
我是 XPath 的新手。我有网页的html源 http://london.craigslist.co.uk/com/1233708939.html 现在我想从上面的页面中提取以下数据完整日期电子
boolean 表达式
已关闭。这个问题是 off-topic 。目前不接受答案。想要改进这个问题吗？ Update the question所以它是on-topic用于堆栈溢出。已关闭10 年前。 Improve th
Cron 表达式
我将如何编写一个 Cron 表达式以在每天上午 8 点和下午 3:30 触发？我了解如何创建每天触发一次的表达式，而不是在多个设定时间触发。提前致谢最佳答案你应该只使用两行。 0 8 * * *
Java "..."表达式
这个问题已经有答案了: What do 3 dots next to a parameter type mean in Java? (9 个回答) varargs and the '...' argu
python 表达式
我是 python 新手，在阅读 BeautifulSoup 教程时，我不明白这个表达式“[x for x in titles if x.findChildren()][:-1]”我不明白？你能解释一
ruby 表达式
(?:) 这是一个有效的 ruby 正则表达式，谁能告诉我它是什么意思？谢谢最佳答案正如其他人所说，它被用作正则表达式的非捕获语法，但是，它也是正则表达式之外的有效 ruby 语法。在
JavaScript 表达式
这个问题在这里已经有了答案: Why does ++[[]][+[]]+[+[]] return the string "10"? (10 个答案) 关闭 8 年前。谁能帮我处理这个 JavaSc
Java 表达式
这个问题在这里已经有了答案: What is the "-->" operator in C++? (29 个答案) Java: Prefix/postfix of increment/decrem
Python单行 "for"表达式
这个问题在这里已经有了答案: List comprehension vs. lambda + filter (16 个答案) 关闭 10 个月前。我不确定我是否需要 lambda 或其他东西。但是，
C assert() 表达式
C 中的 assert() 函数工作原理对我来说就像一片黑暗的森林。根据这里的答案https://stackoverflow.com/a/1571360 ，您可以使用以下构造将自定义消息输出到您的断言
ada - 类型转换和 if 表达式
在this页，John Barnes 写道: If the conditional expression is the argument of a type conversion then effec
调度程序的 Cron 表达式
我必须创建一个调度程序，它必须每周从第一天上午 9 点到第二天晚上 11 点 59 分运行 2 天(星期四和星期五)。为此，我需要提供一个 cron 表达式。 0-0 0-0 9-23 ? * THU
派生类型列表上的 Linq 表达式
我正在尝试编写一个 Linq 表达式来检查派生类中的属性，但该列表由来自基类的成员组成。下面的示例代码。以“var list”开头的 Process 方法的第二行无法编译，但我不确定应该使用什么语法来
将某些匹配项转换为大写的 Sed 表达式
此 sed 表达式将输入字符串转换为两行输出字符串。两条输出行中的每一行都由输入的子串组成。第一行需要转换成大写: s:random_stuff$choice1\|choice2${\([^}]*
时间范围的 Cron 表达式
我正在使用 Quartz.Net 在我的应用程序中安排我的工作。我只是想知道是否可以为以下场景构建 CRON 表达式: Every second between 2:15AM and 5:20AM 最

首页

博学

6Ren·AI

商城

java - XQuery 表达式 - 屏幕抓取 - Saxon/JTidy