html - 在 Shell 脚本中使用 CURL 解析 HTML-6ren

html - 在 Shell 脚本中使用 CURL 解析 HTML

转载作者：行者123 更新时间：2023-12-02 00:35:32

25

4

我正在尝试在 shell 脚本中解析网页的特定内容。

我需要grep <div>里面的内容标签。

<div class="tracklistInfo">
<p class="artist">Diplo - Justin Bieber - Skrillex</p>
<p>Where Are U Now</p>
</div>

如果我使用grep -E -m 1 -o '<div class="tracklistInfo">' ，简历只有<div class="tracklistInfo">

如何访问艺术家 (Diplo - Justin Bieber - Skrillex)以及标题如何(Where Are U Now) ？

最佳答案

使用 xmllint:

a='<div class="tracklistInfo">
<p class="artist">Diplo - Justin Bieber - Skrillex</p>
<p>Where Are U Now</p>
</div>'

xmllint --html --xpath 'concat(//div[@class="tracklistInfo"]/p[1]/text(), "#", //div[@class="tracklistInfo"]/p[2]/text())' <<<"$a"

您获得:

Diplo - Justin Bieber - Skrillex#Where Are U Now

可以很容易地分开。

关于html - 在 Shell 脚本中使用 CURL 解析 HTML，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/36157116/

25

4

0

文章推荐： java - 将数据集写入不同的 XML 文件

文章推荐： perl - perl中如何将文件夹从一个目录复制到另一个目录？

文章推荐： java - 选择弹出消息不会重定向到另一个页面

文章推荐： xaml - UWP - 单击空白区域关闭我的内容对话框

curl - 将命令行 cURL 转换为 C cURL
我以前从未做过任何 curl ，所以需要一些帮助。我试图从示例中解决这个问题，但无法理解它! 我有一个 curl 命令，我可以从 Windows 命令行成功运行该命令，该命令行在 Solr 中索引 p
curl - curl -v 和 curl -I 有什么区别
curl -v有什么区别和 curl -I ? 我可以看到 -v是冗长的和 -I是标题。有什么具体的吗？最佳答案 -I (大写字母 i)在 curl 中表示“没有正文”，对于 HTTP 表示发送 H
curl - curl FTP访问被拒绝
我正在使用curl php API访问FTP链接。在特定站点上，它给出错误代码9（拒绝访问）。但是，可以从IE和Firefox访问该链接。然后，我运行curl命令行，它给出了相同的“访问拒绝”结果。
curl - cURL NTLM代理授权
我已经使用curl有一段时间了，它可以正常工作，但是使用使用用户'domain\username'来验证curl的代理时，无法请求授权。授权方法是NTLM。此代码放入批处理文件中。代码: curl
curl - 'curl' 默认使用什么证书？
“curl”默认使用哪些证书？例子: curl -I -L https://cruises.webjet.com.au 在 Ubuntu 15.04 上失败 curl: (60) SSL certi
curl - curl -输出到终端的内容是什么？
我知道终端输出的一部分是请求的持续时间，剩余时间等。但是是否有一些文档指定了curl命令的终端输出的每一列到底是什么？手册页上的内容非常稀疏。最佳答案可能不容易找到，但已在the curl boo
curl - Owncloud上传文件到特定文件夹 - curl
我想通过 curl 在我自己的云服务器上的特定文件夹中上传文件。例如:http://www.myowncloudserver.com/remote.php/webdav/{MY_FOLDER}。此时我
curl - curl 以提示用户名和密码
我的网站上有一个密码保护的Web文件夹，我正在使用Curl在另一个域上获取该文件夹，我想要的是:当我尝试打开URL时，应该问我用户名和密码，而不是让它显示“需要授权”。例: http://www.e
curl - curl 以获取Rabbitmq队列大小
有没有一种方法可以通过简单的Curl获取Rabbitmq中队列的大小（剩余消息）？类似于curl -xget http://host:1234/api/queue/test/stats 谢谢最佳答
curl - curl 免费发布库的动机是什么？
关闭。这个问题是opinion-based .它目前不接受答案。 2年前关闭。锁定。这个问题及其答案是locked因为这个问题是题外话，但具有历史意义。它目前不接受新的答案或互动。我最近开始在我的
curl - 使用带有用户名和密码的 cURL？
我想访问需要用户名/密码的 URL。我想尝试用curl 访问它。现在我正在做类似的事情: curl http://api.somesite.com/test/blah?something=123 我收
curl - 'CURL' 不被识别为内部或外部命令？
我正在尝试使用 CURL 进行查询ElasticSearch 中的命令在windows平台。例如:localhost:9200/playground/equipment/1?pretty 我收到一条
curl - 在运行容器时成功使用 curl
我正在尝试使用 Docker 构建和运行 Marklogic 实例。 Marklogic 提供了一些不错的 http api，所以，作为最终 CMD在 Dockerfile 中，我运行两个脚本，它们通
curl - 加载超时阻止使用 Curl
我正在尝试通过 cURL 检索网页的内容(比方说 http://www.foo.com/bar.php )。当我在浏览器中加载网站时，加载页面时会出现动画，页面最终会显示出来。但是使用 cURL，
curl - 带有代理和响应状态代码的命令行 curl
我正在尝试使用带代理的命令行 CURL 获取响应状态代码。这会返回整个页面，但我只想要状态代码。我怎么做？谢谢。 curl -sL -w -x IP:PORT "%{http_code}\n""ht
curl - net/http vs curl - 为什么在 curl 不超时的情况下超时？
我有一段代码检查 http/s 端点的状态和加载时间。然后我会为每个顶级页面检查 1 级 href，以检查页面引用的所有内容是否也加载了 200。 (我查了50个顶级页面，每个顶级页面平均有8个链接)
curl - curl --upload-file 和 curl --form file=@filename 有什么区别
curl --upload-file 和 curl --form file=@/path/file 有什么区别？这些 HTTP 请求有何不同？最佳答案 --上传文件 (使用 HTTP 或 HTTPS
curl - CMAKE_USE_SYSTEM_CURL 已打开但未找到 curl
我正在尝试使用 system-curl 安装 cmake，使用 ./bootstrap --system-curl，如 here 所示.这样做，我得到了: -- Could NOT find
curl - 为什么 Curl 会忽略给定的范围？
我需要使用 Curl 下载 Youtube 视频的特定部分。 (假设我想下载前 2MB)我在 Curl 中使用 -r 开关来实现这一点。它适用于非 YouTube 链接，但 Youtube 链接会忽略
curl - 在 curl 命令中为文件名添加时间戳
我希望在使用 curl 命令从远程服务器下载文件后，将时间戳或日期添加到文件名中。我知道您可以使用 -o 来指定您要为文件命名的内容。我看到过这样的建议:-o "somefile $(date +\"

首页

博学

6Ren·AI

商城

html - 在 Shell 脚本中使用 CURL 解析 HTML