gpt4 book ai didi

python - 使用 'requests-html'时如何使用绝对链接路径获取原始html

转载 作者:行者123 更新时间:2023-12-04 13:30:18 24 4
gpt4 key购买 nike

使用 requests 发出请求时图书馆到 https://stackoverflow.com

page = requests.get(url='https://stackoverflow.com')
print(page.content)
我得到以下信息:
<!DOCTYPE html>
<html class="html__responsive html__unpinned-leftnav">
<head>
<title>Stack Overflow - Where Developers Learn, Share, &amp; Build Careers</title>
<link rel="shortcut icon" href="https://cdn.sstatic.net/Sites/stackoverflow/Img/favicon.ico?v=ec617d715196">
<link rel="apple-touch-icon" href="https://cdn.sstatic.net/Sites/stackoverflow/Img/apple-touch-icon.png?v=c78bd457575a">
<link rel="image_src" href="https://cdn.sstatic.net/Sites/stackoverflow/Img/apple-touch-icon.png?v=c78bd457575a">
..........
此处的这些源代码具有绝对路径,但是当使用 requests-html 运行相同的 URL 时用js渲染
with HTMLSession() as session:
page = session.get('https://stackoverflow.com')
page.html.render()
print(page.content)
我得到以下信息:
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Strict//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd">
<html xmlns="http://www.w3.org/1999/xhtml">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=iso-8859-1" />
<title>StackOverflow.org</title>
<script type="text/javascript" src="lib/jquery.js"></script>
<script type="text/javascript" src="lib/interface.js"></script>
<script type="text/javascript" src="lib/window.js"></script>
<link href="lib/dock.css" rel="stylesheet" type="text/css" />
<link href="lib/window.css" rel="stylesheet" type="text/css" />
<link rel="icon" type="image/gif" href="favicon.gif"/>
..........
这里的链接是相对路径,
如何获取具有绝对路径的源代码,例如 requests使用时 requests-html用js渲染?

最佳答案

这应该是 request-html developers 的功能请求.但是现在我们可以通过这个骇人听闻的解决方案来实现这一点:

from requests_html import HTMLSession
from lxml import etree

with HTMLSession() as session:
html = session.get('https://stackoverflow.com').html
html.render()

# iterate over all links
for link in html.pq('a'):
if "href" in link.attrib:
# Make links absolute
link.attrib["href"] = html._make_absolute(link.attrib["href"])

# Print html with only absolute links
print(etree.tostring(html.lxml).decode())
我们通过遍历所有链接并使用 html 对象的私有(private) _make_absolute 将它们的位置更改为绝对位置来更改 lxml 树下的 html 对象。功能。

关于python - 使用 'requests-html'时如何使用绝对链接路径获取原始html,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/65437506/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com