gpt4 book ai didi

networking - 如何查找标题数据和名称? (Python 请求)

转载 作者:行者123 更新时间:2023-12-02 00:30:02 24 4
gpt4 key购买 nike

我想使用请求在登录站点上进行网络抓取。我已经使用 selenium 完成了代码,但这样做非常不方便且速度较慢,因为我想将其公开(每个用户都必须下载 chrome 驱动程序)。

问题是,该网站有多个请求,我没有任何处理该数据和提取 header 数据和名称的经验。任何帮助都很棒,谢谢。

最佳答案

[前提]

使用请求模块,您可以通过以下方式发送请求:

import requests

url = "http://www.example.com" # request url

headers = { # headers dict to send in request
"header_name": "headers_value",
}

params = { # params to be encoded in the url
"param_name": "param_value",
}

data = { # data to send in the request body
"data_name": "data_value",
}

# Send GET request.
requests.get(url, params=params, headers=headers)

# Send POST request.
requests.post(url, params=params, headers=headers, data=data)

一旦你执行了一个请求,你就可以从响应对象中得到很多信息:

>>> import requests

# We perform a request and get the response object.
>>> response = requests.get(url, params=params, headers=headers)
>>> response = requests.post(url, params=params, headers=headers, data=data)

>>> response.status_code # server response status code
>>> 200 # eg.

>>> response.request.method
>>> 'GET' # or eventually 'POST'

>>> response.request.headers # headers you sent with the request
>>> {'Accept-Encoding': 'gzip, deflate, br'} # eg.

>>> response.request.url # sent request url
>>> 'http://www.example.com'

>>> response.response.body
>>> 'name=value&name2=value2' # eg.

总而言之,您可以从响应对象 检索您可以在浏览器的开发工具中找到的所有信息。你不需要别的。 Dev Tools view Dev Tool view 2

发送 GET 或 POST 请求后,您可以从开发工具中检索信息:

一般:

请求 URL:您向其发送请求的 URL。对应response.request.urlRequest Method:对应response.request.methodStatus Code:对应response.status_code

响应 header 中:

您找到与 response.headers 对应的响应 header

例如。连接:保持事件状态,内容长度:0,内容类型:文本/html;字符集=UTF-8...

请求 header 中:

你找到对应于 response.request.headers 的请求头

表单数据中:

你可以在 requests.post 中找到你通过 data 关键字传递的数据。对应response.request.body

关于networking - 如何查找标题数据和名称? (Python 请求),我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/52238679/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com