python请求post返回纯文本

Question

就像标题中所述，我正在尝试抓取一个需要使用post而不是get的网站。

下面是代码，任何帮助将不胜感激

headers = {'Accept-Encoding': 'gzip, deflate',
           'Accept-Language': 'en,zh;q=0.9,zh-CN;q=0.8',
           'Connection': 'keep-alive',
           'Content-Length': '71',
           'Content-Type': 'application/x-www-form-urlencoded;charset=UTF-8',
           'Cookie':'acw_tc=65c86a0915562424980896166e8d7e63f2a68a3ce0960e074dfd8883b55f5a; __utmc=105455707; __utmz=105455707.1556243245.1.1.utmcsr=(direct)|utmccn=(direct)|utmcmd=(none); ajaxkey=1F7A239ABF2F548B9A3EF4A0F6FF5FDC66906C5D06FBF3C0; __utma=105455707.894288893.1556243245.1556400728.1556404658.5; __utmt=1; __utmb=105455707.1.10.1556404658; SERVERID=8abfb74b5c7dce7c6fa0fa50eb3d63af|1556404667|1556404656',
           'Host': 'www.ipe.org.cn',
           'Origin': 'http://www.ipe.org.cn',
           'Referer': 'http://www.ipe.org.cn/GreenSupplyChain/Communication.aspx',
           'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36',
           'X-Requested-With': 'XMLHttpRequest'}

url = "http://www.ipe.org.cn/data_ashx/GetAirData.ashx"
from_data = {'cmd': 'getcommunicationlist',
             'pageSize': 4,
             'pageIndex': 2,
             'industryId': 'on',
             'storyId': 0}
html = requests.get(url,
                     data=from_data,
                     headers=headers)

bsobj = BeautifulSoup(html.content,'html.parser')
bsobj # just a part of all the results
{isSuccess:'1',content:'%3Cul%3E%3Cli%3E%3Ctable%3E%3Ctr%3E%3Ctd%3E%3Cimg%20id%3D%223

我可以成功到达该网站，但我无法理解返回的结果(它既不是 html/xml 也不是 json，只是文本/纯文本，为什么会发生这种情况？此外，这种方法不会返回我的所有内容实际上可以观察这个页面，但是使用 selenium 可以(这很慢，所以我试图找到更好的解决方案)。

我想要的结果如果find("div", {"class": "f26"}))应该返回类似“插入一 block 泡沫 Material 排放对违规记录进行整改”(这个网站有英文版本)，除了只有 HTML 标签或没有。编辑:

我知道在通常情况下，我可以使用 bs 来解析结果，但我不能使用它，因为返回的类型只是 text/plain，如果您可以尝试上面的代码，那就太好了。

Answer 1

这是一种非常hacky的方法，但它似乎有效......

从检查数据来看，服务器返回的相当于已转换为字符串的 Python 字典，例如

>>> s = str({'a': 'b'})
>>> s
"{'a': 'b'}"

从字符串中提取字典的常用方法是使用 ast.literal_eval ，但是ast.literal_eval无法计算字符串(失败并显示 ValueError: malformed node or string: <_ast.Name object at 0x7f719518c7b8> )^*。

然而，字符串化字典似乎只有两个键，“isSuccess”和“content”。只有“content”的值是我们感兴趣的，因此我们可以从字符串中提取它。

quoted = re.sub(r'\{.*content:', '', html.text[:-1]) 

quoted看起来像这样:

quoted[:20]
"'%3Cul%3E%3Cli%3E%3C"

这看起来包含 % 编码的文本。可以使用 urllib.parse.unquote 进行解码:

unquoted = urllib.parse.unquote(quoted)

unquoted看起来像

unquoted[:60]
'\'<ul><li><table><tr><td><img id="3383" title="%u54C1%u724CX"'

这看起来更好，但看起来好像应该是 unicode 转义的字符序列在应该有“\”的地方有一个“%”。当后面跟着“u”和四个十六进制字符时，让我们尝试用反斜杠替换“%”。

replaced = re.sub(r'(%)(u[A-Fa-f0-9]{4})', r'\\\g<2>', unquoted)  
replaced[:60]
'\'<ul><li><table><tr><td><img id="3383" title="\\u54C1\\u724CX"'

这几乎是正确的，但是需要删除双反斜杠。将文本编码为 latin-1 将保留所有字节，然后使用“unicode-escape”编解码器进行解码将删除多余的反斜杠。

markup = replaced.encode('latin-1').decode('unicode-escape')
markup[:60]
'\'<ul><li><table><tr><td><img id="3383" title="品牌X" src="http'

这看起来足够好，可以传递给 BeautifulSoup。

soup = bs4.BeautifulSoup(markup)
soup.find("div", {"class": "con"})
<div class="con"><img src="/public/static/images/icons/g-gas.png"/> 废气<br/>● 环境违规事项：工业废气污染源；<br/>● 潜在影响：空气质量、公众健康。</div>

^* 我有兴趣知道为什么 ast.literal_eval无法解析字符串化的字典。