python - 使用 url 通过 urllib python 请求时出现编码问题-6ren

python - 使用 url 通过 urllib python 请求时出现编码问题

转载作者：太空宇宙更新时间：2023-11-04 01:55:32

27

4

<分区>

我正在尝试使用 urllib 从 URL 获取响应，然后使用 bs4 提取数据，但是在某些 URL 上我得到了这个异常并且

from urllib.request import urlopen

未能处理请求。给出以下错误:

已编辑:错误:(回溯完成)

Traceback (most recent call last):
  File "G:/Internships/Botnostic Solutions/AllScrapers/careerz360/test_bs4.py", line 74, in <module>
    html = urlopen(url_link)
  File "C:\Users\muhammadhamaadlatif\AppData\Local\Programs\Python\Python37-32\lib\urllib\request.py", line 222, in urlopen
    return opener.open(url, data, timeout)
  File "C:\Users\muhammadhamaadlatif\AppData\Local\Programs\Python\Python37-32\lib\urllib\request.py", line 525, in open
    response = self._open(req, data)
  File "C:\Users\muhammadhamaadlatif\AppData\Local\Programs\Python\Python37-32\lib\urllib\request.py", line 543, in _open
    '_open', req)
  File "C:\Users\muhammadhamaadlatif\AppData\Local\Programs\Python\Python37-32\lib\urllib\request.py", line 503, in _call_chain
    result = func(*args)
  File "C:\Users\muhammadhamaadlatif\AppData\Local\Programs\Python\Python37-32\lib\urllib\request.py", line 1360, in https_open
    context=self._context, check_hostname=self._check_hostname)
  File "C:\Users\muhammadhamaadlatif\AppData\Local\Programs\Python\Python37-32\lib\urllib\request.py", line 1317, in do_open
    encode_chunked=req.has_header('Transfer-encoding'))
  File "C:\Users\muhammadhamaadlatif\AppData\Local\Programs\Python\Python37-32\lib\http\client.py", line 1229, in request
    self._send_request(method, url, body, headers, encode_chunked)
  File "C:\Users\muhammadhamaadlatif\AppData\Local\Programs\Python\Python37-32\lib\http\client.py", line 1240, in _send_request
    self.putrequest(method, url, **skips)
  File "C:\Users\muhammadhamaadlatif\AppData\Local\Programs\Python\Python37-32\lib\http\client.py", line 1107, in putrequest
    self._output(request.encode('ascii'))
UnicodeEncodeError: 'ascii' codec can't encode character '\xe8' in position 18: ordinal not in range(128)

代码片段:

from bs4 import BeautifulSoup
from urllib.request import urlopen
urls_list = []
with open('links_file.txt', 'r', encoding="utf-8") as linksFile:
    for l in linksFile:
        # url_parsed = urllib.parse.quote(l.strip())
        urls_list.append(l.strip())
linksFile.close()

将所有链接附加到列表，以便可以使用以下方法进一步处理它们:urlib.urlopen()

这是在这里造成问题的链接:

urls_list = ['https://www.careerz360.com/pakistan/protègè-global-android-developer-karachi-jobs-108853']

转码:

for url in urls_list:
    html = urlopen(url)
    if html.getcode() == 200:
        response = BeautifulSoup(html.read(), "lxml")
        company_name = response.select('h2#business-name')[0].text.strip()

使用的不同编码:

我也尝试过不同的编码，例如:latin-1、utf-8 和 iso 等，但得到了同样的错误。如果可能的话，请给我一个解决方案。感谢和问候

27

4

0

文章推荐： python - 如何在 nodejs Docker 镜像上安装 Python

文章推荐： node.js - 如何从内存中的字节创建readStream？

文章推荐： javascript - 为 require() 库定义配置变量

python - 无法导入 urllib.request 和 urllib.parse
如有任何帮助，我将不胜感激。我使用 Python 3.4.1 并尝试导入 urllib.request 和 urllib.parse。没有成功。我总是收到: Traceback (most recen
urllib - python urllib 错误 - AttributeError : 'module' object has no attribute 'request'
我正在尝试一个教程代码，它从一个网站获取 html 代码并打印出来。我在 ubuntu 上使用 python 3.4.0。代码: import urllib.request page = urllib
javascript - 是否有等效于 urllib.quote 和 urllib.unquote 的 Javascript？
根据这个answer几年前给出了一个相同的问题，Javascript 中的 encodeURIComponent(str) 应该等同于 Python 中的 urllib.quote(str, safe
python - 我应该从 "urllib.request.urlretrieve(..)"切换到 "urllib.request.urlopen(..)"吗？
1。弃用问题在 Python 3.7 中，我使用 urllib.request.urlretrieve(..) 函数从 URL 下载了一个大文件。在文档 ( https://docs.python.
python - 为什么它给我错误 : No module named 'urllib.request.urlretrieve' ; 'urllib.request' is not a package
在 python 3 中，导入时出现此错误:没有名为“urllib.request.urlretrieve”的模块； “urllib.request”不是一个包 import urllib impor
python - urllib2.urlopen() 与 urllib.urlopen() - urllib2 在 urllib 工作时抛出 404!为什么？
import urllib print urllib.urlopen('http://www.reefgeek.com/equipment/Controllers_&_Monitors/Neptune
python - 导入错误 : cannot import name 'quote' from 'urllib' (/usr/lib/python3. 7/urllib/__init__.py)
我在 gooogle colab 中使用来自 parselmouth 的 praat，在导入 from parselmouth.praat import call 时出现此错误 /usr/local/
javascript - Python 的 urllib.parse.quote() 和 urllib.parse.unquote() 的等效 JavaScript 函数
是否有与 Python 的 urllib.parse.quote() 等效的 JavaScript 函数？和 urllib.parse.unquote() ? 我遇到的最接近的是encodeURI()
python - 在 Python 2.7 中导入 urllib 或 urllib 2 失败，出现 ImportError : cannot import name iskeyword
这个问题在这里已经有了答案: Importing installed package from script with the same name raises "AttributeError: m
python - 在 Python 2.6.5 中，是否有可以用于 urllib.quote 和 urllib.unquote 的 unicode 替代品？
Python 的 urllib.quote 和 urllib.unquote 在 Python 2.6.5 中无法正确处理 Unicode。这就是发生的事情: In [5]: print urllib
TOR上的Python urllib？
这个问题在这里已经有了答案: How to route urllib requests through the TOR network? [duplicate] (3 个回答) 关闭6年前。示例代码
python urllib 帖子问题
我正在制作一些简单的 python 帖子脚本，但效果不佳。有两部分必须登录。第一次登录使用' http://mybuddy.buddybuddy.co.kr/userinfo/UserInfo.a
python urllib 证书验证失败
我有以下脚本: from currency_converter import CurrencyConverter test = CurrencyConverter('http://www.ecb.eu
Python/urllib 突然停止正常工作
我正在编写一个小工具来监控学校的开课情况。我编写了一个 python 脚本，每隔几分钟就会从每个部门获取当前类(class)的可用性。该脚本一直正常运行，直到大学网站开始返回以下内容: SIS S
python - urllib 和正则表达式替换错误
为什么下面的结果会出错？ import re from urllib import quote as q s = re.compile(r'[^a-zA-Z0-9.: ^*$@!+_?-]') s.s
python - urllib 编码问题
我正在开发一个网络爬虫来自动下载巴西网站上的一些文档。并且它使用了一些未知的编码(head 标签中没有定义字符集)。人们只需付出很少的努力就可以阅读这些文档。但真正的问题是，列出文档的页面使用的链接
Python urllib 只下载网页的某些部分？
我有一个程序，我需要打开许多网页并下载其中的信息。然而，这些信息位于页面中间，需要很长时间才能找到。有没有办法让 urllib 只检索 x 行？或者，如果没有别的事，之后就不加载信息？我在 Mac
python - URLlib 未显示在谷歌分析中
我有一个脚本，使用 Urllib 打开我安装了谷歌分析的网页。我的问题是，为什么如果我执行脚本，GA 上不会显示访问次数？最佳答案 Google Analytics 脚本是 JavaScript 代
python - urllib 下载的文件与我手动下载的文件不同
我正在尝试下载航类搜索结果，但我不断收到一个与通过右键单击并手动存储网站获得的文件不同的文件。我已经尝试过 urllib 、 urllib2 以及我在这里找到的每个命令都无济于事。这是一个 MWE:
python - 将Python移植到D : urllib
我最近用Python(Windows 64位v3.3.1)编写了一个程序，并试图将其移植到D。我遇到的问题是我使用了urllib Python 中的模块，特别是 urllib.request.Requ

首页

博学

6Ren·AI

商城

python - 使用 url 通过 urllib python 请求时出现编码问题