- mongodb - 在 MongoDB mapreduce 中,如何展平值对象?
- javascript - 对象传播与 Object.assign
- html - 输入类型 ="submit"Vs 按钮标签它们可以互换吗?
- sql - 使用 MongoDB 而不是 MS SQL Server 的优缺点
我正在尝试检查某个单词是否出现在许多网站的页面上。该脚本在 15 个站点上运行良好,然后停止。
UnicodeDecodeError: 'utf8' codec can't decode byte 0x96 in position 15344: invalid start byte
我在 stackoverflow 上进行了搜索,发现了很多问题,但我似乎无法理解我的情况出了什么问题。
我想解决它,或者如果有错误跳过该站点。请建议我如何做到这一点,因为我是新手,下面的代码本身花了我一天的时间来写。顺便说一下,脚本停止的站点是 http://www.homestead.com
filetocheck = open("bloglistforcommenting","r")
resultfile = open("finalfile","w")
for countofsites in filetocheck.readlines():
sitename = countofsites.strip()
htmlfile = urllib.urlopen(sitename)
page = htmlfile.read().decode('utf8')
match = re.search("Enter your name", page)
if match:
print "match found : " + sitename
resultfile.write(sitename+"\n")
else:
print "sorry did not find the pattern " +sitename
print "Finished Operations"
根据 Mark 的评论,我更改了代码以实现 beautifulsoup
htmlfile = urllib.urlopen("http://www.homestead.com")
page = BeautifulSoup((''.join(htmlfile)))
print page.prettify()
现在我收到此错误
page = BeautifulSoup((''.join(htmlfile)))
TypeError: 'module' object is not callable
我正在尝试 http://www.crummy.com/software/BeautifulSoup/documentation.html#Quick%20Start 中的快速入门示例.如果我复制粘贴它,那么代码可以正常工作。
我终于让它工作了。谢谢大家的帮助。这是最终代码。
import urllib
import re
from BeautifulSoup import BeautifulSoup
filetocheck = open("listfile","r")
resultfile = open("finalfile","w")
error ="for errors"
for countofsites in filetocheck.readlines():
sitename = countofsites.strip()
htmlfile = urllib.urlopen(sitename)
page = BeautifulSoup((''.join(htmlfile)))
pagetwo =str(page)
match = re.search("Enter YourName", pagetwo)
if match:
print "match found : " + sitename
resultfile.write(sitename+"\n")
else:
print "sorry did not find the pattern " +sitename
print "Finished Operations"
最佳答案
15344 处的字节为 0x96。大概在位置 15343 有一个字符的单字节编码,或者是多字节编码的最后一个字节,使 15344 成为一个字符的开头。 0x96 是二进制 10010110,任何匹配模式 10XXXXXX(0x80 到 0xBF)的字节只能是 UTF-8 编码中的第二个或后续字节。
因此流不是 UTF-8 或已损坏。
检查您链接到的 URI,我们找到了 header :
Content-Type: text/html
由于没有规定编码,我们应该使用 HTTP 的默认值,即 ISO-8859-1(又名“Latin 1”)。
检查内容我们发现了一行:
<meta http-equiv="Content-Type" content="text/html; charset=ISO-8859-1">
对于由于某种原因无法正确设置其 HTTP 标题的人来说,这是一种后备机制。这次我们被明确告知字符编码是 ISO-8859-1。
因此,没有理由期望将其作为 UTF-8 读取。
不过,为了更有趣,当我们考虑在 ISO-8859-1 0x96 编码 U+0096 时,我们发现 ISO-8859-1 也不正确。似乎创建页面的人对您自己也犯了类似的错误。
从上下文来看,他们似乎实际上使用了 Windows-1252,因为编码 0x96 编码了 U+2013(EN-DASH,看起来像 –
)。
因此,要解析您要在 Windows-1252 中解码的特定页面。
更一般地说,您希望在选择字符编码时检查 header ,虽然在这种情况下它可能不正确(或者可能不正确,但实际上有多个“ISO-8859-1”编解码器是 Windows-1252),你会更经常是正确的。您仍然需要通过后备阅读来捕捉这样的失败。 decode
方法采用称为 errors
的第二个参数。默认是'strict'
,但你也可以有'ignore'
, 'replace'
, 'xmlcharrefreplace'
(不合适),'backslashreplace'
(不合适),您可以使用 codecs.register_error()
注册自己的后备处理程序。
关于python - utf8编解码器无法在python中解码字节0x96,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/7873556/
我通过 spring ioc 编写了一些 Rest 应用程序。但我无法解决这个问题。这是我的异常(exception): org.springframework.beans.factory.BeanC
我对 TestNG、Spring 框架等完全陌生,我正在尝试使用注释 @Value通过 @Configuration 访问配置文件注释。 我在这里想要实现的目标是让控制台从配置文件中写出“hi”,通过
为此工作了几个小时。我完全被难住了。 这是 CS113 的实验室。 如果用户在程序(二进制计算器)结束时选择继续,我们需要使用 goto 语句来到达程序的顶部。 但是,我们还需要释放所有分配的内存。
我正在尝试使用 ffmpeg 库构建一个小的 C 程序。但是我什至无法使用 avformat_open_input() 打开音频文件设置检查错误代码的函数后,我得到以下输出: Error code:
使用 Spring Initializer 创建一个简单的 Spring boot。我只在可用选项下选择 DevTools。 创建项目后,无需对其进行任何更改,即可正常运行程序。 现在,当我尝试在项目
所以我只是在 Mac OS X 中通过 brew 安装了 qt。但是它无法链接它。当我尝试运行 brew link qt 或 brew link --overwrite qt 我得到以下信息: ton
我在提交和 pull 时遇到了问题:在提交的 IDE 中,我看到: warning not all local changes may be shown due to an error: unable
我跑 man gcc | grep "-L" 我明白了 Usage: grep [OPTION]... PATTERN [FILE]... Try `grep --help' for more inf
我有一段代码,旨在接收任何 URL 并将其从网络上撕下来。到目前为止,它运行良好,直到有人给了它这个 URL: http://www.aspensurgical.com/static/images/a
在过去的 5 个小时里,我一直在尝试在我的服务器上设置 WireGuard,但在完成所有设置后,我无法 ping IP 或解析域。 下面是服务器配置 [Interface] Address = 10.
我正在尝试在 GitLab 中 fork 我的一个私有(private)项目,但是当我按下 fork 按钮时,我会收到以下信息: No available namespaces to fork the
我这里遇到了一些问题。我是 node.js 和 Rest API 的新手,但我正在尝试自学。我制作了 REST API,使用 MongoDB 与我的数据库进行通信,我使用 Postman 来测试我的路
下面的代码在控制台中给出以下消息: Uncaught DOMException: Failed to execute 'appendChild' on 'Node': The new child el
我正在尝试调用一个新端点来显示数据,我意识到在上一组有效的数据中,它在数据周围用一对额外的“[]”括号进行控制台,我认为这就是问题是,而新端点不会以我使用数据的方式产生它! 这是 NgFor 失败的原
我正在尝试将我的 Symfony2 应用程序部署到我的 Azure Web 应用程序,但遇到了一些麻烦。 推送到远程时,我在终端中收到以下消息 remote: Updating branch 'mas
Minikube已启动并正在运行,没有任何错误,但是我无法 curl IP。我在这里遵循:https://docs.traefik.io/user-guide/kubernetes/,似乎没有提到关闭
每当我尝试docker组成任何项目时,都会出现以下错误。 我尝试过有和没有sudo 我在这台机器上只有这个问题。我可以在Mac和Amazon WorkSpace上运行相同的容器。 (myslabs)
我正在尝试 pip install stanza 并收到此消息: ERROR: No matching distribution found for torch>=1.3.0 (from stanza
DNS 解析看起来不错,但我无法 ping 我的服务。可能是什么原因? 来自集群中的另一个 Pod: $ ping backend PING backend.default.svc.cluster.l
我正在使用Hibernate 4 + Spring MVC 4当我开始 Apache Tomcat Server 8我收到此错误: Error creating bean with name 'wel
我是一名优秀的程序员,十分优秀!