python - BeautifulSoup 没有正确读取文档-6ren

python - BeautifulSoup 没有正确读取文档

转载作者：太空宇宙更新时间：2023-11-04 07:44:24

24

4

我正在尝试抓取 NBA 球员的统计数据，目的是对他们进行一些机器学习，我发现这些“可打印的球员文件”包含大量统计数据，非常简洁。不幸的是，我正在尝试使用 BeautifulSoup 来解析 html，但它根本不起作用。例如:

from bs4 import BeautifulSoup
import codecs
import urllib2

url = 'http://www.nba.com/playerfile/ray_allen/printable_player_files.html'
html = urllib2.urlopen(url).read()
soup = BeautifulSoup(html)

with open('ray_allen.txt', 'w') as f:
    f.write(soup.prettify())
    f.close()

给我一个看起来像这样的文件:

<html>
 <head>
  <!--no description was found-->
  <!--no title was found-->
  <!--no keywords found-->
  <!--not article-->
  <script>
   var site = "nba";
var page = "player";
  </script>
  <meta content="text/html; charset=utf-8" http-equiv="Content-Type"/>
  <script language="Javascript">
   &lt;!--
var flashinstalled = 0;
var flashversion = 0;
MSDetect = "false";
if (navigator.plugins &amp;&amp; navigator.plugins.length) {
    x = navigator.plugins["Shockwave Flash"];
    if (x) {
        flashinstalle   d       =       2   ;   

           i   f       (   x   .   d   e   s   c   r   i   p   t   i   o   n   )       {   

               y       =       x   .   d   e   s   c   r   i   p   t   i   o   n   ;   

               f   l   a   s   h   v   e   r   s   i   o   n       =       y   .   c   h   a   r   A   t   (   y   .   i   n   d   e   x   O   f   (   '   .   '   )   -   1   )   ;   

           }   

       }       e   l   s   e   

           f   l   a   s   h   i   n   s   t   a   l   l   e   d       =       1   ;   

       i   f       (   n   a   v   i   g   a   t   o   r   .   p   l   u   g   i   n   s   [   "   S   h   o   c   k   w   a   v   e       F   l   a   s   h       2   .   0   "   ]   )       {   

           f   l   a   s   h   i   n   s   t   a   l   l   e   d       =       2   ;   

           f   l   a   s   h   v   e   r   s   i   o   n       =       2   ;   

       }   
[...]

然后在结束之前继续另外 3000 多行([...] 是我添加的):

[...]
   &lt;   /   b   o   d   y   &gt;   

   &lt;   /   h   t   m   l   &gt;
  </script>
 </head>
</html>

我也尝试了“http://www.basketball-reference.com/players/a/allenra02.html”，但那个给了我这个错误:

Traceback (most recent call last): File "test.py", line 9, in f.write(soup.prettify()) UnicodeEncodeError: 'ascii' codec can't encode character u'\xb7' in position 6167: ordinal not in range(128)

也许我应该使用其他东西来解析 html？还是其中一个问题很容易解决？我在这里读到的内容似乎表明使用 BeautifulSoup 应该让事情变得简单而不是困难!

编辑:行:

print soup.prettify()

适用于终端的第二页，因此当它尝试写入文件时发生了一些事情——这不是 BeautifulSoup 的问题

最佳答案

这表现出与 bug 972466 相同的症状，已在 4.0.3 中修复。我建议升级到最新版本的 Beautiful Soup 4。

关于python - BeautifulSoup 没有正确读取文档，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/11354521/

24

4

0

文章推荐： C WIN32是否关闭std句柄

文章推荐： c - DHT11 传感器连接到 ESP8266 时保持打印 255 温度和湿度

文章推荐： python - 如何格式化这样的字符串？

beautifulsoup - BeautifulSoup 。如何获取包含特定单词的链接？
HTML 在 div 中包含字符串: 'div class="slide"' 'img src="xttps://site.com/files/r_1000,kljg894/43k5j/35h43jk
beautifulsoup - 使用 BeautifulSoup 从属性中提取 href
我用这个方法 allcity = dom.body.findAll(attrs={'id' : re.compile("\d{1,2}")}) 返回这样的列表: [掳虏驴碌路驴碌脴虏煤脨脜脧垄脥酶隆
beautifulsoup - 安装了 BeautifulSoup 但仍然没有得到名为 bs4 的模块
我正在使用 Jupyter 笔记本、Python 3.5 和虚拟环境。在我的虚拟环境中，我做了: (venv) > pip install BeautifulSoup4 这似乎运行良好 b/c 终端
python - 当我不使用 BeautifulSoup 时如何摆脱 BeautifulSoup html 解析器错误
我打算用 GUI 制作一个字典程序，但我在第一个障碍上就失败了。我刚刚安装了一个模块( PyDictionary )，但是当我运行以下代码时出现错误。 from PyDictionary import
python - Beautifulsoup 与 lxml vs Beautifulsoup 3
我正在将一些解析器从 BeautifulSoup3 迁移到 BeautifulSoup4，我认为考虑到 lxml 非常快并且它是我在 BS4 中使用的解析器，分析它会变得多快是个好主意，这里是分析结果
python - 来自 : can't read/var/mail/BeautifulSoup 的 BS4 和 BeautifulSoup 错误
这个问题在这里已经有了答案: Getting Python error "from: can't read /var/mail/Bio" (6 个答案) 关闭 11 个月前。 From Beauti
python - 从大文件中剥离 html 比 BeautifulSoup 更快/更少的资源破坏方式？或者，使用 BeautifulSoup 的更好方法？
目前我无法输入这个，因为根据 top，我的处理器是 100%，我的内存是 85.7%，都被 python 占用了。为什么？因为我让它通过一个 250 兆的文件来删除标记。 250兆，就是这样!我一直
Python Beautifulsoup : file. write(str) 方法获取 TypeError : write() argument must be str, 不是 BeautifulSoup
我写了下面的代码: from bs4 import BeautifulSoup import sys # where is the sys module in the source code fold
What causes `None` results from BeautifulSoup functions? How can I avoid "AttributeError: 'NoneType' object has no attribute..." with BeautifulSoup?(是什么原因导致了BeautifulSoup函数的`None‘结果？如何避免“AttributeError：‘NoneType’对象没有属性...”配上美人汤？)
通常，当我尝试使用BeautifulSoup解析网页时，BeautifulSoup函数会得到NONE结果，否则就会引发AttributeError。。以下是一些独立的(即，由于数据是硬编码的，不需要访
What causes `None` results from BeautifulSoup functions? How can I avoid "AttributeError: 'NoneType' object has no attribute..." with BeautifulSoup?(是什么原因导致了BeautifulSoup函数的`None‘结果？如何避免“AttributeError：‘NoneType’对象没有属性...”配上美人汤？)
通常，当我尝试使用BeautifulSoup解析网页时，BeautifulSoup函数会得到NONE结果，否则就会引发AttributeError。。以下是一些独立的(即，由于数据是硬编码的，不需要访
BeautifulSoup 嵌套类选择器
我正在为一个项目使用 BeautifulSoup。这是我的 HTML 结构 John Sam Bailey Jack
beautifulsoup - 从外部文件中删除多余的垃圾字符
这段代码正确地从我的博客中提取了马拉地语文本。我很欣赏使用漂亮的汤和正则表达式是多么容易。 from bs4 import BeautifulSoup import requests, re url
用于HTML解析的Python正则表达式(BeautifulSoup)
我想获取 HTML 中隐藏输入字段的值。我想用 Python 编写一个正则表达式，它将返回 fooId 的值，前提是我知道 HTML 中的行遵循以下格式有人可以提供一个 Python 示例来解
BeautifulSoup(bs4)细致讲解
BeautifulSoup(bs4) BeautifulSoup是python的一个库,最主要的功能是从网页爬取数据,官方是这样解释的:BeautifulSoup提供一些简单,python式函
Python Beautifulsoup 获取标签下的文字
我正在尝试获取特定月份的所有链接、标题和日期，例如网站上的三月，我正在使用 BeautifulSoup 这样做: from bs4 import BeautifulSoup import reques
python - Beautifulsoup 使用下一个按钮分页
我正试图通过此链接收集有关 2020 年世界上收入最高的运动员收入的信息 https://www.forbes.com/profile/roger-federer/?list=athletes这是第一
python - BeautifulSoup - 捕获特定类或文本的所有链接
我正在尝试从带有美丽汤的网页中捕获所有相关链接。我需要的所有链接都有 class="btn btn-gray"还有文字 More Info<> 仅提取这些链接的最佳方法是什么？最佳答案这个怎么样？
python - Beautifulsoup 带有下拉菜单的网页抓取网站
我正在尝试抓取一个具有下拉菜单的站点，用户可以在其中选择要显示的数据的年份。但是，我似乎被困在我的实现中。这是网站网址:https://www.pgatour.com/tournaments/mas
python - Beautifulsoup 网络爬虫问题
我正在使用 BeautifulSoup 和 mechanise 从网页中查找一些内容。问题是有时找不到我正在寻找的字符串。我不知道有什么问题对于许多网页，它可以正常工作数月，但突然停止工作。然后我必
python - BeautifulSoup 解析返回空集
( 更新代码就在下面) 我有一个类:UrlData , 生成一个 url 列表: for url in urls: rawMechSiteInfo = mech.open(url) #me

首页

博学

6Ren·AI

商城

python - BeautifulSoup 没有正确读取文档