python - 在python中逐行读取html url-6ren

python - 在python中逐行读取html url

转载作者：行者123 更新时间：2023-12-01 00:26:41

26

4

我想对网页应用字符串操作，就像我逐行处理本地普通文件一样:

save = []
ins = open("my_file.html", "r")

for line in ins:
    if "/html/" in line and "thumbs" in line:
        print(line)

但是，当我尝试直接获取网页然后将其转换为 utf-8 时，我无法再逐行解析，这是我的代码:

fp = urllib.request.urlopen(base + ".html")
mystr = fp.read()
mystr = mystr.decode("utf-8")

for line in mystr:
    if "/html/" in line and "thumbs" in line:
        print(line)

那么我在这里做错了什么，这是我在收到页面后解码页面的方式，我正在使用的库，我使用字符串或其他东西的方式？

这是cat my_file.html | 的结果头

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.1//EN" "http://www.w3.org/TR/xhtml11/DTD/xhtml11.dtd"><html xmlns="http://www.w3.org/1999/xhtml">
<head>

<script type="text/javascript">

  var _gaq = _gaq || [];
  _gaq.push(['_setAccount', 'UA-4477008-1']);
  _gaq.push(['_trackPageview']);

  (function() {

最佳答案

So whats am I doing wrong here

迭代文件对象会给出文件的行，但迭代字符串会给出单个字符(作为长度为 1 的字符串)。

您需要自己将字符串拆分回行，例如与.splitlines()。

关于python - 在python中逐行读取html url，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/58529361/

26

4

0

文章推荐： extjs - 只读 PropertyGrid

文章推荐：平板电脑断点上的 bool 玛水平导航栏菜单

文章推荐： php - 将日期导入 MySQL

url - 如何将域关联到特定应用程序 url URL？
假设我拥有域 mydomain.com，并且我在服务器上有一个 Web 应用程序，网址为 http://99.99.99.99:1234/MyApplication/startpage.somethi
url - 如何将方案和路径添加到 url.URL
我正在尝试通过以下方式更新已解析的 URL: u, _ := url.Parse(s) if u.Scheme == "" { u.Scheme = "https" } if u.Path =
url - 如何将 URL 映射到端口和修改后的 URL？
如何将 www.somesite.com/api(.*) 映射到 www.somesite.com/$1:9000？ (我需要将/api 映射到运行 @ 端口 9000 的 Play 框架应用程序)
url - 分层 URL 与平面 URL
我有一个资源结构，如航类 > 座位 > 预订，所以预订属于某个航类的某个座位: http://example.com/jdf_3prGPS4/1/jMBDy46PbNc
url - URL 路径中包含多个句点的 URL 是否有效？
我想知道以下网址是否有效。路径中的点，在主机之后: http://www.example.com/v.b.w..com 主机中的点，作为子域的一部分: http://v.b.w..co.manufa
url - 301 URL 从一个域重定向到另一个保持完整 URL
我有两个域 - crmpicco.co.uk 和 ayrshireminis.com - 如果我浏览到: www.crmpicco.co.uk/mini/new我希望能够重定向到 www.ayrshi
url-rewriting - url 重写为外部 url
我正在尝试使用 URL 重写和应用程序请求路由来重写到外部 URL。我设置了以下规则: 在规则中，“patternToMatch”是我试
url - Url Rewrite 是否只能重写为内部 url？
我已经安装了带有 SharePoint 和 Url Rewrite 模块的 IIS 7.0。是以下句子还是我配置错误才能看到这个结果？ Url Redirect 可以将 url 重定向到任何内部(在
url - URL 中 url 单词的最大大小是多少？
我想知道，为了获得良好的 SEO，您必须在 URL 中使用自然语言。您知道字符中单词或短语的最大大小吗？例如: www.me.com/this-is-a-really-long-url.htm 我问这
url - 在 URL 中使用逗号有时会破坏 URL？
有人知道在 SEO 友好 URL 中使用逗号有什么问题吗？我正在使用一些在其 SEO 友好 URL 中使用大量逗号的软件；但我 100% 肯定我见过一些程序/平台无法正确识别 URL 并在第一个逗号后
url - 描述性 URL 与基本 URL
我有一个网站，我正在为所有链接使用干净的 URL。我想知道对于简短的基本 URL 与较长的描述性 URL 有何看法。例如，如果我的网站是关于 Georgia Bulldog 足球新闻的，那么哪个网站
url - 跟踪为长 URL 生成的短 URL
我正在编写一个类似于 tinyurl 的 URL 缩短器，我想知道如何跟踪已经使用我的服务缩短的 URL？例如，tinyurl 为相同的长 URL 生成相同的小 URL，而不管是谁创建的。如
magento 获取 Base Url 、 Skin Url 、 Media Url 、 Js Url 、 Store Url 和 Current Url 以确保安全
我是 magento 的新手。我正在开发一个模块。为此，我有一些要显示链接的 css 和 js 文件。我目前有类似的链接 getSkinUrl('module_tryouts/css/jquery.
url-rewriting - URL 重写 - 重定向到不同的端口并使用映射更改 URL
我想基于 HTTP_URL 重写 URL 以重定向到不同的端口，同时保留其余的 URL 和查询字符串(如果指定)。例如， http://host/john/page.aspx 应该重定向到 http:
url - Grails URL 映射和 URL 中的斜杠字符
我遇到了以下问题: 我的 Grails (2.2.0) 应用程序具有以下 URL 映射: "/api/clientQuote/$labcode/$cliCode/$quoCode"(controlle
url - SharePoint 中 URL 类型字段的长 URL
我有一个很长的 URL，它不适合 URL 字段。它一直在修剪。该怎么办？有没有办法增加 SharePoint 2010 中的 URL 字段字符限制？或者解决方法来容纳长 URL。例如，以下 URL
url-shortener - URL 缩短器如何保证 URL 不会过期？
关闭。这个问题是off-topic .它目前不接受答案。想改进这个问题？ Update the question所以它是on-topic对于堆栈溢出。 9年前关闭。 Improve this que
url - 从文件 URL 查找应用程序脚本发布的 URL - 按发布的 Web 应用程序 URL 搜索文件
我们从客户以前的开发人员那里继承了相当多的 Google Apps 脚本项目。 Apps 脚本通过嵌入式小部件部署在 Google 网站 (sites.google.com) 的各个页面上。每当我们需
url - 绝对 url、相对 url，以及...？
我正在编写一些文档，但遇到了一些词汇问题: http://www.example.com/en/public/img/logo.gif 被称为“绝对”网址，对吗？ ../../public/img/l
url - 从文件 URL 查找应用程序脚本发布的 URL - 按发布的 Web 应用程序 URL 搜索文件
我们从客户以前的开发人员那里继承了相当多的 Google Apps 脚本项目。 Apps 脚本通过嵌入式小部件部署在 Google 网站 (sites.google.com) 的各个页面上。每当我们需

首页

博学

6Ren·AI

商城

python - 在python中逐行读取html url