- android - 多次调用 OnPrimaryClipChangedListener
- android - 无法更新 RecyclerView 中的 TextView 字段
- android.database.CursorIndexOutOfBoundsException : Index 0 requested, 光标大小为 0
- android - 使用 AppCompat 时,我们是否需要明确指定其 UI 组件(Spinner、EditText)颜色
我正在创建一个程序,给定维基百科上的起始页面和目标页面,通过每个页面上的超链接从起始页面导航到目标页面。例如,如果我们有起始页面 A 和目标页面 B,并且 A 链接到 C,C 链接到 B,我们可以通过 A -> C -> B 从 A 到达 B。
我尝试过使用漂亮的汤,但我是网络抓取的新手。到目前为止,我已经从页面中提取了 html 并对链接进行了排序。到目前为止我的代码是这样的:
from urllib.request import urlopen
from bs4 import BeautifulSoup
import re
html = urlopen("https://en.wikipedia.org/wiki/Web_Bot")
bs = BeautifulSoup(html, "lxml")
links = bs.find("div", {"id": "bodyContent"}).findAll("a",
href=re.compile("^(/wiki/)((?!:).)*$"))
for link in links:
if "href" in link.attrs:
print(link.attrs["href"])
我的问题是:如何通过页面上的链接从一个页面移动到下一个页面?
最佳答案
一般来说,您要实现的目标并不是一项微不足道的任务。还有几个单独的问题需要解决。
问题 1:跟踪您已经访问过的所有链接和尚未访问的链接
问题 2:知道何时停止。如果您正在抓取的网站非常小,那么您可以希望在一段时间后您会简单地找到所有可能的链接并且您的抓取就会结束。
问题 3:根据知道哪个页面链接到哪个页面来找到路径。现在可能的解决方案:
问题 1. 解决方案 A:使用队列和集合。在每一步中,将当前页面链接放入一组访问过的链接中,从页面获取链接,检查是否其中任何一个已经在一组访问过的链接中,将新链接添加到队列中。然后从队列中选择下一个链接进行访问。非常简单的方法,特别是如果您的爬虫可以花时间。这将按顺序执行所有操作。一页接着一页。
问题 1. 解决方案 B:花 1-2 小时阅读 Scrapy 并尝试使用 Scrapy 实现爬虫。它将为您执行多线程处理,并提供查找链接的工具(类似于您在 BeautifulSoup 中执行此操作的方式)。优势:许多功能已经实现,例如导出为 CSV、JSON 以供进一步处理、日志记录、抓取统计信息等。
问题 2. 解决方案 A。 这取决于。如果您正在寻找任何特定路径,那么您可以在到达目标页面后立即停止,然后您可以重建从 A 到 B 的路径。
问题 2. 解决方案 B。如果您正在寻找最短路径或能够为任何给定的 A 和 B 找到 A 和 B 之间的路径,那么您可以通过数量限制您的爬行酒花。假设您从页面 A 开始,它有指向 B1、B2 和 B3 的链接。你访问它们并给它们序号 1。那些 B 页面有指向 C1、C2、C3、C4、C5 的链接——你访问这些页面并给它们序号 2。你继续直到到达序号 X,这意味着这些页面离您的起始页有 X 跳。这将确保您限制抓取时间。
问题 3. 解决方案 A。 当您从页面 A 转到 B1、B2、B3 页面时,您“附加一个解析器”,上面写着“A”。这意味着可以从页面 A 访问这些页面。您访问的每个新页面还必须保留有关可以从何处访问的信息。然后使用 DFS 或 BFS 算法在该组链接页面中找到路径。
问题 3. 解决方案 B。您维护一个列表,而不是仅保留对上一页的引用。如果您从 A 访问 B,您的 B 链接将以“A”作为指向它的路径。但是,如果您从 B 访问 C,您会将 B 添加到现有路径,而 C 将包含“A->B”,依此类推。这意味着对于每个链接,您最终都会有一条从 A 到该链接的路径。如果您对从 A 到任何其他页面的任何路径感兴趣,效果很好。
问题 3. 解决方案 C. 当您从每个页面中提取所有链接时,您构建了一个 map ,其中您的页面是键,它包含的链接列表是值。这与方法 A 有点相反。不是子级引用父页面,而是让父级页面列出其子级。在这种情况下,您也可以使用 DFS 或 WFS 算法来查找任意两个页面之间的路径。
关于python - 使用python查找链接页面以定位页面,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/55107455/
我在 GlassFish (J2EE_1.4) 上的 NetBeans 中开发企业项目。我的项目中有一些实体 bean、一些 session bean 和消息驱动 bean。我以如下方式使用 serv
什么在速度方面更好...... 我正在尝试确定用户是否已将某个 URL 添加到他们的快捷方式列表中。如果他们添加了 URL,页面上就会有一个链接,用于从快捷方式中删除该页面,否则他们可以将其添加到快捷
我的问题如下: 我打开一个Excel-File,但我不知道我的客户在模板文件中使用了哪些可能的标头变量。它们可以是:#DATE,#TIME,#NAME等。因此,我需要查找这些变量,以及是否已使用过:替
我有一堆以“-e”结尾的文件要删除。 $ find . -name "*-e" exec rm {} \; find: exec: unknown primary or operator 正则表达式是
我有一个简单的问题:是否可以在 TypeScript 中获取联合的一部分的类型? 例如,您可以经常使用如下查找类型: interface Person { name: string; } type
我正在尝试设置 Point Cloud Library启用 CUDA 选项的主干构建。 我相信我已经按照 these instructions 正确安装了 CUDA . 在 PCL 构建的 cmake
我将首先说我所知道的唯一 VBA 是操作录制的宏的反复试验。我是一名注册会计师,试图以艰难的方式学习 VBA(并希望我去学校学习计算机编程!)。 我有带有多个工作表的大型工作簿。 G 列中以黄色突出显
当文件数达到阈值时,我试图删除目录中最旧的文件。 list_of_files = os.listdir('log') if len([name for name in list_of_files
我有一个数组,它有一些重复的值。 我必须计算每个重复项的数量及其索引。 打印如: Index of b: 1 Index of b: 4 Index of c: 2 Index of c: 3 Ind
我已经搜索了我的问题的解决方案,但没有成功。热键 ctrl+F 找到的 eclipse 查找/替换功能不起作用。注意:通过 Eclipse 菜单 Edit>Find Replace(不工作我的意思是
我想检查 div 是否包含类为“error”的子级,但条件是错误类显示不等于无。 (意味着错误类必须可见。 如何更改我的以下代码: $(".related_field").each(function
这个问题已经有答案了: 已关闭13 年前。 Possible Duplicate: Can jQuery provide the tag name? 嗨! 这个问题太基础了,我不好意思问,但我尝试了
我一直听说这是 cygwin 的路径问题。它阻止了 emacs 在我的 cygwin 中工作。当我在 cli(不是 bash/cygwin)上执行 find 时,无论我输入什么,我都会得到同样的错误。
我正在使用此变量来获取一个或多个与我需要的值相匹配的值。 var mail = $("#dat").contents().find("td:contains('" + name + "')" ).si
请原谅这个长问题。我只是不确定解决这个问题的最佳方法是什么。 我有一个电子表格(Google 表格),其中包含用户和地址列表,我需要从中创建邮寄标签。该电子表格是从我们的学生信息系统导出的。这些地址应
我正在 Excel VBA 中创建一个公式,以解析单元格中以逗号分隔的“部分”列表。在另一个工作表中查找具有该零件名称的单元格,然后使用找到的该单元格的地址来获取同一行不同列的零件成本。我为此工作了数
我被要求在网络应用程序上实现一些电子邮件地址验证 - 我确信我们都已经经历过一千次了...但是,这一次我被要求在域上进行 MX 查找查看它是否接受电子邮件。 有人知道这样做有任何潜在的问题吗? mx
我有一个切换按钮,可读取.wave文件,并且字符串更改为暂停,然后..... 我的问题是,当用户播放声音时,按钮字符串更改为暂停,结束声音后,该字符串仍为暂停状态,我想将其更改为播放。但是我不知道如何
对于令人困惑的标题提前表示歉意。我的问题如下,我在大约 600 个文件中有以下文本: $_REQUEST['FOO'] 我想将其替换为以下内容: $this->input->post('FOO') 为
我正在使用 Ansible 的查找功能查找 INI 文件中的值。这是文档中的示例: - debug: msg="User in integration is {{ lookup('ini', 'use
我是一名优秀的程序员,十分优秀!