Python 高效的网页抓取？-6ren

Python 高效的网页抓取？

转载作者：太空宇宙更新时间：2023-11-04 09:55:12

24

4

<分区>

我是 Python 的新手，正在尝试为股票应用程序制作网络解析器。我实际上是在使用 urllib 为参数列表中的每只股票打开所需的网页，并阅读该页面的 html 代码的全部内容。然后我将其切片以找到我正在寻找的报价。我实现的方法有效，但我怀疑这是实现此结果的最有效方法。我花了一些时间研究其他可以更快地读取文件的潜在方法，但似乎没有一个与网络抓取有关。这是我的代码:

from urllib.request import urlopen

def getQuotes(stocks):
    quoteList = {}
    for stock in stocks:
        html = urlopen("https://finance.google.com/finance?q={}".format(stock))
        webpageData = html.read()
        scrape1 = webpageData.split(str.encode('<span class="pr">\n<span id='))[1].split(str.encode('</span>'))[0]
        scrape2 = scrape1.split(str.encode('>'))[1]
        quote = bytes.decode(scrape2)
        quoteList[stock] = float(quote)
    return quoteList

print(getQuotes(['FB', 'GOOG', 'TSLA']))

提前谢谢大家!

24

4

0

文章推荐： css - 包含特定项的元素的后续兄弟的选择器

文章推荐：具有非整数索引的 Python Numpy 二维数组

文章推荐： html - 等间距最大宽度导航

文章推荐： python - 使用 pandas 从 url 读取导入的 csv 文件时出错

java - 使用 selenium webdriver 从屏幕 A(网页)跳转到屏幕 B(网页)，绕过中间屏幕(网页)
这个问题与窗口处理或多个浏览器窗口的杂耍无关，而是关于在同一窗口中浏览 Web 应用程序的网页。我遇到这样的情况 1.我导航为屏幕 A->屏幕 x->屏幕 Y->屏幕 B 2.我需要捕获首次登录时屏幕
网页:系统会记录用户显示每个页面的时长
我有这个要求: The system will record the length of time the user displayed each page. 虽然在富客户端应用程序中微不足道，但我不
JavaScript 网页
我在调试 JavaScript 网页时遇到问题。我遇到困难的地方是我标记 (...) 的地方。我收到未定义的错误。我是否将函数 countDown(start, Increment) 中的参数(即 s
网页 |屏幕中央菜单栏
需要一些帮助。我刚开始学习 HTML，今天一直在研究如何制作菜单，但在这样做时遇到了问题。我似乎不知道如何在屏幕上居中显示菜单。这就是我目前所拥有的； Home
javascript - 我想通过单击按钮将小程序的任何参数发送到浏览器。 (网页)
我想通过单击按钮将小程序的任何参数发送到浏览器。 (HTML)。我知道按钮对象有一些方法，但不知道使用哪个。我怎样才能做到这一点？ps .: 我使用的是 jnlp 协议(protocol)。类似于:
java - 使用维基百科数据时如何提高性能？网页？
我应该使用Wikipedia的文章链接数据转储从组织的网站中提取代表性术语。为此，我已经- 抓取并下载了该组织的网页。 (〜110,000) 创建了Wikipedia ID和术语/标题的字典。 (约
javascript - 我如何从android调用javascript函数(网页)？
我的网页中包含 javascript 函数... function callFromAndroid(varName) { alert("call from android activated by
java - 用java编辑html/网页
我想创建一个 Java 应用程序，允许用户导入网页并能够在程序中对其进行编辑。导入网页将对其进行渲染，并且页面的组件(图像、文本等)将是可编辑或可拖动的，从而允许用户重新布局组件。例如，用户可以加
java - 将scrollPane添加到EditorPane(网页)
当我们按下按钮时，我向 JFrame 添加了一个网页(网页在同一框架中打开)。效果很好。但我想向其中添加一个scrollPane，但是当我添加 JScrollPane jsp = new JScrol
javascript - 网页 |定心
我在使用 particles.js 时无法将图像居中。图像居中，但略微偏离中心。为什么要这样做，我如何才能将它居中？ html particles.js demo CSS
javascript - 加载页面时如何修复音频不自动播放？ - 网页
我正在尝试在加载页面时播放音频，它应该非常简单但我无法完成。问题是它没有播放，我尝试检查自动播放的状态(真/假)，它说它在页面加载时播放，尽管它没有播放，还尝试制作一个将改变自动播放的功能状态为
javascript - 显示选定的图像、网页
我正在尝试显示用户从列表中选择的图像，但我在屏幕上看不到任何内容。 .container { position: relative; } .ce
html - Bootstrap 网页
这听起来有点奇怪，但我需要一些帮助，网页必须有一行必须包含三个部分，第一部分必须有 1 列的偏移量，并且部分之间的空间必须是 10px到目前为止，使用 Bootstrap 一切顺利。现在第二行将有
html - 网页 - 以毫米为单位的图像大小
这个问题在这里已经有了答案: Web and physical units (2 个答案) Div width in cm (inch) (6 个答案) 关闭 9 年前。
javascript - 网页。背景是如何构建的。
这个问题不太可能帮助任何 future 的访问者；它只与一个小的地理区域、一个特定的时间点或一个非常狭窄的情况有关，这些情况并不普遍适用于互联网的全局受众。为了帮助使这个问题更广泛地适用，visit
css - IPython笔记本设置笔记本面板的宽度(网页)
我想将我的 IPython 笔记本的宽度设置为 2500 像素，并且我希望它左对齐。我该怎么做？我使用这段代码来应用我自己的 CSS: from IPython.core.display impor
Javascript |网页 |饼图状态
关闭。这个问题需要更多focused .它目前不接受答案。想改进这个问题吗？更新问题，使其只关注一个问题 editing this post . 关闭 7 年前。 Improve this q
javascript - 如何接受姓名和号码输入并将其添加到文档/网页
我在 Word 中制作了一份文档，希望人们在其中添加自己的姓名以及他们的教学经验。我已将其保存为网页并发布到此处: http://epicforum.net/TS ...但操作部分实际上就是这样: h
javascript - 按下空格键时触发按钮单击(网页)
这个问题在这里已经有了答案: Execute JS code after pressing the spacebar (5 个答案) 关闭 4 年前。
javascript - 要求用户先登录 - 网页
我正在开发一个只有两个页面的网站。 1.登录 2.首页我正在使用 Angular 框架。 app.config(['$routeProvider', function ($routeProvider

首页

博学

6Ren·AI

商城

Python 高效的网页抓取？