python - 从 ychart.com 抓取 yield 日期

Question

我需要历史 yield 日期，所以我试图从 ychart.com 中抓取它们。我尝试使用下面的脚本抓取 APPLE 股票的 yield 日期(在上传图片中的表格中)，

import requests

url = 'https://ycharts.com/companies/AAPL/events/#/?eventTypes=earnings,&pageNum=1'

page = requests.get(url)
page_content = page.content
with open('data.txt', 'w') as f: 
    f.write(page_content) 
    f.close()

我将“page_content”保存到一个文本文件中并搜索收入日期，但我没有找到任何一个!

Answer 1

您对脚本所做的是从网页获取 HTML。现在您需要解析 HTML 以获得您想要的数据。您可以使用 lxml 库或 beautifulsoup 甚至 scrapy 来进行一些网页抓取。

from lxml import html
import requests

url = 'https://ycharts.com/companies/AAPL/events/#/?eventTypes=earnings,&pageNum=1'

page = requests.get(url)
page_content = page.content

tree = html.fromstring(page_content)
my_xpath = '//th[@class="colDate ng-binding"]/text()'
dates = tree.xpath(my_xpath)

for date in dates:
    print("{}".format(date))

你应该在“日期”中得到一个日期列表。

编辑:你没有得到任何执行这个脚本的东西，因为 request.get() 检索 HTML 没有被 Javascript 修改，表是由 Javascript 创建和填充的。

我的回答不适用于这个问题，它只是一个基本的网页抓取脚本。