javascript - 使用 Python 抓取 javascript 生成的数据

Question

我想使用 Python 抓取以下 url 的一些数据。 http://www.hankyung.com/stockplus/main.php?module=stock&mode=stock_analysis_infomation&itemcode=078340

这是关于公司信息的汇总。

我要抓取的内容没有显示在第一页上。通过单击名为“재무제표”的选项卡，您可以访问财务报表。然后单击名为“현금흐름표”的选项卡，您可以访问“现金流量”。

我想抓取“现金流”数据。

但是，现金流量数据是由 javascript 跨 url 生成的。以下链接是隐藏的网址，http://stock.kisline.com/compinfo/financial/main.action?vhead=N&vfoot=N&vstay=&omit=&vwidth=

现金流量数据是通过向此 url 提交一些选项值和 cookie 生成的。

如您所见，第一个链接中的itemcode=078340表示股票代码，我要收集现金流数据的股票多达1680只。我想让它成为一个循环结构。

是否有抓取现金流数据的好方法？我试过 scrapy，但 scrapy 很难处理我已经在使用的另一个抓取代码。

Answer 1

还有 dryscape (我写的一个库，所以推荐有点偏，显然 :) 它使用基于 Webkit 的快速内存浏览器来导航。它也理解 Javascript，但比 Selenium 轻量级得多。