javascript - 既然 Twitter 需要 JavaScript，我该如何抓取它们？

Question

我有几个网站可以监控 Twitter 的特定类型的语句，并使用 PHP 中的 curl 抓取相关的推文。几天前，这些网站停止抓取 Twitter。我想他们可能重新设计了他们的 mobile.twitter 网站的布局，我所要做的就是将我的 xPath 查询更改为不同的类或其他东西，但我发现每当你尝试在没有启用 JavaScript 的情况下访问 Twitter 时，你都会得到启用 JavaScript 访问 Twitter 的提示。似乎没有办法解决这个问题。在此更改之前，人们可以访问不需要 JavaScript 的 Twitter 版本，因此我可以使用简单的 curl 请求和 xPath 查询来抓取推文。
我在 Google 上搜索了启用 JavaScript 支持 curl 请求的方法，但一无所获。是否可以在 curl 请求中添加一些内容来解析 JavaScript，或者我是否需要找到其他解决方案？

Answer 1

您不能在 curl 上“启用”JavaScript。它不是浏览器，它只处理 HTTP 请求。您是否考虑过使用 Twitter API？
您还可以使用浏览器的开发工具在 twitter 上拦截 XHR，并通过它们来确定您需要发出什么 HTTP 请求才能获得所需的数据。
另一种解决方案是使用可编写脚本的“ headless ”浏览器。查看 CapsperJS。简单地说，它是一个功能齐全的浏览器，不显示任何 UI，您可以通过 JS 控制它。