php - 将爬虫指向 HTML 快照

Question

我正在尝试让我的 AJAX 网站可抓取:

Here is the website in question.

• 我创建了一个生成页面的 htmlsnapshot.php(此文件需要传递哈希片段才能生成正确的内容)。
• 我不知道如何在让普通用户加载普通文件的同时让爬虫加载这个文件。
• 我不太明白爬虫对哈希片段做了什么(这可能是我问题的一部分。)

有人有什么建议吗？

Answer 1

爬虫会自行转移。您只需配置 PHP 脚本来处理 Google 将发送给您网站的 GET 参数(而不是依赖 AJAX)。

基本上，当 Google 找到指向 yourdomain.com/#!something 的链接而不是请求 / 并运行 JavaScript 来对数据 发出 AJAX 请求时something，Google 将自动(您无需执行任何操作)将您网址中 #! 之后的所有内容翻译为 ?_escaped_fragment_=something.

您只需要(在您的 PHP 脚本中)检查是否设置了 $_GET['_escaped_fragment_']，如果设置了，则显示该值的内容 something.

其实很简单。