angularjs - 网络爬虫在抓取页面时反转查询参数和路径

Question

我们有一个基于 AngularJS 的 Web 应用程序，目前使用 hashbang url，例如:

www.example.com/#!/item?id=1.  

出于抓取目的，我们使用 prerender.io 服务来呈现/缓存页面。对于我们的元标签(特别是 og，twitter)，我们使用了一个名为 angular-view-head 的 Angular 库。直到大约一个月前，这一切都运行良好，我们的页面如预期的那样既可搜索又可共享。

目前，当抓取我们网站上的页面时，抓取工具似乎会切换查询字符串的路径。例如，

www.somesite.com/#!/item?id=1 

成为

www.somesite.com/?id=1#!/item

正如您所怀疑的那样，它总是返回 404。

经过一些检查，这似乎是在 2 月 7 日左右开始的。我们的预渲染设置和 URL 模式都没有改变任何东西。我已经检查了谷歌网站管理员工具，并看到许多 404 的 url，例如这些。

在过去几天的研究中，我没有找到任何类似的问题。

有人遇到过与这种设置风格类似的事情吗？关于如何解决此问题的任何想法？

Answer 1

对于发现此问题的任何人，我们通过转移到 HTML5 推送状态导航来解决此问题。