php - Bingbot 试图访问不存在的页面

Question

我最近对一个电子商务网站进行了一些重大更改，其中包括 url 结构。查看产品的 url 由 .htaccess 修改并包含简短的产品描述，如果更改不会影响页面上的结果。

示例:www.Example.com/staticFolder/non-deterministic-product-details/MODEL#.html

现在在错误日志文件中我看到 bingbot 请求像 example.com/non-deterministic-product-details

这样的页面

我们的站点地图不链接到此页面，我无法在页面上找到任何错误链接。有没有其他人对 bingbot 这样做有问题？我发现了另一个因随机而被锁定的问题。 Bingbot causing 404 errors .我做错事的可能性更大吗？我应该避免在我的 .htaccess 中使用伪目录吗？

-谢谢

Answer 1

没有什么要求蜘蛛只坚持链接抓取。它完全有可能猜测与已知 URL 相似的 URL，希望它能找到一些东西。

无论如何，我不会担心它，除非您知道它跟随的是错误链接。收到大量针对不存在页面的请求是很正常的。