search - googlebot 为什么以及如何使用我网站的搜索引擎？

Question

不时查看我的搜索日志，我注意到到目前为止我的搜索引擎的最大用户是 google-bot。是什么赋予了？它是否正在寻找可能无法通过导航直接访问的内容？如果是这样，它如何知道要查找哪些单词和短语(它们非常相关)。它会检查网站上最流行的关键字吗？我知道我在这里似乎是在回答我自己的问题，但这实际上只是从基本原则出发。我想听听知道他们在说什么的人(即不是我)的意见。

Answer 1

如果您的搜索表单的方法是 get 而不是 post，则每个搜索都有自己的 url，人们可能会将这些 url 发布到其他地方。或者，如果您有一个(可能是无意中)可公开访问的 webstats 页面，其中列出了这些 url，这是搜索引擎偶然发现您的内部搜索 url 的另一种常见方式。我见过的第三种方式是在其页面上列出最近搜索的网站，但这是更有意为之的。 “MySQL Performance Blog”在这方面做得很烦人，所以从谷歌搜索他们的网站都会产生数百页类似的搜索，即使他们都没有找到他们要找的东西。

编辑:看起来偶尔会这样，但只是 GET 形式: http://googlewebmastercentral.blogspot.com/2008/04/crawling-through-html-forms.html