- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我只是不断收到关于
“在过去 24 小时内,Googlebot 在尝试访问您的 robots.txt 时遇到了 1 个错误。为确保我们没有抓取该文件中列出的任何网页,我们推迟了抓取。您网站的总体 robots.txt 错误率为 100.0 %。
您可以在网站站长工具中查看有关这些错误的更多详细信息。 ”
我搜索了它并告诉我在我的网站上添加 robots.txt
当我在 Google 网站管理员工具上测试 robots.txt 时,无法获取 robots.txt。
我想可能 robots.txt 被我的网站屏蔽了,但是当我测试时它说 GWT 允许。
' http://momentcamofficial.com/robots.txt '
这是 robots.txt 的内容:
用户代理: *
不允许:
那么为什么 Google 无法获取 robots.txt?我错过了什么......有人可以帮助我吗???
最佳答案
Before Googlebot crawls your site, it accesses your robots.txt file to determine if your site is blocking Google from crawling any pages or URLs. If your robots.txt file exists but is unreachable (in other words, if it doesn’t return a 200 or 404 HTTP status code), we’ll postpone our crawl rather than risk crawling URLs that you do not want crawled. When this happens, Googlebot will return to your site and crawl it as soon as we can successfully access your robots.txt file.
关于search - 我如何解决 "Googlebot can' 无法访问您的网站”的问题?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/25355840/
我一直在上下寻找 Googlebot 及其 sibling 从“CA”以外的位置抓取的位置,但没有找到特定于抓取的位置。我找到了 2008 年的数据中心 map (http://bit.ly/mONh
我正在迁移桌面网站以通过一组单独的 URL 支持移动设备。在网站的根目录,我使用媒体查询来检测用户是移动设备还是桌面设备,然后重定向到适当的区域。 出于某种原因,桌面版 Googlebot(使用 Go
关闭。这个问题需要更多focused .它目前不接受答案。 想改善这个问题吗?更新问题,使其仅关注一个问题 editing this post . 去年关闭。 Improve this questio
当我在 Google URL 检查工具上检查我的网站 URL 时,它显示无法加载页面资源,即图像、样式表和脚本文件。但是,我的网站在实时服务器上运行良好,而 Googlebot 智能手机无法正确呈现该
网站是完全动态的。 元标签、opengraph 标签和内容是在网页上动态创建的。 我可能做错了什么。请指导我获得 GOOGLE ADSENSE 计划的批准。 为此,Google Adsense 给出了
已关闭。这个问题是 off-topic 。目前不接受答案。 想要改进这个问题吗? Update the question所以它是on-topic用于堆栈溢出。 已关闭13 年前。 Improve th
我将阻止除大型搜索引擎之外的所有机器人。我的阻止方法之一是检查“语言”:接受语言:如果没有接受语言,机器人的 IP 地址将被阻止到 2037 年。Googlebot 没有接受语言,我想用 DNS 验证
我的网站有大约 500.000 页。我制作了 sitemap.xml 并在其中列出了所有页面(我知道每个文件限制 50.000 个链接,所以我有 10 个站点地图)。无论如何,我在 webmaster
背景 我目前正在使用 Google 的#! 方法通过代理和 PhantomJS 的组合为一个动态网站设置 SEO 索引。我们的 Web 应用程序不仅托管我们自己的应用程序,还托管由第三方提供的任意数量
我有一个网站,该网站取决于用户从其他网络成员接收消息的位置。因此,通过工作流,用户需要将地址键入文本字段,并通过 ajax 回调返回答案。所有通过 POST 发送到服务器的请求。我的问题是如何让它对
关闭。这个问题是off-topic .它目前不接受答案。 想改进这个问题吗? Update the question所以它是on-topic用于堆栈溢出。 关闭 11 年前。 Improve thi
不时查看我的搜索日志,我注意到到目前为止我的搜索引擎的最大用户是 google-bot。是什么赋予了?它是否正在寻找可能无法通过导航直接访问的内容?如果是这样,它如何知道要查找哪些单词和短语(它们非常
由于我的服务器上有很多攻击尝试,我需要使用 fail2ban,我还有必须激活/创建的过滤器来阻止攻击尝试。 但现在我很确定某些 google ip 最终进入了我的 fail2ban jail ....
我想禁止所有机器人抓取网站并将其编入索引。除了 Googlebot。我想允许谷歌索引索引 (/) URL,但没有别的。最好在 robots.txt 中。 您对如何实现这一目标有任何想法吗?谢谢! 最佳
在我的 robots.txt 文件中,我有以下行 用户代理:Googlebot-Mobile不允许:/ 用户代理:GoogleBot不允许:/ 站点地图:http://mydomain.com/sit
我们使用 NextJS 开发了一个网站 SSR。在不同的桌面和移动浏览器中一切正常,但是当我尝试使用 Google Search Console 的“获取和渲染”功能以 google 的方式查看我的网
在过去的几天里,当 google bot 尝试访问我们的主页(欢迎/索引)时,我们开始收到缺少模板的错误。我已经盯着这个看了几个小时,知道我只是错过了一些简单的东西。 A ActionView::Mi
我的问题是googlebot是否可以跟踪通过javascript onchange函数重定向的页面: 示例: page1 page2 document.getElem
我有一个启用了表单例份验证的 ASP.Net 3.5 网站。是否可以让 Googlebot 抓取我的网站而不提示输入用户名/密码? 最佳答案 Google 声称不会索引页面并将其显示给不可用的用户,因
如果我想在 Mozilla Firefox 上隐藏一些内容,我使用这个代码: Hide only in Mozilla 我的问题是,如何向 Googlebot 隐藏一些内容? 最佳答案 您可以基于
我是一名优秀的程序员,十分优秀!