个人中心
文章发布
退出
作者热门文章
- iOS/Objective-C 元类和类别
- objective-c - -1001 错误，当 NSURLSession 通过 httpproxy 和/etc/hosts
- java - 使用网络类获取 url 地址
- ios - 推送通知中不播放声音
27
4
如果我有一个带有 noindex 标签的页面 <meta name="robots" content="noindex" /> ，我知道该页面不会显示在搜索结果中。
但是页面上的链接还会被抓取吗？
如果我想让它们被抓取，我可以设置类似<meta name="robots" content="noindex, follow" />的东西吗？ .会成功吗？
最佳答案
noindex 标签 <meta name="robots" content="noindex" />用于防止大多数搜索引擎网络抓取工具将您网站上的页面编入索引。
爬虫不会使用 content="noindex, follow" 为页面编制索引标记，但会抓取其余页面。
您可以在此处找到更多详细信息:http://www.robotstxt.org/meta.html
关于seo - noindex 标签是否可以防止机器人抓取页面上的链接？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/37802054/
27
4
0
我有一个 AMP 故事页面，即使 AMP 验证器将其传递为有效，Google AMP 测试也会提示我它无效，并显示索引错误 URL marked 'noindex' . 显然，我在页面内容上没有任何
我的网站上有太多外向链接。我想让它们都 no index 用于谷歌。我不想为每个链接写 rel="no index"... (... ) 我可以创建一个 class 并用 css 编写吗？ 然后 这
关闭。这个问题不符合Stack Overflow guidelines .它目前不接受答案。 这个问题似乎与 help center 中定义的范围内的编程无关。 . 关闭 9 个月前。 Improv
如果我有一个带有 noindex 标签的页面 ，我知道该页面不会显示在搜索结果中。 但是页面上的链接还会被抓取吗？ 如果我想让它们被抓取，我可以设置类似的东西吗？ .会成功吗？ 最佳答案 noind
当我将页面指定为具有 时，搜索爬虫是否查看描述和关键字元标记？我可以完全排除它们吗？ 最佳答案 您可以完全排除它们。搜索引擎不使用元关键字和描述进行索引。元描述仅用于在搜索结果中显示信息，但由于您没
有没有人在将文件夹与 git diff --no-index 进行比较时如何排除文件？似乎这个选项 ':(exclude)*.min.css' 不适用于无索引(在工作树之外) 最佳答案 pathspe
我正在抓取大量 URL，想知道是否可以让 scrapy 不解析带有“meta name="robots"content="noindex"”的页面？查看此处列出的拒绝规则 http://doc.scr
在 Magento 中，/errors 下有一般错误报告。这些目前正在被谷歌编入索引。我尝试将 meta noindex 标记添加到/default/page.phtml 但这似乎不起作用。也许我什至
下面的指令旨在为特定页面建立“noindex”和“nofollow”标题。它似乎没有生效。litespeed使用“e”标志而不是“env”，而不是apache。 RewriteCond %{REQUE
遇到了 wordpress 站点元机器人标签的奇怪问题。所有页面都有以下元标记，我们似乎无法将其删除 我们在“设置”>“阅读”>“搜索引擎可见性”中取消选中“阻止搜索引擎索引此网站”，但它什么也没做
我有一个基于 joomla 的新闻网站，在搜索引擎索引中显示了大量无用的页面。至少作为一个快速修复，直到我可以考虑从头开始重建网站我想在所有页面上实现 NOINDEX、FOLLOW 元标记，但主页和以
我正在阅读 html5 样板 extend.md文档，它指出: According to Heather Champ, former community manager at Flickr, you
我需要一些关于我的问题的解释。 我的标题上的示例已经添加 我应该在我的标题中再次添加规范标签吗？ 让我知道:) canonical tag 更新 我们知道规范标签目前也被 google、yahoo
CentOS 7.3.1611 Apache httpd-2.4.6-45.el7.centos.x86_64 我需要将默认的 Apache noindex 页面(“Testing 123..”)替换
我不明白为什么我的应用程序只有在生产模式下才将元机器人设置为 noindex ？ 这是我的 nuxt.config import i18n from './config/i18n' export de
最近我遇到了一个问题:如果您将页面标记为“noindex”+“follow”会怎样？我知道“noindex”用于告诉搜索引擎:“我不希望您为我的页面编制索引”但是如果您设置“关注”而不是“不关注”会发
我在我的网站 www.domain/privacy-policy/上有一个隐私政策页面，我想用 X Robots 标签对其进行索引。我试过下面的代码，但它不匹配 # BEGIN WordPress
首先，这不是一个重复的问题，因为我已经检查了几乎所有的503/机器人索引问题。他们都没有解决我的问题。我正在尝试从 indiegala.com 获取赠品列表，但该网站有某种保护措施来防止机器人。我的目
google一直试图在我的列标题上索引排序链接。我试图对他们应用rel=“noindex nofollow”，但没有成功。我不希望对整个页面执行此操作，因为页面上有其他链接，我希望紧跟在这些链接后面的
我有一个移动网站，使用 Google Mobile Test Tool 确实显示为适合移动设备使用但我收到一条消息，说该网站的日历页面存在可用性错误，但对移动设备不友好。我最终会让这个页面适合移动设备
我是一名优秀的程序员,十分优秀！