个人中心
文章发布
退出
作者热门文章
- iOS/Objective-C 元类和类别
- objective-c - -1001 错误，当 NSURLSession 通过 httpproxy 和/etc/hosts
- java - 使用网络类获取 url 地址
- ios - 推送通知中不播放声音
24
4
在我的网站上，我有一个购物车页面，即:http://www.example.com/cart 和另一个卡通页面:http://www. example.com/cartoons。我应该如何在我的 robots.txt 文件中写入以仅忽略购物车页面？
购物车页面不接受 URL 上的结尾斜杠，所以如果我这样做:Disallow:/cart，它也会忽略 /cartoon。
我不知道这是否可能，它会被蜘蛛机器人正确解析，比如 /cart$。我不想强制 Allow:/cartoon 因为可能是另一个具有相同前缀的页面。
最佳答案
在original robots.txt specification ， 这不可能。它既不支持 Allow 也不支持 Disallow 值中任何具有特殊含义的字符。
但是一些消费者支持额外的东西。例如，Google gives a special meaning to the $ sign ，它代表 URL 路径的结尾:
Disallow: /cart$
对于 Google，这将阻止 /cart，但不会阻止 /cartoon。
不赋予此特殊含义的消费者 will interpret $ literally ，所以他们会阻止 /cart$，但不会阻止 /cart 或 /cartoon。
因此，如果使用它，您应该在 User-agent 中指定机器人。
也许您对爬行没意见，但只是想阻止索引？在这种情况下，您可以使用 meta-robots(具有 noindex 值)而不是 robots.txt。支持的机器人仍会抓取 /cart 页面(并跟踪链接，除非您还使用 nofollow)，但它们不会将其编入索引。
<!-- in the <head> of the /cart page -->
<meta name="robots" content="noindex" />
关于seo - Robots.txt 被正则表达式禁止，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/41508585/
24
4
0
我正在用 yacc/bison 编写一个简单的计算器。 表达式的语法看起来有点像这样: expr : NUM | expr '+' expr { $$ = $1 + $3; } | expr '-'
我开始学习 lambda 表达式，并在以下情况下遇到了以下语句: interface MyNumber { double getValue(); } MyNumber number; nu
这两个 Linq 查询有什么区别: var result = ResultLists().Where( c=> c.code == "abc").FirstOrDefault(); // vs. va
如果我们查看 draft C++ standard 5.1.2 Lambda 表达式 段 2 说(强调我的 future ): The evaluation of a lambda-expressio
我使用的是 Mule 4.2.2 运行时、studio 7.5.1 和 Oracle JDK 1.8.0_251。 我在 java 代码中使用 Lambda 表达式，该表达式由 java Invoke
我是 XPath 的新手。我有网页的html源 http://london.craigslist.co.uk/com/1233708939.html 现在我想从上面的页面中提取以下数据 完整日期 电子
已关闭。这个问题是 off-topic 。目前不接受答案。 想要改进这个问题吗？ Update the question所以它是on-topic用于堆栈溢出。 已关闭10 年前。 Improve th
我将如何编写一个 Cron 表达式以在每天上午 8 点和下午 3:30 触发？我了解如何创建每天触发一次的表达式，而不是在多个设定时间触发。提前致谢 最佳答案 你应该只使用两行。 0 8 * * *
这个问题已经有答案了: What do 3 dots next to a parameter type mean in Java? (9 个回答) varargs and the '...' argu
我是 python 新手，在阅读 BeautifulSoup 教程时，我不明白这个表达式“[x for x in titles if x.findChildren()][:-1]”我不明白？你能解释一
(?:) 这是一个有效的 ruby 正则表达式，谁能告诉我它是什么意思？ 谢谢 最佳答案 正如其他人所说，它被用作正则表达式的非捕获语法，但是，它也是正则表达式之外的有效 ruby 语法。 在
这个问题在这里已经有了答案: Why does ++[[]][+[]]+[+[]] return the string "10"? (10 个答案) 关闭 8 年前。 谁能帮我处理这个 JavaSc
这个问题在这里已经有了答案: What is the "-->" operator in C++? (29 个答案) Java: Prefix/postfix of increment/decrem
这个问题在这里已经有了答案: List comprehension vs. lambda + filter (16 个答案) 关闭 10 个月前。 我不确定我是否需要 lambda 或其他东西。但是，
C 中的 assert() 函数工作原理对我来说就像一片黑暗的森林。根据这里的答案https://stackoverflow.com/a/1571360 ，您可以使用以下构造将自定义消息输出到您的断言
在this页，John Barnes 写道: If the conditional expression is the argument of a type conversion then effec
我必须创建一个调度程序，它必须每周从第一天上午 9 点到第二天晚上 11 点 59 分运行 2 天(星期四和星期五)。为此，我需要提供一个 cron 表达式。 0-0 0-0 9-23 ? * THU
我正在尝试编写一个 Linq 表达式来检查派生类中的属性，但该列表由来自基类的成员组成。下面的示例代码。以“var list”开头的 Process 方法的第二行无法编译，但我不确定应该使用什么语法来
此 sed 表达式将输入字符串转换为两行输出字符串。两条输出行中的每一行都由输入的子串组成。第一行需要转换成大写: s:random_stuff\(choice1\|choice2\){\([^}]*
我正在使用 Quartz.Net 在我的应用程序中安排我的工作。我只是想知道是否可以为以下场景构建 CRON 表达式: Every second between 2:15AM and 5:20AM 最
我是一名优秀的程序员,十分优秀！