个人中心
文章发布
退出
作者热门文章
- iOS/Objective-C 元类和类别
- objective-c - -1001 错误，当 NSURLSession 通过 httpproxy 和/etc/hosts
- java - 使用网络类获取 url 地址
- ios - 推送通知中不播放声音
25
4
我目前正在编写我的 robots.txt 文件，但在决定是否允许或禁止某些文件夹用于 SEO 时遇到了一些问题。
这是我的文件夹:
我正在考虑只禁止 PHP 页面，让其余的。
你怎么看？
非常感谢
劳伦特
最佳答案
/css 和/js -- CSS 和 Javascript 文件可能会被 googlebot 抓取，无论您是否将它们包含在 robots.txt 中。 Google 使用它们来呈现您的页面以供站点预览。 Google 很友好地要求您不要将它们放在 robots.txt 中。
/img -- 即使在 robots.txt 中，Googlebot 也可以像 CSS 和 Javascript 一样抓取它。将您的图片放在 robots.txt 中通常可以防止它们在 Google 图片搜索中被编入索引。 Google 图片搜索可能是您网站的访问者来源，因此您可能希望在那里被编入索引。
/php —— 听起来您不希望蜘蛛访问执行操作的 url。使用 robots.txt 的好电话
/error——如果你的网站设置正确，蜘蛛可能永远不知道你的错误页面是从哪个目录提供的。他们通常会在有错误的 url 处获得服务，而蜘蛛永远不会看到他们的实际 url。如果您重定向到它们，则情况并非如此，无论如何都不推荐这样做。因此，我认为没有必要将它们放在 robots.txt 中
关于seo - robots.txt 禁止使用哪些文件夹 - SEO？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/14803792/
25
4
0
我知道我要求太多，但也许你也可以帮助解决这个问题。 a.txt 包含单词，b.txt 包含字符串。 我想知道 b.txt 中有多少个字符串以 a.txt 中的单词结尾 例子:一个.txt apple
这个问题在这里已经有了答案: erge text files ordered by numerical filenames in Bash (3 个答案) 关闭 4 年前。 我有一个文件夹，其中包含
我在一个目录中有几个平面文件 (.txt)。所有这些文件的格式都是 *.txt.txt，所以我想将其重命名为 *.txt？有什么简单的方法可以一起重命名？ 当我尝试 ren *.txt.txt *.t
这个问题在这里已经有了答案: How can I use a file in a command and redirect output to the same file without trunc
您是否有任何理由应该或不应该允许访问 javascript 或 css 文件？特别是常见的文件，如 jquery。 最佳答案 人们普遍认为，搜索引擎每天为给定站点分配一定数量的带宽或 URL。因此，一
Closed. This question is off-topic。它当前不接受答案。 想要改善这个问题吗？ Update the question，所以它是用于堆栈溢出的on-topic。 已关闭
这是相同的代码。我面临的问题是，我无法在任何文件上写入任何内容。请帮忙解决这个问题 #include #include int main() { FILE *fe; FILE *fo;
我想要特定于域的 robots.txt，到目前为止这有效: RewriteRule ^robots\.txt$ robots/%{HTTP_HOST}.txt [L] 但我希望有一个后备方案，因此如果
我正在调试一些构建成功运行的 SQL 命令的代码。 然而，在查询结束时，查询结果似乎被写入了一个文本文件。 完整的查询如下 echo SELECT DATE,DATETABLE,DATE,APPDAT
这个问题已经有答案了: difference between grep Vs cat and grep (5 个回答) 已关闭 8 年前。 我看到一个例子，其中有人这样做: cat source.tx
我想将表中的数据从以 csv 格式存储的文本文件插入到 sql server 表中。为此，我正在使用批量插入语句。现在我需要在“From”子句中指定文件名。我不想在那里使用网络位置或本地位置。我想将我
假设我有一个测试文件夹 (test.domain.com) 并且我不希望搜索引擎在其中抓取，我是否需要在测试文件夹中有一个 robots.txt 或者我可以只放置一个 robots.txt在根目录中，
关闭。这个问题是off-topic .它目前不接受答案。 想改善这个问题吗？ Update the question所以它是 on-topic对于堆栈溢出。 9年前关闭。 Improve this q
这个问题在这里已经有了答案: order of directives in robots.txt, do they overwrite each other or complement each ot
关闭。这个问题是opinion-based .它目前不接受答案。 想改进这个问题？更新问题，以便 editing this post 可以用事实和引用来回答它. 8年前关闭。 Improve this
已关闭。这个问题是 not about programming or software development 。目前不接受答案。 这个问题似乎不是关于 a specific programming
在过去的几年中，当我引用“名字”字段的文本框控件时，我一直使用 FirstNameTxt 命名约定。但是，我注意到大多数其他开发人员倾向于使用命名约定 txtFirstName 哪个是最好的约定？为什
我只想允许目录 /minsc 中的一个文件，但我想禁止该目录的其余部分。 现在 robots.txt 中是这样的: User-agent: * Crawl-delay: 10 # Directorie
我正在编写一个将 youtube.com 映射到另一个域的代理服务器(因此用户可以轻松地从德国等国家/地区访问 youtube，而无需审查搜索结果和视频)。 不幸的是，我的 robots.txt 中存
我没有编程技能，但有一项非常具体的任务:我必须将一个庞大的文本文件拆分成多个，并在特定的文本标记 (@) 处拆分它们。我决定尝试使用 Powershell 脚本来完成此任务。 到目前为止，这就是我想出
我是一名优秀的程序员,十分优秀！