gpt4 book ai didi

ruby-on-rails - 什么是使用 robots.txt 的正确方法

转载 作者:塔克拉玛干 更新时间:2023-11-03 02:38:35 24 4
gpt4 key购买 nike

我正在尝试让 robots.txt 工作,以便搜索引擎开始索引我的网站并显示元信息,如描述等。

但是,我收到此消息:

A description for this result is not available because of this site's robots.txt – learn more.

这是我的 robots.txt 的样子。

# See http://www.robotstxt.org/wc/norobots.html for documentation on how to use the robots.txt file
#
# To ban all spiders from the entire site uncomment the next two lines:
User-agent: *
Disallow: /tags/*
Disallow: /users/*

我需要改变什么?

这是托管在 Heroku 上的 Rails4 应用程序,位于 Rails 存储库的公共(public)目录中

最佳答案

首先,不是必须使用robots.txt文件!只有在您不希望搜索引擎抓取您网站的特定页面或目录时才需要使用它们。

在您的情况下,您限制搜索引擎抓取根目录上托管的标签和用户目录。现在,此目录中的任何页面都会出现此错误。

我还建议使用 Google 网站管理员工具并验证您的网站。您可以从那里测试 Robots.txt 文件。

关于ruby-on-rails - 什么是使用 robots.txt 的正确方法,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/21324098/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com