.htaccess - 阻止机器人在多商店多域 prestashop 上抓取我的网站之一

Question

您好，我有一个主域 example.com 的多商店多域 prestashop 安装，我想阻止所有机器人抓取为经销商制作的子域站点 subdomain.example.com，他们可以以较低的价格购买，因为内容与原始站点重复，我不完全确定该怎么做。通常，如果我想阻止我会使用的网站的机器人

User-agent: *
Disallow: /

但是我如何在不伤害整个商店的情况下使用它？是否也可以从 htacces 中阻止机器人？

Answer 1

关于您的第一个问题:
如果您不希望搜索引擎访问子域 (sub.example.com/robots.txt)，则可以在子域上使用 robots.txt 文件。不要把它放在你的常规域 (example.com/robots.txt) - 见 Robots.txt reference guide .

此外，我会在 Google Search Console 中验证两个域.在那里您可以监视和控制子域和主域的索引。

关于你的第二个问题:
我在这里找到了一个 SO 线程，它解释了您想知道的内容:Block all bots/crawlers/spiders for a special directory with htaccess .