wordpress - Yoast SEO 如何允许爬虫机器人

Question

我找到了一份工作来消除网站中的“此页面没有可用信息”。该网站使用 Yoast SEO，但它已被禁用，所以我重新启用它，然后我得到了一个基本的 robots.txt，如下所示

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

我在大约六个小时前应用了该设置，尝试在 Google 中搜索它，但仍然没有任何变化。我现在感到焦虑。这足以让爬虫阅读网站吗？我想念什么吗？我需要弄乱 .htaccess 吗？我在 SEO 方面经验为零，因此非常感谢任何帮助。

Answer 1

将其复制并粘贴到您的 robot.txt 中

User-agent: Googlebot
Disallow: 
User-agent: googlebot-image
Disallow: 
User-agent: googlebot-mobile
Disallow: 
User-agent: MSNBot
Disallow: 
User-agent: Slurp
Disallow: 
User-agent: Teoma
Disallow: 
User-agent: Gigabot
Disallow: 
User-agent: Robozilla
Disallow: 
User-agent: Nutch
Disallow: 
User-agent: ia_archiver
Disallow: 
User-agent: baiduspider
Disallow: 
User-agent: naverbot
Disallow: 
User-agent: yeti
Disallow: 
User-agent: yahoo-mmcrawler
Disallow: 
User-agent: psbot
Disallow: 
User-agent: yahoo-blogs/v3.9
Disallow: 
User-agent: *
Disallow: 
Sitemap: https://www.yoursitename.com/sitemap.xml