php - Robots.txt 阻止了来自谷歌的 wordpress 网站

Question

不知何故，虚拟 robots.txt 阻止了该站点 http://www.domda.se来自谷歌搜索。我不希望这种情况发生。

该网站是用 Wordpress 制作的，并在完整性设置中对搜索引擎开放(当然；)

我试过:

关闭并再次打开隐私设置/搜索引擎许可。

关闭所有插件。

添加一个完全允许的 robots.txt 到根目录。

使用机器人插件在robots.txt中写入应该是什么

将主题更改为 211 并再次返回

使用 ftp 重置插件文件夹

现在我想知道是否有人可以帮助我，因为我的 php 知识太低了，这让我脸红。我现在想的是通过查看functions.php来尝试解决问题。

在 wp-includes/functions.php 中执行代码的机器人说:

function do_robots() {
    header( 'Content-Type: text/plain; charset=utf-8' );

    do_action( 'do_robotstxt' );

    $output = "User-agent: *\n";
    $public = get_option( 'blog_public' );
    if ( '0' == $public ) {
        $output .= "Disallow: /\n";
    } else {
        $site_url = parse_url( site_url() );
        $path = ( !empty( $site_url['path'] ) ) ? $site_url['path'] : '';
        $output .= "Disallow: $path/wp-admin/\n";
        $output .= "Disallow: $path/wp-includes/\n";
    }

    echo apply_filters('robots_txt', $output, $public);
}

也许那个代码完全没问题。我添加一个真正的 robots.txt 会否决虚拟的，但我真的不知道该怎么做。

我希望有人可以提供帮助。

Answer 1

我认为你需要先看看开场白是否完全正确。
您可以直接在网络浏览器中查看您的 robots.txt。
如果您访问 http://www.domda.se/robots.txt ，你得到

User-agent: *

Disallow: /wpsystem/wp-admin/

Disallow: /wpsystem/wp-includes/

这阻止了 wpsystem 文件中的所有机器人。
它不会从主站点阻止 Google。
然而，谷歌搜索 site:http://www.domda.se确实拉起来

A description for this result is not available because of this site's robots.txt – learn more

由于您进行了许多更改，因此您似乎曾经有一个阻止 Google 的 robots.txt，而现在您没有。
robots.txt 的全部意义在于它是网络爬虫的信息。这些站点会定期检查站点，并且会比其他站点更频繁地检查某些站点。您的网站可能需要一段时间才能被 Google 的机器人重新访问，而在该次访问中抓取的页面会在 Google 搜索中显示还需要一段时间。
您应该使用 Google 网站管理员工具(它是免费的)来更多地了解这个主题并给 Google 一个插入。