javascript - 防止特定域路径的 Gatsby 页面出现在 Google 搜索中

Question

是否可以阻止特定域路径的 Gatsby 页面出现在 Google 搜索中。
我不想阻止整个网站出现在 Google 搜索中，而只是出现在特定路径中的一个页面。例如www.mywebsite.co.uk/hide-me

Answer 1

使用 <Helmet>组件设置机器人的meta标签。

const HideMe = ()=>{
  return <>
    <Helmet>
      <meta name={`robots`} content={`noindex, nofollow`} />
    </Helmet>;
    <h1>I'm the Hide Me page </h1>
  </>;

大多数 Gatsby starter 都带有 SEO其中包含机器人等内容的组件 meta标签，如果是你的情况，你可能需要为每个页面自定义它通过正确的 prop .例如:

const SEO = ({ index, follow, description, lang, meta, title }) => {
  const { site } = useStaticQuery(graphql`
              query getAllMetadata {
                  site {
                      siteMetadata {
                          title
                          description
                          author
                      }
                  }
              }
    `,
  );
  const metaDescription = description ?? site.siteMetadata.description;

  return <Helmet htmlAttributes={{ lang }} title={title} titleTemplate={`%s | ${site.siteMetadata.title}`}>
    <meta name={`robots`} content={`${index ? `index`:`noindex`},${follow ? `follow`:`nofollow`}`}/>
    <meta name={`description`} content={metaDescription}/>
    <meta name={`og:title`} content={title}/>
    <meta name={`og:description`} content={metaDescription}/>
    <meta name={`og:type`} content={`website`}/>
    <meta name={`twitter:card`} content={`summary`}/>
    <meta name={`twitter:creator`} content={site.siteMetadata.author}/>
    <meta name={`twitter:title`} content={title}/>
    <meta name={`twitter:description`} content={metaDescription}/>
  </Helmet>;
};

注意:我假设两个 index和 follow作为 bool 值，但可以根据需要自定义或更适合您的任何内容
如果这是您的情况，请在您的 /hide-me 中页面你会看到类似的东西:

const HideMe = ()=>{
  return <>
    <SEO index={false} follow={false} />
    <h1>I'm the Hide Me page </h1>
  </>;

此外，您需要在指向该页面的所有链接中添加 rel属性 nofollow以避免被 Google 的抓取工具跟踪。

<Link rel={`nofollow`} to={`/hide-me`}>Untracked link</Link>

此外，您可能还想从 sitemap.xml 中删除该页面。 (如果您有)文件，您可以使用站点地图插件之一轻松实现它，例如 gatsby-plugin-sitemap ，带有 exclude规则。