gpt4 book ai didi

seo - 如何忽略我网站中的某些链接?

转载 作者:塔克拉玛干 更新时间:2023-11-03 02:49:13 25 4
gpt4 key购买 nike

我正在编写一个小的 php 脚本,我有一些这样的链接

*-phones-*.html

* 是我想禁止谷歌使用 robots.txt 索引此类链接的变量,这可能吗?

最佳答案

您没有禁止任何事情。 robots.txt 只是一套给网络爬虫的指南,他们可以选择是否遵循它们。

粗鲁的爬虫当然应该被 IP 禁止。但是您无法避免网络爬虫可能会遇到该页面。无论如何,您可以将它添加到您的 robots.txt 并且 googles 网络爬虫可能会服从。

关于seo - 如何忽略我网站中的某些链接?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/32827115/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com