gpt4 book ai didi

robots.txt - 禁止某些页面目录但不是该页面本身

转载 作者:行者123 更新时间:2023-12-04 08:33:25 27 4
gpt4 key购买 nike

比方说,我有一个创建 URL's 的动态页面从用户输入。
例如:www.XXXXXXX.com/browse <--------(浏览即页面)

每次用户输入某个查询时,它都会生成更多页面。
例如:www.XXXXXXX.com/browse/abcd <--------(abcd 是新页面)

现在,我希望谷歌抓取这个“浏览”页面而不是子页面
由它生成的页面。

我正在考虑将此添加到我的 robots.txt 页面; “禁止:/浏览/”

这是正确的做法吗?或者它也会阻止
Googlebot 不会抓取“浏览”页面?我该怎么做才能得到
最佳结果?

最佳答案

URL 不以斜杠结尾:

www.XXXXXXX.com/browse

因此这段代码应该可以工作:
User-agent: *
Disallow: /browse/

关于robots.txt - 禁止某些页面目录但不是该页面本身,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/34466185/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com