gpt4 book ai didi

java - 我可以阻止蜘蛛访问带有特定 GET 参数的页面吗?

转载 作者:塔克拉玛干 更新时间:2023-11-03 02:28:34 26 4
gpt4 key购买 nike

我们有一个页面可以选择将 ID 作为 GET 参数。如果提供的 ID 无效,页面将抛出错误并发出通知,告知有人错误地访问了该页面。火上浇油的是 ID 可以有效期一段时间,然后过期。

我们遇到了一个问题,即搜索引擎机器人使用旧的、过期的 ID 访问页面。这意味着我们每次被抓取时都会收到一堆“误报”警报。我很想有一些方法告诉机器人继续抓取页面,但不使用 GET 参数——只是索引无参数的页面。这甚至可以通过 robots.txt 文件或类似文件实现吗?


注意:我知道解决此问题的最佳方法是更改​​页面的行为,事实上,这将在几周内发生。在此期间,我只是在寻找解决方案。

最佳答案

在检查 _GET 的 if 语句中,放入以下 ​​HTML:

<meta name="robots" content="noindex, nofollow">
<meta name="googlebot" content="noindex, nofollow">

关于java - 我可以阻止蜘蛛访问带有特定 GET 参数的页面吗?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/6141533/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com