gpt4 book ai didi

web-crawler - 如何从谷歌的索引中排除网页的一部分?

转载 作者:行者123 更新时间:2023-12-04 12:25:42 31 4
gpt4 key购买 nike

有一种方法可以从 google 的索引中排除完整的页面。但是有没有办法专门从谷歌的抓取中排除网页的某些部分?例如,排除通常包含不相关内容的侧边栏?

最佳答案

您可以使用 IFRAME 标记包含要在 Googlebot 中隐藏的页面部分,并阻止对 robots.txt 文件中包含的文件进行索引。

添加 iframe 以在页面中包含侧边栏

<iframe src ="sidebar.asp" width="100%" height="300">
</iframe>

这里是在robots.txt文件中添加的规则来阻止蜘蛛
user-agent: *
disallow: sidebar.asp

关于web-crawler - 如何从谷歌的索引中排除网页的一部分?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/2004614/

31 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com