gpt4 book ai didi

seo - 阻止滥用机器人爬行?

转载 作者:塔克拉玛干 更新时间:2023-11-03 02:28:55 25 4
gpt4 key购买 nike

这是个好主意吗??

http://browsers.garykeith.com/stream.asp?RobotsTXT

滥用抓取是什么意思?这对我的网站有什么坏处?

最佳答案

不是真的。大多数“坏机器人”无论如何都会忽略 robots.txt 文件。

滥用爬取通常意味着抓取。这些机器人的出现是为了收集电子邮件地址或更常见的内容。

至于如何阻止他们?这真的很棘手,而且通常不明智。反爬网技术往往不够完美,会给普通人带来麻烦。

遗憾的是,就像零售业的“缩水”一样,这是在网络上开展业务的成本。

关于seo - 阻止滥用机器人爬行?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/7045705/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com