轻功水上漂 发表于 2025-5-28 22:43:06

如何防止360蜘蛛的过度抓取？

360蜘蛛好几次过度抓取，将CPU干到90了，导致网页都打不开。但是又不想完全BAN了它，好歹也能带一丁点流量。

toot 发表于 2025-5-28 23:09:53

问gpt让它给你写一个标准的robots，延迟抓取规则<br />
<br />
但是360这种流氓遵不遵守就不知道了

轻功水上漂 发表于 2025-5-28 23:31:22

<div class="quote"><blockquote><font size="2"><a href="https://hostloc.com/forum.php?mod=redirect&goto=findpost&pid=16399299&ptid=1412509" target="_blank"><font color="#999999">toot 发表于 2025-5-28 23:09</font></a></font><br />
问gpt让它给你写一个标准的robots，延迟抓取规则<br />
<br />
但是360这种流氓遵不遵守就不知道了 ...</blockquote></div><br />
问题是它不支持Crawl-delay。。。。。。。

hkkvm 发表于 2025-5-28 23:09:00

去360站长平台看看能不能限制频率

精神小伙 发表于 2025-5-28 23:53:27

360蜘蛛有点傻了吧唧的，有时候莫名其妙一个时间段一瞬间几千抓取

268296 发表于 2025-5-29 00:33:25

360是训练ai用的 每天抓取我好几万文章 有次我用so搜索的时候&nbsp;&nbsp;前排的ai推荐竟然和我网站内容一模一样的&nbsp;&nbsp;还有我网站地址<img src="https://hostloc.com/static/image/smiley/default/mad.gif" smilieid="11" border="0" alt="" />
页: [1]
查看完整版本: 如何防止360蜘蛛的过度抓取？