三色资源网解决突发性cpu内容使用率100%的问题-cc爬虫攻击问题

admin
🌐 经济型:买域名、轻量云服务器、用途:游戏 网站等 《腾讯云》特点:特价机便宜 适合初学者用 点我优惠购买
🚀 拓展型:买域名、轻量云服务器、用途:游戏 网站等 《阿里云》特点:中档服务器便宜 域名备案事多 点我优惠购买
🛡️ 稳定型:买域名、轻量云服务器、用途:游戏 网站等 《西部数码》 特点:比上两家略贵但是稳定性超好事也少 点我优惠购买

最近发现 网站访问量未有爆发性增长  服务器内存跟cpu使用率一直满负荷状态100%运行

仔细查看了日志  发现是各种爬虫在爬取我的网站(证明我的内容好 哈哈 )

先是设置了robots.txt  禁止那些爬虫访问跟访问时间(友好君子协议)  结果发现并不理想  都是流氓爬虫

说正题:

使用方法 :宝塔为例子

三色资源网解决突发性cpu内容使用率100%的问题-cc爬虫攻击问题

# 阻止特定的 User-Agent
if ($http_user_agent ~* (ClaudeBot|SemrushBot|DotBot|YisouSpider|Scrapy|python|mj12bot|AhrefsBot)) {
return 403;
}

 

按图加上重启配置即可  问题解决    希望帮助到朋友们


文章版权声明:除非注明,否则均为AI虎哥的工具库原创文章,转载或复制请以超链接形式并注明出处。

发表评论

快捷回复: 表情:
AddoilApplauseBadlaughBombCoffeeFabulousFacepalmFecesFrownHeyhaInsidiousKeepFightingNoProbPigHeadShockedSinistersmileSlapSocialSweatTolaughWatermelonWittyWowYeahYellowdog
验证码
评论列表 (暂无评论,63人围观)

还没有评论,来说两句吧...

目录[+]

取消
微信二维码
微信二维码
支付宝二维码