当前位置 主页 > 服务器问题 > nginx问题汇总 >

nginx修改配置限制恶意爬虫频率

栏目:nginx问题汇总 时间:2018-10-02 16:19

这篇文章主要介绍在nginx中怎样修改相关配置,以限制恶意爬虫频率的方法,有需要的朋友参考下。

如何在nginx中限制恶意网络爬虫抓取内容呢?也就是限制下恶意爬虫的抓取频率。下面来一起看看。

今天在微博发现@金荣叶 的处理方法很灵活,可以动态设定一个爬虫的频率,达到减轻服务器负载,并且不至于封杀爬虫。

#全局配置limit_req_zone $anti_spider zone=anti_spider:10m rate=15r/m;#某个server中limit_req zone=anti_spider burst=30 nodelay;if ($http_user_agent ~* “xxspider|xxbot”) {set $anti_spider $http_user_agent;}

超过设置的限定频率,就会给spider一个503。

总结

以上就是nginx修改配置限制恶意爬虫频率的全部内容,希望对大家的工作和学习能有所帮助,如果有疑问可以留言交流。

缩小 缩小 缩小 缩小
IIS7整站下载工具 IIS7批量查询排名 IIS7远程桌面连接工具 iis7-iis网站批量管理 iis7批量替换工具 IIS7服务器专用下载工具 IIS7日志分析工具 IIS7批量PING,服务器批量添加网卡IP小工具 IIS7远程同步备份工具
IIS7网站监控 站群批量SEO查询 批量获取排名域名 批量关键词排名查询 模拟各种蜘蛛 批量友情链接监测 批量检测死链 搜索引擎大全 批量查询外链
批量查询网站标题 批量查询KeyWords 批量查询描述 批量查询网站IP 批量百度收录查询 批量查询百度日收录 批量查询百度周收录 批量查询百度月收录 批量查询360总收录 批量查询360日收录 批量查询网站年龄 批量查询360PC权重 批量查询爱站移动权重 批量查询站长移动权重 批量查询360移动权重 批量查询神马权重 批量查询谷歌PR 批量查询搜狗PR 批量查询百度反链 批量查询爱站首页反链 批量查询爱站内页反链 批量查询百度快照 批量查询搜狗快照 批量icp备案查询 批量网站ip地址查询 批量查询导出链接 批量查询百度V认证 批量查询百度安全 批量查询站长PC权重 批量查询爱站PC权重 批量查询搜狗总收录 站长资源大全 IIS7-cms大全 IIS7站群大全 IIS7虚拟空间大全 IIS7服务器大全 IIS7-VPS大全