当前位置 主页 > 服务器问题 > nginx问题汇总 > 最大化 缩小

    nginx修改配置限制恶意爬虫频率

    栏目:nginx问题汇总 时间:2018-10-02 16:19

    这篇文章主要介绍在nginx中怎样修改相关配置,以限制恶意爬虫频率的方法,有需要的朋友参考下。

    如何在nginx中限制恶意网络爬虫抓取内容呢?也就是限制下恶意爬虫的抓取频率。下面来一起看看。

    今天在微博发现@金荣叶 的处理方法很灵活,可以动态设定一个爬虫的频率,达到减轻服务器负载,并且不至于封杀爬虫。

    #全局配置limit_req_zone $anti_spider zone=anti_spider:10m rate=15r/m;#某个server中limit_req zone=anti_spider burst=30 nodelay;if ($http_user_agent ~* “xxspider|xxbot”) {set $anti_spider $http_user_agent;}

    超过设置的限定频率,就会给spider一个503。

    总结

    以上就是nginx修改配置限制恶意爬虫频率的全部内容,希望对大家的工作和学习能有所帮助,如果有疑问可以留言交流。