nginx拦截,nginx 屏蔽IP,Nginx服务器屏蔽与禁止屏蔽网络爬虫的方法

nginx拦截,nginx 屏蔽IP,Nginx服务器屏蔽与禁止屏蔽网络爬虫的方法

今天小编就为大家分享一篇关于Nginx服务器屏蔽与禁止屏蔽网络爬虫的方法,小编觉得内容挺不错的,现在分享给大家,具有很好的参考价值,需要的朋友一起跟随小编来看看吧

每个网站通常都会遇到很多非搜索引擎的爬虫,这些爬虫大部分都是用于内容采集或是初学者所写,它们和搜索引擎的爬虫不一样,没有频率控制,往往会消耗大量服务器资源,导致带宽白白浪费了。

其实Nginx可以非常容易地根据用户代理过滤请求,我们只需要在需要统一资源定位器入口位置通过一个简单的正则表达式就可以过滤不符合要求的爬虫请求:

位置/{

if($ http _ user _ agent ~ * " python | curl | Java | wget | http client | ok http '){

返回503;

}

# 其它正常配置

.

}

注意:变量$ http _用户_代理是一个可以直接在位置中引用的Nginx变量。~*表示不区分大小写的正则匹配,通过大蟒就可以过滤掉80%的计算机编程语言爬虫。

Nginx中禁止屏蔽网络爬虫

服务器{

听80;

服务器名www.xxx.com;

# charset锦鲤8-r;

# access _ log日志/主机。访问。日志总管;

#位置/{

#根超文本标记语言

#索引index.htmlindex.htm;

#}

if($ http _ user _ agent ~ *)qihoobot | Baiduspider | Google bot | Google bot-Mobile | Google bot-Image | media partners-Google | Adsbot-Google | Feedfetcher-Google | Yahoo!啧啧|雅虎!slurp China | YoudaoBot | Sosospider |搜狗蜘蛛|搜狗网络蜘蛛| MSNBot | ia _ archiver |番茄机器人'){

返回403;

}

地点~ ^/(.*)$ {

proxy _ pass http://本地主机:8080;

代理_重定向关闭

proxy _ set _ header主机$主机

proxy _ set _ header X-Real-IP $ remote _ addr;

proxy _ set _ header X-Forwarded-For $ proxy _ add _ X _ Forwarded _ For;

client _ max _ body _ size 10m

客户端_正文_缓冲区_大小128k

代理连接超时90

代理发送超时90

代理读取超时90

proxy _ buffer _ size 4k

proxy _ buffers 4 32k

proxy _ busy _ buffers _ size 64k

代理_临时_文件_写入_大小64k

}

# error _ page 404/404。html

#将服务器错误页面重定向到静态页面/50x.html

#

error _ page 500 502 503 504/50x。html

location=/50x.html {

根超文本标记语言

}

#将服务器端编程语言(Professional Hypertext Preprocessor的缩写)脚本代理给街头流氓监听127.0.0.1:80

#

#位置~ \。php$ {

# proxy _ pass http://127。0 .0 .1;

#}

#将服务器端编程语言(Professional Hypertext Preprocessor的缩写)脚本传递给FastCGI服务器监听127.0.0.1:9000

#

#位置~ \。php$ {

#根超文本标记语言

# fastcgi _ pass 127。0 .0 .1:9000;

# fastcgi _ index index.php;

# fastcgi _ param SCRIPT _ FILENAME/scriptsfastcgi _ SCRIPT _ name;

#包含fastcgi _ params

#}

#拒绝访问htaccess。文件,如果街头流氓的文档根

#赞同nginx的观点

#

#location ~ /\ .ht {

#否认一切;

#}

}

可以用卷曲测试一下

www.xxx.com奇虎机器人

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对我们的支持。如果你想了解更多相关内容请查看下面相关链接

郑重声明:本文由网友发布,不代表盛行IT的观点,版权归原作者所有,仅为传播更多信息之目的,如有侵权请联系,我们将第一时间修改或删除,多谢。

相关文章阅读

  • nginx配置访问图片,nginx配置图片服务器
  • nginx配置访问图片,nginx配置图片服务器,Nginx搭建图片视频服务器的部署步骤
  • nginx负载均衡配置详解linux,nginx负载均衡服务器对性能有要求吗
  • nginx负载均衡配置详解linux,nginx负载均衡服务器对性能有要求吗,详解Nginx服务器之负载均衡策略(6种)
  • nginx正向代理与反向代理详解区别,nginx的正向代理和反向代理
  • nginx正向代理与反向代理详解区别,nginx的正向代理和反向代理,nginx正向代理与反向代理详解
  • nginx日常优化有哪些,nginx日常优化有哪些
  • nginx日常优化有哪些,nginx日常优化有哪些,nginx优化的六点方法
  • nginx拦截,nginx 屏蔽IP
  • nginx实现负载均衡几种方式,nginx负载均衡配置详解linux
  • nginx实现负载均衡几种方式,nginx负载均衡配置详解linux,使用nginx进行负载均衡的搭建全过程
  • nginx安装及配置教程,Nginx怎么安装
  • nginx安装及配置教程,Nginx怎么安装,Nginx 安装详细教程
  • nginx基本原理,nginx实现原理
  • nginx基本原理,nginx实现原理,详解Nginx 工作原理
  • 留言与评论(共有 条评论)
       
    验证码: