爬虫请求头怎么写,爬虫请求头的英文名称
Python伪装的，伪装的请求头和用过的代理ip前言1。爬虫拿走了什么？2.伪造的请求头？1.下载我的假用户代理库？3.在win10上使用代理ip1，Redis安装？2.开源项目的使用总结
前言逐渐深入研究爬虫后，每次测试都很吓人。这就好比开了一段时间的驾照不再是新手，而是更害怕别人“不请自来”。随着对爬行动物的速度和数量要求越来越高，被取缔的可能性也越来越大。为了大家能安心学习爬虫，这里附上一个伪装爬虫的方法，我愿称之为“大变活虫”。
以下案例仅供学习。
一、爬虫带走了什么？使用爬虫抓取网站时，网站会获取你的请求头、ip地址、cookie等信息，从而简单判断用户是否是爬虫。
你可以通过请求头判断你的浏览器型号，通过ip判断你的大概位置，通过cookie判断你之前是否登录过网站。(欢迎补充)
这就好比你坐公交车去车站，不仅需要身份证，还需要车票，身份证上有你的地址、姓名、年龄等信息。你可以把爬虫想象成你自己，浏览器就是站。
如前所述，如果使用的爬虫过于暴露，就相当于对网站发起攻击。更有甚者，如果它在网站上抓取了大量的个人信息，一旦发现就可能直接封禁该ip地址。结果你发现你的爬虫什么都不会爬。当你打开浏览器的时候，你甚至上不了这个网站，但是别人也有同样的不足。
这就是为什么我们必须伪造请求头并使用代理ip。
第二，伪造的请求头在使用过程中其实很少被禁止，但是不怕就怕一万个。
1.下载我的假用户代理库。我最早发现的是fake-useragent，但是这个库已经18年没有更新过了。经过实验，每个请求头都失败了，不知道是不是我没用好的原因。于是找到了这个库，亲测有效。
你可以通过pip下载。
pip我的假冒用户代理的使用：
from my _ fake _ User Agent import UserAgentimport requestsua=User Agent(family= chrome )RES=ua . random()URL= https://www . Baidu . com Headers={ User-Agent :RES } response=requests . get(URL=URL，Headers=headers) print (response。status _ code) # print状态码打印(响应。请求。headers) #打印您自己的请求。第三，使用代理ip。因为ip通常被禁的比较多，所以保护好自己的ip尤为重要。
有几种方法可以使用代理ip。我将详细介绍其中的一些。
1使用动态拨号的方法更改ip
2使用代理ip，网上有很多正在维护的代理池，有的需要付费，有的免费但不稳定。
3使用Tor代理服务器
4使用openvpn更改ip
等等
这里详细介绍第二种方法。
好在目前GitHub上有一个开源项目：
https://github.com/Python3WebSpider/ProxyPool
我在此声明作者的环境是win10
项目部署中提到需要Docker或Python=3.6和Redis环境。
因为Docker对环境的要求比Redis更严格，所以我这里选择使用Redis。
1.在win10什么是Redis？上安装Redis
Redis是一个键值存储系统。类似于Memcached，支持相对较多的存储值类型，包括string(字符串)、list(链表)、set(集合)、zset(排序集-有序集)和hash(可爱的金针菇类型)。这些数据类型支持push/pop、add/remove、交集并集和差集以及更丰富的操作，这些操作都是原子性的。在此基础上，redis支持各种排序。和memcached一样，为了保证效率，数据都缓存在内存中。不同的是，redis会定期将更新的数据写入磁盘或者对附加的记录文件进行修改操作，并在此基础上实现主从。
Redis下载地址
https://github.com/MicrosoftArchive/redis/releases
具体步骤请参考博客。
基于win10的redis的安装和使用
2.开源项目的使用。GitHub上有一个开源代理池。
https://github.com/Python3WebSpider/ProxyPool.git
那么怎么抢呢？
1首先克隆GitHub上源代码。
git clone https://github.com/Python3WebSpider/ProxyPool.git 2安装源代码所需的库文件
Pip install -r requirements.txt 3打开cmd，切换到Redis下载路径。
激活Redis
Redis-server然后打开刚刚克隆的代码，我的放在默认位置C:\Users\23\ProxyPool。
打开文件夹，可以看到有一个名为run.py的文件，运行时会出现如下界面。
然后打开可视化界面查看捕获的ip。
然后你可以自己做第二个测试，随便用一个。在这里，我手动输入了一个经过验证的ip。
from my _ fake _ User Agent import UserAgentimport requests from URL lib . request import URL retrieve import reua=User Agent(family= chrome )RES=ua . random()Headers={ User-Agent :RES } #伪装的请求标头proxy={ http : 117 . 242 . 36 . 205:42252 } # proxy IP response=requests . get(URL=URL，headers=headers，proxy=proxy)
总结：本文仅供学习。
如有不足，请批评指正。
参考文章
基于win10的redis的安装和使用
IP代理
郑重声明：本文由网友发布，不代表盛行IT的观点，版权归原作者所有，仅为传播更多信息之目的，如有侵权请联系，我们将第一时间修改或删除，多谢。