爬虫爬取文章,爬虫知识总结
获取响应返回的cookie:
res=requests.get(xxx )
Print(res.cookies)搜索json.parse或var xxx
费德勒飞走了
fiddler启动后，IE浏览器代理由fiddler更改。
============
替换：回放
Go:让断点向下。
Stream:选择代理模式，在stream模式和buffer模式之间切换，默认为cache模式[cache mode:只有当所有请求的响应都返回给FD时才会显示]
解码：提取http请求的内容。
保留：保留多少个会话？会话越多，占用的内存就越多。
任何：过滤请求
查找：过滤请求的url
保存：保存捕获的会话。
相机：截图
清除缓存：清除缓存
文本向导：[url]编解码器
撕掉：分离面板
===状态栏
捕获：是否启用了捕获会话功能？
Web浏览器：过滤会话源
=======监控面板
统计：数据统计，反映绩效指标。
检查员：解包请求并查看请求的详细信息：请求头和响应。如果是post请求，您可以在webform中看到传递的参数。
Autoresponder:文件代理，可以用来拦截文件并在本地返回。
作曲：前端接口联调
会议
Js反混淆：http://www.bm8.com.cn/jsConfusion/
Js反向：
Firefox浏览器可以分析页面元素的绑定事件，定位具体的代码行。
PyExecJS简介：PyExecJS是一个可以用Python模拟运行JavaScript的库。我们需要pipinstallPyExecJS在环境中安装它。
1什么是提琴手？
Fiddler是位于客户端和服务器端的http代理，也是目前最常用的HTTP数据包捕获工具之一。它可以记录客户端和服务器之间的所有HTTP请求，分析请求的数据，设置断点，调试web应用程序，修改请求的数据，甚至可以修改服务器针对特定HTTP请求返回的数据。它是一个强大的web调试工具。
既然是代理，也就是说：所有来自客户端的请求都要先经过Fiddler，然后再转发到对应的服务器。相反，来自服务器的所有响应也会经过Fiddler，然后发送到客户端。因此，Fiddler支持所有可以将http代理设置为127.0.0.1:8888的浏览器和应用程序。使用Fiddler后，web客户端和服务器请求如下：
有了这个设置代理的功能，我们就可以抓取手机APP了。怎么设置？不急，让我先安装提琴手！
提琴手下载地址：https://www.telerik.com/fiddler
傻瓜式安装，一键到底。Fiddler软件界面如图所示：
2手机APP抓取设置a. Fiddler设置打开Fiddler软件，打开工具的设置。(Fiddler软件菜单栏：工具-选项)
在HTTPS设置如下：
连接中的设置如下。这里使用默认的8888端口，但是您也可以自己更改，但是注意不要与已经使用的端口冲突：
允许远程计算机连接：允许其他机器向fiddler发送请求。
B.下载安全证书
在计算机浏览器中输入地址：http://localhost:8888/
C.安全证书的安装
证书需要安装在手机上，这样当电脑的Fiddler软件抓包时，手机使用电脑的网卡上网就不会报错。
Android手机安装：将证书放在手机的内置或外置存储卡上，然后通过手机的‘系统安全-从存储设备安装’菜单安装证书。
然后找到复制的FiddlerRoot.cer并安装。安装后，我们可以在可信证书中找到我们安装的安全证书。
苹果手机安装：
-确保手机网络和fiddler的机器网络在同一个网段。
-在safari中访问http://提琴机的IP: FIDDLER端口下载证书。然后安装证书。
-手机中的设置-通用-关于本机-证书信任设置-开启fiddler证书信任。
D.局域网设置
如果要用Fiddler进行手机抓包，首先要保证你的手机和电脑的网络在同一个内网。可以用同一个路由器连接电脑和手机。当然也可以让电脑打开WIFI热点，连接手机。在这里，我使用的方法是将手机和电脑同时接入一个路由器。最后，让手机使用电脑的代理IP上网。
在手机上，点击连接的WIFI，修改网络，添加代理。手动设置。ip和端口号都是fiddler机器的ip，也是fiddler上设置的端口号。
E.提琴手手机抓包测试以上步骤全部设置完成后，用手机浏览器打开百度首页，我们就可以成功抓包了。
======
郑重声明：本文由网友发布，不代表盛行IT的观点，版权归原作者所有，仅为传播更多信息之目的，如有侵权请联系，我们将第一时间修改或删除，多谢。