python怎么爬网页数据,python怎么爬取网站数据

　　使用大蟒爬取网页数据的方法：

　　一、利用webbrowser.open()打开一个网站：

　　导入网络浏览器

　　网络浏览器。打开( http://I .火狐中国。cn/？from=世界指数’)

　　真实1 .从sys.argv读取命令行参数：打开一个新的文件编辑器窗口，输入下面的代码，将其保存为map.py。

　　2.读取剪贴板内容：

　　3.调用webbrowser.open()函数打开外部浏览：

　　#!python3

　　importwebbrowser，sys，pyperclip

　　iflen(系统argv)1:

　　mapAddress=" " .join(sys.argv[1:])

　　else:

　　mapAddress=pyperclip.paste()

　　网络浏览器。打开( http://地图。百度一下。com/？新地图=1ie=utf-8s=s & amp；wd=地图地址二、用要求模块从网下载文件：请求模块不是大蟒自带的，通过命令行运行点安装请求安装。

　　导入请求

　　RES=请求。获取( http://I .火狐中国。cn/？from=worldindex)#向得到中传入一个网址

　　类型(res)#响应对象

　　类"请求.模型.响应"

　　打印(资源状态代码)#响应码

　　200

　　资源文本#返回的文本在下载文件的过程中，用引发状态()方法可以确保下载确实成功，然后再让程序继续做其他事情。

　　导入请求

　　RES=请求。获取( http://I .火狐中国。cn/？from=世界指数’)

　　尝试：

　　res.raise_for_status()

　　exceptExceptionasexc:

　　print( thewasaproblem :% s %(exc))三、将下载的文件保存到本地：

　　导入请求

　　RES=请求。获取( http://技术。火狐。新浪。com/17/0820/10/6 dkqalvrw 5 jhg E1 I . html # # 0-tsina-1-13074-397232819 ff 9 a 47 a 7 b 7 e 80 a 40613 cfe 1 )

　　res.raise_for_status()

　　file=open(1.txt ， wb)#以写二进制模式打开文件，目的是保存文本中的“Unicode编码"

　　forwordinres。ITER _ content(100000): #

　　lt;spanclass="fontstyle0"><spanclass="fontstyle0">iter_content()</span><spanclass="fontstyle1">方法在循环的每次迭代中返回一段</span><spanclass="fontstyle0">bytes</span><spanclass="fontstyle1">数据</span><spanclass="fontstyle1">类型的内容，你需要指定其包含的字节数</span></span>

　　file.write(word)

　　16997

　　>>>file.close()四、用BeautifulSoup模块解析HTML：在命令行中用pip install beautifulsoup4安装它。
1.bs4.BeautifulSoup()函数可以解析HTML网站链接requests.get()，也可以解析本地保存的HTML文件，直接open()一个本地HTML页面。

>>>importrequests,bs4
　　>>>res=requests.get('http://i.firefoxchina.cn/?from=worldindex')
　　>>>res.raise_for_status()
　　>>>soup=bs4.BeautifulSoup(res.text)
　　
　　Warning(fromwarningsmodule):
　　File"C:\Users\King\AppData\Local\Programs\Python\Python36-32\lib\site-packages\beautifulsoup4-4.6.0-py3.6.egg\bs4\__init__.py",line181
　　markup_type=markup_type))
　　UserWarning:Noparserwasexplicitlyspecified,soI'musingthebestavailableHTMLparserforthissystem("html.parser").Thisusuallyisn'taproblem,butifyourunthiscodeonanothersystem,orinadifferentvirtualenvironment,itmayuseadifferentparserandbehavedifferently.
　　
　　Thecodethatcausedthiswarningisonline1ofthefile<string>.Togetridofthiswarning,changecodethatlookslikethis:
　　
　　BeautifulSoup(YOUR_MARKUP})
　　
　　tothis:
　　
　　BeautifulSoup(YOUR_MARKUP,"html.parser")
　　
　　>>>soup=bs4.BeautifulSoup(res.text,'html.parser')
　　>>>type(soup)
　　<class'bs4.BeautifulSoup'>

>>>importbs4
　　>>>html=open('C:\\Users\\King\\Desktop\\1.htm')
　　>>>exampleSoup=bs4.BeautifulSoup(html)
　　>>>exampleSoup=bs4.BeautifulSoup(html,'html.parser')
　　>>>type(exampleSoup)
　　<class'bs4.BeautifulSoup'>

　　soup.select('#author')：带有id属性为author的元素；

　　soup.select('.notice')：所有使用CSS class属性名为notice的元素；

　　soup.select('div span')：所有在<div>元素之内的<span>元素；

　　soup.select('input[name]')：所有名为<input>并有一个name属性，其值无所谓的元素；

　　soup.select('input[type="button"]')：所有名为<input>并有一个type属性，其值为button的元素。

>>>importrequests,bs4
　　>>>res=requests.get('http://i.firefoxchina.cn/?from=worldindex')
　　>>>res.raise_for_status()
　　>>>soup=bs4.BeautifulSoup(res.text,'html.parser')
　　>>>author=soup.select('#author')
　　>>>print(author)
　　[]
　　>>>type(author)
　　<class'list'>
　　>>>link=soup.select('link')
　　>>>print(link)
　　[<linkhref="css/mozMainStyle-min.css?v=20170705"rel="externalnofollow"rel="externalnofollow"rel="stylesheet"type="text/css"/>,<linkhref=""id="rel="externalnofollow"rel="externalnofollow"rel="externalnofollow"moz-skin"rel="stylesheet"type="text/css"/>,<linkhref=""id="rel="externalnofollow"rel="externalnofollow"rel="externalnofollow"moz-dir"rel="stylesheet"type="text/css"/>,<linkhref=""id="rel="externalnofollow"rel="externalnofollow"rel="externalnofollow"moz-ver"rel="stylesheet"type="text/css"/>]
　　>>>type(link)
　　<class'list'>
　　>>>len(link)
　　4
　　>>>type(link[0])
　　<class'bs4.element.Tag'>
　　>>>link[0]
　　<linkhref="css/mozMainStyle-min.css?v=20170705"rel="externalnofollow"rel="externalnofollow"rel="stylesheet"type="text/css"/>
　　>>>link[0].attrs
　　{'rel':['stylesheet'],'type':'text/css','href':'css/mozMainStyle-min.css?v=20170705'}

>>>link[0].get('href')
　　'css/mozMainStyle-min.css?v=20170705

郑重声明：本文由网友发布，不代表盛行IT的观点，版权归原作者所有，仅为传播更多信息之目的，如有侵权请联系，我们将第一时间修改或删除，多谢。