爬虫beautifulsoup,python beautifulsoup4

2022-08-25 23:29:42 分类：python 阅读()

　　爬虫beautifulsoup,python beautifulsoup4

　　本文给大家带来一些关于Python的知识，主要梳理爬虫解析器BeautifulSoup4的相关问题。美汤是一个Python库，可以从HTML或者XML文件中提取数据，并且可以通过你喜欢的转换器实现文档导航、文档搜索、文档修改的常用方式。下面就一起来看看吧，希望对你有帮助。

　　【相关推荐：Python3视频教程】

　　00-1010

一、BeautifulSoup4库介绍

美汤是一个Python库，可以从HTML或XML文件中提取数据。它可以实现通常的文档导航方式，通过你喜欢的转换器进行查找和修改。漂亮的汤会帮你节省几个小时甚至几天的工作时间。

　　BeautifulSoup4将网页转换成DOM树：

　　

1. 介绍

1. window电脑点击win键+ R，输入：cmd

　　2. 安装beautifulsoup4，输入对应的pip命令:皮普安装美丽的汤4，我已经安装了，它是成功安装时，版本出现。

　　3. 导包

　　形式4导入美汤

2. 下载模块

美汤其实解析的时候要看解析器。除了Python标准库中的HTML解析器，它还支持一些第三方解析器(比如lxml):

　　解析器用法优缺点Python标准库BeautifulSoup(html， html.parser) Python内置的标准库，执行速度适中，文档容错能力强。Python 2.7.3和Python3.2.2以前的版本文档容错性差。lxml HTML解析库美人汤(HTML，lxml )速度快，文档容错性强。需要安装C语言库lxml xml解析库BeautifulSoup(html， XML 速度快且唯一支持XML的解析器需要安装C语言库htm5lib解析库Beautiful Soup (html，Html5lib )容错性最好，通过浏览器解析文档，生成HTML格式的文档速度慢，不依赖外部扩展。对于我们来说，最常用的解析器是lxml HTML解析器，其次是HTML5LIB。

　　1. 读取HTML字符串：

　　从bs4导入BeautifulSoup

　　html=

　　面板

　　面板标题

　　h4你好/h4

　　/p

　　 panel_body

　　ul class= list id= list-1 name= element

　　Li element foo/Li

　　li class=elementBar/li

　　李杰/李

　　/ul

　　ul class= list list-small id= list-2

　　李是个傻瓜

　　t;/li>

　　 <a href="https://www.baidu.com">百度官网</a>

　　 <li class="element">Bar</li>

　　 </ul>

　　 </p>

　　</p>

　　'''# 创建对象soup = BeautifulSoup(html, 'lxml')2. 读取HTML文件：

　　

from bs4 import BeautifulSoup
　　soup = BeautifulSoup(open('index.html'),'lxml')
3. 基本方法

　　

from bs4 import BeautifulSoup
　　html = '''
　　<p class="panel">
　　 <p class="panel-heading">
　　 <h4>Hello</h4>
　　 </p>
　　 <p class="panel_body">
　　 <ul class="list" id="list-1" name="element">
　　 <li class="element">Foo</li>
　　 <li class="element">Bar</li>
　　 <li class="element">Jay</li>
　　 </ul>
　　 <ul class="list list-small" id="list-2">
　　 <li class="element">Foo</li>
　　 <a href="https://www.baidu.com">百度官网</a>
　　 <li class="element">Bar</li>
　　 </ul>
　　 </p>
　　</p> 
　　'''# 创建对象soup = BeautifulSoup(html, 'lxml')# 缩进格式print(soup.prettify())# 获取title标签的所有内容print(soup.title)# 获取title标签的名称print(soup.title.name)# 获取title标签的文本内容print(soup.title.string)# 获取head标签的所有内容print(soup.head)# 获取第一个p标签中的所有内容print(soup.p)# 获取第一个p标签的id的值print(soup.p["id"])# 获取第一个a标签中的所有内容print(soup.a)# 获取所有的a标签中的所有内容print(soup.find_all("a"))# 获取id="u1"print(soup.find(id="u1"))# 获取所有的a标签，并遍历打印a标签中的href的值for item in soup.find_all("a"):
　　 print(item.get("href"))# 获取所有的a标签，并遍历打印a标签的文本值for item in soup.find_all("a"):
　　 print(item.get_text())

2. 对象种类

Beautiful Soup将复杂HTML文档转换成一个复杂的树形结构,每个节点都是Python对象,所有对象可以归纳为4种: Tag , NavigableString , BeautifulSoup , Comment .

　　（1）Tag：Tag通俗点讲就是HTML中的一个个标签，例如：

　　

soup = BeautifulSoup('<b class="boldest">Extremely bold</b>','lxml')
　　tag = soup.b
　　print(tag)
　　print(type(tag))
输出结果：

　　

<b class="boldest">Extremely bold</b>
　　<class 'bs4.element.Tag'>
Tag有很多方法和属性,在 遍历文档树 和 搜索文档树 中有详细解释.现在介绍一下tag中最重要的属性: name和attributes：

　　name属性：

　　

print(tag.name)
　　# 输出结果：b
　　# 如果改变了tag的name,那将影响所有通过当前Beautiful Soup对象生成的HTML文档:
　　tag.name = "b1"
　　print(tag)
　　# 输出结果：<b1 class="boldest">Extremely bold</b1>
Attributes属性：

　　

# 取clas属性
　　print(tag['class'])
　　# 直接”点”取属性, 比如: .attrs :
　　print(tag.attrs)
tag 的属性可以被添加、修改和删除：

　　

# 添加 id 属性
　　tag['id'] = 1
　　# 修改 class 属性
　　tag['class'] = 'tl1'
　　# 删除 class 属性
　　del tag['class']
（2）NavigableString：用.string获取标签内部的文字：

　　

print(soup.b.string)print(type(soup.b.string))
（3）BeautifulSoup：表示的是一个文档的内容，可以获取它的类型，名称，以及属性：

　　

print(type(soup.name))
　　# <type 'unicode'>
　　print(soup.name)
　　# [document]
　　print(soup.attrs)
　　# 文档本身的属性为空
（4）Comment：是一个特殊类型的 NavigableString 对象，其输出的内容不包括注释符号。

　　

print(soup.b)
　　print(soup.b.string)
　　print(type(soup.b.string))

3. 搜索文档树

1.find_all(name, attrs, recursive, text, **kwargs)

　　（1）name 参数：name 参数可以查找所有名字为 name 的tag,字符串对象会被自动忽略掉

　　

  • 匹配字符串：查找与字符串完整匹配的内容,用于查找文档中所有的<a>标签

    　　

    a_list = soup.find_all("a")print(a_list)
  • 匹配正则表达式：如果传入正则表达式作为参数,Beautiful Soup会通过正则表达式的 match() 来匹配内容

    　　

    # 返回所有表示<body>和<b>标签for tag in soup.find_all(re.compile("^b")):
    　　 print(tag.name)
  • 匹配列表：如果传入列表参数,Beautiful Soup会将与列表中任一元素匹配的内容返回

    　　

    # 返回所有所有<p>标签和<a>标签:soup.find_all(["p", "a"])
（2）kwargs参数

　　

soup.find_all(id='link2')
（3）text参数：通过 text 参数可以搜搜文档中的字符串内容，与 name 参数的可选值一样, text 参数接受 字符串 , 正则表达式 , 列表

　　

# 匹配字符串
　　soup.find_all(text="a")
　　# 匹配正则
　　soup.find_all(text=re.compile("^b"))
　　# 匹配列表
　　soup.find_all(text=["p", "a"])

4. css选择器

我们在使用BeautifulSoup解析库时，经常会结合CSS选择器来提取数据。

　　注意：以下讲解CSS选择器只选择标签，至于获取属性值和文本内容我们后面再讲。

　　1. 根据标签名查找：比如写一个 li 就会选择所有li 标签, 不过我们一般不用，因为我们都是精确到标签再提取数据的

　　

from bs4 import BeautifulSoup
　　html = '''
　　<p class="panel">
　　 <p class="panel-heading">
　　 <h4>Hello</h4>
　　 </p>
　　 <p class="panel_body">
　　 <ul class="list" id="list-1" name="element">
　　 <li class="element">Foo</li>
　　 <li class="element">Bar</li>
　　 <li class="element">Jay</li>
　　 </ul>
　　 <ul class="list list-small" id="list-2">
　　 <li class="element">Foo</li>
　　 <a href="https://www.baidu.com">百度官网</a>
　　 <li class="element">Bar</li>
　　 </ul>
　　 </p>
　　</p> 
　　'''# 创建对象soup = BeautifulSoup(html, 'lxml')# 1. 根据标签名查找：查找li标签print(soup.select("li"))
输出结果：

　　

[<li class="element">Foo</li>, <li class="element">Bar</li>, <li class="element">Jay</li>, <li class="element">Foo</li>, <li class="element">Bar</li>]
2. 根据类名class查找。.1ine, 即一个点加line，这个表达式选的是class= "line "的所有标签，".”代表class

　　

print(soup.select(".panel_body"))
输出结果：

　　

</ul>
　　<ul class="list list-small" id="list-2">
　　<li class="element">Foo</li>
　　<li class="element">Bar</li>
　　</ul>
　　</div>]
3. 根据id查找。#box,即一个#和box表示选取id-”box "的所有标签，“#”代表id

　　

print(soup.select("#list-1"))
输出结果：

　　

[<ul class="list" id="list-1" name="element">
　　<li class="element">Foo</li>
　　<li class="element">Bar</li>
　　<li class="element">Jay</li>
　　</ul>]
4. 根据属性的名字查找。class属性和id属性较为特殊，故单独拿出来定义一个". "和“”来表示他们。

　　比如：input[ name=“username”]这个表达式查找name= "username "的标签，此处注意和xpath语法的区别

　　

print(soup.select('ul[ name="element"]'))
输出结果：

　　

[<ul class="list" id="list-1" name="element">
　　<li class="element">Foo</li>
　　<li class="element">Bar</li>
　　<li class="element">Jay</li>
　　</ul>]
5. 标签+类名或id的形式。

　　

# 查找id为list-1的ul标签
　　print(soup.select('ul#list-1'))
　　print("-"*20)
　　# 查找class为list的ul标签
　　print(soup.select('ul.list'))
输出结果：

　　

[<ul class="list" id="list-1" name="element">
　　<li class="element">Foo</li>
　　<li class="element">Bar</li>
　　<li class="element">Jay</li>
　　</ul>]
　　--------------------
　　[<ul class="list" id="list-1" name="element">
　　<li class="element">Foo</li>
　　<li class="element">Bar</li>
　　<li class="element">Jay</li>
　　</ul>, <ul class="list list-small" id="list-2">
　　<li class="element">Foo</li>
　　<li class="element">Bar</li>
　　</ul>]
6. 查找直接子元素

　　

# 查找id="list-1"的标签下的直接子标签liprint(soup.select('#list-1>li'))
输出结果：

　　

[<li class="element">Foo</li>, <li class="element">Bar</li>, <li class="element">Jay</li>]
7. 查找子孙标签

　　

# .panel_body和li之间是一个空格，这个表达式查找id=”.panel_body”的标签下的子或孙标签liprint(soup.select('.panel_body li'))
输出结果：

　　

[<li class="element">Foo</li>, <li class="element">Bar</li>, <li class="element">Jay</li>, <li class="element">Foo</li>, <li class="element">Bar</li>]
8. 取某个标签的属性

　　

# 1. 先取到<p class="panel_body">p = soup.select(".panel_body")[0]# 2. 再去下面的a标签下的href属性print(p.select('a')[0]["href"])
输出结果：

　　

https://www.baidu.com
9. 获取文本内容有四种方式：

　　(a) string：获得某个标签下的文本内容，强调-一个标签，不含嵌我。 返回-个字符串

　　

# 1. 先取到<p class="panel_body">p = soup.select(".panel_body")[0]# 2. 再去下面的a标签下print(p.select('a')[0].string)
输出结果：

　　

百度官网
(b) strings：获得某个标签下的所有文本内容，可以嵌套。返回-一个生成器，可用list(生成器)转换为列表

　　

print(p.strings)print(list(p.strings))
输出结果：

　　

<generator object Tag._all_strings at 0x000001AA58E525F0>['\n', '\n', 'Foo', '\n', 'Bar', '\n', 'Jay', '\n', '\n', '\n', 'Foo', '\n', '百度官网', '\n', 'Bar', '\n', '\n']
（c）stripped.strings：跟(b)差不多，只不过它会去掉每个字符串头部和尾部的空格和换行符

　　

print(p.stripped_strings)print(list(p.stripped_strings))
输出结果：

　　

<generator object PageElement.stripped_strings at 0x000001F9995525F0>['Foo', 'Bar', 'Jay', 'Foo', '百度官网', 'Bar']
(d) get.text():获取所有字符串，含嵌套. 不过会把所有字符串拼接为一个，然后返回
注意2:
前3个都是属性，不加括号;最后一个是函数，加括号。

　　

print(p.get_text())
输出结果：

　　

Foo
　　Bar
　　Jay
　　Foo
　　百度官网
　　Bar
【相关推荐：Python3视频教程 】以上就是一文搞懂Python爬虫解析器BeautifulSoup4的详细内容，更多请关注盛行IT软件开发工作室其它相关文章！

　　

郑重声明：本文由网友发布，不代表盛行IT的观点，版权归原作者所有，仅为传播更多信息之目的，如有侵权请联系，我们将第一时间修改或删除，多谢。

标签： python

相关文章阅读

  • python命令函数 python函数教学
  • python简单函数编程 如何用python编写函数
  • python随机函数种子 python随机数种子怎么用
  • python画兔子代码，python语言绘制小兔子源代码怎么运行
  • range函数是从0开始吗,python中range(0)
  • python多线程坑,python多线程阻塞
  • python怎么画k线,python绘制k线及均线
  • python调用安卓so库,python .so文件
  • python赋值运算符-=的作用是,在Python中关系运算符中,表示“不等于”
  • python语言是一种脚本编程语言,python属于脚本语言还是编程语言
  • python想获取字符串str的长度,python str转char
  • python从键盘不断输入整数,python控制键盘输入数字
  • python输入姓名输出姓,python输入名字输出你好代码
  • python怎么实现黑客攻击,python网络攻防
  • python@property,python中的property函数
    • 留言与评论（共有 条评论）
       
    验证码：