Python爬虫——解析网页HTML内容BeautifulSoup

pip install beautifulsoup4

构建一个BeautifulSoup对象

>>> from bs4 import BeautifulSoup>>> soup = BeautifulSoup(html_doc, 'html.parser')

第二个参数表示解析器,BeautifulSoup支持以下

BeautifulSoup类的基本元素

Tag:标签,最基本的信息组织单元,分别用<>和</>标明开头和结尾
Name:标签的名字,<p>...</p>的名字是'p',格式:<tag>.name
Attributes:标签的属性,字典的形式组织,格式:<tag>.attrs
NavigableString:标签内非属性字符串,<>...</>中字符串,格式:<tag>.string
Comment:标签内字符串的注释部分,一种特殊的Comment类型

任何存在于HTML语法中的标签都可以用soup.访问获得,当HTML文档中存在多个相同对应内容时,soup.返回第一个
每个都有自己的名字,通过.name获取,字符串类型;
Tag的attrs:一个可以有0或多个属性,字典类型;
NavigableString可以跨越多个层次;

访问标签

通过点号操作符,可以直接访问文档中的特定标签

>>> soup = BeautifulSoup(html_doc, 'lxml')
>>> soup.head
<head><title>The Dormouse's story</title></head>
>>> soup.head.title
<title>The Dormouse's story</title>
>>> soup.a
<a class="sister" href="http://boxmoe.com/elsie" id="link1">Elsie</a>

这样的方式每次只会返回文档中的第一个标签,对于多个标签,则通过find_all方法返回多个标签构成的列表。

>>> soup.find_all('a')
[<a class="sister" href="http://boxmoe.com/elsie" id="link1">Elsie</a>, <a class="sister" href="http://boxmoe.com/lacie" id="link2">Lacie</a>, <a class="sister" href="http://boxmoe.com/tillie" id="link3">Tillie</a>]
>>> soup.find_all('a')[0]
<a class="sister" href="http://boxmoe.com/elsie" id="link1">Elsie</a>

还可以在find方法中添加过滤条件,更加精确的定位元素

# 通过text进行筛选
>>> soup.find_all('a', text='Elsie')
[Elsie]
# 通过属性和值来进行筛选
>>> soup.find_all('a', attrs={'id':'link1'})
[Elsie]
# 上述写法的简便写法,只适合部分属性
>>> soup.find_all('a', id='link1')
[Elsie]

# 使用CSS选择器
# 注意class后面加下划线
>>> soup.find_all('p', class_='title')
[

The Dormouse's story

]

访问标签内容和属性

通过name和string可以访问标签的名字和内容,通过get和中括号操作符则可以访问标签中的属性和值。

>>> soup.a
<a class="sister" href="http://boxmoe.com/elsie" id="link1">Elsie</a>
>>> soup.a['class']
['sister']
>>> soup.a.get('class')
['sister']
>>> soup.a.name
'a'
>>> soup.a.string
'Elsie'

结合定位元素和访问属性的方法,可以方便快捷的提取对应元素,提高解析html的便利性

使用Beautiful Soup库解析网页示例

 import requests
 import chardet
 from bs4 import BeautifulSoup
 ua = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) Chrome/65.0.3325.181'}
 rqg=requests.get(url,headers=ua,timeout=3.0)
 rqg.encoding = chardet.detect(rqg.content)['encoding'] #requests请求过程
 #初始化HTML
 html = rqg.content.decode('utf-8')
 soup = BeautifulSoup(html, 'lxml')  #生成BeautifulSoup对象
 print('输出格式化的BeautifulSoup对象:',soup.prettify())

 print('名为title的全部子节点:',soup.find_all("title"))

 print('title子节点的文本内容:',soup.title.string)
 print('使用get_text()获取的文本内容:',soup.title.get_text())

 target = soup.find_all('ul',class_='menu') #按照css类名完全匹配
 target = soup.find_all(id='menu') #传入关键字id,搜索符合条件的节点
 target = soup.ul.find_all('a') #所有名称为a的节点

BeautifulSoup解析内容同样需要将请求和解析分开,从代码清晰程度来讲还将就,不过在做复杂的解析时代码略显繁琐

声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。

给TA打赏
共{{data.count}}人
人已打赏
Python

Python并发/并行执行循环任务

2022-12-6 15:24:40

Python

python pip install 国内下载太慢,更换下载源

2023-3-8 14:33:23

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
搜索