python BeautifulSoup使用方法详解 -电脑资料

电脑资料 时间:2019-01-01 我要投稿
【meiwen.anslib.com - 电脑资料】

   

    直接看例子:

    复制代码代码如下:

    #!/usr/bin/python

    # -*- coding: utf-8 -*-

    from bs4 import BeautifulSoup

    html_doc = """

    python BeautifulSoup使用方法详解 -电脑资料

   

   

The Dormouse's story

   

Once upon a time there were three little sisters; and their names were

    Elsie,

    Lacie and

    Tillie;

    and they lived at the bottom of a well.

   

...

    """

    soup = BeautifulSoup(html_doc)

    print soup.title

    print soup.title.name

    print soup.title.string

    print soup.p

    print soup.a

    print soup.find_all('a')

    print soup.find(id='link3')

    print soup.get_text()

    结果为:

    复制代码代码如下:

    The Dormouse's story

    title

    The Dormouse's story

   

The Dormouse's story

    Elsie

    [Elsie, Lacie, Tillie]

    Tillie

    The Dormouse's story

    The Dormouse's story

    Once upon a time there were three little sisters; and their names were

    Elsie,

    Lacie and

    Tillie;

    and they lived at the bottom of a well.

    ...

    可以看出:soup 就是BeautifulSoup处理格式化后的字符串,soup.title 得到的是title标签,soup.p 得到的是文档中的第一个p标签,要想得到所有标签,得用find_all

    函数,

python BeautifulSoup使用方法详解

。find_all 函数返回的是一个序列,可以对它进行循环,依次得到想到的东西.

    get_text() 是返回文本,这个对每一个BeautifulSoup处理后的对象得到的标签都是生效的。你可以试试 print soup.p.get_text()

    其实是可以获得标签的其他属性的,比如我要获得a标签的href属性的值,可以使用 print soup.a['href'],类似的其他属性,比如class也是可以这么得到的(soup.a['class'])。

    特别的,一些特殊的标签,比如head标签,是可以通过soup.head 得到,其实前面也已经说了。

    如何获得标签的内容数组?使用contents 属性就可以 比如使用 print soup.head.contents,就获得了head下的所有子孩子,以列表的形式返回结果,

    可以使用 [num] 的形式获得 ,获得标签,使用.name 就可以。

    获取标签的孩子,也可以使用children,但是不能print soup.head.children 没有返回列表,返回的是 ,

    不过使用list可以将其转化为列表。当然可以使用for 语句遍历里面的孩子。

    关于string属性,如果超过一个标签的话,那么就会返回None,否则就返回具体的字符串print soup.title.string 就返回了 The Dormouse's story

    超过一个标签的话,可以试用strings

    向上查找可以用parent函数,如果查找所有的,那么可以使用parents函数

    查找下一个兄弟使用next_sibling,查找上一个兄弟节点使用previous_sibling,如果是查找所有的,那么在对应的函数后面加s就可以

    如何遍历树?

   

    使用find_all 函数

   

    复制代码代码如下:

    find_all(name, attrs, recursive, text, limit, **kwargs)

    举例说明:

    复制代码代码如下:

    print soup.find_all('title')

    print soup.find_all('p','title')

    print soup.find_all('a')

    print soup.find_all(id="link2")

    print soup.find_all(id=True)

    返回值为:

    复制代码代码如下:

    [The Dormouse's story]

    [

The Dormouse's story

]

    [Elsie, Lacie, Tillie]

    [Lacie]

    [Elsie, Lacie, Tillie]

    通过css查找,直接上例子:

    复制代码代码如下:

    print soup.find_all("a", class_="sister")

    print soup.select("p.title")

    通过属性进行查找

   

    复制代码代码如下:

    print soup.find_all("a", attrs={"class": "sister"})

    通过文本进行查找

   

    复制代码代码如下:

    print soup.find_all(text="Elsie")

    print soup.find_all(text=["Tillie", "Elsie", "Lacie"])

    限制结果个数

   

    复制代码代码如下:

    print soup.find_all("a", limit=2)

    结果为:

    复制代码代码如下:

    [Elsie, Lacie, Tillie]

    [

The Dormouse's story

]

    [Elsie, Lacie, Tillie]

    [u'Elsie']

    [u'Elsie', u'Lacie', u'Tillie']

    [Elsie, Lacie]

    总之,通过这些函数可以查找到想要的东西,

电脑资料

python BeautifulSoup使用方法详解》(http://meiwen.anslib.com)。

   

您可能感兴趣的文章:

使用BeautifulSoup爬虫程序获取百度搜索结果的标题和url示例

使用python BeautifulSoup库抓取58手机维修信息

python 解析html之BeautifulSoup

python使用beautifulsoup从爱奇艺网抓取视频播放

    QQ空间 搜狐微博 人人网 开心网 百度搜藏更多

    Tags:python BeautifulSoup

    复制链接收藏本文打印本文关闭本文返回首页

    上一篇:python装饰器使用方法实例

    下一篇:windows下wxPython开发环境安装与配置方法

   

相关文章

2014-04-04使用Python进行 的mid和url互相转换实例(10进制和62进制

2008-09-09Python交换变量

2011-03-03Python中删除文件的程序代码

2013-03-03python list 合并连接字符串的方法

2014-04-04用pywin32实现windows模拟鼠标及键盘动作

2013-12-12天翼开放平台免费短信验证码接口使用实例

2014-06-06python写的ARP攻击代码实例

2014-01-01linux系统使用python获取内存使用信息脚本分享

2013-09-09python pickle 和 shelve模块的用法

2013-12-12python获取糗百图片代码实例

   

文章评论

   

最 近 更 新

   

python读取csv文件示例(python操作csv)

python数据结构之二叉树的建立实例

Python正则表达式介绍

python实现DNS正向查询、反向查询的例子

python实现博客文章爬虫示例

linux系统使用python获取cpu信息脚本分享

python学习手册中的python多态示例代码

python中文乱码的解决方法

从零学python系列之浅谈pickle模块封装和

windows下wxPython开发环境安装与配置方法

   

热 点 排 行

   

Python入门教程 超详细1小时学会

python 中文乱码问题深入分析

比较详细Python正则表达式操作指

Python字符串的encode与decode研

Python open读写文件实现脚本

Python enumerate遍历数组示例应

Python 深入理解yield

Python+Django在windows下的开发

python 文件和路径操作函数小结

python 字符串split的用法分享

最新文章