当前位置 博文首页 > 使用python BeautifulSoup库抓取58手机维修信息

    使用python BeautifulSoup库抓取58手机维修信息

    作者:admin 时间:2021-02-20 06:07

    直接上代码:

    复制代码 代码如下:

    #!/usr/bin/python
    # -*- coding: utf-8 -*-

    import urllib

    import os,datetime,string

    import sys

    from bs4 import BeautifulSoup

    reload(sys)

    sys.setdefaultencoding('utf-8')

    __BASEURL__ = 'http://bj.58.com/'

    __INITURL__ = "http://bj.58.com/shoujiweixiu/"

    soup = BeautifulSoup(urllib.urlopen(__INITURL__))

    lvlELements = soup.html.body.find('div','selectbarTable').find('tr').find_next_sibling('tr')('a',href=True)

    f = open('data1.txt','a')

    for element in lvlELements[1:]:

        f.write((element.get_text()+'\n\r' ))

        url = __BASEURL__ + element.get('href')

        print url

        soup = BeautifulSoup(urllib.urlopen(url))

        lv2ELements = soup.html.body.find('table','tblist').find_all('tr')

        for item in lv2ELements:
            addr = item.find('td','t').find('a').get_text()
            phone = item.find('td','tdl').find('b','tele').get_text()
            f.write('地址:'+addr +' 电话:'+ phone + '\r\n\r')

    f.close()

    直接执行后,存在 data1.txt中就会有商家的地址和电话等信息。
    BeautifulSoup  api 的地址为: http://www.crummy.com/software/BeautifulSoup/bs4/doc/

    js
    下一篇:没有了