当前位置 主页 > 网站技术 > 代码类 >

    Python数据持久化存储实现方法分析

    栏目:代码类 时间:2019-12-21 15:08

    本文实例讲述了Python数据持久化存储实现方法。分享给大家供大家参考,具体如下:

    1、pymongo的使用

    前三步为创建对象

    第一步创建连接对象
    conn = pymongo.MongoClient('IP地址',27017)
    第二步创建库
    db = conn['库名']
    第三步创建表
    myset = db['集合名']
    
    
    第四步把数据插入数据库
    myset.inset.one({})
    
    
    #!/usr/bin/python
    # -*- coding: utf-8 -*-
    # @Time : 2019/6/26 8:56
    # @Author : #####
    # @Site :
    # @File : 猫眼电影_mongo存储.py
    # @Software: PyCharm
    from urllib import request
    import re
    import time
    import pymongo
    class MaoyanSpider(object):
      def __init__(self):
        self.headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.26 Safari/537.36 Core/1.63.5221.400 QQBrowser/10.0.1125.400'}
        #用来计数
        self.page=1
        #连接对象
        self.coon =pymongo.MongoClient('locslhost',27017)
        #创建库对象
        self.db=self.coon['maoyaodb']
        #集合对象
        self.myset=self.db['top100']
      def get_page(self,url):
        req = request.Request(url,headers=self.headers)
        res = request.urlopen(req)
        html = res.read().decode('utf-8')
        self.parse_page(html)
      def parse_page(self,html):
        p = re.compile( '<div class="movie-item-info">.*?title="(.*?)".*?class="star">(.*?)</p>.*?class="releasetime">(.*?)</p>',re.S)
        r_list = p.findall(html)
        self.write_mongo(r_list)
      def write_mongo(self,r_list):
        for r_t in r_list:
          d={
            '电影名称:':r_t[0].strip(),
            '电影主演:':r_t[1].strip(),
            '上映时间:':r_t[2].strip()
          }
        #插入数据库
          self.myset.inset.one(d)
      def work_on(self):
        for pn in range(0,41,10):
          url = 'https://maoyan.com/board/4?offset=%s' % str(pn)
          self.get_page(url)
          print('第%d页爬取成功' % self.page)
          self.page += 1
          time.sleep(4)
    if __name__ == '__main__':
      begin = time.time()
      spider = MaoyanSpider()
      spider.work_on()
      end = time.time()
      print("执行时间%.2f" % (end - begin)) #注不完美,仍然需修改
    
    

    2、mysql的使用

    Mysql-front可视化工具,建库建表添加字段

    1、创建连接对象:db = pymysql.connet

    2、创建游标对象:cursor = db.sursor

    3、执行命令:cursor.execute()

    4、提交到数据库执行

    5、关闭:cursor.close

    mysql-Front使用流程

    1、创建数据库:

    localhost--数据库--新建---数据库

    数据库名改为maoyan (项目mysql库名)--- 字符集utf8 ---确定

    2、创建表:

    流程:选中maoyao数据库 --选中数据 ----新建 ----出现添加菜单 ---名称改为top100 ---创建成功

    3、往表格中添加字段:

    流程:选中top100表单  --- 数据库  ----新建  ----字段  ---出现添加界面 ----名称改为name  ---默认varchar  ---- 长度50  --确定