当前位置 博文首页 > MrLevo520的博客：Python自定义豆瓣电影种类，排行，点评的爬取
Python 2.7
IDE Pycharm 5.0.3
Firefox 47.0.1
如有兴趣可以从如下几个开始看起，其中有我遇到的很多问题：
基础抓取（限于“豆瓣高分”选项电影及评论）请看Python自定义豆瓣电影种类，排行，点评的爬取与存储（基础）
初级抓取（限于“豆瓣电影”的各种选项，包括“热门”,“豆瓣高分”等十几个类别及评论,并打包exe）请看Python自定义豆瓣电影种类，排行，点评的爬取与存储（初级）
进阶抓取（在初级抓取基础上，套上GUI框架，图像显示更加人性化，并打包成exe）请看 Python自定义豆瓣电影种类，排行，点评的爬取与存储（进阶上）
我发现了，我不是在写代码，我是在写BUG。。。
不满足于豆瓣电影的各种抓取，而把魔爪伸向了豆瓣电视剧，所以整合起来了整个豆瓣影视的抓取，所以以后要不要再抓豆瓣读书啊。。。
完成对豆瓣影视，包括豆瓣电影，豆瓣电视剧，豆瓣一周排行榜的自定义抓取及GUI界面设计及打包exe
使用Tkinter+PhantomJS+Selenium+Firefox实现
1.get到首页后，根据选择，点击种类，然后根据输入需求，进行排序 –这里的输入时listbox中值的点击键入
2.抓取每个电影及超链接，进入超链接后，抓取当前电影的热评及长评
3.当用户所要求TOP数目大于第一页的20个时候，点击加载更多，再出现20个电影，重复2操作。
4.将输出写入输出框架中，写入txt中等操作
上图吧，这里第一项的影视选择键都可以实现相关操作，
这里说明一下，第一项，影视选择，第二项，类别选择(电视剧看后面项)，第三项，排序方式，第四项，是否加载评论，第五项TOP多少，第六项，保存名称(需要格式为xx.txt)
下面是exe的版本
已上传资源，如有需要请点击这里进行下载
# -*- coding: utf-8 -*-
#Author:哈士奇说喵
#爬豆瓣高分影视及hot影评GUI完整版本
from selenium import webdriver
import selenium.webdriver.support.ui as ui
import time
from Tkinter import *
print "---------------system loading...please wait...---------------"
#获取电影名及URL
def getURL_Title():
global save_name
SUMRESOURCES=0
url="https://movie.douban.com/"
driver_item=webdriver.Firefox()
wait = ui.WebDriverWait(driver_item,15)
Class_Dict={'Movies':1,'TV':2,'TOP10 M&T':3}
#构建对应字典，方便键入值得对应关系查找
Kind_Dict={'Hot':1,'Newest/American TV':2,'Classics/UK TV':3,'Playable/Korean TV':4,'High Scores/Japanese TV':5,
'Wonderful but not popular/Chinese TV':6,'Chinese film/TVB':7,'Hollywood/Cartoon':8,
'Korea':9,'Japan':10,'Action movies':11,'Comedy':12,'Love story':13,
'Science fiction':14,'Thriller':15,'Horror film':16,'Whatever':17}
#最后一个电影老是在变啊，艹
Sort_Dict={'Sort by hot':1,'Sort by time':2,'Sort by score':3}
Ask_Dict={'*No film reviews':0,'*I like film reviews':1}
#键入的值对应，这几个键不是必须的，比如说选择TOP10 M&T时候
try:
kind=Kind_Dict[Kind_Select.get(Kind_Select.curselection()).encode('utf-8')]
sort = Sort_Dict[Sort_Select.get(Sort_Select.curselection()).encode('utf-8')]
number = int(input_Top.get())
except:
print 'if you are using TOP10 M&T ,it\'s all right\n if not,please choice kind/sort/number '
class_MT = Class_Dict[MT_Select.get(MT_Select.curselection()).encode('utf=8')]
ask_comments = Ask_Dict[Comment_Select.get(Comment_Select.curselection()).encode('utf-8')]
save_name=input_SN.get()
Ans.insert(END,"#####################################################################")
Ans.insert(END," Reloading ")
Ans.insert(END,",#####################################################################")
Ans.insert(END,"---------------------------------------system loading...please wait...------------------------------------------")
Ans.insert(END,"----------------------------------------------crawling----------------------------------------------")
Write_txt('\n##########################################################################################','\n##########################################################################################',save_name)
print "---------------------crawling...---------------------"
##############################################################################
#进行网页get后，先进行电影种类选择的模拟点击操作，然后再是排序方式的选择
#最后等待一会，元素都加载完了，才能开始爬电影，不然元素隐藏起来，不能被获取
#wait.until是等待元素加载完成！
##############################################################################
if class_MT==1:
#选完参数后，开始爬操作
driver_item.get(url)
wait.until(lambda driver: driver.find_element_by_xpath("//div[@class='fliter-wp']/div/form/div/div/label[%s]"%kind))
driver_item.find_element_by_xpath("//div[@class='fliter-wp']/div/form/div/div/label[%s]"%kind).click()
wait.until(lambda driver: driver.find_element_by_xpath("//div[@class='fliter-wp']/div/form/div[3]/div/label[%s]"%sort))
driver_item.find_element_by_xpath("//div[@class='fliter-wp']/div/form/div[3]/div/label[%s]"%sort).click()
num=number+1#比如输入想看的TOP22，那需要+1在进行操作，细节问题
#打开几次“加载更多”保险起见，多开一次加载
num_time = num/20+2
wait.until(lambda driver: driver.find_element_by_xpath("//div[@class='list-wp']/div/a[20]"))
for times in range(1,num_time):
driver_item.find_element_by_xpath("//div[@class='list-wp']/a[@class='more']").click()
wait.until(lambda driver: driver.find_element_by_xpath("//div[@class='list-wp']/div/a[%d]"%(20*(times+1))))
#使用wait.until使元素全部加载好能定位之后再操作，相当于try/except再套个while把
for i in range(1,num):
wait.until(lambda driver: driver.find_element_by_xpath("//div[@class='list']/a[%d]"%num))
list_title=driver_item.find_element_by_xpath("//div[@class='list']/a[%d]"%i)
print '----------------------------------------------'+'NO' + str(SUMRESOURCES +1)+'----------------------------------------------'
print u'电影名: ' + list_title.text
print u'链接: ' + list_title.get_attribute('href')
#print unicode码自动转换为utf-8的
#防止页面出现重复错误，增加迭代修正
while list_title.text==driver_item.find_element_by_xpath("//div[@class='list']/a[%d]"%(i+20)).text:
print u'遇到页面加载重复项bug，开始重新加载...'
driver_item.quit()
getURL_Title()
#list_title.text是unicode码，需要重新编码再写入txt
list_title_wr=list_title.text.encode('utf-8')
list_title_url_wr=list_title.get_attribute('href')
#写入gui的输出框中
Ans.insert(END,'\n-------------------------------------------Movies--'+'NO' + str(SUMRESOURCES +1)+'----------------------------------------------',list_title_wr,list_title_url_wr)
#写入txt中
Write_txt('\n------------------------------------------Movies--'+'NO' + str(SUMRESOURCES +1)+'----------------------------------------------','',save_name)
Write_txt(list_title_wr,list_title_url_wr,save_name)
SUMRESOURCES = SUMRESOURCES +1
#获取具体内容和评论。href是每个超链接也就是资源单独的url
try:
getDetails(str(list_title.get_attribute('href')),ask_comments)
except:
print 'can not get the details!'
#爬完数据后关闭浏览器，只保留GUI进行下一步操作
driver_item.quit()
#选择电视剧之后的操作
if class_MT == 2:
#选完参数后，开始爬操作,选电视剧需要多点击一次，因为默认为电影
driver_item.get(url)
wait.until(lambda driver: driver.find_element_by_xpath("//div[@class='fliter-wp']/h2/a[2]"))
driver_item.find_element_by_xpath("//div[@class='fliter-wp']/h2/a[2]").click()
wait.until(lambda driver: driver.find_element_by_xpath("//div[@class='fliter-wp']/div/form/div/div/label[%s]"%kind))
driver_item.find_element_by_xpath("//div[@class='fliter-wp']/div/form/div/div/label[%s]"%kind).click()
wait.until(lambda driver: driver.find_element_by_xpath("//div[@class='fliter-wp']/div/form/div[3]/div/label[%s]"%sort))
driver_item.find_element_by_xpath("//div[@class='fliter-wp']/div/form/div[3]/div/label[%s]"%sort).click()
num=number+1#比如输入想看的TOP22，那需要+1在进行操作，细节问题
#打开几次"加载更多",因为要解决点击后页面可能重复的问题，所以这里多点一次
num_time = num/20+2
wait.until(lambda driver: driver.find_element_by_xpath("//div[@class='list-wp']/div/a[20]"))
for times in range(1,num_time):
driver_item.find_element_by_xpath("//div[@class='list-wp']//a[@class='more']").click()
wait.until(lambda driver: driver.find_element_by_xpath("//div[@class='list-wp']/div/a[%d]"%(20*(times+1))))
#使用wait.until使元素全部加载好能定位之后再操作，相当于try/except再套个while把
for i in range(1,num):
wait.until(lambda driver: driver.find_element_by_xpath("//div[@class='list']/a[%d]"%num))
list_title=driver_item.find_element_by_xpath("//div[@class='list']/a[%d]"%i)
print '-------------------------------------------TV--'+'NO' + str(SUMRESOURCES +1)+'----------------------------------------------'
print u'电视剧名: ' + list_title.text
print u'链接: ' + list_title.get_attribute('href')
#print unicode码自动转换为utf-8的
#防止页面出现重复错误，增加迭代修正
while list_title.text==driver_item.find_element_by_xpath("//div[@class='list']/a[%d]"%(i+20)).text:
print u'遇到页面加载重复项bug，开始重新加载...'
driver_item.quit()
getURL_Title()
#list_title.text是unicode码，需要重新编码再写入txt
list_title_wr=list_title.text.encode('utf-8')
list_title_url_wr=list_title.get_attribute('href')
#写入gui的输出框中
Ans.insert(END,'\n------------------------------------------TV--'+'NO' + str(SUMRESOURCES +1)+'----------------------------------------------',list_title_wr,list_title_url_wr)
#写入txt中
Write_txt('\n----------------------------------------TV--'+'NO' + str(SUMRESOURCES +1)+'----------------------------------------------','',save_name)
Write_txt(list_title_wr,list_title_url_wr,save_name)
SUMRESOURCES = SUMRESOURCES +1
#获取具体内容和评论。href是每个超链接也就是资源单独的url
try:
getDetails(str(list_title.get_attribute('href')),ask_comments)
except:
print 'can not get the details!'
#爬完数据后关闭浏览器，只保留GUI进行下一步操作
driver_item.quit()
#本周口碑榜TOP10
if class_MT==3:
#选完参数后，开始爬操作
driver_item.get(url)
for i in range(1,11):
wait.until(lambda driver: driver.find_element_by_xpath("//div[@class='billboard-bd']/table/tbody/tr"))
list_title=driver_item.find_element_by_xpath("//div[@class='billboard-bd']/table/tbody/tr[%d]/td[2]/a"%i)
print '----------------------------------------------'+'NO' + str(SUMRESOURCES +1)+'----------------------------------------------'
print u'影视名: ' + list_title.text
print u'链接: ' + list_title.get_attribute('href')
#print unicode码自动转换为utf-8的
#list_title.text是unicode码，需要重新编码再写入txt
list_title_wr=list_title.text.encode('utf-8')
list_title_url_wr=list_title.get_attribute('href')
#写入gui的输出框中
Ans.insert(END,'\n-------------------------------------------WeekTOP--'+'NO' + str(SUMRESOURCES +1)+'----------------------------------------------',list_title_wr,list_title_url_wr)
#写入txt中
Write_txt('\n------------------------------------------WeekTOP--'+'NO' + str(SUMRESOURCES +1)+'----------------------------------------------','',save_name)
Write_txt(list_title_wr,list_title_url_wr,save_name)
SUMRESOURCES = SUMRESOURCES +1
#获取具体内容和评论。href是每个超链接也就是资源单独的url
try:
getDetails(str(list_title.get_attribute('href')),ask_comments)
except:
print 'can not get the details!'
#爬完数据后关闭浏览器，只保留GUI进行下一步操作
driver_item.quit()
##############################################################################
#当选择一部电影后，进入这部电影的超链接，然后才能获取
#同时别忽视元素加载的问题
#在加载长评论的时候，注意模拟点击一次小三角，不然可能会使内容隐藏
##############################################################################
def getDetails(url,comments):
driver_detail = webdriver.PhantomJS(executable_path="phantomjs.exe")
wait1 = ui.WebDriverWait(driver_detail,15)
driver_detail.get(url)
wait1.until(lambda driver: driver.find_element_by_xpath("//div[@id='link-report']/span"))
drama = driver_detail.find_element_by_xpath("//div[@id='link-report']/span")
print u"剧情简介："+drama.text
drama_wr=drama.text.encode('utf-8')
#写入gui的输出框中
Ans.insert(END,drama_wr)
#写入到txt
Write_txt(drama_wr,'',save_name)
#加载评论
if comments == 1:
print "--------------------------------------------Hot comments TOP----------------------------------------------"
#加载四个短评
for i in range(1,5):
try:
comments_hot = driver_detail.find_element_by_xpath("//div[@id='hot-comments']/div[%s]/div/p"%i)
print u"最新热评："+comments_hot.text
comments_hot_wr=comments_hot.text.encode('utf-8')
Ans.insert(END,"--------------------------------------------Hot comments TOP%d----------------------------------------------"%i,comments_hot_wr)
Write_txt("--------------------------------------------Hot comments TOP%d----------------------------------------------"%i,'',save_name)
Write_txt(comments_hot_wr,'',save_name)
except:
print 'can not caught the comments!'
#尝试加载长评
try:
driver_detail.find_element_by_xpath("//img[@class='bn-arrow']").click()
#wait.until(lambda driver: driver.find_element_by_xpath("//div[@class='review-bd']/div[2]/div/div"))
time.sleep(1)
#解决加载长评会提示剧透问题导致无法加载
comments_get = driver_detail.find_element_by_xpath("//div[@class='review-bd']/div[2]/div")
if comments_get.text.encode('utf-8')=='提示: 这篇影评可能有剧透':
comments_deep=driver_detail.find_element_by_xpath("//div[@class='review-bd']/div[2]/div[2]")
else:
comments_deep = comments_get
print "--------------------------------------------long-comments---------------------------------------------"
print u"深度长评："+comments_deep.text
comments_deep_wr=comments_deep.text.encode('utf-8')
#写入gui的输出框中
Ans.insert(END,"--------------------------------------------long-comments---------------------------------------------\n",comments_deep_wr)
Write_txt("--------------------------------------------long-comments---------------------------------------------\n",'',save_name)
Write_txt(comments_deep_wr,'',save_name)
except:
print 'can not caught the deep_comments!'
##############################################################################
#将print输出的写入txt中查看，也可以在cmd中查看，换行符是为了美观
##############################################################################
