文章
「Python筆記」python爬蟲簡單實戰

「Python筆記」python爬蟲簡單實戰

資源介紹參數
資源類別： Python
如遇問題： 聯繫客服/留言反饋
使用requests+BeautifulSoup+sqlalchemy+pymysql爬取貓眼TOP100並寫入數據庫和txt文檔做題用到爬蟲正好複習一下一些東西，爬取貓眼TOP100電影，並用sqlalchemy寫入數據庫，並寫入txt文檔。

使用requests+BeautifulSoup+sqlalchemy+pymysql爬取貓眼TOP100並寫入數據庫和txt文檔

做題用到爬蟲正好複習一下一些東西，爬取貓眼TOP100電影，並用sqlalchemy寫入數據庫，並寫入txt文檔

先做好數據庫連接的配置

  1. from sqlalchemy import create_engine,Column,Integer,String,Text
  2. from sqlalchemy.ext.declarative import declarative_base
  3. from sqlalchemy.orm import sessionmaker
  5. HOSTNAME = '127.0.0.1'
  6. DATABASE = 'movies'
  7. PORT = '3306'
  8. USERNAME = 'root'
  9. PASSWORD = 'root'
  10. DB_URL = "mysql+pymysql://{username}:{password}@{host}:{port}/{database}?charset=utf8mb4".format(username=USERNAME,password=PASSWORD,host=HOSTNAME, port=PORT,database=DATABASE)
  11. engine = create_engine(DB_URL)
  12. conn = engine.connect()
  13. Base = declarative_base()
  14. Session = sessionmaker(engine)()

創建數據表

  1. class Movies(Base):
  2.     __tablename__ = 'movies'
  3.     index = Column(Integer,primary_key=True,autoincrement=True)
  4.     src = Column(Text,nullable=False)
  5.     name = Column(String(50),nullable=False)
  6.     actor = Column(String(50),nullable=False)
  7.     time = Column(String(50),nullable=False)
  8.     score = Column(String(50),nullable=False)
  10. Base.metadata.create_all(engine)
  12. alter = 'alter table movies convert to character set utf8mb4;'
  13. conn.execute(alter)

要注意執行修改字符集語句，否賊無法寫入

分析結構

  1. from bs4 import BeautifulSoup
  2. import requests
  3. import re
  5. def main(index):
  6.     req = requests.get(url.format(str(index)))
  7.     soup = BeautifulSoup(req.text, "html5lib")
  8.     for item in soup.select('dd'):
  9.         pass

分析結構可以看出，每一部電影都寫在一個<dd>Array中，只要獲取到這個Array，再向下搜尋就能得到想要的數據

爬取數據

  1. def get_index(item):
  2.     index = item.select_one("i").text
  3.     return index
  5. def get_src(item):
  6.     img_src = item.select("img")[1]
  7.     template = re.compile('data-src="(.*?)"')
  8.     img_src = template.findall(str(img_src))[0]
  9.     return img_src
  11. def get_name(item):
  12.     name = item.select(".name")[0].text
  13.     return name
  15. def get_actor(item):
  16.     actor = item.select(".star")[0].text.split('：')[1]
  17.     return actor
  19. def get_time(item):
  20.     time = item.select(".releasetime")[0].text.split('：')[1]
  21.     return time
  23. def get_score(item):
  24.     score = item.select('.integer')[0].text + item.select('.fraction')[0].text
  25.     return score

獲取需要的信息，因為src在data-scr中，所以這裡我用正則去獲取。

構造dict

  1. def get_dict(item):
  2.     index = int(get_index(item))
  3.     src = get_src(item)
  4.     name = get_name(item)
  5.     actor = get_actor(item)
  6.     time = get_time(item)
  7.     score = get_score(item)
  8.     movies_dict = {'index': index, 'src': src, 'name': name, 'actor': actor, 'time': time, 'score': score}
  9.     return movies_dict

將爬取的數據整理成dict(寫完後覺得這步沒有必要)

寫入txt

  1. def write_file(content):
  2.     content = json.dumps(content,ensure_ascii=False)
  3.     with open('result.txt','a') as f:
  4.         f.write(content +'n')

這裡需要將dict用json.dumps方法編碼成json字符串，否則無法寫入

寫入數據庫

  1. def write_to_mysql(content):
  2.     src = content['src']
  3.     name = content['name']
  4.     actor = content['actor'].split('n')[0]
  5.     time = content['time']
  6.     score = content['score']
  7.     data = Movies(src = src,name=name,actor=actor,time=time,score=score)
  8.     Session.add(data)
  9.     Session.commit()

在主函式中調用

  1. def main(index):
  2.     req = requests.get(url.format(str(index)))
  3.     soup = BeautifulSoup(req.text, "html5lib")
  4.     for item in soup.select('dd'):
  5.         movies_dict = get_dict(item)
  6.         write_to_mysql(movies_dict)
  7.         write_file(movies_dict)

爬取所有頁面

  1. for i in range(10):
  2.     main(i*10)

完整代碼

  1. from bs4 import BeautifulSoup
  2. from sqlalchemy import create_engine,Column,Integer,String,Text
  3. from sqlalchemy.ext.declarative import declarative_base
  4. from sqlalchemy.orm import sessionmaker
  5. import requests
  6. import re
  7. import json
  9. HOSTNAME = '127.0.0.1'
  10. DATABASE = 'movies'
  11. PORT = '3306'
  12. USERNAME = 'root'
  13. PASSWORD = 'root'
  14. DB_URL = "mysql+pymysql://{username}:{password}@{host}:{port}/{database}?charset=utf8mb4".format(username=USERNAME,password=PASSWORD,host=HOSTNAME, port=PORT,database=DATABASE)
  15. engine = create_engine(DB_URL)
  16. conn = engine.connect()
  18. Base = declarative_base()
  19. Session = sessionmaker(engine)()
  21. class Movies(Base):
  22.     __tablename__ = 'movies'
  23.     index = Column(Integer,primary_key=True,autoincrement=True)
  24.     src = Column(Text,nullable=False)
  25.     name = Column(String(50),nullable=False)
  26.     actor = Column(String(50),nullable=False)
  27.     time = Column(String(50),nullable=False)
  28.     score = Column(String(50),nullable=False)
  30. Base.metadata.create_all(engine)
  32. alter = 'alter table movies convert to character set utf8mb4;'
  33. conn.execute(alter)
  35. def get_index(item):
  36.     index = item.select_one("i").text
  37.     return index
  39. def get_src(item):
  40.     img_src = item.select("img")[1]
  41.     template = re.compile('data-src="(.*?)"')
  42.     img_src = template.findall(str(img_src))[0]
  43.     return img_src
  45. def get_name(item):
  46.     name = item.select(".name")[0].text
  47.     return name
  49. def get_actor(item):
  50.     actor = item.select(".star")[0].text.split('：')[1]
  51.     return actor
  53. def get_time(item):
  54.     time = item.select(".releasetime")[0].text.split('：')[1]
  55.     return time
  57. def get_score(item):
  58.     score = item.select('.integer')[0].text + item.select('.fraction')[0].text
  59.     return score
  61. def get_dict(item):
  62.     index = int(get_index(item))
  63.     src = get_src(item)
  64.     name = get_name(item)
  65.     actor = get_actor(item)
  66.     time = get_time(item)
  67.     score = get_score(item)
  68.     movies_dict = {'index': index, 'src': src, 'name': name, 'actor': actor, 'time': time, 'score': score}
  69.     return movies_dict
  71. def write_file(content):
  72.     content = json.dumps(content,ensure_ascii=False)
  73.     with open('result.txt','a') as f:
  74.         f.write(content +'n')
  76. def write_to_mysql(content):
  77.     src = content['src']
  78.     name = content['name']
  79.     actor = content['actor'].split('n')[0]
  80.     time = content['time']
  81.     score = content['score']
  82.     data = Movies(src = src,name=name,actor=actor,time=time,score=score)
  83.     Session.add(data)
  84.     Session.commit()
  86. def main(index):
  87.     req = requests.get(url.format(str(index)))
  88.     soup = BeautifulSoup(req.text, "html5lib")
  89.     for item in soup.select('dd'):
  90.         movies_dict = get_dict(item)
  91.         write_to_mysql(movies_dict)
  92.         write_file(movies_dict)
  94. url = 'https://maoyan.com/board/4?offset={}'
  96. for i in range(10):
  97.     main(i*10)

使用selenium爬取空間說說

配置驅動，模擬登入

  1. from selenium import webdriver
  2. import time
  4. qq = input("請輸入qq號")
  6. ss_url ='https://user.qzone.qq.com/{}/311'.format(qq)
  8. driver = webdriver.Chrome("chromedriver.exe")
  9. driver.maximize_window()
  11. driver.get(ss_url)
  12. driver.switch_to.frame('login_frame')
  13. driver.find_element_by_class_name('face').click()
  15. next_page='page'
  16. page=1

抓取說說

  1. while next_page:
  2.     time.sleep(2)
  3.     # driver.implicitly_wait(100)
  4.     driver.switch_to.frame('app_canvas_frame')
  5.     content = driver.find_elements_by_css_selector('.content')
  6.     stime = driver.find_elements_by_css_selector('.c_tx.c_tx3.goDetail')
  7.     print('正在抓取第%s頁'%page)
  8.     for con, sti in zip(content, stime):
  9.         data = {
  10.             'time': sti.text,
  11.             'shuos': con.text
  12.         }
  13.         print(data)
  14.     time.sleep(1)

使用zip構建元組來遍歷
使用time.sleep()來等待頁面加載(因為隱式等待和顯示等待沒搞明白，所以用強制等待。。。。)

翻頁

  1.     next_page = driver.find_element_by_link_text('下一頁')
  2.     page = page+1
  3.     next_page.click()
  4.     driver.switch_to.parent_frame()

翻頁後要使用driver.switch_to.parent_frame()找到上策frame，否則無法定位Array

完整代碼

  1. from selenium import webdriver
  2. import time
  4. qq = input("請輸入qq號")
  6. ss_url ='https://user.qzone.qq.com/{}/311'.format(qq)
  8. driver = webdriver.Chrome("chromedriver.exe")
  9. driver.maximize_window()
  11. driver.get(ss_url)
  12. driver.switch_to.frame('login_frame')
  13. driver.find_element_by_class_name('face').click()
  14. next_page='page'
  15. page=1
  16. while next_page:
  17.     time.sleep(2)
  18.     # driver.implicitly_wait(100)
  19.     driver.switch_to.frame('app_canvas_frame')
  20.     content = driver.find_elements_by_css_selector('.content')
  21.     stime = driver.find_elements_by_css_selector('.c_tx.c_tx3.goDetail')
  22.     print('正在抓取第%s頁'%page)
  23.     for con, sti in zip(content, stime):
  24.         data = {
  25.             'time': sti.text,
  26.             'shuos': con.text
  27.         }
  28.         print(data)
  29.     time.sleep(1)
  30.     next_page = driver.find_element_by_link_text('下一頁')
  31.     page = page+1
  32.     next_page.click()
  33.     driver.switch_to.parent_frame()

相關文章：

  1. 「Flask筆記」 URL知識點總結：flask – 第一個flask程式。本來打算新開一篇，但是太短了，就整合到這裡了第一個flask程式。其中config文件時從配置文件中開啟debug也可以在app.run(debug=True)這樣開啟debug因為後期鏈接數據庫的配置卸載config中，所以這裡使用配置文件開啟debug。...
  2. 「Flask筆記」 jinja2範本總結：flask – jinja2範本範本導入在項目根目錄下創建一個templates目錄，flask會自動在這裡尋找範本如果不想把範本放在這個目錄下的話，那麼可以在初始化flask的時候指定template_folder來指定範本的路徑範本傳遞參數使用render_template渲染範本的時候可以傳遞關鍵字...
  3. 「Flask筆記」 jinja2範本之篩選器：「Flask筆記」 jinja2範本之篩選器。flask – jinja2範本之篩選器需要對傳入範本的變數做一些處理的時候，那麼就可以用到篩選器。語法:{{var | 篩選器名稱}},使用管道符連接常用篩選器abs(value):返回一個數值的絕對值。例如:-1|abs。...
  4. 「Flask筆記」 jinjia2 範本之控制語句：「Flask筆記」 jinjia2 範本之控制語句，flask – jinja2範本之控制語句if語句語法{% if 判斷條件 %}.....{% elif 判斷條件 %}.....{% else %}.....{% endif %}{%...
  5. 「Flask筆記」jinja2範本練習：`` flask -- jinja2範本練習 豆瓣微信小程式 GitHub傳送門 (可以拿這裡的content.py這樣不用自己構造數據了)，有建議和不足的地方拜託師傅們指出！！！ 寫出大致框架 from flask import Flask,render_templ …...
  6. 「Flask筆記」 藍圖：flask -- 藍圖 使用藍圖 藍圖可以用來將項目分塊，使項目結構更清晰，方便項目管理 #test/blue.py from flask import Blueprint test = Blueprint('test',__name__) @test.route('/test/') def...
聲明：本文為原創作品，版權歸作者所有。未經許可，不得轉載或用於任何商業用途。如若本站內容侵犯了原著者的合法權益，可聯繫我們進行處理。
Python學習筆記爬蟲編程
猜你喜歡
0 條回復 A文章作者 M管理員
歡迎您，新朋友，感謝參與互動！
    暫無討論，說說你的看法吧

请输入验证码

请输入图片中的验证码
点击发送按钮获取验证码

取消
×
×
￥undefined
请打开手机使用微信扫码支付
「」
×

....支付确认中....

「」
×
支付金额

￥

undefined
×
积分支付
您当前的积分为0

检测到您未绑定微信账户，请先绑定微信

立刻绑定
确定
×

打开微信扫一扫

扫码并「关注我们的公众号」安全快捷登录

×

下载海报：