文章
文章文檔更新日誌
「Python筆記」python爬蟲簡單實戰

「Python筆記」python爬蟲簡單實戰

資源介紹參數
資源類別： Python
如遇問題： 聯繫客服/留言反饋
釋放雙眼，帶上耳機，聽聽看~！
使用requests+BeautifulSoup+sqlalchemy+pymysql爬取貓眼TOP100並寫入數據庫和txt文檔做題用到爬蟲正好複習一下一些東西，爬取貓眼TOP100電影，並用sqlalchemy寫入數據庫，並寫入txt文檔。

使用requests+BeautifulSoup+sqlalchemy+pymysql爬取貓眼TOP100並寫入數據庫和txt文檔

做題用到爬蟲正好複習一下一些東西，爬取貓眼TOP100電影，並用sqlalchemy寫入數據庫，並寫入txt文檔

目錄 隱藏
1. 先做好數據庫連接的配置
2. 創建數據表
3. 分析結構
4. 爬取數據
5. 構造dict
6. 寫入txt
7. 寫入數據庫
8. 在主函式中調用
9. 爬取所有頁面
10. 完整代碼
11. 使用selenium爬取空間說說
11.1. 配置驅動，模擬登入
11.2. 抓取說說
11.3. 翻頁
11.4. 完整代碼
11.5. 相關文章：

先做好數據庫連接的配置

from sqlalchemy import create_engine,Column,Integer,String,Text
from sqlalchemy.ext.declarative import declarative_base
from sqlalchemy.orm import sessionmaker

HOSTNAME = '127.0.0.1'
DATABASE = 'movies'
PORT = '3306'
USERNAME = 'root'
PASSWORD = 'root'
DB_URL = "mysql+pymysql://{username}:{password}@{host}:{port}/{database}?charset=utf8mb4".format(username=USERNAME,password=PASSWORD,host=HOSTNAME, port=PORT,database=DATABASE)
engine = create_engine(DB_URL)
conn = engine.connect()
Base = declarative_base()
Session = sessionmaker(engine)()

創建數據表

class Movies(Base):
    __tablename__ = 'movies'
    index = Column(Integer,primary_key=True,autoincrement=True)
    src = Column(Text,nullable=False)
    name = Column(String(50),nullable=False)
    actor = Column(String(50),nullable=False)
    time = Column(String(50),nullable=False)
    score = Column(String(50),nullable=False)

Base.metadata.create_all(engine)

alter = 'alter table movies convert to character set utf8mb4;'
conn.execute(alter)

要注意執行修改字符集語句，否賊無法寫入

分析結構

from bs4 import BeautifulSoup
import requests
import re

def main(index):
    req = requests.get(url.format(str(index)))
    soup = BeautifulSoup(req.text, "html5lib")
    for item in soup.select('dd'):
        pass

分析結構可以看出，每一部電影都寫在一個<dd>標籤中，只要獲取到這個標籤，再向下搜尋就能得到想要的數據

爬取數據

def get_index(item):
    index = item.select_one("i").text
    return index

def get_src(item):
    img_src = item.select("img")[1]
    template = re.compile('data-src="(.*?)"')
    img_src = template.findall(str(img_src))[0]
    return img_src

def get_name(item):
    name = item.select(".name")[0].text
    return name

def get_actor(item):
    actor = item.select(".star")[0].text.split('：')[1]
    return actor

def get_time(item):
    time = item.select(".releasetime")[0].text.split('：')[1]
    return time

def get_score(item):
    score = item.select('.integer')[0].text + item.select('.fraction')[0].text
    return score

獲取需要的信息，因為src在data-scr中，所以這裡我用正則去獲取。

構造dict

def get_dict(item):
    index = int(get_index(item))
    src = get_src(item)
    name = get_name(item)
    actor = get_actor(item)
    time = get_time(item)
    score = get_score(item)
    movies_dict = {'index': index, 'src': src, 'name': name, 'actor': actor, 'time': time, 'score': score}
    return movies_dict

將爬取的數據整理成dict(寫完後覺得這步沒有必要)

寫入txt

def write_file(content):
    content = json.dumps(content,ensure_ascii=False)
    with open('result.txt','a') as f:
        f.write(content +'n')

這裡需要將dict用json.dumps方法編碼成json字符串，否則無法寫入

寫入數據庫

def write_to_mysql(content):
    src = content['src']
    name = content['name']
    actor = content['actor'].split('n')[0]
    time = content['time']
    score = content['score']
    data = Movies(src = src,name=name,actor=actor,time=time,score=score)
    Session.add(data)
    Session.commit()

在主函式中調用

def main(index):
    req = requests.get(url.format(str(index)))
    soup = BeautifulSoup(req.text, "html5lib")
    for item in soup.select('dd'):
        movies_dict = get_dict(item)
        write_to_mysql(movies_dict)
        write_file(movies_dict)

爬取所有頁面

for i in range(10):
    main(i*10)

完整代碼

from bs4 import BeautifulSoup
from sqlalchemy import create_engine,Column,Integer,String,Text
from sqlalchemy.ext.declarative import declarative_base
from sqlalchemy.orm import sessionmaker
import requests
import re
import json

HOSTNAME = '127.0.0.1'
DATABASE = 'movies'
PORT = '3306'
USERNAME = 'root'
PASSWORD = 'root'
DB_URL = "mysql+pymysql://{username}:{password}@{host}:{port}/{database}?charset=utf8mb4".format(username=USERNAME,password=PASSWORD,host=HOSTNAME, port=PORT,database=DATABASE)
engine = create_engine(DB_URL)
conn = engine.connect()

Base = declarative_base()
Session = sessionmaker(engine)()

class Movies(Base):
    __tablename__ = 'movies'
    index = Column(Integer,primary_key=True,autoincrement=True)
    src = Column(Text,nullable=False)
    name = Column(String(50),nullable=False)
    actor = Column(String(50),nullable=False)
    time = Column(String(50),nullable=False)
    score = Column(String(50),nullable=False)

Base.metadata.create_all(engine)

alter = 'alter table movies convert to character set utf8mb4;'
conn.execute(alter)

def get_index(item):
    index = item.select_one("i").text
    return index

def get_src(item):
    img_src = item.select("img")[1]
    template = re.compile('data-src="(.*?)"')
    img_src = template.findall(str(img_src))[0]
    return img_src

def get_name(item):
    name = item.select(".name")[0].text
    return name

def get_actor(item):
    actor = item.select(".star")[0].text.split('：')[1]
    return actor

def get_time(item):
    time = item.select(".releasetime")[0].text.split('：')[1]
    return time

def get_score(item):
    score = item.select('.integer')[0].text + item.select('.fraction')[0].text
    return score

def get_dict(item):
    index = int(get_index(item))
    src = get_src(item)
    name = get_name(item)
    actor = get_actor(item)
    time = get_time(item)
    score = get_score(item)
    movies_dict = {'index': index, 'src': src, 'name': name, 'actor': actor, 'time': time, 'score': score}
    return movies_dict

def write_file(content):
    content = json.dumps(content,ensure_ascii=False)
    with open('result.txt','a') as f:
        f.write(content +'n')

def write_to_mysql(content):
    src = content['src']
    name = content['name']
    actor = content['actor'].split('n')[0]
    time = content['time']
    score = content['score']
    data = Movies(src = src,name=name,actor=actor,time=time,score=score)
    Session.add(data)
    Session.commit()

def main(index):
    req = requests.get(url.format(str(index)))
    soup = BeautifulSoup(req.text, "html5lib")
    for item in soup.select('dd'):
        movies_dict = get_dict(item)
        write_to_mysql(movies_dict)
        write_file(movies_dict)

url = 'https://maoyan.com/board/4?offset={}'

for i in range(10):
    main(i*10)

使用selenium爬取空間說說

配置驅動，模擬登入

from selenium import webdriver
import time

qq = input("請輸入qq號")

ss_url ='https://user.qzone.qq.com/{}/311'.format(qq)

driver = webdriver.Chrome("chromedriver.exe")
driver.maximize_window()

driver.get(ss_url)
driver.switch_to.frame('login_frame')
driver.find_element_by_class_name('face').click()

next_page='page'
page=1

抓取說說

while next_page:
    time.sleep(2)
    # driver.implicitly_wait(100)
    driver.switch_to.frame('app_canvas_frame')
    content = driver.find_elements_by_css_selector('.content')
    stime = driver.find_elements_by_css_selector('.c_tx.c_tx3.goDetail')
    print('正在抓取第%s頁'%page)
    for con, sti in zip(content, stime):
        data = {
            'time': sti.text,
            'shuos': con.text
        }
        print(data)
    time.sleep(1)

使用zip構建元組來遍歷
使用time.sleep()來等待頁面加載(因為隱式等待和顯示等待沒搞明白，所以用強制等待。。。。)

翻頁

    next_page = driver.find_element_by_link_text('下一頁')
    page = page+1
    next_page.click()
    driver.switch_to.parent_frame()

翻頁後要使用driver.switch_to.parent_frame()找到上策frame，否則無法定位標籤

完整代碼

from selenium import webdriver
import time

qq = input("請輸入qq號")

ss_url ='https://user.qzone.qq.com/{}/311'.format(qq)

driver = webdriver.Chrome("chromedriver.exe")
driver.maximize_window()

driver.get(ss_url)
driver.switch_to.frame('login_frame')
driver.find_element_by_class_name('face').click()
next_page='page'
page=1
while next_page:
    time.sleep(2)
    # driver.implicitly_wait(100)
    driver.switch_to.frame('app_canvas_frame')
    content = driver.find_elements_by_css_selector('.content')
    stime = driver.find_elements_by_css_selector('.c_tx.c_tx3.goDetail')
    print('正在抓取第%s頁'%page)
    for con, sti in zip(content, stime):
        data = {
            'time': sti.text,
            'shuos': con.text
        }
        print(data)
    time.sleep(1)
    next_page = driver.find_element_by_link_text('下一頁')
    page = page+1
    next_page.click()
    driver.switch_to.parent_frame()

相關文章：

  1. 「Flask筆記」 URL知識點總結：flask – 第一個flask程式。本來打算新開一篇，但是太短了，就整合到這裡了第一個flask程式。其中config文件時從配置文件中開啟debug也可以在app.run(debug=True)這樣開啟debug因為後期鏈接數據庫的配置卸載config中，所以這裡使用配置文件開啟debug。...
  2. 「Flask筆記」 jinja2範本總結：flask – jinja2範本範本導入在項目根目錄下創建一個templates目錄，flask會自動在這裡尋找範本如果不想把範本放在這個目錄下的話，那麼可以在初始化flask的時候指定template_folder來指定範本的路徑範本傳遞參數使用render_template渲染範本的時候可以傳遞關鍵字...
  3. 「Flask筆記」 jinja2範本之篩選器：「Flask筆記」 jinja2範本之篩選器。flask – jinja2範本之篩選器需要對傳入範本的變數做一些處理的時候，那麼就可以用到篩選器。語法:{{var | 篩選器名稱}},使用管道符連接常用篩選器abs(value):返回一個數值的絕對值。例如:-1|abs。...
  4. 「Flask筆記」 jinjia2 範本之控制語句：「Flask筆記」 jinjia2 範本之控制語句，flask – jinja2範本之控制語句if語句語法{% if 判斷條件 %}.....{% elif 判斷條件 %}.....{% else %}.....{% endif %}{%...
  5. 「Flask筆記」jinja2範本練習：`` flask -- jinja2範本練習 豆瓣微信小程式 GitHub傳送門 (可以拿這裡的content.py這樣不用自己構造數據了)，有建議和不足的地方拜託師傅們指出！！！ 寫出大致框架 from flask import Flask,render_templ …...
  6. 「Flask筆記」 藍圖：flask -- 藍圖 使用藍圖 藍圖可以用來將項目分塊，使項目結構更清晰，方便項目管理 #test/blue.py from flask import Blueprint test = Blueprint('test',__name__) @test.route('/test/') def...
聲明：本文為原創作品，版權歸作者所有。未經許可，不得轉載或用於任何商業用途。如若本站內容侵犯了原著者的合法權益，可聯繫我們進行處理。

給TA打賞
共{{data.count}}人
人已打賞
Python學習筆記爬蟲編程
猜你喜歡
0 條回復 A文章作者 M管理員
    暫無討論，說說你的看法吧