我用Python爬取1000封情書助力室友表白班花，卻反轉再反轉...原來這就是班花的終極秘密！

大家好，我是辣條，這是班花系列終章前的最后一篇，下一篇會完結這個系列，

前言

上次經過給班花郵箱腳本烏龍事件之后，我也心里過意不去，幾次幫忙都沒搞成，也快畢業了，不想給室友心中留有遺憾，是男人總得自己大大方方的表白一次才行嘛，于是我想到了最原始的表白，寫情書！想想以前初中、高中不都流行這種方式嘛，我就爬取了情書網，給室友弄一份手寫萬字情書，我原以為事情要么成功，要么失敗，也算了卻心事，只是讓我沒想到事情卻復雜起來了，原來這才是班花的終極秘密...我們三個人又該走向何方...

本博客實作的目標

采集情書網 愛情故事 標題與文章內容

爬取目標

http://www.qingshu.so/aiqing/aqgs.html

工具使用

開發工具：pycharm
開發環境：python3.7, Windows10
使用工具包：requests，pyquery

重點學習的內容

1. requests請求
2. 請求頭反爬設定
3. 檔案二級存盤

頁面分析

使用快捷鍵 F12 打開瀏覽器控制臺 在源代碼頁面有包含 該網站為靜態頁面資料格式

下面上代碼:

1. 安裝對應第三方庫 (requests  pyquery)
2. pip install requests

import requests
from pyquery import PyQuery as pq
?
?
url = 'http://www.qingshu.so/aiqing/aqgs.html'
headers = {
    # 請求服務器 獲取需要的資料型別
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
    'Referer': 'http://www.qingshu.so/bbqs.html', # 防盜鏈接 主要是驗證你是從哪里來的
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.61 Safari/537.36' # 瀏覽器型別
}
# 發送請求   content.decode('utf-8') 回傳資料解碼
response = requests.get(url, headers=headers).content.decode('utf-8')
print(response)

詳情頁地址提取

doc = pq(response) # 創建pyquery物件
details = doc('.t a').items() # 通過前端css 的 類選擇器提取對應資料 (a是標簽 在 class='t'的下級)   (類選擇器對應 .   id選擇器對應#)
for i in details:
    href = i.attr('href') # 提取a標簽當中的屬性
    urls = 'http://www.qingshu.so' + href # 拼接url地址
    print(urls)

詳情頁

詳情頁代碼:

response = requests.get(urls).content.decode('utf-8')
doc = pq(response)
title = doc('.a_title').text() # 標題
content = doc('.a_content.clearfix').text() # 文章內容
print(title)
print(content)

文章存盤

def Save(title, content):
    '''
    文章存盤
    :param title: 文章標題
    :param content: 文章內容
    :return: 
    '''
    path = './情書網文章/'
    if not os.path.exists(path): # 判斷檔案夾不存在 就新建一個檔案夾
        os.makedirs(path)
    with open(path + '{}.txt'.format(title), 'a') as f:
        f.write(content)
    print('{}已經下載完成....'.format(title))

全部代碼

代碼太亂了 做了一個簡單的函式封裝 實作代碼解耦

import requests
from pyquery import PyQuery as pq
import os
?
?
def Tools(url):
    '''
    請求工具函式
    :param url: 請求地址
    :return: 回應
    '''
    headers = {
        # 請求服務器 獲取需要的資料型別
        'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
        # 'Referer': 'http://www.qingshu.so/bbqs.html',  # 防盜鏈接 主要是驗證你是從哪里來的
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.61 Safari/537.36'
        # 瀏覽器型別
    }
    # 發送請求   content.decode('utf-8') 回傳資料解碼
    response = requests.get(url, headers=headers).content.decode('utf-8')
    return response
?
?
def Save(title, content):
    '''
    文章存盤
    :param title: 文章標題
    :param content: 文章內容
    :return:
    '''
    path = './情書網文章/'
    if not os.path.exists(path): # 判斷檔案夾不存在 就新建一個檔案夾
        os.makedirs(path)
    with open(path + '{}.txt'.format(title), 'a') as f:
        f.write(content)
    print('{}已經下載完成....'.format(title))
?
?
def Details(urls):
    '''
    請求詳情頁地址 獲取 標題也 文章內容
    :param urls: 詳情頁地址
    :return:
    '''
    response = Tools(urls)
    doc = pq(response)
    title = doc('.a_title').text() # 標題
    content = doc('.a_content.clearfix').text() # 文章內容
    Save(title, content)
?
?
url = 'http://www.qingshu.so/aiqing/aqgs.html'
response = Tools(url)
doc = pq(response) # 創建pyquery物件
details = doc('.t a').items() # 通過前端css 的 類選擇器提取對應資料 (a是標簽 在 class='t'的下級)   (類選擇器對應 .   id選擇器對應#)
for i in details:
    href = i.attr('href') # 提取a標簽當中的屬性
    urls = 'http://www.qingshu.so' + href # 拼接url地址
    Details(urls)

結尾

在我第二天滿懷期待等待室友訊息的時候，卻收到了班花的一條訊息，頓時懵了...徹底懵了...

我整理整理思緒，也就是說，我以為的班花的秘密前面那些都是我以為的？？？原來班花的終極秘密就是曾經對我這個鋼鐵直男有好感！！！啊這...電視劇也不敢拍這么狗血的劇情啊...

我凌亂了..然后緩緩想想怎么處理這個吧...

前面回顧：

我用Python修改了班花的開機密碼，重新登錄后竟然發現了她的秘密！??????

我用Python采集了班花的空間資料集，除了美照竟然再一次發現了她另外的秘密！

室友單戀班花失敗，我爬了一個網站發給他瞬間治愈，男人的快樂就這么簡單【每天一遍，忘記初戀】

我用Python寫了一個郵箱腳本發給班花，沒想到事情鬧大了...

回答一下大家主要的問題：

這個系列里面的班花、室友是真的嗎還是純故事呢？

答：這個問題其實很早之前我就回答過大家，包括在我的萬粉總結、半年總結也說到，我的創作心路歷程都詳細說了，這里不做過多解釋了，其實真偽的問題我說了你們也不會相信，我憑幾張截圖就能證明我文章里的事情是真實的嗎，但是我可以告訴你們的是，我寫班花系列的第一篇，就是我找到自己風格定位的第一篇，我把生活中的事結合技術博文寫到一起，大大激發了我的創作靈感，生活中的事情被我夸大化了放進博文中，所以你相信就是真的，就當學習里面涉及的技術了，不相信就當假的學習技術的同時看了故事，

文章中公開別人的隱私問題真的好嗎?

答：首先宣告，涉及到班花、室友包括我自己所有出現的資訊我都打碼了的，不管是照片還是其他所有的，至于在文章中寫到別人確實需要征得別人的同意才行，我在前兩篇中確實沒注意到這個問題，但是在這篇中我是征得同意了的，但是因為涉及到文章內容的問題，我就不先公開，在最后一篇中公開了，這個問題大家可以放心？

在一個技術博客網站發“故事文”合適嗎？這種文章在技術博客網站有價值嗎？

答：故事文判斷的標準是什么?我的班花系列文章里沒有講技術嗎，相反我的這些文章里技術才是核心，故事只不過是為技術服務的，只不過你的眼光總是盯著這點故事，不在乎我大篇的代碼和決議，其二有沒有價值判斷的標準是什么，你寫個多么深度多么牛逼的技術文章結果0個人看，你都沒找到自己文章輸出的價值點，以及你的受眾群體需求點，以及自媒體運營的核心內容，你跟我聊價值，說白了博客的好壞判斷標準在用戶手里，用戶喜歡就能為網站帶來流量，能為你快速吸粉，你的文章寫出來有人看，有人評論收藏才說明你的文章有價值，當然如果你是一個用愛心發電，寫博客純粹自己學習，服務自己的人，當我沒說，你不看就行了，我是寫給我的粉絲和我的受眾群體看的，

讓我真正寫下去的，正是粉絲們的認可，他們的評論、點贊、收藏讓我感覺到我輸出的內容是有價值的，是被大眾接受的，更是能和他們產生共情的，

行業資料：添加即可領取PPT模板、簡歷模板、行業經典書籍PDF，
面試題庫：歷年經典，熱乎的大廠面試真題，持續更新中，添加獲取，
學習資料：含Python、爬蟲、資料分析、演算法等學習視頻和檔案，添加獲取
交流加群：大佬指點迷津，你的問題往往有人遇到過，技識訓助交流，

領取