前言

嗨嘍~大家好呀，這里是魔王吶 !

國企文員和游戲陪玩兩個職業間，你會選擇哪個？

00后李明的答案是后者，

今年3月，某二本院校應屆畢業生李明，兜兜轉轉，沒有找到特別合心的作業

卻憑著還不錯的游戲技術，成為了全職的游戲陪玩，

“按單收費，大概一單大概兩三百元，按時長收費，一小時50到100元”，李明告訴《財經故事薈》，

身入陪玩半年，李明的月收入高得時候一萬三四，低的時候也有八千多元，

面對這樣的例子你心不心動，不管你咋樣，反正博主心動了~

陪玩衍生于電競行業，陪玩行業的興衰也依附于電競行業，

近年來，電子競技頻頻破圈，為陪玩行業的發展提供了絕佳的機遇，

陪玩崛起：電競產業的衍生，孤獨經濟的解藥

大規模的“空巢游戲青年”，對陪玩服務嗷嗷待需，

那么今天我們就來采集一下陪玩小姐姐資料吧~看看是否真的能月入過萬

開發環境:

python 3.8
pycharm

模塊使用:

import os: 檔案操作
import re: 正則
import requests: 資料請求 ---> pip install requests
import json: json資料轉換
import csv: 保存csv資料
from tqdm import tqdm: 進度條顯示 ---> pip install tqdm
import base64: 轉換base64格式

如果安裝python第三方模塊:

win + R 輸入 cmd 點擊確定, 輸入安裝命令 pip install 模塊名 (pip install requests) 回車
在pycharm中點擊Terminal(終端) 輸入安裝命令

如何配置pycharm里面的python解釋器?

選擇file(檔案) >>> setting(設定) >>> Project(專案) >>> python interpreter(python解釋器)
點擊齒輪, 選擇add
添加python安裝路徑

==資料、軟體、原始碼教程點擊藍色字體領取，我都放在這里了，==

pycharm如何安裝插件?

選擇file(檔案) >>> setting(設定) >>> Plugins(插件)
點擊 Marketplace 輸入想要安裝的插件名字比如:翻譯插件輸入 translation / 漢化插件輸入 Chinese
選擇相應的插件點擊 install(安裝) 即可
安裝成功之后是會彈出重啟pycharm的選項點擊確定, 重啟即可生效

案例思路流程:

一. 資料來源分析:

確定需求, 采集那個網站上面什么資料
抓包分析, 通過開發者工具進行抓包分析

<瀏覽器自帶工具>開發者工具會用 1 不會 0 實作爬蟲案例必備工具
- F12 重繪網頁清空資料, 點擊選擇

找相關資料包 --> 請求url 請求方式得到資料是什么樣

二. 代碼實作步驟程序:

發送請求, 對于剛剛分析得到url地址發送請求
獲取資料, 獲取服務器回傳回應資料 --> 開發者工具 response
決議資料, 提取我們想要資料內容, 音頻試音, 陪玩照片, 基本陪玩資料
保存資料, 保存本地檔案夾

代碼

匯入模塊

# 匯入資料請求模塊 --> 第三方模塊 需要在cmd里面或者pycharm終端里面進行安裝 pip install requests
import requests
# 匯入格式化輸出模塊 --> 內置模塊 不需要安裝
from pprint import pprint
# 匯入json模塊 --> 內置模塊 不需要安裝
import json
# 匯入csv模塊 --> 內置模塊 不需要安裝
import csv

import os.path

創建檔案

c = open('data.csv', mode='a', encoding='utf-8-sig', newline='')
# c 檔案物件 fieldnames 欄位名
csv_writer = csv.DictWriter(c, fieldnames=[
    '昵稱',
    '價格',
    '熱度',
    '簡介',
    '詳情頁',
])
# 寫入表頭
csv_writer.writeheader()

1. 發送請求, 對于剛剛分析得到url地址發送請求

headers是否添加, 看網站, 網站沒什么反爬的話, 可以不用加

for page in range(1, 11):  # --> 1 2 3 4 5 6 7 8 9 10

確定請求網址

==或點擊藍色字體領取完整原始碼，我都放在這里了，==

    # 請求引數 ---> 打座機電話, 都是區號
    data = {
        'act': 'userList',
        'page': page,
        'type': '1',
        'sex': '2',
        'voice': '1',
        'order': '1',
    }
    # 發送請求
    response = requests.post(url=url, data=https://www.cnblogs.com/Qqun261823976/archive/2022/10/20/data)

回應物件 200 狀態碼表示請求成功

2. 獲取資料, 獲取服務器回傳回應資料 --> 開發者工具 response

response.text 獲取回應文本資料字串資料型別
response.json() 獲取回應json字典資料字典資料型別

區別資料型別不同

一般情況, 如果服務器回傳資料, 帶有 {} 花括號形式, 我們會取response.json(), 可以方便后續取值

3. 決議資料, 提取我們想要資料內容, 音頻試音, 陪玩照片, 基本陪玩資料

回傳資料字典資料型別, 字典取值根據冒號左邊的內容[鍵], 提取冒號右邊的內容[值] --> 鍵值對取值

print(index) --> 列印字典資料, 呈現一行

pprint(index) --> 列印字典資料, 呈現多行, 展開效果

"""

    # for回圈遍歷 list 串列 把串列里面的資料一條一條提取出來
    for index in response.json()['data']['rows']:
        # 陪玩基本資料獲取 --> 保存表格里面
        dit = {
            '昵稱': index['nickname'],
            '價格': index['price'],
            '熱度': index['exp'],
            # replace() 字串替換的方法 replace('替換之前的內容', '替換之后的內容')
            '簡介': index['summary'].replace('\n', ''),
            # f'{}' 字串格式化方法 format

4. 保存資料三個資料

保存音頻和圖片 --> 發送請求, 獲取資料

        img_content = requests.get(url=img_url).content  # 圖片二進制資料
        audio_content = requests.get(url=audio_url).content  # 音頻二進制資料
        title = index["nickname"]
        # 自動創建檔案夾 data\\憨憨\\
        file = f'data\\{title}\\'
        # 判斷如果沒有檔案夾
        if not os.path.exists(file):
            # 自動創建檔案夾
            os.makedirs(file)
        with open(file + title + '.jpg', mode='wb') as img:
            img.write(img_content)
        with open('img\\' + title + '.jpg', mode='wb') as img:
            img.write(img_content)
        with open(file + title + '.mp3', mode='wb') as audio:
            audio.write(audio_content)
        # 保存表格資料
        csv_writer.writerow(dit)
        print(dit)