大家沉迷短視頻無法自拔？Python爬蟲進階，帶你玩轉短視頻

大家好，我是辣條，

現在短視頻可謂是一騎絕塵，吃飯的時候、休息的時候、躺在床上都在刷短視頻，今天給大家帶來python爬蟲進階 ：美拍視頻地址加密決議，

抓取目標

目標網址：美拍視頻

工具使用

開發環境：win10、python3.7
開發工具：pycharm、Chrome
工具包：requests、xpath、base64

重點學習內容

爬蟲采集資料的決議程序
js代碼除錯技巧
js逆向決議代碼
Python代碼的轉換

專案思路決議

進入到網站的首頁
挑選你感興趣的分類
根據首頁地址獲取到進入詳情頁面的超鏈接的跳轉地址

找到對應加密的視頻播放地址資料

這個資料是靜態的網頁資料，通過js代碼進行解碼的
找到對應的決議代碼
先找到視頻的播放地址
找到決議視頻地址的加密js檔案
點擊播放的時候會觸發檔案

大致能看出來這個是base64加密之后的資料
在對應的js檔案里搜索關鍵字
找到js的加密方式

js函式的一些函式的用法

    # eplace()方法用于在字串中用一些字符替換另一些字符
    # parseInt 資料轉換成對應的整型
    # base64.atob   對base64編碼過的字串進行解碼
    # substring 方法可在字串中抽取從 start 下標開始的指定數目的字符

將js代碼轉換成Python代碼

import base64

def decode(data):
    def getHex(a):
        return {
            'str': a[4:],
            'hex': ''.join(list(a[:4])[::-1]),
        }

    def getDec(a):
        b = str(int(a, 16))
        return {
            'pre': list(b[:2]),
            'tail': list(b[2:]),
        }

    def substr(a, b):
        c = a[0: int(b[0])]
        d = a[int(b[0]): int(b[0]) + int(b[1])]
        return c + a[int(b[0]):].replace(d, "")

    def getPos(a, b):
        b[0] = len(a) - int(b[0]) - int(b[1])
        return b

    b = getHex(data)
    c = getDec(b['hex'])
    d = substr(b['str'], c['pre'])
    return base64.b64decode(substr(d, getPos(d, c['tail'])))

print(decode("e121Ly9tBrI84RdnZpZGVvMTAubWVpdHVkYXRhLmNvbS82MGJjZDcwNTE3NGZieXBueG5udnRwMTA5N19IMjY0XzFfNWY3YThmM2U0MTEwNy5tc2JVjAu3EDQ="))

得出最終視頻播放地址

簡易原始碼分享

import requests
from lxml import etree
import base64

def decode_mp4(data):
    def getHex(a):
        return {
            'str': a[4:],
            'hex': ''.join(list(a[:4])[::-1]),
        }

    def getDec(a):
        b = str(int(a, 16))
        return {
            'pre': list(b[:2]),
            'tail': list(b[2:]),
        }

    def substr(a, b):
        c = a[0: int(b[0])]
        d = a[int(b[0]): int(b[0]) + int(b[1])]
        return c + a[int(b[0]):].replace(d, "")

    def getPos(a, b):
        b[0] = len(a) - int(b[0]) - int(b[1])
        return b

    b = getHex(data)
    c = getDec(b['hex'])
    d = substr(b['str'], c['pre'])
    return base64.b64decode(substr(d, getPos(d, c['tail'])))
# 運行主函式
def main():
    url = 'https://www.meipai.com'
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36',
    }
    response = requests.get(url=url, headers=headers)
    html_data = etree.HTML(response.text)
    href_list = html_data.xpath('//div/a/@href')
    # print(href_list)
    for href in href_list:
        res = requests.get('https://www.meipai.com' + href, headers=headers)
        html = etree.HTML(res.text)
        name = html.xpath('//div[@id="detailVideo"]/img/@alt')[0]
        mp4_data = html.xpath('//div[@id="detailVideo"]/@data-video')[0]
        # print(name, mp4_data)
        mp4_url = decode_mp4(mp4_data).decode('utf-8')
        print(mp4_url)
        result = requests.get("http:" + mp4_url)
        with open(name + ".mp4", 'wb') as f:
            f.write(result.content)
            f.close()


if __name__ == '__main__':
    main()

歡迎大家在評論中交流技術，記得一鍵三連哦，祝大家順順利利開開心心！