前言

本文的文字及圖片來源于網路,僅供學習、交流使用,不具有任何商業用途,如有問題請及時聯系我們以作處理，

基本開發環境

Python 3.6

Pycharm

Python學習交流群：1039649593

目標網頁分析

網站的檔案內容，都是以圖片形式存在的，它有自己的資料介面

介面鏈接：

https://openapi.book118.com/getPreview.html?&project_id=1&aid=272112230&t=f2c66902d6b63726d8e08b557fef90fb&view_token=SqX7ktrZ_ZakjDI@vcohcCwbn_PLb3C1&page=1&callback=jQuery18304186406662159248_1614492889385&_=1614492889486

介面的請求引數

整體思路

請求網頁回傳response資料（字串）
通過re模塊匹配提取中間的資料（串列）索引取0（字串）
通過json模塊是把提取出來的資料轉換成json模塊
通過遍歷獲取每張圖片的url地址
保存圖片到本地檔案夾
把圖片保存到word檔案
爬蟲代碼實作

爬蟲代碼實作

def download():
    content = 0
    for page in range(1, 96, 6):
        # 給定 2秒延時
        time.sleep(2)
        # 獲取時間戳
        now_time = int(time.time() * 1000)
        url = 'https://openapi.book118.com/getPreview.html'
        # 請求引數
        params = {
            'project_id': '1',
            'aid': '272112230',
            't': 'f2c66902d6b63726d8e08b557fef90fb',
            'view_token': 'SqX7ktrZ_ZakjDI@vcohcCwbn_PLb3C1',
            'page': f'{page}',
            '_': now_time,
        }
        # 請求頭
        headers = {
            'Host': 'openapi.book118.com',
            'Referer': 'https://max.book118.com/html/2020/0427/8026036013002110.shtm',
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'
        }
        response = requests.get(url=url, params=params, headers=headers)
        # 使用正則運算式提取內容
        result = re.findall('jsonpReturn\((.*?)\)', response.text)[0]
        # 字串轉json資料
        json_data = https://www.cnblogs.com/hhh188764/archive/2021/03/05/json.loads(result)['data']
        # 字典值的遍歷
        for value in json_data.values():
            content += 1
            # 拼接圖片url
            img_url = 'http:' + value
            print(img_url)
            headers_1 = {
                'Host': 'view-cache.book118.com',
                'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'
            }
            # 請求圖片url地址 獲取content二進制資料
            img_content = requests.get(url=img_url, headers=headers_1).content
            # 檔案名
            img_name = str(content) + '.jpg'
            # 保存路徑
            filename = 'img\\'
            # 以二進制方式保存 （圖片、音頻、視頻等檔案都是以二進制的方式保存）
            with open(filename + img_name, mode='wb') as f:
                f.write(img_content)

注意點：

1、一定要給延時，不然后面介面資料會請求不到，

2、請求圖片url的時候headers引數需要寫完整，否則保存圖片是無法打開的

3、命名最好是給定數字，1.jpg、2.jpg 這樣，方便后續保存到word

爬蟲部分的代碼還是比較簡單的，沒有什么特別的難度，

爬取這些檔案，都是需要列印或者查詢所以要把這些單張的圖片都保存到word檔案里面，

寫入檔案

def save_picture():
    document = Document()
    path = './img/'
    lis = os.listdir(path)
    c = []
    for li in lis:
        index = li.replace('.jpg', '')
        c.append(index)
    c_1 = sorted(list(map(int, c)))
    print(c_1)
    new_files = [(str(i) + '.jpg') for i in c_1]
    for num in new_files:
        img_path = path + num
        document.add_picture(img_path, width=Cm(17), height=Cm(24))
        document.save('tu.doc')  # 保存檔案
        os.remove(img_path)  # 洗掉保存在本地的圖片

轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/266609.html

標籤：其他

上一篇：Java 讀取Word文本框中的文本/圖片/表格

下一篇：零基礎學Python：函式精講

Python爬取某網站檔案資料完整教程（附原始碼）