Python爬蟲采集商品評價資訊--京東-有解無憂

1.資料采集邏輯

在進行資料采集之前，明確哪些資料為所需，制定資料Schema為爬取作業做出要求，并根據資料Schema制定出有針對性的爬取方案和采集邏輯，

2.資料Schema

3.資料爬取

抓取京東平臺任一商品的評論資訊，此案例抓取的商品是某一店鋪的車厘子評價資訊，

評論資訊是由JS動態加載的，所以直接抓取商品詳情頁的URL并不能獲得商品評論資訊，因此我們需要先找到存放商品評價資訊的檔案，通過使用瀏覽器的開發者工具進行查找，

目標URL地址：

https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=10056364088483&score=0&sortType=5&page=0&pageSize=10&isShadowSku=0&fold=1

通過發現可知，productId為當前商品的商品Id，page為頁碼（從0開始），爬取該商品的所有評價資訊只需要改變page引數即可，（京東商品評價頁只顯示前100頁，所以page最大值為99）

匯入庫

import random
import requests
import json
import re
import csv
import time
import pymysql

　　2.對爬蟲程式進行偽裝

header = {
        'refer': 'https: // item.jd.com /',
        'cookie': '',
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/110.0.0.0 Safari/537.36 Edg/110.0.1587.50'
    }

　　3.抓取商品評論資訊

將python程式偽裝成瀏覽器后，就可以對評論資訊進行爬取，在前面的分析中，productId和page為重要引數，在本案例中爬取的商品為車厘子，productId已確定，只需要對page進行更改即可達到需要，通過parms提交引數，使代碼更有邏輯感并方便更改兩個重要引數，

parm = {
        'callback': 'fetchJSON_comment98',
        'productId': '10056364088483',
        'score': '0',
        'sortType': '5',
        'page': page,
        'pageSize': '10',
        'isShadowSku': '0',
        'fold': '1'
    }
url = 'https://club.jd.com/comment/productPageComments.action'
res = requests.get(url, params=parm, headers=header)

　　4.防止反爬，每爬取一頁資料后，設定程式休眠環節

# 程式休眠
time.sleep(random.randint(40, 80) * 0.1)
print('第%d頁正在爬取' % (page + 1))
 
  爬取完成后，需要對頁面進行編碼，不影響后期的資料提取和資料清洗作業，
  使用正則對資料進行提取，回傳字串，
  字串轉換為json格式資料，
 
res.encoding = 'gb18030'
html = res.text
data = re.findall('fetchJSON_comment98\((.*?)\);', html)
data = json.loads(data[0])  # 將處理的資料進行決議
comments = data['comments']
print(data['comments'])

4.資料存盤

存盤到csv

# 寫入csv檔案
f = open("evalution_data.csv", "a", newline='', encoding='gb18030')
header = ["id", "content", "creationTime", "score", "productColor", "productSize"]
# 創建一個DictWriter物件，第二個引數就是上面創建的表頭
writer = csv.DictWriter(f, header)
writer.writeheader()
    for i in comments:
        id = i['id']
        content = i['content']
        creationTime = i['creationTime']
        score = i['score']
        productColor = i['productColor']
        productSize = i['productSize']
        writer.writerow(
            {"id": id, "content": content, "creationTime": creationTime, "score": score, "productColor": productColor,
             "productSize": productSize})
f.close()

　　2.存盤到資料庫

# 寫入資料庫
conn = pymysql.connect(host='', user='', password='', port=, db='')
cursor = conn.cursor()
    for i in comments:
        id = i['id']
        content = i['content']
        creationTime = i['creationTime']
        score = i['score']
        productColor = i['productColor']
        productSize = i['productSize']
        sql = "insert into evalution_data(id,content,creationTime,score,productColor,productSize) values('%d','%s','%s','%d','%s','%s')"
        cursor.execute(sql)
        conn.commit()
 
cursor.close()
conn.close()

轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/547263.html

標籤：Python

上一篇：fpm模式下讀取到is_cli為何為true

下一篇：使用python爬蟲爬取鏈家濰坊市二手房專案