前言
本文的文字及圖片來源于網路,僅供學習、交流使用,不具有任何商業用途,如有問題請及時聯系我們以作處理，
最近發現了一個不錯的資料網站，叫“淘資料”，里面的資料都是淘寶的商家資料，包含了店名、類目、標價、成交均價、銷量、銷售金額等
這個網站還是一位同學和我說才知道的，既然這樣，那就開始爬
專案目標
爬取淘寶假發專業資料，假發是我當時隨便選的，再想選別的，要收費了
可能是命運的安排吧，知道程式員需要什么
受害者地址
https://www.taosj.com/industry/index.html#/data/hotitems/?cid=50023283&brand=&type=&pcid=
環境
Python3.6
pycharm
爬蟲代碼
匯入所需工具
import requests import csv
分析網頁，先F12打開開發者工具，復制你所需要的資料，找資料所在的標簽
找到所需要的URL和headers中的引數
url = 'https://www.taosj.com/data/industry/hotitems/list?cid=50023283&brand=&type=ALL&date=1596211200000&pageNo=1&pageSize=10&orderType=desc&orderField='.format(page) headers = { 'Host':'www.taosj.com', 'Referer':'https://www.taosj.com/industry/index.html', 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36', } response = requests.get(url=url, headers=headers) html_data = response.json()
在json資料中提取相關資料
lis = html_data['data']['list'] for li in lis: tb_url = 'https://detail.tmall.com/item.htm?id={}'.format(li['id']) dit = { '標題': li['title'], '店鋪名稱': li['shop'], '類目': li['nextCatName'], '標價': li['oriPrice'], '成交均價': li['price'], '銷售量': li['offer30'], '銷售金額': li['price30'], '淘寶地址': tb_url, }
保存資料
f = open('淘資料.csv', mode='a', encoding='utf-8-sig', newline='') csv_writer = csv.DictWriter(f, fieldnames=['標題', '品牌', '店鋪名稱', '類目', '標價', '成交均價', '銷售量', '銷售金額', '淘寶地址']) csv_writer.writeheader() print(dit)
效果圖
完整代碼
import requests import csv f = open('淘資料.csv', mode='a', encoding='utf-8-sig', newline='') csv_writer = csv.DictWriter(f, fieldnames=['標題', '品牌', '店鋪名稱', '類目', '標價', '成交均價', '銷售量', '銷售金額', '淘寶地址']) csv_writer.writeheader() for page in range(1, 51): url = 'https://www.taosj.com/data/industry/hotitems/list?cid=50023282&brand=&type=ALL&date=1596211200000&pageNo={}&pageSize=10&orderType=desc&orderField=amount&searchKey='.format(page) """ 復制開發者工具中的requests headers 中的引數 記得加cookie """ headers = { 'Host': 'www.taosj.com', 'Referer': 'https://www.taosj.com/industry/index.html', 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36', } response = requests.get(url=url, headers=headers) html_data = response.json() lis = html_data['data']['list'] for li in lis: tb_url = 'https://detail.tmall.com/item.htm?id={}'.format(li['id']) dit = { '標題': li['title'], '品牌': li['brand'], '店鋪名稱': li['shop'], '類目': li['nextCatName'], '標價': li['oriPrice'], '成交均價': li['price'], '銷售量': li['offer30'], '銷售金額': li['price30'], '淘寶地址': tb_url, } csv_writer.writerow(dit) print(dit)
轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/231773.html
標籤：其他