前言
本文的文字及圖片來源于網路,僅供學習、交流使用,不具有任何商業用途,如有問題請及時聯系我們以作處理，
以下文章來源于杰哥的IT之旅，作者：Cherich_sun
Python爬蟲、資料分析、網站開發等案例教程視頻免費在線觀看
https://space.bilibili.com/523606542
今年不知道有多少小伙伴留在原地過年，雖然今年過年不能回老家，但這個年也得過，也得買年貨，給家人長輩送禮，于是我出于好奇心的想法利用爬蟲獲取某寶資料，并結合 Python 資料分析和第三方可視化平臺來分析一下大家過年都買了哪些東西
用 Python 的實作程序，對于本文的敘述，主要分為以下五步：
- 分析思路
- 爬蟲部分
- 資料清洗
- 資料可視化及分析
- 結論與建議
1. 分析思路
其實就今天的資料來講，我們主要做的是探索性分析；首先梳理已有的欄位，有標題（提取出品類）、價格、銷量、店鋪名、發貨地，下面來做一下詳細的維度拆分以及可視化圖形選擇：
品類:
- 品類銷量的 TOP 10 有哪些？（表格或者橫向條形圖）
- 熱門（出現次數最多）品類展示；（詞云）
價格：年貨的價格區間分布情況；（圓環圖，觀察占比）
銷量、店鋪名：
- 店鋪銷量最高的 TOP 10 有哪些？（條形圖）
- 結合品類做聯動，比如點堅果，對應展示銷量排名的店鋪；（聯動，利用三方工具）
發貨地：銷量最高的城市有哪些？（地圖）
2. 爬取資料
爬取主要利用 selenium 模擬點擊瀏覽器，前提是已經安裝 selenium 和瀏覽器驅動，這里我是用的 Google 瀏覽器，找到對應的版本號后并下載對應的版本驅動，一定要對應瀏覽器的版本號，
pip install selenium
安裝成功后，運行如下代碼，輸入關鍵字"年貨"，進行掃碼就可以了，等著程式慢慢采集，
# coding=utf8 import re from selenium.webdriver.chrome.options import Options from selenium import webdriver import time import csv # 搜索商品，獲取商品頁碼 def search_product(key_word): # 定位輸入框 browser.find_element_by_id("q").send_keys(key_word) # 定義點擊按鈕，并點擊 browser.find_element_by_class_name('btn-search').click() # 最大化視窗：為了方便我們掃碼 browser.maximize_window() # 等待15秒，給足時間我們掃碼 time.sleep(15) # 定位這個“頁碼”，獲取“共100頁這個文本” page_info = browser.find_element_by_xpath('//div[@]').text # 需要注意的是：findall()回傳的是一個串列，雖然此時只有一個元素它也是一個串列， page = re.findall("(\d+)", page_info)[0] return page # 獲取資料 def get_data(): # 通過頁面分析發現：所有的資訊都在items節點下 items = browser.find_elements_by_xpath('//div[@]/div[@]') for item in items: # 引數資訊 pro_desc = item.find_element_by_xpath('.//div[@]/a').text # 價格 pro_price = item.find_element_by_xpath('.//strong').text # 付款人數 buy_num = item.find_element_by_xpath('.//div[@]').text # 旗艦店 shop = item.find_element_by_xpath('.//div[@]/a').text # 發貨地 address = item.find_element_by_xpath('.//div[@]').text # print(pro_desc, pro_price, buy_num, shop, address) with open('{}.csv'.format(key_word), mode='a', newline='', encoding='utf-8-sig') as f: csv_writer = csv.writer(f, delimiter=',') csv_writer.writerow([pro_desc, pro_price, buy_num, shop, address]) def main(): browser.get('https://www.taobao.com/') page = search_product(key_word) print(page) get_data() page_num = 1 while int(page) != page_num: print("*" * 100) print("正在爬取第{}頁".format(page_num + 1)) browser.get('https://s.taobao.com/search?q={}&s={}'.format(key_word, page_num * 44)) browser.implicitly_wait(25) get_data() page_num += 1 print("資料爬取完畢！") if __name__ == '__main__': key_word = input("請輸入你要搜索的商品：") option = Options() browser = webdriver.Chrome(chrome_options=option, executable_path=r"C:\Users\cherich\AppData\Local\Google\Chrome\Application\chromedriver.exe") main()
采集結果如下：
資料準備完成，中間從標題里提取類別程序比較耗時，建議大家直接用整理好的資料，
大概思路是對標題進行分詞，命名物體識別，標記出名詞，找出類別名稱，比如堅果、茶葉等，
3. 資料清洗
這里的檔案清洗幾乎用 Excel 搞定，資料集小，用 Excel 效率很高，比如這里做了一個價格區間，到現在資料清洗已經完成（可以用三方工具做可視化了），如果大家愛折騰，可以接著往下看用 Python 如何進行分析，
4. 可視化分析
1、讀取檔案
import pandas as pd import matplotlib as mpl mpl.rcParams['font.family'] = 'SimHei' from wordcloud import WordCloud from ast import literal_eval import matplotlib.pyplot as plt datas = pd.read_csv('./年貨.csv',encoding='gbk') datas
2、可視化：詞云圖
li = [] for each in datas['關鍵詞'].values: new_list = str(each).split(',') li.extend(new_list) def func_pd(words): count_result = pd.Series(words).value_counts() return count_result.to_dict() frequencies = func_pd(li) frequencies.pop('其他') plt.figure(figsize = (10,4),dpi=80) wordcloud = WordCloud(font_path="STSONG.TTF",background_color='white', width=700,height=350).fit_words(frequencies) plt.imshow(wordcloud) plt.axis("off") plt.show()
圖表說明：我們可以看到詞云圖，熱門（出現次數最多）品類字體最大，依次是：堅果、茶葉、糕點等，
3、可視化：繪制圓環圖
# plt.pie(x,lables,autopct,shadow,startangle,colors,explode) food_type = datas.groupby('價格區間').size() plt.figure(figsize=(8,4),dpi=80) explodes= [0,0,0,0,0.2,0.1] size = 0.3 plt.pie(food_type, radius=1,labels=food_type.index, autopct='%.2f%%', colors=['#F4A460','#D2691E','#CDCD00','#FFD700','#EEE5DE'], wedgeprops=dict(width=size, edgecolor='w')) plt.title('年貨價格區間占比情況',fontsize=18) plt.legend(food_type.index,bbox_to_anchor=(1.5, 1.0)) plt.show()
圖表說明：圓環圖和餅圖類似，代表部分相對于整體的占比情況，可以看到0 ~ 200元的年貨大概33%左右，100 ~ 200元也是33%，說明大部分的年貨的價格趨于200以內，
4、可視化：繪制條形圖
data = https://www.cnblogs.com/hhh188764/archive/2021/02/20/datas.groupby(by='店鋪名')['銷量'].sum().sort_values(ascending=False).head(10) plt.figure(figsize = (10,4),dpi=80) plt.ylabel('銷量') plt.title('年貨銷量前十名店鋪',fontsize=18) colors = ['#F4A460','#D2691E','#CDCD00','#EEE5DE', '#EEB4B4', '#FFA07A', '#FFD700'] plt.bar(data.index,data.values, color=colors) plt.xticks(rotation=45) plt.show()
圖表說明：以上是店鋪按銷量排名情況，可以看到第一名是三只松鼠旗艦店，看來過年大家都喜歡吃干貨，
5、可視化：繪制橫向條形圖
foods = datas.groupby(by='類別')['銷量'].sum().sort_values(ascending=False).head(10) foods.sort_values(ascending=True,inplace=True) plt.figure(figsize = (10,4),dpi=80) plt.xlabel('銷量') plt.title('年貨推薦購買排行榜',fontsize=18) colors = ['#F4A460','#D2691E','#CDCD00','#CD96CD','#EEE5DE', '#EEB4B4', '#FFA07A', '#FFD700'] plt.barh(foods.index,foods.values, color=colors,height=1) plt.show()
圖表說明：根據類別銷量排名，排名第一是堅果，驗證了上面的假設，大家喜歡吃堅果，
5.結論與建議
淘寶熱賣年貨: 堅果，茶葉，糕點，餅干，糖果，白酒，核桃，羊肉，海參，枸杞；
年貨推薦清單（按銷量）：堅果、零食、糕點、餅干、茶葉、糖果、松子、紅棗、蛋糕、鹵味、瓜子、牛奶、核桃；
年貨價格參考：66%以上的年貨價格在0~200元之間；
熱門店鋪：三只松鼠、天貓超市、百草味、良品鋪子；
轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/261629.html
標籤：其他