本文的文字及圖片來源于網路,僅供學習、交流使用,不具有任何商業用途,如有問題請及時聯系我們以作處理，

以下文章附帶菜J學Python ，作者J哥

剛接觸Python的新手、小白，可以復制下面的鏈接去免費觀看Python的基礎入門教學視頻

https://v.douyu.com/author/y6AZ4jn9jwKW

前言

前就在上，廣深的朋友估計還穿著短袖羨慕著北方的下雪氣氛，結果就在上周，廣深也迎來了降溫，大家紛紛加入“降溫群聊”，

為了幫助大家抵抗御嚴寒，我特地爬了下京東的羽絨服資料，為啥不是天貓呢，理由很簡單，滑塊驗證有點麻煩，

資料獲取

京東網站是一個ajax動態加載的網站，只能通過決議介面或使用硒自動化測驗工具去爬取，關于動態網頁爬蟲，本公眾號歷史原創文章介紹過，感興趣的朋友可以去了解一下，

本次資料獲取采用硒，由于我的谷歌瀏覽器版本更新較快，導致原來的谷歌驅動程式中斷，于是，我替換了瀏覽器自動更新，并下載了對應版本的驅動，

接著，利用硒在京東網搜索羽絨服，手機掃碼登錄，獲得了羽絨服的商品名稱，商品價格，店鋪名稱，評論人數等資訊，

from selenium import webdriver
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from lxml import etree
import random
import json
import csv
import time

browser = webdriver.Chrome('/菜J學Python/京東/chromedriver')
wait =WebDriverWait(browser,50) #設定等待時間
url = 'https://www.jd.com/'
data_list= [] #設定全域變數用來存盤資料
keyword ="羽絨服"#關鍵詞

def page_click(page_number):
    try:
        # 滑動到底部
        browser.execute_script("window.scrollTo(0, document.body.scrollHeight);")
        time.sleep(random.randint(1, 3)) #隨機延遲
        button = wait.until(
            EC.element_to_be_clickable((By.CSS_SELECTOR, '#J_bottomPage > span.p-num > a.pn-next > em'))
        )#翻頁按鈕
        button.click()#點擊按鈕
        wait.until(
            EC.presence_of_all_elements_located((By.CSS_SELECTOR, "#J_goodsList > ul > li:nth-child(30)"))
        )#等到30個商品都加載出來
        # 滑到底部，加載出后30個商品
        browser.execute_script("window.scrollTo(0, document.body.scrollHeight);")
        wait.until(
            EC.presence_of_all_elements_located((By.CSS_SELECTOR, "#J_goodsList > ul > li:nth-child(60)"))
        )#等到60個商品都加載出來
        wait.until(
            EC.text_to_be_present_in_element((By.CSS_SELECTOR, "#J_bottomPage > span.p-num > a.curr"), str(page_number))
        )# 判斷翻頁成功,高亮的按鈕數字與設定的頁碼一樣
        html = browser.page_source#獲取網頁資訊
        prase_html(html)#呼叫提取資料的函式
    except TimeoutError:
        return page_click(page_number)

資料清洗

匯入資料

import pandas as pd
import numpy as np
df = pd.read_csv("/菜J學Python/京東/羽絨服.csv")
df.sample(10)

重命名列

df = df.rename(columns={'title':'商品名稱','price':'商品價格','shop_name':'店鋪名稱','comment':'評論人數'})

查看資料資訊

df.info()
'''
1.可能存在重復值
2.商店名稱存在缺失值
3.評價人數需要清洗
'''
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 4950 entries, 0 to 4949
Data columns (total 4 columns):
 #   Column  Non-Null Count  Dtype  
---  ------  --------------  -----  
 0   商品名稱    4950 non-null   object 
 1   商品價格    4950 non-null   float64
 2   店鋪名稱    4949 non-null   object 
 3   評論人數    4950 non-null   object 
dtypes: float64(1), object(3)
memory usage: 154.8+ KB

洗掉重復資料

df = df.drop_duplicates()

缺失值處理

df["店鋪名稱"] = df["店鋪名稱"].fillna("無名氏")

商品名稱清洗

厚度

tmp=[]
for i in df["商品名稱"]:
    if"厚"in i:
        tmp.append("厚款")
    elif"薄"in i:
        tmp.append("薄款")
    else:
        tmp.append("其他")
df['厚度'] = tmp

版型

for i in df["商品名稱"]:
    if"修身"in i:
        tmp.append("修身型")
    elif"寬松"in i:
        tmp.append("寬松型")
    else:
        tmp.append("其他")
df['版型'] = tmp

風格

tmp=[]
for i in df["商品名稱"]:
    if"韓"in i:
        tmp.append("韓版")
    elif"商務"in i:
        tmp.append("商務風")
    elif"休閑"in i:
        tmp.append("休閑風")
    elif"簡約"in i:
        tmp.append("簡約風")
    else:
        tmp.append("其他")
df['風格'] = tmp

商品價格清洗

df["價格區間"] = pd.cut(df["商品價格"],[0, 100,300, 500, 700, 1000,1000000],labels=['100元以下','100元-300元','300元-500元','500元-700元','700元-1000元','1000元以上'],right=False)

評價人數清洗

import re
df['數字'] = [re.findall(r'(\d+\.{0,1}\d*)', i)[0] for i in df['評論人數']]  #提取數字
df['數字'] = df['數字'].astype('float')  #轉化數值型
df['單位'] = [''.join(re.findall(r'(萬)', i)) for i in df['評論人數']]  #提取單位（萬）
df['單位'] = df['單位'].apply(lambda x:10000if x=='萬'else1)
df['評論人數'] = df['數字'] * df['單位'] # 計算評論人數
df['評論人數'] = df['評論人數'].astype("int")
df.drop(['數字', '單位'], axis=1, inplace=True)

店鋪名稱清洗

df["店鋪型別"] = df["店鋪名稱"].str[-3:]

可視化

引入可視化相關庫

import matplotlib.pyplot as plt
import seaborn as sns
%matplotlib inline
plt.rcParams['font.sans-serif'] = ['SimHei']  # 設定加載的字體名
plt.rcParams['axes.unicode_minus'] = False# 解決保存影像是負號'-'顯示為方塊的問題 
import jieba
import re
from pyecharts.charts import *
from pyecharts import options as opts 
from pyecharts.globals import ThemeType  
import stylecloud
from IPython.display import Image

描述性統計

羽絨服價格分布

df2 = df["價格區間"].astype("str").value_counts()
print(df2)
df2 = df2.sort_values(ascending=False)
regions = df2.index.to_list()
values = df2.to_list()
c = (
        Pie(init_opts=opts.InitOpts(theme=ThemeType.DARK))
        .add("", list(zip(regions,values)))
        .set_global_opts(legend_opts = opts.LegendOpts(is_show = False),title_opts=opts.TitleOpts(title="羽絨服價格區間分布",subtitle="資料來源：騰訊視頻\n制圖：菜J學Python",pos_top="0.5%",pos_left = 'left'))
        .set_series_opts(label_opts=opts.LabelOpts(formatter="{b}:{d}%",font_size=14))
        
    )
c.render_notebook()

評論人數top10店鋪

df5 = df.groupby('店鋪名稱')['評論人數'].mean()
df5 = df5.sort_values(ascending=True)
df5 = df5.tail(10)
print(df5.index.to_list())
print(df5.to_list())
c = (
    Bar(init_opts=opts.InitOpts(theme=ThemeType.DARK,width="1100px",height="600px"))
    .add_xaxis(df5.index.to_list())
    .add_yaxis("",df5.to_list()).reversal_axis() #X軸與y軸調換順序
    .set_global_opts(title_opts=opts.TitleOpts(title="評論人數TOP10",subtitle="資料來源：京東 \t制圖：J哥",pos_left = 'left'),
                       xaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(font_size=11)), #更改橫坐標字體大小
                       #yaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(font_size=12)),
                        yaxis_opts=opts.AxisOpts(axislabel_opts={"rotate":30})#更改縱坐標字體大小
                       )
    .set_series_opts(label_opts=opts.LabelOpts(font_size=16,position='right'))
    )
c.render_notebook()

版型

df5 = df.groupby('版型')['商品價格'].mean()
df5 = df5.sort_values(ascending=True)[:2]
#df5 = df5.tail(10)
df5 = df5.round(2)
print(df5.index.to_list())
print(df5.to_list())
c = (
    Bar(init_opts=opts.InitOpts(theme=ThemeType.DARK,width="1000px",height="500px"))
    .add_xaxis(df5.index.to_list())
    .add_yaxis("",df5.to_list()).reversal_axis() #X軸與y軸調換順序
    .set_global_opts(title_opts=opts.TitleOpts(title="各版型羽絨服均價",subtitle="資料來源：中原地產 \t制圖：J哥",pos_left = 'left'),
                       xaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(font_size=11)), #更改橫坐標字體大小
                       #yaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(font_size=12)),
                        yaxis_opts=opts.AxisOpts(axislabel_opts={"rotate":30})#更改縱坐標字體大小
                       )
    .set_series_opts(label_opts=opts.LabelOpts(font_size=16,position='right'))
    )
c.render_notebook()

厚度

df5 = df.groupby('厚度')['商品價格'].mean()
df5 = df5.sort_values(ascending=True)[:2]
#df5 = df5.tail(10)
df5 = df5.round(2)
print(df5.index.to_list())
print(df5.to_list())
c = (
    Bar(init_opts=opts.InitOpts(theme=ThemeType.DARK,width="1000px",height="500px"))
    .add_xaxis(df5.index.to_list())
    .add_yaxis("",df5.to_list()).reversal_axis() #X軸與y軸調換順序
    .set_global_opts(title_opts=opts.TitleOpts(title="各厚度羽絨服均價",subtitle="資料來源：京東 \t制圖：J哥",pos_left = 'left'),
                       xaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(font_size=11)), #更改橫坐標字體大小
                       #yaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(font_size=12)),
                        yaxis_opts=opts.AxisOpts(axislabel_opts={"rotate":30})#更改縱坐標字體大小
                       )
    .set_series_opts(label_opts=opts.LabelOpts(font_size=16,position='right'))
    )
c.render_notebook()

風格

df5 = df.groupby('風格')['商品價格'].mean()
df5 = df5.sort_values(ascending=True)[:4]
#df5 = df5.tail(10)
df5 = df5.round(2)
print(df5.index.to_list())
print(df5.to_list())
c = (
    Bar(init_opts=opts.InitOpts(theme=ThemeType.DARK,width="1000px",height="500px"))
    .add_xaxis(df5.index.to_list())
    .add_yaxis("",df5.to_list()).reversal_axis() #X軸與y軸調換順序
    .set_global_opts(title_opts=opts.TitleOpts(title="各風格羽絨服均價",subtitle="資料來源：京東 \t制圖：J哥",pos_left = 'left'),
                       xaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(font_size=11)), #更改橫坐標字體大小
                       #yaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(font_size=12)),
                        yaxis_opts=opts.AxisOpts(axislabel_opts={"rotate":30})#更改縱坐標字體大小
                       )
    .set_series_opts(label_opts=opts.LabelOpts(font_size=16,position='right'))
    )
c.render_notebook()

羽絨服詞云圖

轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/230171.html

標籤：Python

上一篇：python進行檔案操作

下一篇：django v1.x版本啟動錯誤：SyntaxError: Generator expression must be parenthesized

Python爬取某東羽絨服資料，用可視化幫你挑選心儀的衣服

前言