主頁 > 後端開發 > 你非說白絲YYDS?利用Python采集絲襪資料,黑絲才是

你非說白絲YYDS?利用Python采集絲襪資料,黑絲才是

2022-01-17 16:45:05 後端開發

你非說白絲YYDS?利用Python采集絲襪資料,黑絲才是

 

1. 資料采集

參考《用Python爬取文胸資料發現中國女性50%以上罩杯是B,但是A-cup穿衣最高級!》,這里我們也算是取樣操作,僅采集在京東銷量最高的某莎品牌的某款產品的資料,由于都是均碼,區別在于color,所以采集的是各color產品的大致銷量分布,這部分資料采集這里不做介紹,和此前推文一致,

不過,這里我們將對評論進行采集,做簡單的評價分析,

頁面分析

很多人學習蟒蛇,不知道從何學起,

很多人學習尋找python,掌握了基本語法之后,不知道在哪里案例上手,

很多已經可能知道案例的人,卻不怎么去學習更多高深的知識,

這三類人,我給大家提供一個好的學習平臺,免費獲取視頻教程,電子書,以及課程的源代碼!

QQ群:101677771

歡迎加入,一起討論學習

 

在開發者模式,我們通過翻頁找到了評論資料源地址,

你非說白絲YYDS?利用Python采集絲襪資料,黑絲才是

 

找到評論資料源

某頁的地址如下:https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=100002080143&score=0&sortType=6&page=1&pageSize=10&isShadowSku=0&rid=0&fold=1

決議如下:

url = '
https://club.jd.com/comment/productPageComments.action?'
params = {
'callback': 'fetchJSON_comment98',
'productId': productId,
'score': 0,
'sortType': 6,
'page': page, # 變數,頁碼
'pageSize': 10,
'isShadowSku': 0,
'rid': 0,
'fold': 1,
}

采集程序

根據對頁面分析及所需資料的決議,我們可以構造獲取評論資訊的函式如下,得到的是某頁的評論串列資料

# 獲取評論資訊
def get_comments(productId, page, proxies=None):
    # time.sleep(0.5)
    url = 'https://club.jd.com/comment/productPageComments.action?'
    params = {
            'callback': 'fetchJSON_comment98',
            'productId': productId,
            'score': 0,
            'sortType': 6,
            'page': page,
            'pageSize': 10,
            'isShadowSku': 0,
            'fold': 1,
            }
    # print(proxies)
    r = requests.get(url, headers=headers, params=params, 
                     # proxies=proxies, 
                     timeout=6)
    comment_data = https://www.cnblogs.com/sn5200/p/re.findall(r'fetchJSON_comment98\((.*)\)', r.text)[0]
    comment_data = https://www.cnblogs.com/sn5200/p/json.loads(comment_data)
    comments = comment_data['comments']
    
    return comments

資料預覽

由于請求次數過多可能觸發反爬,為了盡可能采集更多資料,實際操作中我會用到代理ip的方法,

對于采集到的資料,我們做了簡單的清洗處理

df = pd.DataFrame(commentsList)
df.drop_duplicates(subset='guid',inplace=True)
df = df[~(df['content']=='此用戶未填寫評價內容')]
df = df[['id', 'content', 'creationTime', 'score', 'plusAvailable',
       'mobileVersion', 'productColor',  'referenceTime', 'nickname']]
你非說白絲YYDS?利用Python采集絲襪資料,黑絲才是

 

資料預覽

你非說白絲YYDS?利用Python采集絲襪資料,黑絲才是

 

2. 統計展示

本部分我們主要看絲襪的顏色分布,購買絲襪的用戶評價詞云、用戶屬性以及絲襪市場份額

2.1. 顏色分布

由于采集到的原始資料中是按組合賣的,我們做簡單的處理后拆分出每個顏色的數量,然后進行統計展示,

膚色(也就是肉色)占比最高,達到62.9%,其次是黑色占比23.3%,

原始資料大家可以后臺回復 955,在 絲襪資料 檔案夾領取,

import pandas as pd

df = pd.read_excel('絲襪資料.xlsx')
df['顏色'] = df.顏色.str.replace('雙','').str.split('+')
df = df.explode('顏色')
df[['顏色','單件數']] = df.顏色.str.extract('(?P<顏色>.*?)(?P<單件數>\d)')
df['單件數'] = df['單件數'].astype('int')
df['數量'] = df['單件數']*df['commentCount']
colorNum = df.groupby('顏色')['數量'].sum().to_frame('數量')
colorNum

顏色數量咖啡色34334灰色44372膚色359305黑色133268

# 餅圖繪制
import matplotlib.pyplot as plt
from matplotlib import font_manager as fm

plt.rcParams['font.sans-serif'] = ['Microsoft YaHei']
plt.rcParams['axes.unicode_minus'] = False

labels = colorNum.index
sizes = colorNum['數量']
explode = (0, 0, 0, 0.1) 

fig1, ax1 = plt.subplots(figsize=(6,5))
patches, texts, autotexts = ax1.pie(sizes, explode=explode, labels=labels, autopct='%1.1f%%',
                                    shadow=True, startangle=90)
ax1.axis('equal') 

# 重新設定字體大小
proptease = fm.FontProperties()
proptease.set_size('large')
plt.setp(autotexts, fontproperties=proptease)
plt.setp(texts, fontproperties=proptease)
ax1.set_title('【絲襪 顏色】 分布')
plt.show()
你非說白絲YYDS?利用Python采集絲襪資料,黑絲才是

 

2.2. 評價詞云

詞云繪制參考《140行代碼自己動手寫一個詞云制作小工具(文末附工具下載)》,我們直接將評論資料匯入即可,后臺回復 955,在絲襪資料 檔案夾領取評論資料,

你非說白絲YYDS?利用Python采集絲襪資料,黑絲才是

 

詞云

2.3. 用戶屬性

會員分布

plus會員占比高達72.7%

你非說白絲YYDS?利用Python采集絲襪資料,黑絲才是

 

評論時間分布

評論時間集中在上午10-11點和晚上的8-10點,,,

labels = timeNum.index
sizes = timeNum['數量']
plt.style.use('ggplot')
x = labels
plt.figure(figsize=(10,5))
plt.title("評論時間折線圖")
plt.xlabel("時間")
plt.xticks(labels)
plt.ylabel("數量")
plt.plot(x,sizes,'-',color='coral',label="評論數")

plt.legend()
plt.show()
你非說白絲YYDS?利用Python采集絲襪資料,黑絲才是

 

2.4. 絲襪市場

購買絲襪較多的主要是集中在南方的城市

你非說白絲YYDS?利用Python采集絲襪資料,黑絲才是

 

來源:絲襪消費流行趨勢報告

隨著時尚理念的不斷更迭,絲襪的款式也不再單一,年輕人也越來越追求個性化的絲襪,這在最新發布的《絲襪消費流行趨勢報告》中也有所體現,越來越多的人開始購買小眾款絲襪,

你非說白絲YYDS?利用Python采集絲襪資料,黑絲才是

 

絲襪市場規模

截止到2019年(2020年疫情特殊不做參考),中國年產絲襪39.73億雙,位居全球第一,其中國內銷量33.94億雙,市場規模五年間從175億躍升至266.4億,說明國人對絲襪的接受度正越來越高,

不過值得一提的是,在這266.4億中,有3.57億是男性絲襪,且規模比2014年翻了一倍,或許在不遠的將來,男性穿絲襪將變成新的時尚,

fig, ax = plt.subplots(figsize=(10,5))

y_data = https://www.cnblogs.com/sn5200/p/[175.5, 190.2, 203.8, 224.2, 248.9, 266.4]
x_data = ['2014年', '2015年', '2016年', '2017年', '2018年', '2019年']

# 柱狀圖顏色
color = 'coral'

# 柱狀圖
bar = plt.bar(x_data, y_data, 0.5, color=color,edgecolor='grey')

# 設定標題
ax.set_title('絲襪市場規模(單位:億)',fontsize=14,y=1.05)
# 設定坐標軸標題
ax.set_ylabel("",fontsize = 12,color = 'black',alpha = 0.7,rotation=360)
# 設定Y軸區間
ax.set_ylim(0,300)

# 顯示資料標簽
for a,b in zip(x_data, y_data):
    plt.text(a,b,
             b,
             ha='center', 
             va='bottom',
            )
你非說白絲YYDS?利用Python采集絲襪資料,黑絲才是

 

你非說白絲YYDS?利用Python采集絲襪資料,黑絲才是

 

3. 絲襪起源與發展

雖然現在我們在大街小巷看到穿著絲襪的基本都是女性,并且我們聊到絲襪的時候都會和女性、性感掛鉤,但是,其實我們追溯絲襪的起源會發現,最早絲襪是高質量男性的必備,

大家可以回憶在中學時代歐美歷史里的知名人物的插圖,是不是都是穿著絲襪的!!

你非說白絲YYDS?利用Python采集絲襪資料,黑絲才是

 

拿破侖

16世紀,隨著工業的發展,在歐洲出現了第一臺手工針織機,當時絲襪是一種相當昂貴的產品,只有在皇宮中的男性才有資格穿絲襪!對,男性!!你沒有看錯!!!在法國,貴族男性爭搶購買一條絲襪,仿佛絲襪成為一種高貴的象征,

當然在16世紀后期,英國人發明了更為先進的針織機,質量也有進一步提升,歐洲的貴婦名媛也開始穿起絲襪,而此時的絲襪以紅色、橙色、紫色為上品,看見女人們穿絲襪的模樣,男人們很自覺的不穿了,而是看女人們穿,這標志女人穿絲襪的時代到來了,

你非說白絲YYDS?利用Python采集絲襪資料,黑絲才是

 

法國國王路易十四

20世紀初,隨著兩次技術革命的重新,尼龍絲襪一度風靡全球,在歐洲尼龍絲襪一度出現脫銷,

二戰爆發期間,尼龍被列為軍需用品,尼龍絲襪生產癱瘓,只能限量發售,戰爭期間有人做了調查:女人們最想要的是什么?結果三分之二選擇了絲襪,而選男人的,還不到三分之一,在絲襪面前,男人一文不值,在黑市上,一雙絲襪的價格,一度被炒到四千美元,沒錢的女人,只能用粉餅或眉筆在腿上畫出絲襪來“畫餅充饑”,

戰爭結束,尼龍絲襪恢復生產,女人們如愿以償,男人們也如愿以償了,

你非說白絲YYDS?利用Python采集絲襪資料,黑絲才是

 

1950年,尼龍絲襪開始大規模的生存,在外國普通的女人也可以買到一雙價格低廉的絲襪!女人們興高采烈地排長隊搶購尼龍絲襪,“求襪若渴”的女人買到了尼龍絲襪后,等不及回家,干脆坐在馬路邊,露出雪白大腿當眾換上,一時肉色撩人,風情萬種,鼻血飛濺,

你非說白絲YYDS?利用Python采集絲襪資料,黑絲才是

 

1980年,絲襪等一些產品相繼從香港向內地流行開來,當時的內地女生只是想買而不敢去試穿!

1990年,絲襪逐漸被人所接受,性感的肉絲成為當時女人的時尚標配性搭配,

你非說白絲YYDS?利用Python采集絲襪資料,黑絲才是

 

20世紀80年代穿著時尚絲襪的中國姑娘

21世紀,絲襪出現了材質,顏色,種類的不同,絲襪完全揭開了神秘的面紗,如同冬天我們離不開保暖的打底連褲絲襪一樣,可以達到緊致腿部塑性效果的絲襪更是妹子們手中必不可少的神器,

你非說白絲YYDS?利用Python采集絲襪資料,黑絲才是

 

以上就是本次全部內容,我們從京東某品牌絲襪的資料做展開引申,再介紹了絲襪在中國的市場規模發展以及絲襪的起源,

轉載請註明出處,本文鏈接:https://www.uj5u.com/houduan/412880.html

標籤:Python

上一篇:用Python爬取7大視頻平臺的彈幕、評論,看這一篇就夠了

下一篇:Python辦公自動化|10個方法,是時候對Excel下手了

標籤雲
其他(157675) Python(38076) JavaScript(25376) Java(17977) C(15215) 區塊鏈(8255) C#(7972) AI(7469) 爪哇(7425) MySQL(7132) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5869) 数组(5741) R(5409) Linux(5327) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4554) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2429) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) 功能(1967) .NET技术(1958) Web開發(1951) python-3.x(1918) HtmlCss(1915) 弹簧靴(1913) C++(1909) xml(1889) PostgreSQL(1872) .NETCore(1853) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • 【C++】Microsoft C++、C 和匯編程式檔案

    ......

    uj5u.com 2020-09-10 00:57:23 more
  • 例外宣告

    相比于斷言適用于排除邏輯上不可能存在的狀態,例外通常是用于邏輯上可能發生的錯誤。 例外宣告 Item 1:當函式不可能拋出例外或不能接受拋出例外時,使用noexcept 理由 如果不打算拋出例外的話,程式就會認為無法處理這種錯誤,并且應當盡早終止,如此可以有效地阻止例外的傳播與擴散。 示例 //不可 ......

    uj5u.com 2020-09-10 00:57:27 more
  • Codeforces 1400E Clear the Multiset(貪心 + 分治)

    鏈接:https://codeforces.com/problemset/problem/1400/E 來源:Codeforces 思路:給你一個陣列,現在你可以進行兩種操作,操作1:將一段沒有 0 的區間進行減一的操作,操作2:將 i 位置上的元素歸零。最終問:將這個陣列的全部元素歸零后操作的最少 ......

    uj5u.com 2020-09-10 00:57:30 more
  • UVA11610 【Reverse Prime】

    本人看到此題沒有翻譯,就附帶了一個自己的翻譯版本 思考 這一題,它的第一個要求是找出所有 $7$ 位反向質數及其質因數的個數。 我們應該需要質數篩篩選1~$10^{7}$的所有數,這里就不慢慢介紹了。但是,重讀題,我們突然發現反向質數都是 $7$ 位,而將它反過來后的數字卻是 $6$ 位數,這就說明 ......

    uj5u.com 2020-09-10 00:57:36 more
  • 統計區間素數數量

    1 #pragma GCC optimize(2) 2 #include <bits/stdc++.h> 3 using namespace std; 4 bool isprime[1000000010]; 5 vector<int> prime; 6 inline int getlist(int ......

    uj5u.com 2020-09-10 00:57:47 more
  • C/C++編程筆記:C++中的 const 變數詳解,教你正確認識const用法

    1、C中的const 1、區域const變數存放在堆疊區中,會分配記憶體(也就是說可以通過地址間接修改變數的值)。測驗代碼如下: 運行結果: 2、全域const變數存放在只讀資料段(不能通過地址修改,會發生寫入錯誤), 默認為外部聯編,可以給其他源檔案使用(需要用extern關鍵字修飾) 運行結果: ......

    uj5u.com 2020-09-10 00:58:04 more
  • 【C++犯錯記錄】VS2019 MFC添加資源不懂如何修改資源宏ID

    1. 首先在資源視圖中,添加資源 2. 點擊新添加的資源,復制自動生成的ID 3. 在解決方案資源管理器中找到Resource.h檔案,編輯,使用整個專案搜索和替換的方式快速替換 宏宣告 4. Ctrl+Shift+F 全域搜索,點擊查找全部,然后逐個替換 5. 為什么使用搜索替換而不使用屬性視窗直 ......

    uj5u.com 2020-09-10 00:59:11 more
  • 【C++犯錯記錄】VS2019 MFC不懂的批量添加資源

    1. 打開資源頭檔案Resource.h,在其中預先定義好宏 ID(不清楚其實ID值應該設定多少,可以先新建一個相同的資源項,再在這個資源的ID值的基礎上遞增即可) 2. 在資源視圖中選中專案資源,按F7編輯資源檔案,按 ID 型別 相對路徑的形式添加 資源。(別忘了先把檔案拷貝到專案中的res檔案 ......

    uj5u.com 2020-09-10 01:00:19 more
  • C/C++編程筆記:關于C++的參考型別,專供新手入門使用

    今天要講的是C++中我最喜歡的一個用法——參考,也叫別名。 參考就是給一個變數名取一個變數名,方便我們間接地使用這個變數。我們可以給一個變數創建N個參考,這N + 1個變數共享了同一塊記憶體區域。(參考型別的變數會占用記憶體空間,占用的記憶體空間的大小和指標型別的大小是相同的。雖然參考是一個物件的別名,但 ......

    uj5u.com 2020-09-10 01:00:22 more
  • 【C/C++編程筆記】從頭開始學習C ++:初學者完整指南

    眾所周知,C ++的學習曲線陡峭,但是花時間學習這種語言將為您的職業帶來奇跡,并使您與其他開發人員區分開。您會更輕松地學習新語言,形成真正的解決問題的技能,并在編程的基礎上打下堅實的基礎。 C ++將幫助您養成良好的編程習慣(即清晰一致的編碼風格,在撰寫代碼時注釋代碼,并限制類內部的可見性),并且由 ......

    uj5u.com 2020-09-10 01:00:41 more
最新发布
  • Rust中的智能指標:Box<T> Rc<T> Arc<T> Cell<T> RefCell<T> Weak

    Rust中的智能指標是什么 智能指標(smart pointers)是一類資料結構,是擁有資料所有權和額外功能的指標。是指標的進一步發展 指標(pointer)是一個包含記憶體地址的變數的通用概念。這個地址參考,或 ” 指向”(points at)一些其 他資料 。參考以 & 符號為標志并借用了他們所 ......

    uj5u.com 2023-04-20 07:24:10 more
  • Java的值傳遞和參考傳遞

    值傳遞不會改變本身,參考傳遞(如果傳遞的值需要實體化到堆里)如果發生修改了會改變本身。 1.基本資料型別都是值傳遞 package com.example.basic; public class Test { public static void main(String[] args) { int ......

    uj5u.com 2023-04-20 07:24:04 more
  • [2]SpinalHDL教程——Scala簡單入門

    第一個 Scala 程式 shell里面輸入 $ scala scala> 1 + 1 res0: Int = 2 scala> println("Hello World!") Hello World! 檔案形式 object HelloWorld { /* 這是我的第一個 Scala 程式 * 以 ......

    uj5u.com 2023-04-20 07:23:58 more
  • 理解函式指標和回呼函式

    理解 函式指標 指向函式的指標。比如: 理解函式指標的偽代碼 void (*p)(int type, char *data); // 定義一個函式指標p void func(int type, char *data); // 宣告一個函式func p = func; // 將指標p指向函式func ......

    uj5u.com 2023-04-20 07:23:52 more
  • Django筆記二十五之資料庫函式之日期函式

    本文首發于公眾號:Hunter后端 原文鏈接:Django筆記二十五之資料庫函式之日期函式 日期函式主要介紹兩個大類,Extract() 和 Trunc() Extract() 函式作用是提取日期,比如我們可以提取一個日期欄位的年份,月份,日等資料 Trunc() 的作用則是截取,比如 2022-0 ......

    uj5u.com 2023-04-20 07:23:45 more
  • 一天吃透JVM面試八股文

    什么是JVM? JVM,全稱Java Virtual Machine(Java虛擬機),是通過在實際的計算機上仿真模擬各種計算機功能來實作的。由一套位元組碼指令集、一組暫存器、一個堆疊、一個垃圾回收堆和一個存盤方法域等組成。JVM屏蔽了與作業系統平臺相關的資訊,使得Java程式只需要生成在Java虛擬機 ......

    uj5u.com 2023-04-20 07:23:31 more
  • 使用Java接入小程式訂閱訊息!

    更新完微信服務號的模板訊息之后,我又趕緊把微信小程式的訂閱訊息給實作了!之前我一直以為微信小程式也是要企業才能申請,沒想到小程式個人就能申請。 訊息推送平臺🔥推送下發【郵件】【短信】【微信服務號】【微信小程式】【企業微信】【釘釘】等訊息型別。 https://gitee.com/zhongfuch ......

    uj5u.com 2023-04-20 07:22:59 more
  • java -- 緩沖流、轉換流、序列化流

    緩沖流 緩沖流, 也叫高效流, 按照資料型別分類: 位元組緩沖流:BufferedInputStream,BufferedOutputStream 字符緩沖流:BufferedReader,BufferedWriter 緩沖流的基本原理,是在創建流物件時,會創建一個內置的默認大小的緩沖區陣列,通過緩沖 ......

    uj5u.com 2023-04-20 07:22:49 more
  • Java-SpringBoot-Range請求頭設定實作視頻分段傳輸

    老實說,人太懶了,現在基本都不喜歡寫筆記了,但是網上有關Range請求頭的文章都太水了 下面是抄的一段StackOverflow的代碼...自己大修改過的,寫的注釋挺全的,應該直接看得懂,就不解釋了 寫的不好...只是希望能給視頻網站開發的新手一點點幫助吧. 業務場景:視頻分段傳輸、視頻多段傳輸(理 ......

    uj5u.com 2023-04-20 07:22:42 more
  • Windows 10開發教程_編程入門自學教程_菜鳥教程-免費教程分享

    教程簡介 Windows 10開發入門教程 - 從簡單的步驟了解Windows 10開發,從基本到高級概念,包括簡介,UWP,第一個應用程式,商店,XAML控制元件,資料系結,XAML性能,自適應設計,自適應UI,自適應代碼,檔案管理,SQLite資料庫,應用程式到應用程式通信,應用程式本地化,應用程式 ......

    uj5u.com 2023-04-20 07:22:35 more