前言
本文的文字及圖片來源于網路,僅供學習、交流使用,不具有任何商業用途,著作權歸原作者所有,如有問題請及時聯系我們以作處理，
作者：CDA資料分析師
地攤經濟火了！微博微熱點資料
我們先看到微博微熱點的資料：全網熱度指數趨勢
從全網熱度指數的變化趨勢來看，地攤經濟的熱度在6月3日起逐步升溫，6月4日9時達到了99.69的峰值，
全網關鍵詞云圖
再看到全網關鍵詞云圖，在與地攤經濟相關的全部資訊中， 提及頻次最高的詞語依次為"地攤經濟"、“擺攤"和"全員”，
B站視頻彈幕資料
目前在B站上也涌現出許多關于地攤經濟的視頻，
我們看到其中這個關于成都地攤經濟與文化的視頻，目前該個視頻在B站上播放量達到14.1萬，識訓了3856條彈幕，
地址：https://www.bilibili.com/video/BV1Ft4y1y7iG?from=search&seid=12113765873623399312
那么這些彈幕中大家都在談論些什么呢？我們對這些彈幕進行分析整理，讓我們看到詞云圖，
彈幕詞云圖
可以看到大家討論最多的就是除了"地攤"、“成都”，還有就是"衛生"、“城管”、“利潤"等內容，其中地攤"美食”、“小吃”、“燒烤”、"干凈"也是大家十分關注的問題，
是否支持地攤經濟彈幕投票
在視頻結尾，也發起了你是否支持地攤經濟的彈幕投票，支持的打數字1，不支持的打數字2，據統計共有1869條彈幕參與投票，其中91.44%的彈幕表示支持，不支持的僅占8.56%，
微博評論話題資料
再讓我們看到對地攤經濟討論呼聲最高的微博，
首先看到微博話題：#你會考慮擺地攤嗎# 我們共分析整理了3436條評論資料：
可以看到在考慮是否擺地攤時，大家考慮最多的就是"城管"的問題了，曾經的城管不讓擺，到今天的城管喊你來擺攤，真是活久見啊，其次"經濟"、“營業額”、"收入"等也是大家特別關心的焦點，
下面是 #如果擺地攤你會賣什么# 這個話題，目前該話題共有408.6萬的閱讀，共3934條討論， 去重后我們得到3657條資料，
評論詞云
通過分析詞云可以發現，“貼膜"是許多人都想嘗試的地攤專案，其次"燒烤”、“烤冷面”、"煎餅果子"等街頭美食是許多人的選擇，除了吃的，“賣花”、“飾品”、"襪子"等商品也是很多人想嘗試的，有意思的是，"算命"也被多次提到，
再看到 #你的專業擺地攤兒能干啥# 我們共獲取1641條討論資料，
這里就比較有意思了：
我們可以看到比如新聞傳播專業的小伙伴選擇賣報紙、機械專業選擇專業開鎖、哲學專業選擇看相算命等魔幻操作，
加企鵝群695185429即可免費獲取，資料全在群檔案里
都是哪些人在參與地攤話題的討論呢？我們對參與話題的微博用戶進行了分析，共獲得4875條條資料，
微博評論用戶性別占比
可以看到，在參與話題的用戶中，女性用戶占比達到了71.62%，而男性用戶僅占28.38%，在地攤經濟的話題中，女性用戶參與比例遠超男性用戶，
評論用戶地區分布
參與話題的用戶都來自哪些地區呢？經過分析整理可以看到，廣東、北京、河南地區參與度最高，分布位居前三名，其次是江蘇、也有不少參與話題的海外用戶，
評論用戶年齡分布
地攤經濟的話題評論中，用戶年齡分布又是怎樣的呢？經過分析可見，90后的參與度最高，占比高達70.56%，其次是00后，占比12.58%，然后80后位居第三，占比為9.15%，
擺攤吧 后浪！教你用Python分析微博資料
微博評論資料分析
我們使用Python獲取了微博地攤經濟話題的熱門評論資料和B站熱門視頻彈幕資料，進行了處理和分析，B站彈幕的爬蟲之前已經展示過，此處放上微博評論爬蟲關鍵代碼，
01 資料獲取
微博分為：微博網頁端、微博手機端、以及微博移動端，此次我們選擇手機端（https://m.weibo.cn/）進行資料的抓取，
我們要演示的網址如下：
https://weibo.com/5382520929/J4UtmkJUJ?type=comment#_rnd1591495913796
打開上面的網址之后，使用谷歌瀏覽器的抓包工具，將設備切換到手機端并再次重繪網頁，
通過分析網頁可以發現，評論的資料是通過動態js進行加載的，分析得到真實的資料請求地址：
https://m.weibo.cn/comments/hotflow?id=4511703964943057&mid=4511703964943057&max_id=140218361800408&max_id_type=0
引數說明如下：
id/mid:評論ID，抓包獲取，
max_id/max_id_type: 前一頁回傳的response資料中，
我們使用requests獲取資料，使用json進行決議并提取資料，關鍵代碼如下：
# 匯入包 import requests import numpy as np import pandas as pd import re import time import json from faker import Factory def get_weibo_comment(ids, mid, max_page, max_id=0, max_id_type=0): """ 功能：獲取指定微博的評論資料，資料介面由chrome切換到手機端抓包獲取， 注意事項：此程式每次獲取的數量有限制，每次獲取之后隔5分鐘再抓取即可 """ max_id = max_id max_id_type = max_id_type # 存盤資料 df_all = pd.DataFrame() for i in range(1, max_page): # 列印進度 print('我正在獲取第{}頁的評論資訊'.format(i)) # 獲取URL url = 'https://m.weibo.cn/comments/hotflow?id={}&mid={}&max_id={}&max_id_type={}'.format(ids, mid, max_id, max_id_type) # 添加headers headers = { 'User-Agent': Factory().create().user_agent(), 'Referer': 'https://m.weibo.cn/detail/1591254045309', 'cookie': '復制cookie資訊', 'X-Requested-With': 'XMLHttpRequest', } # 發起請求 try: r = requests.get(url, headers=headers, timeout=3) except Exception as e: print(e) r = requests.get(url, headers=headers, timeout=3) if r.status_code==200: # 決議資料 json_data =https://www.cnblogs.com/hhh188764/p/ json.loads(r.text) # 獲取資料 comment_data = https://www.cnblogs.com/hhh188764/p/json_data['data']['data'] created_time = [i.get('created_at') for i in comment_data] text = [i.get('text') for i in comment_data] user_id = [i['user'].get('id') for i in comment_data] screen_name = [i['user'].get('screen_name') for i in comment_data] reply_num = [i.get('total_number') for i in comment_data] like_count = [i.get('like_count') for i in comment_data] # max_id max_id = json_data['data']['max_id'] # max_id_type max_id_type = json_data['data']['max_id_type'] # 存盤資料 df_one = pd.DataFrame({ 'created_time': created_time, 'text': text, 'user_id': user_id, 'screen_name': screen_name, 'reply_num': reply_num, 'like_count': like_count }) # 追加 df_all = df_all.append(df_one, ignore_index=True) # 休眠一秒 time.sleep(np.random.uniform(2)) else: print('決議出錯！列印最后一次的值', max_id, max_id_type) continue return df_all # 運行函式 if __name__ == '__main__': # 獲取一條微博評論 df = get_weibo_comment(ids='4511703964943057', mid='4511703964943057', max_page=200)
獲取到的資料以資料框的形式存盤，包含評論時間、評論文本、評論用戶id，回復數和點贊數，格式如下所示：
df.head()
02 資料預處理
我們對獲取的資料進行初步的處理，主要包含：
- 重復值處理
- created_time：提取時間資訊
- text：初步清洗
- user_id：根據用戶ID獲取用戶相關資訊，步驟暫略，
# 重復值 df = df.drop_duplicates() # 轉換字典 week_transform = { 'Mon': '星期一', 'Tue': '星期二', 'Wed': '星期三', 'Thu': '星期四', 'Fri': '星期五', 'Sat': '星期六', 'Sun': '星期日' } # 提取星期 df['day_week'] = df['created_time'].str.split(' ').apply(lambda x:x[0]) df['day_week'] = df['day_week'].map(week_transform) # 提取日期時間 df['time'] = df['created_time'].str.split(' ').map(lambda x:x[-1]+'-'+x[1]+'-'+x[2]+' '+x[3]) df['time'] = df.time.str.replace('May', '05').str.replace('Jun', '06') # text 欄位處理 pattern = '<span.*?</span>|<a.*?</a>' df['text'] = [re.sub(pattern, '', i) for i in df['text']] # 洗掉列 df = df.drop(['created_time', 'user_id', 'screen_name'], axis=1)
經過清洗之后的資料格式如下：
df.head()
03 資料可視化分析
我們使用pyecharts和stylecloud進行可視化分析，此處只展示部分代碼，
#如果去擺地攤該做什么生意? def get_cut_words(content_series): # 讀入停用詞表 stop_words = [] with open("stop_words.txt", 'r', encoding='utf-8') as f: lines = f.readlines() for line in lines: stop_words.append(line.strip()) # 添加關鍵詞 my_words = ['胸口碎大石', '烤冷面', '貼膜', '賣衣服', '套大鵝'] for i in my_words: jieba.add_word(i) # 定義停用詞 my_stop_words = ['信公號', '擺地攤', '擺攤', '地攤', '哈哈哈哈', '手機', '這是', '這是哪', '哈哈哈', '真的', '一千', '專業', '有人', '我要', '那種', '只能', '好吃', '喜歡', '城管', '評論', '賣點', '有沒有', '秘籍', ] stop_words.extend(my_stop_words) # 分詞 word_num = jieba.lcut(content_series.str.cat(sep='，'), cut_all=False) # 條件篩選 word_num_selected = [i for i in word_num if i not in stop_words and len(i)>=2] return word_num_selected # 分詞 text = get_cut_words(content_series=df.text) # 獲取top10 shengyi_num = pd.Series(text) num_top10 = shengyi_num.value_counts()[:10] # 條形圖 bar1 = Bar(init_opts=opts.InitOpts(width='1350px', height='750px')) bar1.add_xaxis(num_top10.index.tolist()) bar1.add_yaxis('', num_top10.values.tolist()) bar1.set_global_opts(title_opts=opts.TitleOpts(title='如果去擺地攤該做什么生意-Top10'), visualmap_opts=opts.VisualMapOpts(max_=150) ) bar1.render() # 繪制詞云圖 stylecloud.gen_stylecloud(text=' '.join(text), collocations=False, font_path=r'?C:\Windows\Fonts\msyh.ttc', # 更換為本機的字體 icon_name='fas fa-pie-chart', size=768, output_name='如果去擺地攤該做什么生意.png') Image(filename='如果去擺地攤該做什么生意.png')
轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/137694.html
標籤：Python
上一篇：PIL 字體居中顯示
下一篇：Python--裝飾器