一、網站分析

貼吧的翻頁通過url的變化來實作，主要是pn引數:

https://tieba.baidu.com/f?kw=明星&ie=utf-8&pn=頁數*50

帖子的內容、發帖者及跟帖數量都可以在網頁中找到：

所以，我們只需要用requests模擬請求獲得，再用bs4決議就可以獲得想要的內容了

二、python編程實作

1.爬取資料

用了靜態網頁爬蟲的老套路，根據網頁原始碼的特點，用find_all函式提取了帖子、發帖人及跟帖數量等資訊，并將3類資訊放入串列中，最終生成1個二維串列result，主要為了方便存入資料庫，代碼如下：

for t in range(250):
    print('第{0}頁'.format(t+1))
    url='https://tieba.baidu.com/f?kw=明星&ie=utf-8&pn={0}'.format(t*50)
    header = {
        'User-Agent': 'Mozilla/5.0(Windows NT 6.1; Win64; x64; rv:69.0) Gecko/20100101 Firefox/69.0'
    }
    response = requests.get(url, header)
    soup = BeautifulSoup(response.text, 'html.parser')
    items_content = soup.find_all('a', class_='j_th_tit')  #內容
    items_user = soup.find_all('span', class_='tb_icon_author') #昵稱
    items_comment = soup.find_all(class_='threadlist_rep_num center_text')  #跟帖數量
    for i, j, k in zip(items_content, items_user, items_comment):
        result.append([i.get('title'), j.get('title')[5:], k.text])
    time.sleep(1)

2.存入資料庫

先創建1個新表，命名為‘STAR’，然后再創建3列，分別命名為“title”、‘author’和‘num’，用于存放1中怕的內容，最后將二維串列result中的內容存入資料庫：

conn=pymysql.connect(
    host='127.0.0.1',
    port=3306,
    user='root',
    password='資料庫密碼',
    db='test1',
    charset='utf8mb4'
)
cur = conn.cursor()
#如果存在TIEBA表，則洗掉
cur.execute("DROP STAR IF EXISTS STAR")
#創建TIEBA表
sql = """
    create table STAR(
    title char(255),
    author char(100),
    num char(20))
"""
cur.execute(sql)
for i in result:
    cur.execute("INSERT INTO STAR(title,author,num) VALUES ('{0}','{1}','{2}')".
                format(i[0].replace('\'','').replace('\"','').replace('\\',''), i[1], i[2]))
conn.commit()

由于帖子內容中存在表情等符號，所以選擇用'utf8mb4'這樣就可以把表情也存入資料庫了，但是還有一些標點符號在寫入程序會出錯，所以用replace給替換掉了，

總共爬了250頁資料，最后的結果如下：

總共爬了1萬3千多條資料，基本把最近兩年的帖子都爬完了，

三、可視化展示

用create_engine模塊讀取資料庫表中的內容，代碼如下：

import pandas as pd
from sqlalchemy importcreate_engine
# 初始化資料庫連接，使用create_engine模塊
engine =create_engine('mysql+pymysql://root:密碼@127.0.0.1:3306/test1')
# 查詢陳述句，選出STAR表中的所有資料
sql = ''' select *from STAR; '''
# read_sql_query的兩個引數: sql陳述句， 資料庫連接
df =pd.read_sql_query(sql, engine)
# 輸出STAR表的查詢結果
df['num']=[int(i) for i in list(df['num'])]
df=df.drop_duplicates(subset=['title','author','num'], keep='first')

因為跟帖數量是以字符格式存入的，所以先將其轉為整數，再用drop_duplicates模塊對資料進行去重，這樣就把資料整理完畢了，

上萬條資料放在你面前，用肉眼是看不出什么名堂的，所以我這里選擇了幾個角度，用python統計分析這個貼吧里到底隱藏著什么秘密

1.找出發帖數量最多的20個人

說簡單點就是創建1個空字典，然后把df['author']轉成串列，統計串列中元素個數，將元素及個數存入字典中，再對字典進行排序，將前十個畫成柱狀圖，代碼如下：

#發帖數量排名
rank_num={}
for i in list(set(list(df['author']))):
    rank_num[i.replace(' ', '')] = list(df['author']).count(i)
rank_num = sorted(rank_num.items(), key=lambda x: x[1], reverse=True)
bar = Bar("柱狀圖", "發帖數量-昵稱")
bar.add("發帖數量-昵稱", [i[0] for i in rank_num[:10]], [i[1] for i in rank_num[:10]],
        xaxis_rotate=45, mark_line=["average"], mark_point=["max", "min"])
bar.render('發帖數量-昵稱.html')

結果如下：

這個獵頭發帖有點猛啊，單人最高發了751個，真厲害，

2.找出跟帖數最多的20個帖子

dff=df.sort_values(by='num', ascending=False).head(10)
bar = Bar('跟帖數量排名',width=1000,height=400)
bar.use_theme('dark')
bar.add('' ,dff['title'][::-1], dff['num'][::-1], is_convert=True, is_yaxis_inverse=False, xaxis_rotate=45,is_label_show=True,label_pos='right')
bar.render("跟帖數量排名.html")

結果如下：

跟帖最多的竟然是個水貼，數量高達73459次

3.制作所有帖子的詞云圖

先把所有帖子連接成字符，用jieba進行分詞，插入背景圖片，代碼如下：

import matplotlib.pyplot as plt
import jieba
from wordcloud importwordcloud
text=''
for i in list(df['title']):
    text+=i
print(text)
cut_text = jieba.cut(text)
result=[]
for i in cut_text:
    result.append(i)
result = " ".join(result)
wc = wordcloud.WordCloud(
    font_path='C:\Windows\Fonts\FZBWKSJW.TTF',  # 字體路徑
    background_color='white',  # 背景顏色
    width=1000,
    height=600,
    max_font_size=1000,  # 字體大小
    min_font_size=10,
    mask=plt.imread('水滴.jpg'),  # 背景圖片
    max_words=100000)
wc.generate(result)
wc.to_file('result.png')  # 圖片保存

效果如下：

看了這張詞云圖，可以確定貼吧基本已經被獵頭占領了，連肖戰、李現等流量小生都被壓下去了，

轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/109006.html

標籤：Python

上一篇：第004講：改進我們的小游戲

下一篇：apktool的下載,安裝,反編譯和重新打包

python深挖65萬人的明星貼吧，探究上萬個帖子的秘密

一、網站分析

二、python編程實作

三、可視化展示