NBA球員資訊盤點(資料分析)

1.資料抓取

1.1使用工具及爬取內容介紹

使用了python的自動化框架selenium進行動態爬取，Selenium是一個用于Web應用程式自動化測驗工具，Selenium測驗直接運行在瀏覽器中，就像真正的用戶在操作一樣，支持的瀏覽器包括IE（7, 8, 9, 10, 11），Mozilla Firefox，Safari，Google Chrome，Opera等，
主要功能包括：測驗與瀏覽器的兼容性——測驗你的應用程式看是否能夠很好得作業在不同瀏覽器和作業系統之上，
測驗系統功能——創建回歸測驗檢驗軟體功能和用戶需求，支持自動錄制動作和自動生成 .Net、Java、Perl等不同語言的測驗腳本，

本次爬取的網址是騰訊網的NBA欄目，爬取的內容是NBA球員的比賽資訊以及熱點新聞，爬取完成后將資料保存到csv檔案中以便分析讀取，后續會通過生成圖表圖形的方式來展示具體爬取的內容，

1.2爬蟲的步驟

爬取的步驟為：確定爬取的內容、對主頁面決議、子頁面的獲取、子頁面的決議、資料的保存，我爬取的網站暫未發現反爬蟲機制，所以本次不做反爬蟲措施，
先找到要爬取的頁面，通過決議主頁面的標簽找到進入子頁面的鏈接，然后在子頁面找到要爬取的資訊對應的標簽
分析頁面：

可以看到要爬取的資訊都會在對應的標簽或者對應的class下，因此我們可以根據選擇進行爬取，

獲取頁面所用的代碼：

from selenium import webdriver
browser = webdriver.Chrome('D:/chromedriver.exe')
browser.get('https://sports.qq.com/nba/')

2.資料存盤

2.1寫入csv

爬取到所需的資料之后，需要對資料進行處理，本文使用了寫入csv和寫入txt的方法來保存資料，

    with open("NBA.csv","w",newline="") as csvfile:
    	writer = csv.writer(csvfile)
    	writer.writerow(["排名","球員","球隊","得分","出手數","命中率","3分出手","3分命中率","罰球次數","罰球命中率","籃板","前場籃板","后場籃板","助攻","搶斷","蓋帽","失誤","犯規","場次","上場時間"])

由于第一次寫入的是每一列的列名，所以使用了兩次with open的方法，第二次開始回圈寫入每一行的資訊，

    	#要爬取的內容
    	input4_players=browser4.find_element_by_class_name('content')
    	input4_players2=input4_players.find_elements_by_css_selector('li')
    	for j in range(len(input4_players2)):
    		paiming=input4_players2[j].find_element_by_class_name('paiming').text
    		qiuyuan=input4_players2[j].find_element_by_class_name('qiuyuan').text
    		qiudui=input4_players2[j].find_element_by_class_name('qiudui').text
    		defen=input4_players2[j].find_element_by_class_name('defen').text
    		chushou=input4_players2[j].find_element_by_class_name('chushou').text
    		mingzhong=input4_players2[j].find_element_by_class_name('mingzhong').text
    		chushou3=input4_players2[j].find_element_by_class_name('chushou3').text
    		mingzhong3=input4_players2[j].find_element_by_class_name('mingzhong3').text
    		faci=input4_players2[j].find_element_by_class_name('faci').text
    		falv=input4_players2[j].find_element_by_class_name('falv').text
    		lanban=input4_players2[j].find_element_by_class_name('lanban').text
    		qlanban=input4_players2[j].find_element_by_class_name('qlanban').text
    		hlanban=input4_players2[j].find_element_by_class_name('hlanban').text
    		zhugong=input4_players2[j].find_element_by_class_name('zhugong').text
    		qiangduan=input4_players2[j].find_element_by_class_name('qiangduan').text
    		gaimao=input4_players2[j].find_element_by_class_name('gaimao').text
    		shiwu=input4_players2[j].find_element_by_class_name('shiwu').text
    		fangui=input4_players2[j].find_element_by_class_name('fangui').text
    		changci=input4_players2[j].find_element_by_class_name('changci').text
    		shangchang=input4_players2[j].find_element_by_class_name('shangchang').text
    		with open("NBA.csv","a+",newline="") as csvfile:
    			writer = csv.writer(csvfile)
    			writer.writerow([paiming,qiuyuan,qiudui,defen,chushou,mingzhong,chushou3,mingzhong3,faci,falv,lanban,qlanban,hlanban,zhugong,qiangduan,gaimao,shiwu,fangui,changci,shangchang])

2.2寫入txt

txt檔案用于保存爬取到的NBA熱點新聞，以便后續生成詞云，

    #寫入txt檔案
        with open("NBA_news.txt", "a+", encoding='utf-8') as f:
            f.write(input3_news_title.text)
            for j in range(len(input3_news2)):
            	f.write(input3_news2[j].text)

3.資料分析及可視化

3.1NBA球員身高區間

對NBA球員的身高區間進行分析，讓我們更直觀了解到NBA球員的身高
第一步先對NBA球員的身高區間進行劃分
NBA球員基礎資訊如下:

將身高劃分為180(cm)以下、180-190(cm)、190-200(cm)、200(cm)以上四個區間

import pandas as pd
df = pd.read_csv(r'C:\Users\Desktop\NBA_PLAYERS_HEIGHT.csv')
#身高小于180cm的球員總數
len(df[df['身高']<=180])
#身高在180cm-190cm之間的球員總數
len(df[(df['身高'] >180 ) & (df['身高'] <=190)])
#身高在190cm-200cm之間的球員總數
len(df[(df['身高'] >190 ) & (df['身高'] <=200)])
#身高在200cm以上的球員總數
len(df[df['身高'] >= 200])

使用matplotlib庫進行可視化：

3.2NBA球員場上位置分布

對NBA球員在場上的位置分布進行分析
分別有后衛、前鋒、中鋒、后衛-前鋒、前鋒-中鋒五個位置
使用matplotlib庫進行可視化：

3.3NBA球員得分分析

觀察NBA球員得分與出手數的關系

import numpy as np 
from matplotlib import pyplot as plt 
import pandas as pd

df = pd.read_csv(r'C:\Users\pzj\Desktop\NBA_PLAYERS.csv')
x = df['得分']
y = df['出手數']
plt.title("得分-出手數") 
plt.xlabel("得分") 
plt.ylabel("出手數") 
plt.plot(x,y,"ob") 
plt.savefig(r'C:\Users\pzj\Desktop\NBAPICS3.jpg')
plt.show()

使用散點圖直觀顯示：

觀察NBA球員得分與上場時間的關系：
使用散點圖直觀顯示：

觀察NBA球員罰球數與罰球命中率的關系：

觀察NBA球員三分出手數和三分命中率的關系：

觀察NBA球員搶斷數與失誤數的關系：

3.4計算上場時間與場次

圖1 場次

圖2 上場時間

3.5NBA熱點新聞

爬取NBA新聞的原始碼：

#爬取NBA欄目新聞板塊
def NBA_NEWS():
#在首頁中找到NBA欄目新聞板塊所在位置(在class為'nav-a=tl'的串列中第三個)
    input_news= browser.find_elements_by_class_name('nav-a-tl')[3]
    print(input_news.text)
    browser2=webdriver.Chrome('D:/chromedriver.exe')
#通過剛找到的新聞板塊位置找到進入新聞板塊首頁的鏈接
    browser2.get(input_news.get_attribute('href'))
#在新聞板塊首頁中找到進入具體每一條新聞所對應的class(一個串列)
    input2_news= browser2.find_elements_by_class_name('picture')
    browser3=webdriver.Chrome('D:/chromedriver.exe')
    #爬取所有新聞
    for i in range(len(input2_news)):
        browser3.get(input2_news[i].get_attribute('href'))
    #獲取新聞內容
        input3_news=browser3.find_element_by_class_name('content-article')
        input3_news2=input3_news.find_elements_by_css_selector('p')
    #獲取新聞標題
        input3_news_title=browser3.find_element_by_class_name('LEFT')
    #寫入txt檔案
        with open("NBA_news.txt", "a+", encoding='utf-8') as f:
            f.write(input3_news_title.text)
            for j in range(len(input3_news2)):
            	f.write(input3_news2[j].text)
            print(input3_news_title.text)
    browser3.close()
    browser2.close()

爬取成功后保存在一個txt檔案中
txt檔案：

通過詞云將關鍵詞整合出來

以上就是關于NBA球員資訊盤點的全部內容，如果對內容感興趣，歡迎在下方評論點贊，您的支持是對作者最大的動力，如果覺得本文中有不足歡迎大家指點出來，后續可能會添加更多新內容！