主頁 > 後端開發 > 手把手教你使用Python抓取QQ音樂資料(第四彈)

手把手教你使用Python抓取QQ音樂資料(第四彈)

2020-09-21 16:31:37 後端開發

【一、專案目標】

通過手把手教你使用Python抓取QQ音樂資料(第一彈)我們實作了獲取 QQ 音樂指定歌手單曲排行指定頁數的歌曲的歌名、專輯名、播放鏈接,

通過手把手教你使用Python抓取QQ音樂資料(第二彈)我們實作了獲取 QQ 音樂指定歌曲的歌詞和指定歌曲首頁熱評,

通過手把手教你使用Python抓取QQ音樂資料(第三彈)我們實作了獲取更多評論并生成詞云圖,

此次我們將將三個專案封裝在一起,通過選單控制爬取不同資料,

【二、需要的庫】

主要涉及的庫有:requests、openpyxl、html、json、wordcloud、jieba

如需更換詞云圖背景圖片還需要numpy庫和PIL庫(pipinstall pillow)

如需生成.exe需要pyinstaller -F

【三、專案實作】

1.首先確定選單,要實作哪些功能:

①獲取指定歌手的歌曲資訊(歌名、專輯、鏈接)

②獲取指定歌曲歌詞

③獲取指定歌曲評論

④生成詞云圖

⑤退出系統

代碼如下:

class QQ():

def menu(self):

print('歡迎使用QQ音樂爬蟲系統,以下是功能選單,請選擇,\n')

while True:

try:

print('功能選單\n1.獲取指定歌手的歌曲資訊\n2.獲取指定歌曲歌詞\n3.獲取指定歌曲評論\n4.生成詞云圖\n5.退出系統\n')

choice = int(input('請輸入數字選擇對應的功能:'))

if choice == 1:

self.get_info()

elif choice == 2:

self.get_id()

self.get_lyric()

elif choice == 3:

self.get_id()

self.get_comment()

elif choice == 4:

self.wordcloud()

elif choice == 5:

print('感謝使用!')

break

else:

print('輸入錯誤,請重新輸入,\n')

except:

print('輸入錯誤,請重新輸入,\n')

第一行創建類,第二行定義選單函式,這里用了類的實體化,里面所有函式的第一個引數都是self,我認為實體化更方便傳引數;

whiletrue使選單無限回圈;

Try...except...使回圈不會因報錯而退出;

其他代碼為設定輸入不同數字對應打開不同函式,

2.封裝專案(一)為get_info()

代碼如下:

def get_info(self):

wb=openpyxl.Workbook()

/#創建作業薄

sheet=wb.active

/#獲取作業薄的活動表

sheet.title='song'

/#作業表重命名

sheet['A1'] ='歌曲名' /#加表頭,給A1單元格賦值

sheet['B1'] ='所屬專輯' /#加表頭,給B1單元格賦值

sheet['C1'] ='播放鏈接' /#加表頭,給C1單元格賦值

url = 'https://c.y.qq.com/soso/fcgi-bin/client_search_cp'

name = input('請輸入要查詢的歌手姓名:')

page = int(input('請輸入需要查詢的歌曲頁數:'))

for x in range(page):

params = {

'ct':'24',

'qqmusic_ver': '1298',

'new_json':'1',

'remoteplace':'sizer.yqq.song_next',

'searchid':'64405487069162918',

't':'0',

'aggr':'1',

'cr':'1',

'catZhida':'1',

'lossless':'0',

'flag_qc':'0',

'p':str(x+1),

'n':'20',

'w':name,

'g_tk':'5381',

'loginUin':'0',

'hostUin':'0',

'format':'json',

'inCharset':'utf8',

'outCharset':'utf-8',

'notice':'0',

'platform':'yqq.json',

'needNewCode':'0'

}

res = requests.get(url,params=params)

json = res.json()

list = json['data']['song']['list']

for music in list:

song_name = music['name']

/# 查找歌曲名,把歌曲名賦值給song_name

album = music['album']['name']

/# 查找專輯名,把專輯名賦給album

link = 'https://y.qq.com/n/yqq/song/' + str(music['mid']) + '.html\n\n'

/# 查找播放鏈接,把鏈接賦值給link

sheet.append([song_name,album,link])

/# 把name、album和link寫成串列,用append函式多行寫入Excel

wb.save(name+'個人單曲排行前'+str(page/*20)+'清單.xlsx')

/#最后保存并命名這個Excel檔案

print('下載成功!\n')

3.封裝專案(二)為get_id()和get_lyric

代碼如下:

def get_id(self):

self.i = input('請輸入歌曲名:')

url_1 = 'https://c.y.qq.com/soso/fcgi-bin/client_search_cp'

/# 這是請求歌曲評論的url

headers = {'user-agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'}

params = {'ct': '24', 'qqmusic_ver': '1298', 'new_json': '1', 'remoteplace': 'txt.yqq.song', 'searchid': '71600317520820180', 't': '0', 'aggr': '1', 'cr': '1', 'catZhida': '1', 'lossless': '0', 'flag_qc': '0', 'p': '1', 'n': '10', 'w': self.i, 'g_tk': '5381', 'loginUin': '0', 'hostUin': '0', 'format': 'json', 'inCharset': 'utf8', 'outCharset': 'utf-8', 'notice': '0', 'platform': 'yqq.json', 'needNewCode': '0'}

res_music = requests.get(url_1,headers=headers,params=params)

json_music = res_music.json()

self.id = json_music['data']['song']['list'][0]['id']

/# print(self.id)

def get_lyric(self):

url_2 = 'https://c.y.qq.com/lyric/fcgi-bin/fcg_query_lyric_yqq.fcg'

/# 這是請求歌曲評論的url

headers = {

'origin':'https://y.qq.com',

'referer':'https://y.qq.com/n/yqq/song/001qvvgF38HVc4.html',

'user-agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'}

params = {

'nobase64':'1',

'musicid':self.id,

'-':'jsonp1',

'g_tk':'5381',

'loginUin':'0',

'hostUin':'0',

'format':'json',

'inCharset':'utf8',

'outCharset':'utf-8',

'notice':'0',

'platform':'yqq.json',

'needNewCode':'0',

}

res_music = requests.get(url_2,headers=headers,params=params)

js_1 = res_music.json()

lyric = js_1['lyric']

lyric_html = html.unescape(lyric) /#用了轉義字符html.unescape方法

/# print(lyric_html)

f1 = open(self.i+'歌詞.txt','a',encoding='utf-8') /#存盤到txt中

f1.writelines(lyric_html)

f1.close()

print('下載成功!\n')

這里特別說一下下載歌詞的headers里必須加上’origin’和’referer’,要不爬下來資料,

4.封裝專案(三)為get_comment()和wordcloud()

代碼如下:

def get_comment(self):

page = input('請輸入要下載的評論頁數:')

url_3 = 'https://c.y.qq.com/base/fcgi-bin/fcg_global_comment_h5.fcg'

headers = {'user-agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'}

f2 = open(self.i+'評論.txt','a',encoding='utf-8') /#存盤到txt中

for n in range(int(page)):

params = {'g_tk_new_20200303': '5381', 'g_tk': '5381', 'loginUin': '0', 'hostUin': '0', 'format': 'json', 'inCharset': 'utf8', 'outCharset': 'GB2312', 'notice': '0', 'platform': 'yqq.json', 'needNewCode': '0', 'cid': '205360772', 'reqtype': '2', 'biztype': '1', 'topid': self.id, 'cmd': '6', 'needmusiccrit': '0', 'pagenum':n, 'pagesize': '15', 'lasthotcommentid':'', 'domain': 'qq.com', 'ct': '24', 'cv': '10101010'}

res_music = requests.get(url_3,headers=headers,params=params)

js_2 = res_music.json()

comments = js_2['comment']['commentlist']

for i in comments:

comment = i['rootcommentcontent'] + '\n——————————————————————————————————\n'

f2.writelines(comment)

/# print(comment)

f2.close()

print('下載成功!\n')

def wordcloud(self):

self.name = input('請輸入要生成詞云圖的檔案名稱:')

def cut(text):

wordlist_jieba=jieba.cut(text)

space_wordlist=" ".join(wordlist_jieba)

return space_wordlist

with open(self.name+".txt" ,encoding="utf-8")as file:

text=file.read()

text=cut(text)

mask_pic=numpy.array(Image.open("心.png"))

wordcloud = WordCloud(font_path="C:/Windows/Fonts/simfang.ttf",

collocations=False,

max_words= 100,

min_font_size=10,

max_font_size=500,

mask=mask_pic).generate(text)

wordcloud.to_file(self.name+'云詞圖.png') /# 把詞云保存下來

print('生成成功!\n')

5.最后類的實體化

qq = QQ()

qq.menu()

6.效果展示

  1. 打包成.exe

用pyinstaller -F打包,運行會報錯、閃退,

看上圖報錯資訊應該和詞云圖有關,注釋掉詞云圖所需的庫,def wordcloud()按下圖修改可正常打包,但是就沒有生成詞云圖的功能了:

下載歌詞或評論時,如有重名的歌曲,可在歌曲前面加上歌手姓名,如上圖的“鄧紫棋泡沫”,

【四、總結】

1.專案四對前三個專案進行了復習,在鞏固了爬蟲知識點的同時又復習了類的相關用法;

2.前三個專案可自行戳;文章進行學習:手把手教你使用Python抓取QQ音樂資料(第一彈)、手把手教你使用Python抓取QQ音樂資料(第二彈)、手把手教你使用Python抓取QQ音樂資料(第三彈),

3.感謝觀看,寫百行以上的代碼是不是輕輕松松呢,祝小伙伴們學業有成,作業順利!

4.如果需要本文原始碼的話,請在公眾號后臺回復“QQ音樂”四個字進行獲取,覺得不錯,記得給個star噢,

看完本文有識訓?請轉發分享給更多的人

IT共享之家

入群請在微信后臺回復【入群】


想學習更多Python網路爬蟲與資料挖掘知識,可前往專業網站:http://pdcfighting.com/

轉載請註明出處,本文鏈接:https://www.uj5u.com/houduan/98268.html

標籤:Python

上一篇:python中的float除法和整除法

下一篇:steam夏日促銷悄然開始,用Python爬取排行榜上的游戲打折資訊

標籤雲
其他(157675) Python(38076) JavaScript(25376) Java(17977) C(15215) 區塊鏈(8255) C#(7972) AI(7469) 爪哇(7425) MySQL(7132) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5869) 数组(5741) R(5409) Linux(5327) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4554) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2429) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) 功能(1967) .NET技术(1958) Web開發(1951) python-3.x(1918) HtmlCss(1915) 弹簧靴(1913) C++(1909) xml(1889) PostgreSQL(1872) .NETCore(1853) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • 【C++】Microsoft C++、C 和匯編程式檔案

    ......

    uj5u.com 2020-09-10 00:57:23 more
  • 例外宣告

    相比于斷言適用于排除邏輯上不可能存在的狀態,例外通常是用于邏輯上可能發生的錯誤。 例外宣告 Item 1:當函式不可能拋出例外或不能接受拋出例外時,使用noexcept 理由 如果不打算拋出例外的話,程式就會認為無法處理這種錯誤,并且應當盡早終止,如此可以有效地阻止例外的傳播與擴散。 示例 //不可 ......

    uj5u.com 2020-09-10 00:57:27 more
  • Codeforces 1400E Clear the Multiset(貪心 + 分治)

    鏈接:https://codeforces.com/problemset/problem/1400/E 來源:Codeforces 思路:給你一個陣列,現在你可以進行兩種操作,操作1:將一段沒有 0 的區間進行減一的操作,操作2:將 i 位置上的元素歸零。最終問:將這個陣列的全部元素歸零后操作的最少 ......

    uj5u.com 2020-09-10 00:57:30 more
  • UVA11610 【Reverse Prime】

    本人看到此題沒有翻譯,就附帶了一個自己的翻譯版本 思考 這一題,它的第一個要求是找出所有 $7$ 位反向質數及其質因數的個數。 我們應該需要質數篩篩選1~$10^{7}$的所有數,這里就不慢慢介紹了。但是,重讀題,我們突然發現反向質數都是 $7$ 位,而將它反過來后的數字卻是 $6$ 位數,這就說明 ......

    uj5u.com 2020-09-10 00:57:36 more
  • 統計區間素數數量

    1 #pragma GCC optimize(2) 2 #include <bits/stdc++.h> 3 using namespace std; 4 bool isprime[1000000010]; 5 vector<int> prime; 6 inline int getlist(int ......

    uj5u.com 2020-09-10 00:57:47 more
  • C/C++編程筆記:C++中的 const 變數詳解,教你正確認識const用法

    1、C中的const 1、區域const變數存放在堆疊區中,會分配記憶體(也就是說可以通過地址間接修改變數的值)。測驗代碼如下: 運行結果: 2、全域const變數存放在只讀資料段(不能通過地址修改,會發生寫入錯誤), 默認為外部聯編,可以給其他源檔案使用(需要用extern關鍵字修飾) 運行結果: ......

    uj5u.com 2020-09-10 00:58:04 more
  • 【C++犯錯記錄】VS2019 MFC添加資源不懂如何修改資源宏ID

    1. 首先在資源視圖中,添加資源 2. 點擊新添加的資源,復制自動生成的ID 3. 在解決方案資源管理器中找到Resource.h檔案,編輯,使用整個專案搜索和替換的方式快速替換 宏宣告 4. Ctrl+Shift+F 全域搜索,點擊查找全部,然后逐個替換 5. 為什么使用搜索替換而不使用屬性視窗直 ......

    uj5u.com 2020-09-10 00:59:11 more
  • 【C++犯錯記錄】VS2019 MFC不懂的批量添加資源

    1. 打開資源頭檔案Resource.h,在其中預先定義好宏 ID(不清楚其實ID值應該設定多少,可以先新建一個相同的資源項,再在這個資源的ID值的基礎上遞增即可) 2. 在資源視圖中選中專案資源,按F7編輯資源檔案,按 ID 型別 相對路徑的形式添加 資源。(別忘了先把檔案拷貝到專案中的res檔案 ......

    uj5u.com 2020-09-10 01:00:19 more
  • C/C++編程筆記:關于C++的參考型別,專供新手入門使用

    今天要講的是C++中我最喜歡的一個用法——參考,也叫別名。 參考就是給一個變數名取一個變數名,方便我們間接地使用這個變數。我們可以給一個變數創建N個參考,這N + 1個變數共享了同一塊記憶體區域。(參考型別的變數會占用記憶體空間,占用的記憶體空間的大小和指標型別的大小是相同的。雖然參考是一個物件的別名,但 ......

    uj5u.com 2020-09-10 01:00:22 more
  • 【C/C++編程筆記】從頭開始學習C ++:初學者完整指南

    眾所周知,C ++的學習曲線陡峭,但是花時間學習這種語言將為您的職業帶來奇跡,并使您與其他開發人員區分開。您會更輕松地學習新語言,形成真正的解決問題的技能,并在編程的基礎上打下堅實的基礎。 C ++將幫助您養成良好的編程習慣(即清晰一致的編碼風格,在撰寫代碼時注釋代碼,并限制類內部的可見性),并且由 ......

    uj5u.com 2020-09-10 01:00:41 more
最新发布
  • Rust中的智能指標:Box<T> Rc<T> Arc<T> Cell<T> RefCell<T> Weak

    Rust中的智能指標是什么 智能指標(smart pointers)是一類資料結構,是擁有資料所有權和額外功能的指標。是指標的進一步發展 指標(pointer)是一個包含記憶體地址的變數的通用概念。這個地址參考,或 ” 指向”(points at)一些其 他資料 。參考以 & 符號為標志并借用了他們所 ......

    uj5u.com 2023-04-20 07:24:10 more
  • Java的值傳遞和參考傳遞

    值傳遞不會改變本身,參考傳遞(如果傳遞的值需要實體化到堆里)如果發生修改了會改變本身。 1.基本資料型別都是值傳遞 package com.example.basic; public class Test { public static void main(String[] args) { int ......

    uj5u.com 2023-04-20 07:24:04 more
  • [2]SpinalHDL教程——Scala簡單入門

    第一個 Scala 程式 shell里面輸入 $ scala scala> 1 + 1 res0: Int = 2 scala> println("Hello World!") Hello World! 檔案形式 object HelloWorld { /* 這是我的第一個 Scala 程式 * 以 ......

    uj5u.com 2023-04-20 07:23:58 more
  • 理解函式指標和回呼函式

    理解 函式指標 指向函式的指標。比如: 理解函式指標的偽代碼 void (*p)(int type, char *data); // 定義一個函式指標p void func(int type, char *data); // 宣告一個函式func p = func; // 將指標p指向函式func ......

    uj5u.com 2023-04-20 07:23:52 more
  • Django筆記二十五之資料庫函式之日期函式

    本文首發于公眾號:Hunter后端 原文鏈接:Django筆記二十五之資料庫函式之日期函式 日期函式主要介紹兩個大類,Extract() 和 Trunc() Extract() 函式作用是提取日期,比如我們可以提取一個日期欄位的年份,月份,日等資料 Trunc() 的作用則是截取,比如 2022-0 ......

    uj5u.com 2023-04-20 07:23:45 more
  • 一天吃透JVM面試八股文

    什么是JVM? JVM,全稱Java Virtual Machine(Java虛擬機),是通過在實際的計算機上仿真模擬各種計算機功能來實作的。由一套位元組碼指令集、一組暫存器、一個堆疊、一個垃圾回收堆和一個存盤方法域等組成。JVM屏蔽了與作業系統平臺相關的資訊,使得Java程式只需要生成在Java虛擬機 ......

    uj5u.com 2023-04-20 07:23:31 more
  • 使用Java接入小程式訂閱訊息!

    更新完微信服務號的模板訊息之后,我又趕緊把微信小程式的訂閱訊息給實作了!之前我一直以為微信小程式也是要企業才能申請,沒想到小程式個人就能申請。 訊息推送平臺🔥推送下發【郵件】【短信】【微信服務號】【微信小程式】【企業微信】【釘釘】等訊息型別。 https://gitee.com/zhongfuch ......

    uj5u.com 2023-04-20 07:22:59 more
  • java -- 緩沖流、轉換流、序列化流

    緩沖流 緩沖流, 也叫高效流, 按照資料型別分類: 位元組緩沖流:BufferedInputStream,BufferedOutputStream 字符緩沖流:BufferedReader,BufferedWriter 緩沖流的基本原理,是在創建流物件時,會創建一個內置的默認大小的緩沖區陣列,通過緩沖 ......

    uj5u.com 2023-04-20 07:22:49 more
  • Java-SpringBoot-Range請求頭設定實作視頻分段傳輸

    老實說,人太懶了,現在基本都不喜歡寫筆記了,但是網上有關Range請求頭的文章都太水了 下面是抄的一段StackOverflow的代碼...自己大修改過的,寫的注釋挺全的,應該直接看得懂,就不解釋了 寫的不好...只是希望能給視頻網站開發的新手一點點幫助吧. 業務場景:視頻分段傳輸、視頻多段傳輸(理 ......

    uj5u.com 2023-04-20 07:22:42 more
  • Windows 10開發教程_編程入門自學教程_菜鳥教程-免費教程分享

    教程簡介 Windows 10開發入門教程 - 從簡單的步驟了解Windows 10開發,從基本到高級概念,包括簡介,UWP,第一個應用程式,商店,XAML控制元件,資料系結,XAML性能,自適應設計,自適應UI,自適應代碼,檔案管理,SQLite資料庫,應用程式到應用程式通信,應用程式本地化,應用程式 ......

    uj5u.com 2023-04-20 07:22:35 more