我要偷偷的學Python，然后驚呆所有人（第十天）

前言

前期回顧：我要偷偷學Python（第九天）

依舊是這段啊

本系列文默認各位有一定的C或C++基礎，因為我是學了點C++的皮毛之后入手的Python，這里也要感謝齊鋒學長送來的支持，
本系列文默認各位會百度，學習‘模塊’這個模塊的話，還是建議大家有自己的編輯器和編譯器的，上一篇已經給大家做了推薦啦？

我要的不多，點個關注就好啦
然后呢，本系列的目錄嘛，說實話我個人比較傾向于那兩本 Primer Plus，所以就跟著它們的目錄結構吧，

本系列也會著重培養各位的自主動手能力，畢竟我不可能把所有知識點都給你講到，所以自己解決需求的能力就尤為重要，所以我在文中埋得坑請不要把它們看成坑，那是我留給你們的鍛煉機會，請各顯神通，自行解決，

今天干嘛呢？是不是以為我要寫小餅干了？非也非也，前天踢到鋼板了，爬下來一堆亂碼，當晚我就去請教了我樂哥（某創業公司老板，扛把子），樂哥果然牛逼，三兩下就解決了我抓耳撓腮一下午沒解決的問題：用正則運算式，

很多時候吧，并不是你能力不行，就是因為你沒那個見地，沒那個眼界而已，
所以要多向不同領域的，見多識廣的學長學姐、老師、長輩們請教，

所以，這里還是要說一下我們這個學習群啊，昨天四百多人，今天五百多了啊，我緊急擴建了一下，現在是兩千人群了，來吧，和大家一起學習，別的不敢保證，反正推銷狗直接踢，不留情面：

歡迎來到我們的圈子

我建了一個Python學習答疑群，有興趣的朋友可以了解一下：這是個什么群

群里已經有四百多個小伙伴了哦！！！

直通群的傳送門：傳送門

上次有個大朋友說點傳送門直接傳送到了應用寶，，，
各位要先看一下自己有沒有安裝QQ哦

小爬蟲踢到鋼板了

事情的經過是這樣的，昨天我的小爬蟲可憐兮兮的爬回來，看樣子是受委屈了，那我怎么能忍吶？那必須一頓操作猛如虎啊，于是我就去看到底是何方神圣，

任務需求

爬取林志炫的歌詞，哪首歌？你跟我說哪首？這點小事自己決定就好了，

需求分析

1.

首先就判斷肯定不可能給你從網頁上直接抓下來的，于是我們打開network，為什么不可能？那肯定是我失敗過了嘛，

2.

有兩個頁面能拿歌詞，
一個是還沒放歌的頁面：https://y.qq.com/n/yqq/song/001PGGQ81Xxw9l.html
另一個是歌詞播放的頁面：https://y.qq.com/portal/player.html

第二個頁面經過嘗試，效果不如第一個頁面，可以抓一下當做練習，
于是我們選用第一個頁面：

3.

此處跳過一波查找操作，具體見《第九天》

直接上結果：

import requests
import json
from bs4 import BeautifulSoup


headers = {
    'origin':'https://y.qq.com',
    # 請求來源，本案例中其實是不需要加這個引數的，只是為了演示
    'referer':'https://y.qq.com/n/yqq/song/004Z8Ihr0JIu5s.html',
    # 請求來源，攜帶的資訊比“origin”更豐富，本案例中其實是不需要加這個引數的，只是為了演示
    'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36',
    # 標記了請求從什么設備，什么瀏覽器上發出
    }
# 偽裝請求頭
#url = 'https://y.qq.com/n/yqq/song/001PGGQ81Xxw9l.html'
url = 'https://c.y.qq.com/lyric/fcgi-bin/fcg_query_lyric_yqq.fcg?nobase64=1&musicid=106678944&-=jsonp1&g_tk_new_20200303=5381&g_tk=5381&loginUin=0&hostUin=0&format=json&inCharset=utf8&outCharset=utf-8&notice=0&platform=yqq.json&needNewCode=0'
res_song = requests.get(url,headers = headers)

# 方案一
soup = BeautifulSoup(res_song.text,'html.parser')
print(soup)

#方案二

# json_res = json.loads(res_song.text)
# print(json_res['lyric'])

好極，我們來看一下這兩個方案會有什么結果：

方案一：

方案二：

那怎么辦？好在這倆玩意兒都能當字串處理，那就，正則吧，

資料型別

正則運算式

好，接下來我們來看正則運算式，

什么是正則運算式？

正則運算式(Regular Expression)是一種文本模式，包括普通字符（例如，a 到 z 之間的字母）和特殊字符（稱為"元字符"），
正則運算式使用單個字串來描述、匹配一系列匹配某個句法規則的字串，

基礎語法

普通字符

普通字符包括沒有顯式指定為元字符的所有可列印和不可列印字符，這包括所有大寫和小寫字母、所有數字、所有標點符號和一些其他符號，

演示

這個正則運算式可視化工具只給粉絲，來群里找我拿，

限定符

限定符用來指定正則運算式的一個給定組件必須要出現多少次才能滿足匹配，有 * 或 + 或 ? 或 {n} 或 {n,} 或 {n,m} 共6種，

正則運算式的限定符有：

定位符

定位符使您能夠將正則運算式固定到行首或行尾，它們還使您能夠創建這樣的正則運算式，這些正則運算式出現在一個單詞內、在一個單詞的開頭或者一個單詞的結尾，

定位符用來描述字串或單詞的邊界，^ 和 $ 分別指字串的開始與結束，\b 描述單詞的前或后邊界，\B 表示非單詞邊界，

正則運算式的定位符有：

注意：不能將限定符與定位符一起使用，由于在緊靠換行或者單詞邊界的前面或后面不能有一個以上位置，因此不允許諸如 ^* 之類的運算式，
若要匹配一行文本開始處的文本，請在正則運算式的開始使用 ^ 字符，不要將 ^ 的這種用法與中括號運算式內的用法混淆，
若要匹配一行文本的結束處的文本，請在正則運算式的結束處使用 $ 字符，

選擇

用圓括號 () 將所有選擇項括起來，相鄰的選擇項之間用 | 分隔，

python正則運算式

正則運算式是一個特殊的字符序列，它能幫助你方便的檢查一個字串是否與某種模式匹配，
Python 自1.5版本起增加了re 模塊，它提供 Perl 風格的正則運算式模式，
re 模塊使 Python 語言擁有全部的正則運算式功能，

傳送門

回頭再練練吧，還不是很熟練，，，

解決問題

今天腦殼疼，就直接放代碼吧，還有點瑕疵，比方說那個：‘詞’ 和填詞人名字應該用：分隔，‘曲’也是這樣，

import re
import requests
from bs4 import BeautifulSoup

headers = {
    'origin':'https://y.qq.com',
    # 請求來源，本案例中其實是不需要加這個引數的，只是為了演示
    'referer':'https://y.qq.com/n/yqq/song/004Z8Ihr0JIu5s.html',
    # 請求來源，攜帶的資訊比“origin”更豐富，本案例中其實是不需要加這個引數的，只是為了演示
    'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36',
    # 標記了請求從什么設備，什么瀏覽器上發出
    }
# 偽裝請求頭

url = 'https://c.y.qq.com/lyric/fcgi-bin/fcg_query_lyric_yqq.fcg?nobase64=1&musicid=106678944&-=jsonp1&g_tk_new_20200303=5381&g_tk=5381&loginUin=0&hostUin=0&format=json&inCharset=utf8&outCharset=utf-8&notice=0&platform=yqq.json&needNewCode=0'
res_song = requests.get(url,headers = headers)

# 方案一
soup = BeautifulSoup(res_song.text,'html.parser')
#print(soup.text)

pat=re.compile(r'[\u4e00-\u9fa5]+')
result=pat.findall(soup.text)
result = '\n'.join(result[5:])
print(result)