我們已經可以使用 Requests 庫對網站內容進行抓取了，對于一般的圖片資料，音頻資料，視頻資料等資料我們可以直接通過 Requests 庫對其資源的 URL 進行直接請求，但是通常情況下這些資料的 URL 都是存在于 HTML 頁面當中，如何從這些 HTML 頁面中提取出我們想要的資料呢，這時候就需要使用一些工具了，這里我們先介紹第一種從網頁中決議資料的方法, 使用正則運算式提取，

需要注意的是 , 正則運算式并不是 Python 的一部分，正則運算式是用于處理字串的強大工具，擁有自己獨特的語法以及一個獨立的處理弓擎，效率上可能不如 str 自帶的方法，但功能十分強大，得益于這一點，在提供了正則運算式的語言里，正則運算式的語法都是一樣的，區別只在于不同的編程語言實作支持的語法數量不同；但不用擔心，不被支持的語法通常是不常用的部分，如果巳經在其他語言里使用過正則運算式，只需要簡單看一看就可以上手了，就個人而言，主要用它來做一些復雜字串分析，提取想要的資訊，學習原則：夠用就行，需要的時候在深入!

1 正則運算式

正則運算式就是用某種模式去匹配一類字串的公式，主要用來描述字串匹配的工具，一句話正則運算式（ Regular expression ）是一組由字母和符號組成的特殊文本 , 它可以用來從文中找出滿足你想要的格式的句子，

在正則運算式中，匹配是最常用的一個詞語，它描述了正則運算式動作結果，給定一段文本或字串，使用正則運算式從文本或字串中查找出符合正則運算式的字串，有可能文本或字符存在不止一個部分滿足給定的正則運算式，這時每一個這樣的部分被稱為一個匹配，

1.1 正則運算式可以做什么?

正則運算式在程式設計語言中存在著廣泛的應用，特別是用來處理字串，如匹配字串、查找字串、替換字串等，可以說，正則運算式是一段文本或一個公式，它是用來描述用某種模式去匹配一類字串的公式，并且該公式具有一定的模式，正則運算式就是用某種模式去匹配一類字串的公式，主要用來描述字串匹配的工具，

? 驗證字串，即驗證給定的字串或子字串是否符合指定特征，譬如驗證是否是合法的郵件地址、驗證是否為合法的 HTTP 地址等

? 查找字串，從給定的文本中查找符合指定特征的字串，比查找回定字串更加靈活方便

? 替換字串，即把給定的字串中的符合指定特征的子字串替換為其他字串，比普通的替換更強大

? 提取字串，即從給定的字串中提取符合指定特征的子字串

1.2 正則運算式基礎 * 元字符

學習正則運算式語法，主要就是學習元字符以及它們在正則運算式背景關系中的行為，元字符

包括：普通字符、標準字符、特殊字符、限定字符 ( 又叫量詞 ) 、定位字符 ( 也叫邊界字符 ) ，下面

分別介紹不同元字符的用法，

元字符是正則運算式最核心和基本的概念，我們必須要記住的是下面這些個元字符，下表是

相關元字符的寫法和說明：

表 5.1: 常見元字符

表 5.2: 常用的反義代碼

表 5.3: 常見空白元字符

筆記: 注意用來匹配退格字符的 [\b] 元字符是一個特例：它不在類元字符 \s 的覆寫范圍內，當然也就沒有被排除在類元字符\S 的最蓋范圍外，一般很少用 ! 量詞符用來設定某個模式出現的次數，屬于必須要會的內容

表 5.4: 量詞 ( 常用限定符 )

1.3 正則運算式 * 貪婪與懶惰

當正則運算式中包含能接受重復的限定符時，通常的行為是（在使整個運算式能得到匹配的前提下）匹配盡可能多的字符，以這個運算式為例：a.*b ，它將會匹配最長的以 a 開始，以 b 結束的字串，如果用它來搜索 aabab 的話，它會匹配整個字串 aabab ，這被稱為貪婪匹配，

有時，我們更需要懶惰匹配，也就是匹配盡可能少的字符，前面給出的限定符都可以被轉化為懶惰匹配模式，只要在它后面加上一個問號? ，這樣 .*? 就意味著匹配任意數量的重復，但是在能使整個匹配成功的前提下使用最少的重復，現在看看懶惰版的例子吧：

a.*?b 匹配最短的，以 a 開始，以 b 結束的字串，如果把它應用于 aabab 的話，它會匹配 aab（第一到第三個字符）和 ab （第四到第五個字符），

表 5.5: 貪婪與懶惰

1.4 正則運算式 * 分支條件與分組

正則運算式里的分枝條件指的是有幾種規則，如果滿足其中任意一種規則都應該當成匹配，具體方法是用 | 把不同的規則分隔開，聽不明白？沒關系，看例子：

0\d{2}-\d{8} 03-7| 這個運算式能匹配兩種以連字號分隔的電話號碼：一種是三位區號， 8 位本地號 ( 如 010-12345678) ，一種是 4 位區號， 7 位本地號 (0376-2233445) ，

分組是正則運算式的一項功能 , 我們已經提到了怎么重復單個字符（直接在字符后面加上限定符就行了）；但如果想要重復多個字符又該怎么辦？你可以用小括號來指定子運算式 ( 也叫做分組) ，然后你就可以指定這個子運算式的重復次數了 . 可以理解為被小括號包含的子運算式就是一個分組, 當然也可以進行其他操作，

? 分組語法：

? (exp) ：匹配 exp, 并捕獲文本到自動命名的組里

? (?<name>exp) : 匹配 exp, 并捕獲文本到名稱為 name 的組里 , 也可以寫成 (?’name’exp)

? (?:exp) : 匹配 exp, 不捕獲匹配的文本

? (?#comment) : 這種型別的組不對正則運算式的處理產生任何影響，只是為了提供讓人閱讀注釋

1.5 正則運算式 * 后項參考

使用小括號指定一個子運算式后，匹配這個子運算式的文本可以在運算式或其它程式中作進一步的處理，默認情況下，每個分組會自動擁有一個組號，規則是：從左向右，以分組的左括號為標志，第一個出現的分組的組號為 1 ，第二個為 2 ，以此類推，

后向參考用于重復搜索前面某個分組匹配的文本，例如，\1 代表分組 1 匹配的文本，難以理解？請看示例：\b(\w+)\b\s+\1\b 可以用來匹配重復的單詞，像 go go, kitty kitty ，首先是一個單詞，也就是單詞開始處和結束處之間的多于一個的字母或數字(\b(\w+)\b) ，然后是 1 個或幾個空白符(\s+) ，最后是前面匹配的那個單詞 (\1) ，

你也可以自己指定子運算式的組名，要指定一個子運算式的組名，請使用這樣的語法：

(?<Word>\w+)( 或者把尖括號換成 ’ 也行： (?’Word’\w+)) , 這樣就把 \w+ 的組名指定為 Word 了，要反向參考這個分組捕獲的內容，你可以使用\k<Word> , 所以上一個例子也可以寫成這樣： \b(?<Word>\w+)\b\s+\k<Word>\b，

1.6 正則運算式 * 零寬斷言

零寬斷言是正則運算式的一種方法，用于查找在某些內容 ( 但并不包括這些內容 ) 之前或者之后的東西，也就是說他們像\b ( 匹配一個單詞邊界，也就是單詞和空格間的位置，正則運算式的匹配有兩種概念，一種是匹配字符，一種是匹配位置，這里的\b 就是匹配位置，例如， " er\b " 可以匹配"never" 中的 "er" ，但不能匹配 "verb" 中的 "er") ， ?( 匹配輸入字行首 ) ， $ ( 匹配輸入字行尾 ) 那樣用于指定一個位置，這個位置應該滿足一定的條件 ( 即斷言 ) ，因此它們也被稱為零寬斷言，斷言用來宣告一個應該為真的事實，正則運算式中只有當斷言為真時才會繼續進行匹配，

? 位置指定：

? 零寬先行斷言 (?=exp) ：匹配文本中的某些位置 , 這些位置的后面能匹配給定的后綴 exp ，

比如\b\w+(?=ing\b) ，匹配以 ing 結尾的單詞的前面部分 ( 除了 ing 以外的部分 ) ，

如果在查找 I’m singing while you’re dancing. 時，它會匹配 sing 和 danc ，

? 零寬后行斷言 (?<=exp) ：匹配某些位置 , 該位置的前面能給定的前綴匹配 exp

比如(?<=\bre)\w+\b 會匹配以 re 開頭的單詞的后半部分 ( 除了 re 以外的部分 ) ，

例如在查找 reading a book 時，它匹配 ading，

? 零寬負向先行斷言 (?!exp) : 匹配后面跟的不是 exp 的位置

\d{3}(?!\d) 匹配三位數字，而且這三位數字的后面不能是數字，

? 零寬負向后行斷言 (?<!exp) : 匹配前面不是 exp 的位置

(?<![a-z])\d{7} 匹配前面不是小寫字母的七位數字

2 Python 中的 Re 模塊

使用 re 的步驟為：先將正則運算式的字串形式編譯為 Pattern 實體；然后使用 Pattern 實體處理文本并獲得匹配結果（一個 Match 實體）；最后使用 Match 實體獲得資訊，進行其他的操作，

re 模塊中常用的方法及其說明如下，

? re 模塊常用方法：

? compile 將正則運算式的字串轉化為 Pattern 匹配物件

? match 將輸入的字串從頭開始對輸入的正則運算式進行匹配，一直向后直至遇到無法

匹配的字符或到達字串末尾，將立即回傳 None ，否則獲取匹配結果

? search 將輸入的字串整個掃描，對輸入的正則運算式進行匹配，獲取匹配結果，否則輸出 None

? spilt 按照能夠匹配的字串作為分隔符，將字串分割后回傳一個串列

? fifindall 搜索整個字串，回傳一個串列包含全部能匹配的子串

? fifinditer 與 fifindall 方法作用類似，以迭代器的形式回傳結果

? sub 使用指定內容替換字串中匹配的每一個子串內容

2.1 re.compile 方法

re 模塊中使用 compile 方法將正則運算式的字串轉化為 Pattern 匹配物件， compile 方法的語法格式如下，

re . compile ( string [ , flag ] )

compile 方法常用的參數及其說明如下， :

string : 接收 string ，表示輸入的需要匹配的字符串，無默認值

flags : 接收 string ，表示匹配模式，取值為運算符 “ | ” 時表示同時生效，

如 re.I | re.M ，默認為 None

flflag 引數的可選值如下

re.I 忽略大小寫

re.M 多行模式，改變“?”和“ $ ”的行為

re.S “ .”任意匹配模式，改變“.”的行為

re.L 使預定字符類 \w\W\b\B\s\S 取決與當前區域設定

re.U 使預定字符類 \w\W\b\B\s\S\d\D 取決于 unicode 定義的字符屬性

re.X 詳細模式，該模式下正則運算式可為多行，忽略空白字符并可加入注釋

關于 re 模塊的常量、函式、例外我們都講解完畢，但是完全有必要再講講正則物件 Pattern ，在 re 模塊的函式中有一個重要的函式 compile 函式，這個函式可以預編譯回傳一個正則物件，此正則物件擁有與 re 模塊相同的函式 . 既然是一致的，那到底該用 re 模塊還是正則物件 Pattern ？其實 compile 函式與其他 re 函式 (search 、 split 、 sub 等等 ) 內部呼叫的是同一個函式，最侄訓是呼叫正則物件的函式！也就是說下面兩種代碼寫法底層實作其實是一致的：

筆記 re 函式 re.search(pattern, text)

正則物件函式 compile = re.compile(pattern) compile.search(text)

那還有必要使用 compile 函式得到正則物件再去呼叫 search 函式嗎？直接呼叫 re.search 是不是就可以？

官方檔案推薦：在多次使用某個正則運算式時推薦使用正則物件 Pattern 以增加復用性，因為通過 re.compile(pattern) 編譯后的模塊級函式會被快取！

這是超鏈接，點擊跳轉 Python 正則運算式 , 這一篇就夠了 !- 慕課網的文章-知乎

2.2 re.search 方法

Search 方法將輸入的字串整個掃描，對輸入的正則運算式進行匹配，若無可匹配字符，將立即回傳 None ，否則獲取匹配結果， search 方法的語法格式如下，

re . search ( pattern , string [ , flags ] )

pattern : 接收 Pattern 實例，表示轉換后的正則表達式，無默認值

string : 接收 string ，表示輸入的需要匹配的字符串，無默認值

flags : 接收 string ，表示匹配模式，取值為運算符 “ | ” 時表示同時生效，

如 re.I | re.M ，默認為 None

2.3 re.match & re.fullmatch

re.match 嘗試從字串的起始位置匹配一個模式，如果不是起始位置匹配成功的話， match() 就回傳 None ，

re . match ( pattern , string , flags = 0)

pattern : 接收 Pattern 實例，表示轉換后的正則表達式，無默認值

string : 接收 string ，表示輸入的需要匹配的字符串，無默認值

flags : 接收 string ，表示匹配模式，取值為運算符 “ | ” 時表示同時生效，

如 re.I | re.M ，默認為 None

re.fullmatch 方法將輸入的字串整個掃描，對輸入的正則運算式進行匹配，如果整個字串與此正則運算式匹配，將立即回傳 None ，則獲取匹配結果 , 否則回傳 None ， re.fullmatch 方法的語法格式如下，

re . fullmatch ( pattern , string [ , flags ] )

pattern : 接收 Pattern 實例，表示轉換后的正則表達式，無默認值

string : 接收 string ，表示輸入的需要匹配的字符串，無默認值 flags : 接收 string ，表示匹配模式，取值為運算符 “ | ” 時表示同時生效，如 re.I|re.M ，默認為 None

2.4 search,match,fullmatch 區別

#Python Code:
import re
strs = 'sHello World Hello World'
print(f"search方法: {re.search('Hello',strs)}")
print(f"match方法: {re.match('Hello',strs)}")
print(f"match方法: {re.match('sHello',strs)}")
print(f"fullmatch方法: {re.fullmatch(’Hello’,strs)}")
print(f"fullmatch方法: {re.fullmatch('sHello World Hello World',strs)}")

筆記 search 函式是在字串中任意位置匹配，只要有符合正則運算式的字串就匹配成功，其實有兩個匹配項，但 search 函式值回傳一個，

而 match 函式是要從頭開始匹配，而字串開頭多了個字母 s ，所以無法匹配 fullmatch 函式需要完全相同，故也不匹配！

2.5 re.fifindall 方法

fifindall 方法搜索整個 string ，回傳一個串列包含全部能匹配的子串，其語法格式如下，

re . findall ( pattern , string [ , flags ] )

pattern : 接收 Pattern 實例，表示轉換后的正則表達式，無默認值

string : 接收 string ，表示輸入的需要匹配的字符串，無默認值

flags : 接收 string，表示匹配模式，取值為運算子 “ | ” 時表示同時生效，

如 re.I | re.M ，默認為 None

2.6 re.fifinditer 方法

fifinditer 回傳 string 中所有與 pattern 相匹配的全部字串，回傳形式為迭代器，其語法格式如下，

re . finditer ( pattern , string [ , flags ] )

pattern : 接收 Pattern 實例，表示轉換后的正則表達式，無默認值

string : 接收 string ，表示輸入的需要匹配的字符串，無默認值

flags : 接收 string ，表示匹配模式，取值為運算符 “ | ” 時表示同時生效，

如 re .I | re . M ，默認為 None

? fifindall 與 fifinditer 區別：

fifindall ：從字串任意位置查找，回傳一個串列

fifinditer ：從字串任意位置查找，回傳一個迭代器

兩個方法基本類似，只不過一個是回傳串列，一個是回傳迭代器，我們知道串列是一次性生成在記憶體中，而迭代器是需要使用時一點一點生成出來的，記憶體使用更優，

如果可能存在大量的匹配項的話，建議使用 fifinditer 函式，一般情況使用 fifindall 函式基本沒啥影響，

2.7 re.split 方法

re.split 方法用 pattern 分開 string,maxsplit 表示最多進行分割次數， flflags 表示模式，就是上面我們講解的常量！

re . split ( pattern , string , maxsplit = 0 , flags = 0)

pattern : 接收 Pattern 實例，表示轉換后的正則表達式，無默認值

string : 接收 string ，表示輸入的需要匹配的字符串，無默認值

flags : 接收 string ，表示匹配模式，取值為運算符 “ | ” 時表示同時生效，

如 re .I | re . M ，默認為 None

str 模塊也有一個 split 函式，那這兩個函式該怎么選呢？ str.split 函式功能簡單，不支持正則分割，而 re.split 支持正則，在不需要正則支持且資料量和數次不多的情況下使用 str.split 函式更合適，反之則使用 re.split 函式，

2.8 re.sub 方法 & re.subn() 方法

re.sub() 方法 :repl 替換掉 string 中被 pattern 匹配的字符， count 表示最大替換次數， flflags 表示正則運算式的常量，

re . sub ( pattern , repl , string , count = 0 , flags = 0)

pattern : 接收 Pattern 實例，表示轉換后的正則表達式，無默認值

string : 接收 string ，表示輸入的需要匹配的字符串，無默認值

count 表示最大替換次數

flags : 接收 string ，表示匹配模式，取值為運算符 “ | ” 時表示同時生效，

如 re .I | re . M ，默認為 None

re.subn() 方法 : 函式與 re.sub 函式功能一致，只不過回傳一個元組 ( 字串 , 替換次數 ).

re . subn ( pattern , repl , string , count = 0 , flags = 0)

pattern : 接收 Pattern 實例，表示轉換后的正則表達式，無默認值

string : 接收 string ，表示輸入的需要匹配的字符串，無默認值

count 表示最大替換次數

flags : 接收 string ，表示匹配模式，取值為運算符 “ | ” 時表示同時生效，如 re .I | re . M ，默認為 None

2.9 其他方法

? re.escape(pattern) 可以轉義正則運算式中具有特殊含義的字符

re.escape(pattern) 看似非常好用省去了我們自己加轉義，但是使用它很容易出現轉義錯誤的問題，所以并不建議使用它轉義，而建議大家自己手動轉義！

? re.purge() 正則運算式快取，

? group() ：要么回傳整個匹配物件，要么根據要求回傳特定子組；如果 group() 沒有子組要求，回傳整個匹配，

? groups() ：以 tuple 格式回傳所有匹配子組，

#Python Code:
import re
s = "123dyalnABC"
print(re.search("([0-9]*)([a-z]*)([A-Z]*)",s).group())
#回傳123dyalnABC
print(re.search("([0-9]*)([a-z]*)([A-Z]*)",s).group(0)) #回傳123dyalnABC
print(re.search("([0-9]*)([a-z]*)([A-Z]*)",s).group(1)) #回傳123
print(re.search("([0-9]*)([a-z]*)([A-Z]*)",s).group(2)) #回傳dylan
print(re.search("([0-9]*)([a-z]*)([A-Z]*)",s).group(3)) #回傳ABC

由此可以看出，group() 是按照特定子組數字---小寫字母---大寫字母來獲取字串的，對應關系是 group(1) 對應正則運算式物件的特定子組 1，group(2) 對應特定子組 2，group(3) 對應特定子組 3...... 一般地，s.group(N) 回傳正則運算式物件的第 N 組特定子組，group(0) 同 group() 一樣，對應整個正則運算式物件，

Python Code:
import re
s = "123dyalnABC"
print(re.search("([0-9]*)([a-z]*)([A-Z]*)",s).groups())
#回傳('123', 'dyaln', 'ABC')

3 正則運算式爬取貓眼電影

點贊過百更新正則匹配實踐，爬取貓眼電影，沖啊，奧利給！！！

轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/413436.html

標籤：python

上一篇：演算法筆記——歸并排序及其基礎面試題

下一篇：修改Jupyter Notebook默認儲存路徑

史上最全，萬字吃透python正則匹配，讓你在網路爬蟲中自由翱翔