作者|Irfan Alghani Khalid
編譯|VK
來源|Towards Datas Science
假設你要根據給定的查詢搜索某個內容，如果你只依靠一個字串，你就得不到你想要的東西，那么，如何在海量資訊中尋找你需要的東西呢？
當然，你需要一個模式來識別你想要查找的字串，為此，我們可以使用正則運算式（Regular Expression，Regex），
在本文中，我將向你展示它的概念和應用，以解決資料科學中的問題，特別是使用Python對文本進行預處理，
大綱
我將本文分為兩個部分：
-
正則運算式的概念
-
正則運算式的應用
正則運算式的概念
正則運算式，或者我們稱之為Regex或RE，是一種特殊型別的字串，可用于匹配字串中的術語或單詞，
它由特殊字符序列組成，因此我們可以根據需要使用它來匹配任何術語，這里有幾個你可以使用的特殊字符，
-
點符號（.）匹配字串中的任何字符，
-
插入符號（^）與字串的開頭匹配，
-
美元符號（$）與字串的結尾匹配，
-
星號（*）與前一個字符的模式重復零次或多次匹配，
-
加號（+）匹配前一個字符的一個或多個重復，
-
問號（？）匹配上一個字符的0或1個重復，
-
花括號{m，n}將匹配前一個字符的m或n個重復，
-
如果要使用標點符號，可以使用反斜杠（\），但它也是一個特殊字符，例如，為了匹配$，你應該在“$”這樣的字符前面添加一個反斜杠，
-
方括號（[]）只能用于包含與字串匹配的某些字符，假設你想找到包含a、i和r的單詞，可以使用類似[air]的模式，
回想一下反斜杠有幾個特殊的序列，如果你想包含所有的單詞或數字而不把它們都寫在方括號內，這是非常有用的，你可以使用這些序列，例如，
-
\d將匹配任何數字
-
\s將匹配空白字符
-
\w將匹配任何字符
-
\D匹配除數字外的字符
-
\S匹配除空格外的字符
-
\W匹配除字符外的字符
對于這些特殊字符，你可以根據要提取的術語組合它們，例如，你想要從tweet串列中檢索hashtags，可以使用類似“#\w+”的模式，
模式的組合也是可以的，因為有一條規則說，
如果一個模式與一個模式結合，就會產生另一個模式，
正則運算式的應用
在你了解了Regex的概念之后，現在讓我們看看如何將其應用于處理文本，
第一種方法是洗掉我們不用于處理文本的術語，假設你要對tweet集合進行文本挖掘，因此，在挖掘tweet之前，必須先對它們進行預處理，因為我們希望使我們的計算更有效，并避免其中任何無意義的資訊，例如，你有這樣一條微博，
#Nasional Wapres: Jumlah Orang Miskin Bertambah Gara-Gara Pandemi Covid-19 https://t.co/sJvig4w7LL
有幾個術語你想洗掉，比如提及，標簽，鏈接等，在Python中，我們可以使用一個名為sub的方法從re庫中洗掉這些術語，
我們可以將引數設定到函式中，例如regex格式的模式、用于替換術語的字串，最后是要處理的字串，
re.sub(pattern, replacement, data)
- pattern: 正則運算式的模式
- replacement: 要替換的字串
- data: 要處理的變數或字串
通過使用這個函式，我們可以像這樣使用它
import re
# 原始微博
tweet = "#Nasional Wapres: Jumlah Orang Miskin Bertambah Gara-Gara Pandemi Covid-19 https://t.co/sJvig4w7LL"
# 使用正則運算式進行預處理
tweet = re.sub("#\w+", "", tweet)
tweet = re.sub("https*.+", "", tweet)
print(tweet)
# 這是結果,
# Wapres: Jumlah Orang Miskin Bertambah Gara-Gara Pandemi Covid-19
我想展示的另一個例子是搜索和檢索字串內部的子字串，在本例中，我將從一個被稱為資料科學的“hello world”的資料集中舉一個例子，這是泰坦尼克號的資料集，
對于那些不知道的人來說，這是一個資料集，被用來作為Kaggle競賽的介紹，這項競賽的目標是根據與乘客相對應的資料來預測乘客是否幸存，資料集看起來像這樣
它由幾個列組成，描述乘客的人口統計、票價、姓名，以及描述乘客是否幸存的“Survived”列，在本例中，讓我們關注“Name”列，讓我們看幾個例子，
0 Braund, Mr. Owen Harris
1 Cumings, Mrs. John Bradley (Florence Briggs Th...
2 Heikkinen, Miss. Laina
3 Futrelle, Mrs. Jacques Heath (Lily May Peel)
4 Allen, Mr. William Henry
5 Moran, Mr. James
6 McCarthy, Mr. Timothy J
7 Palsson, Master. Gosta Leonard
8 Johnson, Mrs. Oscar W (Elisabeth Vilhelmina Berg)
9 Nasser, Mrs. Nicholas (Adele Achem)
10 Sandstrom, Miss. Marguerite Rut
11 Bonnell, Miss. Elizabeth
12 Saundercock, Mr. William Henry
13 Andersson, Mr. Anders Johan
14 Vestrom, Miss. Hulda Amanda Adolfina
15 Hewlett, Mrs. (Mary D Kingcome)
16 Rice, Master. Eugene
17 Williams, Mr. Charles Eugene
18 Vander Planke, Mrs. Julius (Emelia Maria Vande...
19 Masselmani, Mrs. Fatima
Name: Name, dtype: object
根據上面的樣本，你看到它有什么模式嗎？如果你詳細了解，每個名字都有自己的標題，例如Mr., Mrs., Miss., Master.等等，我們可以將這些名稱提取為一個新的函式，稱為“Title”，Title包括了.標點符號，因此，我們可以使用模式提取它，
如何從每個名字中提取標題？我們可以使用re庫中的一個名為search的函式，使用該函式，我們可以根據給定的模式提取術語，它需要模式和字串串列，代碼是這樣的
def get_title(x):
# 搜索匹配的模式
x = re.search('\w*\.', x).group()
# 洗掉點標點符號以簡化分析程序
x = re.sub('\.', '', x)
return x
train['Title'] = train['Name'].apply(get_title)
train = train.drop('Name', axis=1)
train.head()
確保在搜索字串中的一個詞之后，用一個名為group的方法鏈接函式，或者看起來像這樣，
# 如果不使用group方法，它將顯示
<_sre.SRE_Match object; span=(8, 11), match='Mr.'>
如果你做得對，結果會是這樣的，
下面是搜索函式及其方法的摘要
re.search(pattern, data)
parameters:
- pattern: 適合我們想要的模式
- data: 我們使用的資料，它可以是字串或字串串列
methods:
- group: 它回傳一個或更多個字串，
結論
以上是我們如何使用正則運算式來處理使用Python的文本，這樣我們就可以通過洗掉無意義的資訊來獲得更有意義的結論解，我還向你展示了它的概念和一些應用，我希望這篇文章對你有用，
還有一件事，回想一下我上面的代碼，我寫的模式就像一個普通的字串，但是為了確保你撰寫了一個regex模式，請在參考的模式之前添加'r'字符，如下所示
# 你可以這樣寫
re.sub("#\w+", "", tweet)
# 或者像這樣
re.sub(r"#\w+", "", tweet)
就這樣，謝謝你，
參考參考
[1]https://docs.python.org/3/library/re.html
[2]https://www.kaggle.com/c/titanic
原文鏈接：https://towardsdatascience.com/regex-with-python-b4c5ca7c1eba
歡迎關注磐創AI博客站：
http://panchuang.net/
sklearn機器學習中文官方檔案：
http://sklearn123.com/
歡迎關注磐創博客資源匯總站：
http://docs.panchuang.net/
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/174047.html
標籤：其他
下一篇：支持向量機超引數的可視化解釋