寫過一段時間代碼的同學，應該對這一句話深有體會：程式的時間利用率和空間利用率往往是矛盾的，可以用時間換空間，可以用空間換時間，但很難同時提高一個程式的時間利用率和空間利用率但如果你嘗試使用生成器來重構你的代碼，也許你會發現，在一定程度上，你可以既提高時間利用率，又提高空間利用率我們以一個資料清洗的簡單專案為例，來說明生成器如何讓你的代碼運行起來更加高效，在 Redis 中，有一個串列datalist，里面有很多的資料，這些資料可能是純阿拉伯數字，中文數字，字串"敏感資訊"，現在我們需要實作：從 Redis 中讀取所有的資料，把所有的字串敏感資訊全部丟掉，把所有中文數字全部轉換為阿拉伯數字，以{'num': 12345, 'date': '2019-10-30 18:12:14'}這樣的格式插入到 MongoDB
示例資料如下：412342134一九八八七二六三
8394520342
七二三六二九六六
敏感資訊
80913408120934
敏感資訊
敏感資訊
95352345345
三三七四六
999993232
234234234
三六八八七七
敏感資訊
這里還要注意：不管你是為了Python就業還是興趣愛好，記住：專案開發經驗永遠是核心，如果如果你沒有2020最新python入門到高級實戰視頻教程，可以去小編的Python交流.裙 ：七衣衣九七七巴而五（數字的諧音）轉換下可以找到了，里面很多新python教程專案，還可以跟老司機交流討教！
繼續如下圖所示：
如果讓你來寫這個轉換程式，你可能會這樣寫：
import redis
import datetime
import pymongo
client = redis.Redis()
handler = pymongo.MongoClient().data_list.num
CHINESE_NUM_DICT = {
'一': '1',
'二': '2',
'三': '3',
'四': '4',
'五': '5',
'六': '6',
'七': '7',
'八': '8',
'九': '9'
}
def get_data():
datas = []
while True:
data = https://www.cnblogs.com/chengxuyuanaa/p/client.lpop('datalist')
if not data:
break
datas.append(data.decode())
return datas
def remove_sensitive_data(datas):
clear_data = https://www.cnblogs.com/chengxuyuanaa/p/[]
for data in datas:
if data =https://www.cnblogs.com/chengxuyuanaa/p/= '敏感資訊':
continue
clear_data.append(data)
return clear_data
def tranfer_chinese_num(datas):
number_list = []
for data in datas:
try:
num = int(data)
except ValueError:
num = ''.join(CHINESE_NUM_DICT[x] for x in data)
number_list.append(num)
return number_list
def save_data(number_list):
for number in number_list:
data = https://www.cnblogs.com/chengxuyuanaa/p/{'num': number, 'date': datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S')}
handler.insert_one(data)
raw_data = https://www.cnblogs.com/chengxuyuanaa/p/get_data()
safe_data = remove_sensitive_data(raw_data)
number_list = tranfer_chinese_num(safe_data)
save_data(number_list)
復制代碼運行效果如下圖所示：
這段代碼，看起來很 Pythonic，一個函式只做一件事，看起來也滿足編碼規范，最后運行結果也正確，能有什么問題？
問題在于，這段代碼，每個函式都會創建一個串列存放處理以后的資料，如果 Redis 中的資料多到超過了你當前電腦的記憶體怎么辦？對同一批資料多次使用 for 回圈，浪費了大量的時間，能不能只回圈一次？
也許你會說，你可以把移除敏感資訊，中文數字轉阿拉伯數字的邏輯全部寫在get_data函式的 while回圈中，這樣不就只回圈一次了嗎？
可以是可以，但是這樣一來，get_data就做了不止一件事情，代碼也顯得非常混亂，如果以后要增加一個新的資料處理邏輯：
轉換為數字以后，檢查所有奇數位的數字相加之和與偶數位數字相加之和是否相等，丟棄所有相等的數字，
那么你就要修改get_data的代碼，
在開發軟體的時候，我們應該面向擴展開放，面向修改封閉，所以不同的邏輯，確實應該分開，所以上面把每個處理邏輯分別寫成函式的寫法，在軟體工程上沒有問題，但是如何做到處理邏輯分開，又不需要對同一批資料進行多次 for 回圈呢？
這個時候，就要依賴于我們的生成器了，
我們先來看看下面這一段代碼的運行效果：
def gen_num():
nums = []
for i in range(10):
print(f'生成資料：{i}')
nums.append(i)
return nums
nums = gen_num()
for num in nums:
print(f'列印資料：{num}'復制代碼運行效果如下圖所示
現在，我們對代碼做一下修改：
def gen_num():
for i in range(10):
print(f'生成資料：{i}')
yield i
nums = gen_num()
for num in nums:
print(f'列印資料：{num}')
復制代碼其運行效果如下圖所示：
大家對比上面兩張插圖，前一張插圖，先生成10個資料，然后再列印10個資料，后一張圖，生成一個資料，列印一個資料，再生成一個資料，再列印一個資料……
如果以代碼的行號來表示運行運行邏輯，那么代碼是按照這個流程運行的：
1->5->6->2->3->4->6->7->6->2->3->4->6->7->6->2->3->4->6->7....
復制代碼大家可以把這段代碼寫在 PyCharm 中，然后使用單步除錯來查看它每一步運行的是哪一行代碼，
程式運行到yield就會把它后面的數字拋出到外面給 for 回圈， 然后進入外面 for 回圈的回圈體，外面的 for 回圈執行完成后，又會進入gen_num函式里面的 yield i后面的一行，開啟下一次 for 回圈，繼續生成新的數字……
整個程序中，不需要額外創建一個串列來保存中間的資料，從而達到節約記憶體空間的目的，而整個程序中，雖然代碼寫了兩個 for 回圈，但是如果你使用單步除錯，你就會發現實際上真正的回圈只有for i in range(10)，而外面的for num in nums僅僅是實作了函式內外的切換，并沒有新增回圈，
回到最開始的問題，我們如何使用生成器來修改代碼呢？實際上你幾乎只需要把return 串列改成yield 每一個元素即可：
import redis
import datetime
import pymongo
client = redis.Redis()
handler = pymongo.MongoClient().data_list.num_yield
CHINESE_NUM_DICT = {
'一': '1',
'二': '2',
'三': '3',
'四': '4',
'五': '5',
'六': '6',
'七': '7',
'八': '8',
'九': '9'
}
def get_data():
while True:
data = https://www.cnblogs.com/chengxuyuanaa/p/client.lpop('datalist')
if not data:
break
yield data.decode()
def remove_sensitive_data(datas):
for data in datas:
if data =https://www.cnblogs.com/chengxuyuanaa/p/= '敏感資訊':
continue
yield data
def tranfer_chinese_num(datas):
for data in datas:
try:
num = int(data)
except ValueError:
num = ''.join(CHINESE_NUM_DICT[x] for x in data)
yield num
def save_data(number_list):
for number in number_list:
data = https://www.cnblogs.com/chengxuyuanaa/p/{'num': number, 'date': datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S')}
handler.insert_one(data)
raw_data = https://www.cnblogs.com/chengxuyuanaa/p/get_data()
safe_data = remove_sensitive_data(raw_data)
number_list = tranfer_chinese_num(safe_data)
save_data(number_list)
復制代碼代碼如下圖所示：
如果你開啟 PyCharm 除錯模式，你會發現，資料的流向是這樣的：
- 從 Redis 獲取1條資料
- 這一條資料傳給remove_sensitive_data
- 第2步處理以后的資料傳給tranfer_chinese_num
- 第3步處理以后，傳給 save_data
- 回到第1步
整個程序就像是一條流水線一樣，資料一條一條地進行處理和存檔，不需創建額外的串列，有多少條資料就回圈多少次，不做多余的回圈，
最后注意：不管你是為了Python就業還是興趣愛好，記住：專案開發經驗永遠是核心，如果如果你沒有2020最新python入門到高級實戰視頻教程，可以去小編的Python交流.裙 ：七衣衣九七七巴而五（數字的諧音）轉換下可以找到了，里面很多新python教程專案，還可以跟老司機交流討教！
本文的文字及圖片來源于網路加上自己的想法,僅供學習、交流使用,不具有任何商業用途,著作權歸原作者所有,如有問題請及時聯系我們以作處理，
轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/157936.html
標籤：Python