文章目錄
- 今日內容
- 0 補充的一些東西（就業相關的）
- 1 秒殺的設計方案
- 2 分布式id生成方案
- 3 分布式鎖
- 一 為什么要使用分布式鎖
- 二、分布式鎖應該具備哪些條件
- 三、分布式鎖的三種實作方式
- 四、基于資料庫的實作方式
- 五、基于Redis的實作方式
- 六、基于ZooKeeper的實作方式
- 七、總結
今日內容
0 補充的一些東西（就業相關的）
1 同步：django flask, 異步：sanic, fastapi
2 一旦開了異步，后面所有的框架都需要用異步框架（連redis：aioredis，連mysql：aiomysql）
3 sqlachemy 不支持異步的，peewee-async（依賴于peewee）
4 公司內部連接mysql
5 資料庫密碼不放在組態檔中，放到環境變數中
6 作業流程
-公司配電腦（用自己的，補貼，windows：遠程連接，mac，烏班圖）
-搭好環境
-讓你在本地生成一個ssh公鑰（給相關負責人，配進去，對專案的讀寫權限）
-把專案跑起來（難裝的模塊）
-正式環境，測驗環境（測）
-本地裝mysql，redis----》或者你也可以搞個虛擬機，docker拉起來
-專案跑起來
-找出專案里面寫代碼的一條線（流程）
-當讓你在現有的專案寫介面，按照別人寫好的一條線復制
-一定要測驗
-提交代碼（例如專案管理平臺：禪道）
-當此提交的id號，填到專案管理平臺上，點完成
-每天拉幾次代碼，提交幾次代碼
-功能完成
-代碼review（專門有人通讀你的代碼）
-（大廠）每周五：專門挑出時間小組內代碼review
-可能需要你把專案跑在測驗機器上，讓測驗人員測
-測驗人員測完，它點完成，這個需求就結束了
-測驗人員測著有問題，再改再提交--->測驗
-剛去，不會的可以問，同樣的問題不要問第二次（錄下來）
-同事搞好關系，買瓶飲料
-不要早走（頭一個月）
-不要遲到（頭一個月）
-公司暗語（多聽少說）
99 壓力測驗工具：ab jmeter
100 python的GUI編程： pyqt，Tkinter
redis不支持widows，原始碼開源，有專業團隊負責做出windows平臺的軟體，但是最新版只有3.x
公司內部連接mysql
import pymysql
from sshtunnel import SSHTunnelForwarder
server = SSHTunnelForwarder(
ssh_address_or_host=('機器B的IP', 22), # 指定ssh登錄的跳轉機的address
ssh_username='機器B的用戶名', # 跳轉機的用戶
ssh_password='機器B的密碼', # 跳轉機的密碼
remote_bind_address=('機器C的IP', 3306)
)
server.start()
db = pymysql.connect(
host='127.0.0.1',
port=server.local_bind_port,
user='機器C的用戶名',
passwd='機器C的密碼',
db='資料庫名'
)
cur = db.cursor()
cur.execute('select * from article limit 1')
data = cur.fetchall()
print(data)
db.close()
server.close()
1 秒殺的設計方案
1 方案跟語言無關
2 在原有專案繼續加（程式因為并發量崩潰，資料資料出現問題，都會影響原來專案）？還是新寫一個
3 重新設計庫，一般也只需要幾個表即可，（假設賣10000個python課程），所以需要設計課程表和訂單表
4 假設并沒有多少人秒殺，就是之前我們寫的商城專案
- 注意不要秒超了，鎖（悲觀鎖，樂觀鎖，mysql）
- 同步扣款，生成訂單
5 假設并發量在個幾百
-把同步換成異步
-celery+redis，同步扣款，生成訂單
6 假設并發量幾千
-分布式鎖（專案部署在多臺機器上）
-用專業的訊息佇列（異步）
-限流（有令牌的才能進來），有資格秒殺的用戶，訪問秒殺頁面，給個令牌，放到redis一份
-只要有令牌的才能往里走，有令牌，redis中有，再往后走，只要查過一次，直接洗掉（爬蟲不能反復的發）
-對用戶最多生成10個令牌
-把有資格秒的人，用戶id放到訊息佇列中（訊息佇列可以存幾千萬，上億個id）
-視圖直接回傳，前端動圖顯示：您正在排隊，然后每隔3s/5s，向后端發一次請求，查詢是否秒殺成功
-worker一個個給執行，1w個都消費完了
-需要先在redis中預熱，設定1w這個數
-worker作業，沒執行一下數字減一，生成訂單（redis樂觀鎖）
-再大的話可以把生成訂單再寫成異步
7 一般來說需要的也就是：限流，鎖，異步，緩沖（訊息佇列）
2 分布式id生成方案
1 分布式的系統中，生成id號，按當前時間生成id號，可能會重復，全域唯一ID的系統是非常必要的
2 再不同機器上生成的id號不能重復
3 生成id號的要求
-全域唯一
-趨勢遞增
-單調遞增
-安全（不要被猜出來）
4 mysql的自增（可以做，但是性能跟不上）
5 uuid：全域唯一，安全，沒有遞增的趨勢
6 redis：自增+時間+用戶id 比較好的方案
7 雪花演算法（業界普遍選擇的id生成方案）跟語言無關（任何語言都有實作），不依賴于服務（redis，mysql），詞可以放到簡歷上
3 分布式鎖
1 資料庫的悲觀，樂觀鎖
2 基于redis實作分布式鎖
3 本質原理基于：SETNX
（1）獲取鎖的時候，使用setnx加鎖，并使用expire命令為鎖添加一個超時時間，超過該時間則自動釋放鎖，鎖的value值為一個隨機生成的UUID，通過此在釋放鎖的時候進行判斷，
（2）獲取鎖的時候還設定一個獲取的超時時間，若超過這個時間則放棄獲取鎖，
（3）釋放鎖的時候，通過UUID判斷是不是該鎖，若是該鎖，則執行delete進行鎖釋放，
# 安裝第三方沒有被放到pypi的模塊
# 原始碼下載下來，都有個setup.py
先執行 python setup.py build.
然后執行 python setup.py install
# https://segmentfault.com/a/1190000012621842
在很多場景中，我們為了保證資料的最終一致性，需要很多的技術方案來支持，比如分布式事務、分布式鎖等，那具體什么是分布式鎖，分布式鎖應用在哪些業務場景、如何來實作分布式鎖呢？
一 為什么要使用分布式鎖
我們在開發應用的時候，如果需要對某一個共享變數進行多執行緒同步訪問的時候，可以使用我們學到的鎖進行處理，并且可以完美的運行，毫無Bug！注意這是單機應用，后來業務發展，需要做集群，一個應用需要部署到幾臺機器上然后做負載均衡，大致如下圖：
上圖可以看到，變數A存在三個服務器記憶體中（這個變數A主要體現是在一個類中的一個成員變數，是一個有狀態的物件），如果不加任何控制的話，變數A同時都會在分配一塊記憶體，三個請求發過來同時對這個變數操作，顯然結果是不對的！即使不是同時發過來，三個請求分別操作三個不同記憶體區域的資料，變數A之間不存在共享，也不具有可見性，處理的結果也是不對的！如果我們業務中確實存在這個場景的話，我們就需要一種方法解決這個問題！為了保證一個方法或屬性在高并發情況下的同一時間只能被同一個執行緒執行，在傳統單體應用單機部署的情況下，可以使用并發處理相關的功能進行互斥控制，但是，隨著業務發展的需要，原單體單機部署的系統被演化成分布式集群系統后，由于分布式系統多執行緒、多行程并且分布在不同機器上，這將使原單機部署情況下的并發控制鎖策略失效，單純的應用并不能提供分布式鎖的能力，為了解決這個問題就需要一種跨機器的互斥機制來控制共享資源的訪問，這就是分布式鎖要解決的問題！
二、分布式鎖應該具備哪些條件
在分析分布式鎖的三種實作方式之前，先了解一下分布式鎖應該具備哪些條件：
1、在分布式系統環境下，一個方法在同一時間只能被一個機器的一個執行緒執行；
2、高可用的獲取鎖與釋放鎖；
3、高性能的獲取鎖與釋放鎖；
4、具備可重入特性；
5、具備鎖失效機制，防止死鎖；
6、具備非阻塞鎖特性，即沒有獲取到鎖將直接回傳獲取鎖失敗，
三、分布式鎖的三種實作方式
目前幾乎很多大型網站及應用都是分布式部署的，分布式場景中的資料一致性問題一直是一個比較重要的話題，分布式的CAP理論告訴我們“任何一個分布式系統都無法同時滿足一致性（Consistency）、可用性（Availability）和磁區容錯性（Partition tolerance），最多只能同時滿足兩項，”所以，很多系統在設計之初就要對這三者做出取舍，在互聯網領域的絕大多數的場景中，都需要犧牲強一致性來換取系統的高可用性，系統往往只需要保證“最終一致性”，只要這個最終時間是在用戶可以接受的范圍內即可，在很多場景中，我們為了保證資料的最終一致性，需要很多的技術方案來支持，比如分布式事務、分布式鎖等，有的時候，我們需要保證一個方法在同一時間內只能被同一個執行緒執行，
基于資料庫實作分布式鎖；
基于快取（Redis等）實作分布式鎖；
基于Zookeeper實作分布式鎖；
四、基于資料庫的實作方式
基于資料庫的實作方式的核心思想是：在資料庫中創建一個表，表中包含方法名等欄位，并在方法名欄位上創建唯一索引，想要執行某個方法，就使用這個方法名向表中插入資料，成功插入則獲取鎖，執行完成后洗掉對應的行資料釋放鎖，
（1）創建一個表：
DROP TABLE IF EXISTS `method_lock`;
CREATE TABLE `method_lock` (
`id` int(11) unsigned NOT NULL AUTO_INCREMENT COMMENT '主鍵',
`method_name` varchar(64) NOT NULL COMMENT '鎖定的方法名',
`desc` varchar(255) NOT NULL COMMENT '備注資訊',
`update_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
PRIMARY KEY (`id`),
UNIQUE KEY `uidx_method_name` (`method_name`) USING BTREE
) ENGINE=InnoDB AUTO_INCREMENT=3 DEFAULT CHARSET=utf8 COMMENT='鎖定中的方法';
（2）想要執行某個方法，就使用這個方法名向表中插入資料：
INSERT INTO method_lock (method_name, desc) VALUES ('methodName', '測驗的methodName');
因為我們對method_name做了唯一性約束，這里如果有多個請求同時提交到資料庫的話，資料庫會保證只有一個操作可以成功，那么我們就可以認為操作成功的那個執行緒獲得了該方法的鎖，可以執行方法體內容，
（3）成功插入則獲取鎖，執行完成后洗掉對應的行資料釋放鎖：
delete from method_lock where method_name ='methodName';
注意：這只是使用基于資料庫的一種方法，使用資料庫實作分布式鎖還有很多其他的玩法！使用基于資料庫的這種實作方式很簡單，但是對于分布式鎖應該具備的條件來說，它有一些問題需要解決及優化：
1、因為是基于資料庫實作的，資料庫的可用性和性能將直接影響分布式鎖的可用性及性能，所以，資料庫需要雙機部署、資料同步、主備切換；
2、不具備可重入的特性，因為同一個執行緒在釋放鎖之前，行資料一直存在，無法再次成功插入資料，所以，需要在表中新增一列，用于記錄當前獲取到鎖的機器和執行緒資訊，在再次獲取鎖的時候，先查詢表中機器和執行緒資訊是否和當前機器和執行緒相同，若相同則直接獲取鎖；
3、沒有鎖失效機制，因為有可能出現成功插入資料后，服務器宕機了，對應的資料沒有被洗掉，當服務恢復后一直獲取不到鎖，所以，需要在表中新增一列，用于記錄失效時間，并且需要有定時任務清除這些失效的資料；
4、不具備阻塞鎖特性，獲取不到鎖直接回傳失敗，所以需要優化獲取邏輯，回圈多次去獲取，
5、在實施的程序中會遇到各種不同的問題，為了解決這些問題，實作方式將會越來越復雜；依賴資料庫需要一定的資源開銷，性能問題需要考慮，
五、基于Redis的實作方式
1、選用Redis實作分布式鎖原因：
（1）Redis有很高的性能；
（2）Redis命令對此支持較好，實作起來比較方便
2、使用命令介紹：
（1）SETNXSETNX key val：當且僅當key不存在時，set一個key為val的字串，回傳1；若key存在，則什么都不做，回傳0，
（2）expireexpire key timeout：為key設定一個超時時間，單位為second，超過這個時間鎖會自動釋放，避免死鎖，
（3）deletedelete key：洗掉key在使用Redis實作分布式鎖的時候，主要就會使用到這三個命令，
3、實作思想：
（1）獲取鎖的時候，使用setnx加鎖，并使用expire命令為鎖添加一個超時時間，超過該時間則自動釋放鎖，鎖的value值為一個隨機生成的UUID，通過此在釋放鎖的時候進行判斷，
（2）獲取鎖的時候還設定一個獲取的超時時間，若超過這個時間則放棄獲取鎖，
（3）釋放鎖的時候，通過UUID判斷是不是該鎖，若是該鎖，則執行delete進行鎖釋放，
4、 分布式鎖的簡單實作代碼：
#連接redis
redis_client = redis.Redis(host="localhost",
port=6379,
password=password,
db=10)
#獲取一個鎖
lock_name：鎖定名稱
acquire_time: 客戶端等待獲取鎖的時間
time_out: 鎖的超時時間
def acquire_lock(lock_name, acquire_time=10, time_out=10):
"""獲取一個分布式鎖"""
identifier = str(uuid.uuid4())
end = time.time() + acquire_time
lock = "string:lock:" + lock_name
while time.time() < end:
if redis_client.setnx(lock, identifier):
# 給鎖設定超時時間, 防止行程崩潰導致其他行程無法獲取鎖
redis_client.expire(lock, time_out)
return identifier
elif not redis_client.ttl(lock):
redis_client.expire(lock, time_out)
time.sleep(0.001)
return False
#釋放一個鎖
def release_lock(lock_name, identifier):
"""通用的鎖釋放函式"""
lock = "string:lock:" + lock_name
pip = redis_client.pipeline(True)
while True:
try:
pip.watch(lock)
lock_value = redis_client.get(lock)
if not lock_value:
return True
if lock_value.decode() == identifier:
pip.multi()
pip.delete(lock)
pip.execute()
return True
pip.unwatch()
break
except redis.excetions.WacthcError:
pass
return False
5、測驗剛才實作的分布式鎖
例子中使用50個執行緒模擬秒殺一個商品，使用–運算子來實作商品減少，從結果有序性就可以看出是否為加鎖狀態，
def seckill():
identifier=acquire_lock('resource')
print(Thread.getName(),"獲得了鎖")
release_lock('resource',identifier)
for i in range(50):
t = Thread(target=seckill)
t.start()
六、基于ZooKeeper的實作方式
ZooKeeper是一個為分布式應用提供一致性服務的開源組件，它內部是一個分層的檔案系統目錄樹結構，規定同一個目錄下只能有一個唯一檔案名，基于ZooKeeper實作分布式鎖的步驟如下：（1）創建一個目錄mylock；（2）執行緒A想獲取鎖就在mylock目錄下創建臨時順序節點；（3）獲取mylock目錄下所有的子節點，然后獲取比自己小的兄弟節點，如果不存在，則說明當前執行緒順序號最小，獲得鎖；（4）執行緒B獲取所有節點，判斷自己不是最小節點，設定監聽比自己次小的節點；（5）執行緒A處理完，洗掉自己的節點，執行緒B監聽到變更事件，判斷自己是不是最小的節點，如果是則獲得鎖，這里推薦一個Apache的開源庫Curator，它是一個ZooKeeper客戶端，Curator提供的InterProcessMutex是分布式鎖的實作，acquire方法用于獲取鎖，release方法用于釋放鎖，優點：具備高可用、可重入、阻塞鎖特性，可解決失效死鎖問題，缺點：因為需要頻繁的創建和洗掉節點，性能上不如Redis方式，
七、總結
上面的三種實作方式，沒有在所有場合都是完美的，所以，應根據不同的應用場景選擇最適合的實作方式，在分布式環境中，對資源進行上鎖有時候是很重要的，比如搶購某一資源，這時候使用分布式鎖就可以很好地控制資源，當然，在具體使用中，還需要考慮很多因素，比如超時時間的選取，獲取鎖時間的選取對并發量都有很大的影響，上述實作的分布式鎖也只是一種簡單的實作，主要是一種思想 ，
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/416176.html
標籤：其他
上一篇：Linux安裝RabbitMQ