贊！一篇博客講解清楚 Python queue模塊，作為Python爬蟲預備知識，用它解決采集佇列問題

原計劃直接寫爬蟲第 25 例，但是發現它需要 Queue 佇列相關知識，翻閱了一下同步撰寫的《滾雪球學 Python》專欄，竟然沒有相關博客，這就不得不補充一篇，恰好把他放在《Python 爬蟲 120 例》中，

Queue 模塊

在學習之前，你可以直接打開 官方手冊 對比學習，

只要涉及到多執行緒爬蟲，就會涉及到資料采集佇列的優先級問題，在 Python 中 Queue 模塊提供了一個同步的，執行緒安全的佇列類，它包括常見的 FIFO（先入先出）、LIFO（后入先出）、PriorityQueue（按優先級佇列）以及先入先出型別的簡單佇列（SimpleQueue，3.7 版本新增功能），

先入先出，后入先出這些都是資料結構中的一些基本知識，不再擴展說明，直接百度相關關鍵詞即可學習，

可以回憶出來堆疊是先進后出，佇列（Queue）是先進先出即可，

初始佇列可以先掌握這樣幾個概念：

• 初始化佇列：創建一個空佇列；
• 入隊：把資料添加到對位；
• 出隊：從隊首取資料；
• 銷毀佇列：洗掉佇列相關資料，

初始化一個佇列

在 Python 中可以直接匯入 Queue 模塊，然后對其進行初始化操作：

import queue

q = queue.Queue(maxsize=5)
print(type(q))

引數 maxsize 是一個整數，表示佇列的最大長度，在實際操作中，當佇列達到上限時，插入資料會被阻塞，直到有資料出隊之后，才可被插入，該引數默認為 0，即表示佇列長度不限制，如果設定為負數，佇列長度也無限（一般無人設定為負數），

如果要宣告為其它不同型別的佇列，使用下述代碼即可：

# 后進先出
q = queue.LifoQueue(maxsize=5)
# 優先級佇列
q = queue.PriorityQueue(maxsize=5)
# 先進先出型別的簡單佇列，沒有大小限制
q = queue.SimpleQueue()

這四種佇列區別如下：

1. queue.Queue(maxsize=0)：先進先出，最早進入佇列的資料先出佇列；
2. queue.LifoQueue(maxsize=0)：最后進入佇列的資料先出佇列；
3. PriorityQueue(maxsize=0)：比較佇列中每個資料的大小，值最小的資料先出佇列；
4. queue.SimpleQueue：與 1 相似，只是一個簡單佇列，缺少一些高級的方法，

佇列資料新增

佇列新增資料，即將一個值放入佇列中，該方法的格式如下：

Queue.put(item, [block[, timeout]])

其中 item 必填引數，即插入的值，block 默認為 True，如果當 block 為 True 時且 timeout 是 None (默認)，put() 方法就使呼叫執行緒阻塞在這里，直到空出一個資料單元，代碼如下：

# 不要運行代碼，會進入假死等待狀態，
import queue

q = queue.Queue(maxsize=2)
q.put("橡",block=True)
q.put("皮",block=True)
q.put("擦",block=True)

print(q)

如果 timeout 是個正數，將最多阻塞 timeout 秒，如果在這段時間沒有可用的空閑插槽，將引發 Full 例外，
如果 block 是 False，如果空閑插槽立即可用，則把 item 放入佇列，否則引發 Full 例外 ( 在這種情況下，timeout 將被忽略)，

import queue

q = queue.Queue(maxsize=2)
q.put("橡",block=True)
q.put("皮",block=True)
q.put("擦",block=True,timeout=3)

print(q)

運行代碼，等待 3s 之后，出現如下例外，

    raise Full
queue.Full

取佇列值

代碼格式如下：

Queue.get(block=True, timeout=None)

該函式表示從佇列頭部獲取一個值，并在佇列中洗掉該值，如果可選引數 block 是 True 并且 timeout 是 None (默認值)，則在必要時阻塞至專案可得到，如果 timeout 是個正數，將最多阻塞 timeout 秒，如果在這段時間內專案不能得到，將引發 Empty 例外，反之 (block 是 False) , 如果一個專案立即可得到，則回傳一個專案，否則引發 Empty 例外 (這種情況下，timeout 將被忽略)，

import queue

q = queue.Queue(maxsize=4)
q.put("橡",block=True)
q.put("皮",block=True)
q.put("擦",block=True,timeout=3)

item1 = q.get()
item2 = q.get()
item3 = q.get()
print(item1,item2,item3)

其它常用方法

佇列的基本使用參考上述即可，非常簡單，其余的都為方法級的應用，

• q.qsize()：佇列大小；
• q.empty()：判斷佇列是否為空；
• q.full()：判斷佇列是否為滿；
• q.get_nowait()：等價于 q.get(False)，該方法使用參考上述取佇列值部分內容；
• q.put_nowait(item)：等價于 q.put(item, False)；
• q.task_done()與 q.join()：這兩個方法繼續閱讀后續內容，

q.task_done() 與 q.join() 方法

首先 SimpleQueue 是不支持 task_done 和 join 方法的，使用的時候需要注意下，

學習之前，先大概了解一下這兩個方法的說明：

• task_done：表示佇列中的元素已經被取出，即每個 get 獲取一個元素之后，呼叫 task_done 告訴資料處理已經完成，如果被呼叫的次數大于佇列中元素格式，引發 ValueError 例外；
• join：一直阻塞到佇列中所有元素都被取出和執行，只要元素在不斷的添加到 queue 中，join 就不會阻塞，也可以理解為需要等到佇列為空，再執行別的操作，

如果看文字描述不容易理解，直接對比代碼查閱，下述佇列將被一直阻塞，原因是在第一個 put 之后，并沒有呼叫 task_done 告知任務完成，

import queue

q = queue.Queue(3)
q.put('橡', block=True, timeout=5)
q.put_nowait('皮')
q.task_done()
print(q.get())
q.join()

解除阻塞的辦法也非常簡單，只需要在每次的 put 方法后面，增加一個 task_done 方法的呼叫即可，

import queue

q = queue.Queue(3)
q.put('橡', block=True, timeout=5)
q.task_done()
q.put_nowait('皮')
q.task_done()

print(q.get())
q.join()

如果理解起來還有困難，可以在參考下述案例：

import queue
q = queue.Queue()
q.put('橡')
q.put('皮')
q.put('擦')
for i in range(3):
    print(q.get())
    # 如果不執行 task_done，join 會一直處于阻塞狀態，等待 task_done 告知它資料的處理已經完成
    # q.task_done()
q.join()

官方手冊還提供了一個多執行緒的案例提供參考，這里也為大家標記一下，并提供中文注釋說明，

import threading, queue

# 初始化一個空佇列，不限制長度
q = queue.Queue()

def worker():
    while True:
        item = q.get()
        print(f'正在執行： {item}')
        print(f'完成： {item}')
        # 發送任務完成的命令
        q.task_done()

# 開啟多執行緒
threading.Thread(target=worker, daemon=True).start()

# 設定 30 個 put
for item in range(30):
    q.put(item)

print('所有的任務已經完成\n', end='')

# 阻塞，直到所有任務完成
q.join()
print('所有任務完成')

佇列在爬蟲應用上的落地

佇列既然是執行緒之間常用的通訊方式，并且自帶鎖機制，那自然會被應用到爬蟲采集中，一般是使用生產者消費者模式進行開發，

下述案例存在一個生產者【橡皮擦】，每間隔 5 秒制作一套課程，存在兩個消費者，一直監聽橡皮擦是否制作課程，當橡皮擦制作出課程之后，就進行購買：

from queue import Queue
import time
import threading

# 初始化一個佇列
q = Queue(maxsize=0)


# 生產者
def producer(name):
    course_num = 1
    while True:
        q.put('制作的第 {} 套課程'.format(course_num))
        print("{} 制作的第 {} 套課程".format(name, course_num))
        course_num += 1
        time.sleep(5)


# 消費者
def consumer(name):
    while True:
        print('{} 購買了 {}'.format(name, q.get()))
        time.sleep(1)
        q.task_done()


# 開啟三個行程
t1 = threading.Thread(target=producer, args=('橡皮擦',))
t2 = threading.Thread(target=consumer, args=('CSDN 賬戶 A',))
t3 = threading.Thread(target=consumer, args=('CSDN 賬戶 B',))

t1.start()
t2.start()
t3.start()

優先級佇列

接下來在說明一下優先級佇列，優先級佇列出佇列的順序與優先級有關，所以在入隊的時候，就需要將資料排好順序，

import queue

q = queue.PriorityQueue(5)
q.put((5,'夢'))
q.put((4,'想'))
q.put((4,'橡'))
q.put((3,'皮'))
q.put((2,'擦'))


print(q.get())
print(q.get())
print(q.get())
print(q.get())
print(q.get())

輸出順序如下所示：

(2, '擦')
(3, '皮')
(4, '想')
(4, '橡')
(5, '夢')

寫在后面

本文作為《爬蟲 120 例》專欄中的一篇，但是不會占用案例篇幅滴，僅作為一個番外存在，畢竟從下一篇開始，我們將會把 threading 模塊與 queue 模塊結合起來，實作多執行緒爬蟲 ，

《爬蟲 120 例》代碼倉庫地址：https://codechina.csdn.net/hihell/python120，去給個關注或者 Star 吧，

來都來了，不發個評論，點個贊，收個藏嗎？

今天是持續寫作的第 207 / 365 天，
可以關注我，點贊我、評論我、收藏我啦，

更多精彩

• Python 爬蟲 100 例教程導航帖（已完結，復盤更新中，目前 110+ 篇）