佇列（Queue）又稱先進先出表（First In First Out），即先進入佇列的元素，先從佇列中取出，加入元素的一頭叫“隊頭”，取出元素的一頭叫“隊尾”，利用訊息佇列可以很好地異步處理資料傳送和存盤，當你頻繁地向資料庫中插入資料、頻繁地向搜索引擎提交資料，就可采取訊息佇列來異步插入，另外，還可以將較慢的處理邏輯、有并發數量限制的處理邏輯，通過訊息佇列放在后臺處理，例如FLV視頻轉換、發送手機短信、發送電子郵件等，
HTTPSQS具有以下特征
- 非常簡單，基于 HTTP GET/POST 協議，PHP、Java、Perl、Shell、Python、Ruby等支持HTTP協議的編程語言均可呼叫，
- 非常快速，入佇列、出佇列速度超過10000次/秒，
- 高并發，支持上萬的并發連接，C10K不成問題，
- 支持多佇列，
- 單個佇列支持的最大佇列數量高達10億條，
- 低記憶體消耗，海量資料存盤，存盤幾十GB的資料只需不到100MB的物理記憶體緩沖區，
- 可以在不停止服務的情況下便捷地修改單個佇列的最大佇列數量，
- 可以實時查看佇列狀態（入佇列位置、出佇列位置、未讀佇列數量、最大佇列數量），
- 可以查看指定佇列ID（佇列點）的內容，包括未出、已出的佇列內容，
- 查看佇列內容時，支持多字符集編碼，
- 源代碼不超過800行，適合二次開發，
HTTPQS1.7壓力測驗：
采用Apache ab命令進行壓力測驗，開啟10個執行緒，放入10萬條文本資料（每條512位元組）到佇列中:
使用HTTP Keep-Alive時：23018 requests/sec
關閉HTTP Keep-Alive時：11840 requests/sec
采用Apache ab命令進行壓力測驗，開啟10個執行緒，從佇列中取出10萬條文本資料（每條512位元組）:
使用HTTP Keep-Alive時：25982 requests/sec
關閉HTTP Keep-Alive時：13294 requests/sec
詳細測驗內容：http://code.google.com/p/httpsqs/wiki/BenchmarkTest
生產環境應用：在金山游戲官網中，新聞、論壇帖子、客服公告、SNS社區等發生的增、刪、改操作，文本內容實時寫入HTTPSQS佇列，全站搜索引擎增量索引準實時（1分鐘內）更新的資料源取自HTTPSQS，HTTPSQS 2009年12月18日上線至今，運行穩定，既有來自Web服務器的入佇列操作，也有來自命令列腳本的批量入、出佇列操作，
HTTPSQS編譯安裝
HTTPSQS軟體包等都是放在了https://code.google.com/archive/p/httpsqs/downloads下，一般情況下無法網站無法打卡，這里提供百度網盤下載鏈接，
軟體包:百度網盤密碼:3uml
注意：HTTPSQS與所需要的依賴包具有強依賴性，必須是指定的版本，不要為了求新安裝最新的依賴包，否則在安裝httpsqs時會報錯
ulimit -SHn 65535
# 切換到資源包目錄
cd /usr/local/src
wget http://httpsqs.googlecode.com/files/libevent-2.0.12-stable.tar.gz
tar zxvf libevent-2.0.12-stable.tar.gz
cd libevent-2.0.12-stable/
./configure --prefix=/usr/local/libevent-2.0.12-stable/
make && make install
cd ../
wget http://httpsqs.googlecode.com/files/tokyocabinet-1.4.47.tar.gz
tar zxvf tokyocabinet-1.4.47.tar.gz
cd tokyocabinet-1.4.47/
./configure --prefix=/usr/local/tokyocabinet-1.4.47/
make && make install
cd ../
wget http://httpsqs.googlecode.com/files/httpsqs-1.7.tar.gz
tar zxvf httpsqs-1.7.tar.gz
cd httpsqs-1.7/
make && make install
HTTPSQS服務器使用檔案
httpsqs -h
-l <ip_addr> 監聽的IP地址，默認值為 0.0.0.0
-p <num> 監聽的TCP埠（默認值：1218）
-x <path> 資料庫目錄，目錄不存在會自動創建（例如：/opt/httpsqs/data）
-t <second> HTTP請求的超時時間（默認值：3）
-s <second> 同步記憶體緩沖區內容到磁盤的間隔秒數（默認值：5）
-c <num> 記憶體中快取的最大非葉子節點數（默認值：1024）
-m <size> 資料庫記憶體快取大小，單位：MB（默認值：100）
-i <file> 保存行程PID到檔案中（默認值：/tmp/httpsqs.pid）
-a <auth> 訪問HTTPSQS的驗證密碼（例如：mypass123）
-d 以守護行程運行
-h 顯示這個幫助
示例：
ulimit -SHn 65535
httpsqs -d -p 1218 -x /data0/queue
請使用命令“killall httpsqs”、“pkill httpsqs”和“kill cat /tmp/httpsqs.pid”來停止httpsqs，
killall httpsqs
pkill httpsqs
kill `cat /tmp/httpsqs.pid`
注意：請不要使用命令“pkill -9 httpsqs”和“kill -9 httpsqs的行程ID”來結束httpsqs，否則，記憶體中尚未保存到磁盤的資料將會丟失，
HTTPSQS客戶端使用檔案
入佇列(將文本訊息放入佇列)：
HTTP GET協議(以curl命令為例)
curl "http://host:port/?name=your_queue_name&opt=put&data=https://www.cnblogs.com/itbsl/p/經過URL編碼的文本訊息&auth=mypass123"
示例：
http://172.16.93.128:1218/?name=queue&opt=put&data=https://www.cnblogs.com/itbsl/p/hello+world
如果如佇列成功，回傳：
HTTPSQS_PUT_OK
如果如佇列失敗,回傳:
HTTPSQS_PUT_ERROR
如果佇列已滿,回傳:
HTTPSQS_PUT_END
從HTTPSQS 1.2版本開始，在回傳給客戶端的HTTP Header頭中增加了一行“Pos: xxx”，輸出當前佇列的讀取位置點，例如：
HTTP POST協議(以curl命令為例)
curl -d "經過URL編碼的文本訊息" "http://host:port/?name=your_queue_name&opt=put&auth=mypass123"
出佇列(從佇列中取出文本訊息)
HTTP GET協議(以curl命令為例)
curl "http://host:port/?charset=utf-8&name=your_queue_name&opt=get&auth=mypass123"
curl "http://host:port/?charset=gb2312&name=your_queue_name&opt=get&auth=mypass123"
以瀏覽器為例
回傳訊息佇列的內容給客戶端，
如果沒有未取出的訊息佇列，則回傳：
HTTPSQS_GET_END
從HTTPSQS 1.2版本開始，在回傳給客戶端的HTTP Header頭中增加了一行“Pos: xxx”，輸出當前佇列的讀取位置點，例如：
引數charset說明（例如：/?charset=utf-8）：
指定HTTP輸出Header頭的字符編碼，即：
Content-Type: text/plain; charset=utf-8
任何在IANA注冊的字符編碼均可使用，但是，并不是所有的瀏覽器都能決議全部的字符編碼，對于中文，常用的字符編碼有：utf-8、gb2312、gbk、gb18030、big5等，
查看佇列狀態(普通方式,便于瀏覽器查看)
HTTP GET 協議（以curl命令為例）
curl "http://host:port/?name=your_queue_name&opt=status&auth=mypass123"
示例
如果“佇列寫入點值”大于“最大佇列數量值”，將重置“佇列寫入點”為1，即又從1開始存盤新的佇列內容，覆寫原來佇列位置點的內容：
HTTP Simple Queue Service v1.7
------------------------------
Queue Name: queue
Maximum number of queues: 1000000
Put position of queue (2st lap): 4562
Get position of queue (1st lap): 900045
Number of unread queue: 104517
查看佇列狀態(JSON方式,便于程式處理回傳內容)
從HTTPSQS 1.3版本開始支持此功能，
HTTP GET 協議（以curl命令為例）：
curl "http://host:port/?name=your_queue_name&opt=status_json&auth=mypass123"
回傳（示例）：
{"name":"xoyo","maxqueue":1000000,"putpos":45,"putlap":1,"getpos":6,"getlap":1,"unread":39}
如果“佇列寫入點值”大于“最大佇列數量值”，將重置“佇列寫入點”為1，即又從1開始存盤新的佇列內容，覆寫原來佇列位置點的內容：
{"name":"xoyo","maxqueue":1000000,"putpos":4562,"putlap":2,"getpos":900045,"getlap":1,"unread":104517}
查看指定佇列位置點的內容
跟一般的佇列系統不同的是，HTTPSQS 可以查看指定佇列ID（佇列點）的內容，包括未出、已出的佇列內容，可以方便地觀測進入佇列的內容是否正確，
另外，假設有一個發送手機短信的佇列，由客戶端守護行程從佇列中取出資訊，并呼叫“短信網關介面”發送短信，但是，如果某段時間“短信網關介面”有故障，而這段時間佇列位置點300~900的資訊已經出佇列，但是發送短信失敗，我們還可以在位置點300~900被覆寫前，查看到這些位置點的內容，作相應的處理，
HTTP GET 協議（以curl命令為例）：
curl "http://host:port/?charset=utf-8&name=your_queue_name&opt=view&pos=5&auth=mypass123"
curl "http://host:port/?charset=gb2312&name=your_queue_name&opt=view&pos=19&auth=mypass123"
pos >=1 并且 <= 1000000000
回傳指定佇列位置點的內容，
重置指定佇列
HTTP GET 協議（以curl命令為例）：
curl "http://host:port/?name=your_queue_name&opt=reset&auth=mypass123"
如果重置成功，回傳：
HTTPSQS_RESET_OK
如果重置失敗，回傳：
HTTPSQS_RESET_ERROR
更改指定佇列的最大佇列數量
默認的最大佇列長度（100萬條）：1000000
HTTP GET 協議（以curl命令為例）
curl "http://host:port/?name=your_queue_name&opt=maxqueue&num=1000000000&auth=mypass123"
num >=10 并且 <= 1000000000
如果更改最大佇列數量成功，則回傳：
HTTPSQS_MAXQUEUE_OK
更改的最大佇列數量必須大于當前的“佇列寫入點”，另外，當“佇列寫入點”小于“佇列讀取點”時（即PUT位于圓環的第二圈，而GET位于圓環的第一圈時），本操作將被取消，然后回傳給客戶端以下資訊：
HTTPSQS_MAXQUEUE_CANCEL
不停止服務的情況下，修改定時重繪記憶體緩沖區內容到磁盤的間隔時間
從HTTPSQS 1.3版本開始支持此功能，
默認間隔時間：5秒 或 httpsqs -s <second> 引數設定的值，
HTTP GET 協議（以curl命令為例）：
curl "http://host:port/?name=your_queue_name&opt=synctime&num=10&auth=mypass123"
num >=1 and <= 1000000000
如果修改間隔時間成功，則回傳：
HTTPSQS_SYNCTIME_OK
如果 num 不在 1 ～ 1000000000 之間，本操作將被取消，然后回傳給客戶端以下資訊：
HTTPSQS_SYNCTIME_CANCEL
密碼校驗失敗
從HTTPSQS 1.5版本開始支持此功能，
如果密碼校驗失敗（/?auth=xxx），將回傳以下資訊：
HTTPSQS_AUTH_FAILED
全域錯誤
如果發生全域錯誤（即指令、引數錯誤等），將回傳以下資訊：
HTTPSQS_ERROR
PHP客戶端說明檔案
(1) PHP客戶端擴展(第三方提供，詳情請訪問：http://code.google.com/p/php-httpsqs-client/)
(2) PHP客戶端Class檔案(官方提供：適用于HTTPSQS1.7以上版本,推薦使用，原始碼包也在上面的百度網盤里)
require_once 'httpsqs_client.php';
$httpsqs = new httpsqs($httpsqs_host, $httpsqs_port, $httpsqs_auth, $httpsqs_charset);
/*
1. 將文本資訊放入一個佇列（注意：如果要放入佇列的PHP變數是一個陣列，需要事先使用序列化、json_encode等函式轉換成文本）
如果入佇列成功，回傳布林值：true
如果入佇列失敗，回傳布林值：false
*/
$result = $httpsqs->put($queue_name, $queue_data);
/*
2. 從一個佇列中取出文本資訊
回傳該佇列的內容
如果沒有未被取出的佇列，則回傳文本資訊：HTTPSQS_GET_END
如果發生錯誤，回傳布林值：false
*/
$result = $httpsqs->get($queue_name);
/*
3. 從一個佇列中取出文本資訊和當前佇列讀取點Pos
回傳陣列示例：array("pos" => 7, "data" => "text message")
如果沒有未被取出的佇列，則回傳陣列：array("pos" => 0, "data" => "HTTPSQS_GET_END")
如果發生錯誤，回傳布林值：false
*/
$result = $httpsqs->gets($queue_name);
/*
4. 查看佇列狀態（普通方式）
*/
$result = $httpsqs->status($queue_name);
/*
5. 查看佇列狀態（JSON方式）
回傳示例：{"name":"queue_name","maxqueue":5000000,"putpos":130,"putlap":1,"getpos":120,"getlap":1,"unread":10}
*/
$result = $httpsqs->status_json($queue_name);
/*
6. 查看指定佇列位置點的內容
回傳指定佇列位置點的內容，
*/
$result = $httpsqs->view($queue_name, $queue_pos);
/*
7. 重置指定佇列
如果重置佇列成功，回傳布林值：true
如果重置佇列失敗，回傳布林值：false
*/
$result = $httpsqs->reset($queue_name);
/*
8. 更改指定佇列的最大佇列數量
如果更改成功，回傳布林值：true
如果更改操作被取消，回傳布林值：false
*/
$result = $httpsqs->maxqueue($queue_name, $num);
/*
9. 修改定時重繪記憶體緩沖區內容到磁盤的間隔時間
如果更改成功，回傳布林值：true
如果更改操作被取消，回傳布林值：false
*/
$result = $httpsqs->synctime($num);
HTTPSQS生產環境典型應用案例架構
一個采用PHP撰寫的HTTPSQS客戶端簡單守護行程框架如下：
環境，假設PHP安裝路徑為/usr/local/webserver/php，使用PHP撰寫一個檔案/opt/httpsqs_client_daemon.php：
require_once dirname(__FILE__)."/httpsqs_client.php";
$httpsqs = new httpsqs($host, $port, $auth, $charset);
while(true) {
$result = $httpsqs->gets($name);
$pos = $result["pos"]; //當前佇列訊息的讀取位置點
$data = https://www.cnblogs.com/itbsl/p/$result["data"]; //當前佇列訊息的內容
if ($data != "HTTPSQS_GET_END" && $data != "HTTPSQS_ERROR") {
...去做應用操作...
} else {
sleep(1); //暫停1秒鐘后，再次回圈
}
}
在Linux下，推送到后臺執行即可：
nohup /usr/local/webserver/php/bin/php /opt/httpsqs_client_daemon.php 2>&1 > /dev/null &
轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/8302.html
標籤：PHP
上一篇：好苦惱，誰來解救我！
下一篇：可直接使用的8個資料清洗的代碼