摘要：query_band是一個會話級別（session）的GUC引數，本身是字串型別，支持任意形式字符組合，
本文分享自華為云社區《GaussDB(DWS)的query_band負載識別與應用》，作者：門前一棵葡萄樹，
query_band概述
GaussDB(DWS)實作了基于query_band的負載識別和優先級調度，一方面提供了更為靈活的負載識別手段，不再局限于依據“用戶-資源池”的映射關系將作業路由至對應資源池，提供了“鍵值對-資源池”的路由方式；另一方面實作了作業優先級調度，出現排隊時按照優先級調度作業，
管理員用戶可根據業務場景及作業類別配置query_band關聯的資源池和優先級等實作更為靈活的負載管理，如果業務未配置query_band或用戶未將query_band關聯行為時，作業會默認使用用戶關聯的資源池和默認優先級(Medium)，
query_band是什么？
query_band是一個會話級別（session）的GUC引數，本身是字串型別，支持任意形式字符組合，query_band用于負載識別時，為了便于區分、解決無意義字串難以理解的問題，僅支持識別鍵值對形式的字串，query_band鍵值對有以下限制：
- 僅支持識別鍵值對形式的字串，即：“key=value”；
- 有效字符：數字0~9、大寫字母A~Z、小寫字母a~z以及部分符號（‘.’、‘-’、‘_’ 以及‘#’）；
- 單個鍵值對最大長度1024；
- 支持多個鍵值對組合，鍵值對之間使用分號分隔；
- 示例：SET query_band = ‘JobName=abc;AppName=test;ApplicationName=jdbc’，
query_band負載識別
GaussDB(DWS)提供的資源管理功能，從資源池維度實作了資源隔離管控和查詢調度，借此實作了不同業務間的資源隔離，資源池作為資源管控和查詢調度的基本單位，查詢運行前需要確定使用哪個資源池，在查詢調度和查詢運行程序中使用該資源池資源（計算資源/并發等），
查詢是由用戶發起運行的，而且一般情況下用戶都是按業務劃分的，因此理所當然地就想到將用戶和資源池關聯起來，以此實作用戶的查詢在對應資源池運行的效果，GaussDB(DWS)提供了用戶-資源池關聯的能力，默認情況下用戶關聯默認資源池，可根據業務需求創建自定義資源，并將用戶關聯至自定義資源池，用戶查詢依據“用戶-資源池”的關聯關系將查詢路由至對應資源池執行，以此實作對查詢并發、記憶體及CPU資源的管控，從而實作對不同業務之間的資源限制和隔離，滿足資料庫混合負載需求，保證查詢執行時資源調度的有序可控，
“用戶-資源池”提供的用戶和資源池的關聯關系，對于用戶和業務混合交叉（多個用戶均對應多個業務）的場景就不適用了，此外一個資源池內不同用戶的作業可能有不同優先級，此時就需要給不同用戶或業務配置不同優先級，實作優先級調度，因此就需要提供一種能力，一方面不再局限于“用戶-資源池”的關聯方式，一方面還可以實作資源池內的優先級調度，這種情況下，query_band負載識別應運而生，
query_band負載識別提供了兩方面能力：
- 一方面提供了更為靈活的負載識別手段，不再局限于依據“用戶-資源池”的映射關系將作業路由至對應資源池，提供了“鍵值對-資源池”的路由方式；
- 另一方面實作了優先級調度，支持為不同用戶或業務設定不同的優先級，實作資源池內的優先級調度，
query_band功能實作
作業原理
query_band負載識別以鍵值對為單位，用戶使用的鍵值對可能有很多，但實際上關聯負載行為的鍵值對只有很少的一部分，為方便后續理解，這里按是否關聯負載行為，將鍵值對分為有效鍵值對和無效鍵值對：
有效鍵值對：有關聯負載行為；
無效鍵值對：未關聯任何負載行為，
會話內設定的query_band可能包含多個鍵值對，不同場景下可能要使用不同的鍵值對進行負載識別，以實作負載控制（分時/分天），當query_band內包含唯一有效鍵值對時，使用該鍵值對進行負載識別；當query_band內包含多個有效鍵值對時，按以下規則選擇有效鍵值對進行負載識別：
- 鍵值對匹配順序不同時，優先選擇匹配序號最小的鍵值對進行負載識別；
- 所有鍵值對匹配順序相同時，按照先后順序選擇靠前的鍵值對進行負載識別
示例：假設set query_band='b=1;a=3;c=1'中所有鍵值對匹配順序都一樣，則選擇b=1進行負載識別；假設set query_band=‘b=1;a=3;c=1’ ，其中b=1順序為-1，a=3順序為4，c=1順序為1，則選擇c=1進行負載識別，
識別能力
管理員用戶根據業務場景和負載變化，調整業務（不同業務對應不同query_band鍵值對）使用的資源池和調度優先級，業務運行程序中負載識別與query_band作業機制如下：
- 會話內設定query_band，示例：SET query_band='JobName=abc;UserName=elk'；
- 負載管理模塊決議query_band，判斷其中是否包含有效鍵值對；
- query_band內不包含有效鍵值對，則使用"用戶-資源池"的方式將作業路由至對應資源池運行，同時設定作業優先級為Medium；
- query_band內包含有效鍵值對，則使用“鍵值對-資源池”的方式將作業路由至對應資源池運行，同時設定作業優先級為鍵值對關聯優先級；
- 作業在對應資源池，按照設定的優先級進行排隊，等待查詢調度，
優先級調度
query_band支持高中低(High/Medium/Low)三個優先級，同時提供Rush作為特殊優先級（綠色通道），默認優先級為Medium，實踐程序中，建議大部分作業使用Medium優先級，優先級較低作業使用Low優先級，特權作業使用High優先級，High作業不建議過多，Rush優先級作為特殊場景下應急使用，平時不建議使用，
調度時優先調度高優作業，高優作業全部調度完才調度低優作業，GaussDB(DWS)包含多個優先級佇列，除動態負載管理場景下，CN全域并發控制佇列不支持優先級調度外，以下佇列均支持優先級調度（按優先級順序調度）：
- 靜態負載管理場景下，CN全域并發控制佇列；
- 動態負載管理場景下，CCN全域記憶體管控佇列；
- 資源池并發控制和記憶體管控佇列，（動態靜態均支持）
作業運行程序中可通過pgxc_session_wlmstat/pg_session_wlmstat視圖查詢作業優先級，視圖中優先級顯示為INT型別，數字和優先級對應關系如下：
query_band對外介面
gs_wlm_set_queryband_action
提供FUNCTION：gs_wlm_set_queryband_action(query_band cstring, action cstring, order int4)用于設定query_band負載行為，函式回傳值型別為bool，表示函式呼叫是否成功，包含三個入參，含義如下：
- query_band：query_band鍵值對
- action：負載行為
- order：匹配順序（序號），預設引數，默認值-1
應用示例：設定query_band鍵值對“UserName=elk”關聯資源池p1、優先級Rush、匹配順序為1，
SELECT * FROM gs_wlm_set_queryband_action('UserName=elk','respool=p1;priority=rush',1);
gs_wlm_set_queryband_order
提供FUNCTION：gs_wlm_set_queryband_order(query_band cstring, order int4)用于修改query_band匹配順序，函式回傳值型別為bool，表示函式呼叫是否成功，包含兩個入參，含義如下：
- query_band：query_band鍵值對
- order：匹配順序（序號），預設引數，默認值-1
除-1外，不允許兩個query_band鍵值對使用相同匹配順序，設定query_band鍵值對匹配順序時，如果存在query_band持有該匹配順序，則其順序自動+1，重復上述步驟直至無相同匹配順序的query_band鍵值對存在，匹配順序中-1最大，代表匹配優先級最低，最小值為0，代表匹配優先級最高，
應用示例：假設query_band鍵值對“UserName=elk”的匹配順序為1，“UserName=bin”的匹配順序為2，“UserName=yagao”的匹配順序為3，此時設定query_band鍵值對“UserName=on”匹配順序為1，
SELECT * FROM gs_wlm_set_queryband_order('UserName=on',1);
設定完成后，query_band鍵值對匹配順序如下：
系統表pg_workload_action
query_band支持多種負載行為，使用系統表pg_workload_action存盤不同query_band鍵值對對應的負載行為，為了后續擴展性（新增負載行為不需要新增欄位），系統表設計采用一行對應一個負載行為的方式存盤，當一個query_band鍵值對關聯多個負載行為時，每個負載行為存盤一行資料，系統表包含四個欄位：
- qband：鍵值對
- class：負載行為類別
- object：負載行為名稱
- action：關聯的負載行為
query_band目前支持以下負載行為，其中query_band鍵值對的匹配順序（序號）也作為一種負載行為存盤在系統表中，
備注：默認值不需要存盤在系統表中；資源池保存的是OID，
示例：假設已經設定query_band鍵值對“UserName=elk”關聯資源池p1、優先級Rush、匹配順序為1；“UserName=on”關聯資源池p1、優先級Medium、匹配順序為-1，查詢pg_workload_action結果如下：
postgres=# select * from pg_workload_action order by 1,2; qband | classname | objname | action --------------+-----------+----------+-------- UserName=elk | order | respool | 1 UserName=elk | workload | respool | 16722 UserName=elk | workload | priority | rush UserName=on | workload | respool | 16722 (4 rows)
pg_queryband_action視圖
pg_workload_action系統表用于存盤query_band鍵值對負載行為，查詢query_band行為可以直接查詢該表，但是隨著每一個負載行為顯示一行的方式易用性較差，因此我們提供了pg_queryband_action用于查詢所有query_band鍵值對的負載行為，每一行對應一個鍵值對的所有負載行為，
示例：假設已經設定query_band鍵值對“UserName=elk”關聯資源池p1、優先級Rush、匹配順序為1；“UserName=on”關聯資源池p1、優先級Medium、匹配順序為-1，查詢pg_queryband_action結果如下：
postgres=# select * from pg_queryband_action; qband | respool_id | respool | priority | qborder --------------+------------+---------+----------+--------- UserName=on | 16722 | p1 | Medium | -1 UserName=elk | 16722 | p1 | rush | 1 (2 rows)
query_band應用
基礎應用
創建資源池respool_1，并創建用戶user_1關聯資源池respool_1、respool_2，不設定query_band負載行為場景下，使用user_1用戶運行作業，此時user_1作業全部路由至respool_1運行，優先級為Medium，
設定query_band鍵值對"JobName=elk"的負載行為為關聯資源池respool_2，優先級為Medium；設定query_band鍵值對"JobName=on"的負載行為為優先級High，user_1用戶分別設定不同的query_band運行作業，不同作業運行方式、關聯資源池及作業優先級如下表所示：
擴展應用（用戶優先級調度）
創建資源池respool_1，并創建用戶user_1、user_2、user_3關聯資源池respool_1，不設定query_band負載行為場景下，使用user_1、user_2和user_3用戶運行作業，此時user_1、user_2和user_3作業全部路由至respool_1運行，優先級均為Medium，
設定query_band鍵值對"UserName=elk"的優先級為High；設定query_band鍵值對"UserName=on"的優先級為Low，
備注：“UserName=elk”、“UserName=on”只用于用戶標識，沒有特殊含義，用戶可按需配置，
按以下方式設定用戶默認query_band：
ALTER USER user_2 SET query_band='UserName=elk'; ALTER USER user_3 SET query_band='UserName=on';
會話內不單獨設定query_band，使用user_1、user_2和user_3用戶運行作業，此時user_1作業優先級為Medium（默認優先級），user_2作業優先級為High（對應鍵值對“UserName=elk”），user_3作業優先級為Low（對應鍵值對“UserName=on”），
此外，用戶還可設定包含多個鍵值對的query_band，在不同場景下（或不同時間段），按照不同鍵值對進行負載識別，實作更為靈活的負載控制，這里就不再贅述了，
點擊關注，第一時間了解華為云新鮮技術~
轉載請註明出處，本文鏈接：https://www.uj5u.com/shujuku/550061.html
標籤：其它