openGauss內核分析：SQL by pass & 經典執行器-有解無憂

摘要：執行引擎一般負責查詢的執行，執行引擎在SQL執行堆疊中起到接收優化器生成的執行計劃Plan、并對通過存盤引擎提供的資料讀寫介面，實作對資料進行計算得到查詢的結果集，

本文分享自華為云社區《openGauss內核分析（七）：SQL by pass & 經典執行器》，作者：Gauss松鼠會，

執行引擎一般負責查詢的執行，執行引擎在SQL執行堆疊中起到接收優化器生成的執行計劃Plan、并對通過存盤引擎提供的資料讀寫介面，實作對資料進行計算得到查詢的結果集，

在典型的OLTP場景中，簡單查詢占了很大一部分比例，這種查詢的特征是只涉及單表和簡單運算式的查詢，因此為了加速這類查詢，openGauss提出了SQL by pass框架，在parse層對這類查詢做簡單的模式判別后，進入到特殊的執行路徑里，跳過經典的執行器執行框架，包括算子的初始化與執行、運算式與投影等經典框架，直接重寫一套簡潔的執行路徑，并且直接呼叫存盤介面，這樣可以大大加速簡單查詢的執行速度，

SQL by pass

enable_opfusion用于控制是否對簡單增刪改查進行優化，簡單insert陳述句在開啟enable_opfusion時的執行計劃如下

由于開啟SQL BY PASS，從exec_simple_query過來的陳述句，會判斷可以走SQL BY PASS，否則進入CreatePortal走經典執行流程，

static void exec_simple_query(const char* query_string, MessageType messageType, StringInfo msg = NULL)
{
    …
 /* SQL bypass */
 if (runOpfusionCheck) { // 進入SQL by pass
            (void)MemoryContextSwitchTo(oldcontext);
 void* opFusionObj = OpFusion::FusionFactory(
                OpFusion::getFusionType(NULL, NULL, plantree_list), oldcontext, NULL, plantree_list, NULL);
 if (opFusionObj != NULL) {
                ((OpFusion*)opFusionObj)->setCurrentOpFusionObj((OpFusion*)opFusionObj);
 if (OpFusion::process(FUSION_EXECUTE, NULL, completionTag, isTopLevel, NULL)) {
                    CommandCounterIncrement();
                    finish_xact_command();
                    EndCommand(completionTag, dest);
                    MemoryContextReset(OptimizerContext);
 break;
                }
                Assert(0);
            }
            (void)MemoryContextSwitchTo(t_thrd.mem_cxt.msg_mem_cxt);
        }
 /*
         * Create unnamed portal to run the query or queries in. If there
         * already is one, silently drop it.
         */
        portal = CreatePortal("", true, true); // 經典執行流程
    …
}

進入InsertFusion::execute完成資料插入操作，

#0  InsertFusion::execute (this=0x7fd93a4104f8, max_rows=9223372036854775807, completionTag=0x7fd933e67020 "@p\346\063\331\177")
    at opfusion_insert.cpp:297
#1 0x0000000001ac00d9 in OpFusion::fusionExecute (this=0x7fd93a4104f8, msg=0x0, completionTag=0x7fd933e67020 "@p\346\063\331\177",
    isTopLevel=true, isQueryCompleted=0x0) at opfusion.cpp:453
#2 0x0000000001ac0389 in OpFusion::process (op=0, msg=0x0, completionTag=0x7fd933e67020 "@p\346\063\331\177", isTopLevel=true,
    isQueryCompleted=0x0) at opfusion.cpp:491
#3 0x000000000193a910 in exec_simple_query (query_string=0x7fd966ad2060 "insert into t1 values(1,200);",
    messageType=QUERY_MESSAGE, msg=0x7fd933e67210) at postgres.cpp:2624

SQL by pass適應的場景有：

只支持indexscan和indexonlyscan，且全部WHERE陳述句的過濾條件都在索引上，
只支持單表增刪改查，不支持join、using，
只支持行存表，不支持磁區表，表不支持有觸發器，
不支持active sql、QPS等資訊統計特性，
不支持正在擴容和縮容的表，
不支持查詢或者修改系統列，
只支持簡單SELECT陳述句，例如

SELECT c3 FROM t1 WHERE c1 = ? and c2 =10;

僅可以查詢目標表的列，c1和c2列為索引列，后邊可以是常量或者引數，可以使用 for update，

只支持簡單INSERT陳述句，例如：

INSERT INTO t1 VALUES (?,10,?);

僅支持一個VALUES，VALUES里面的型別可以是常量和引數，不支持returning，

只支持簡單DELETE陳述句，例如：

DELETE FROM t1 WHERE c1 = ? and c2 = 10;

c1和c2列為索引列，后邊可以是常量或者引數，

只支持簡單UPDATE陳述句，例如：

UPDATE t1 SET c3 = c3+? WHERE c1 = ? and c2 = 10;

c3列修改的值可以是常量和引數，也可以是一個簡單的運算式，c1和c2列為索引列，后邊可以是常量或者引數，

經典的執行器

關閉enable_opfusion，簡單insert的執行計劃是這樣的

在這種執行流程中Portal是執行SQL陳述句的載體，每一條SQL對應唯一的Portal，不同的查詢型別對應的Portal型別也有區別，

typedef enum PortalStrategy {
    PORTAL_ONE_SELECT, // SQL陳述句包含單一的SELECT查詢
    PORTAL_ONE_RETURNING, // INSERT/UPDATE/DELETE陳述句包含Returning
    PORTAL_ONE_MOD_WITH, // 查詢陳述句包含With
    PORTAL_UTIL_SELECT, // 工具型別查詢陳述句，如explain
    PORTAL_MULTI_QUERY // 所有其他型別查詢陳述句
} PortalStrategy;

Portal的生命周期管理在exec_simple_query函式中實作，該函式負責Portal創建、執行和清理，Portal執行的主要執行流程包括PortalStart函式、PortalRun函式、PortalDrop函式幾個部分，其中PortalStart函式負責進行Portal結構體初始化作業，包括執行算子初始化、記憶體背景關系分配等；PortalRun函式負責真正的執行和運算，它是執行器的核心；PortalDrop函式負責最后的清理作業，主要是資料結構、快取的清理，

PortalRun函式根據查詢型別進入不同的處理函式

bool PortalRun(
    Portal portal, long count, bool isTopLevel, DestReceiver* dest, DestReceiver* altdest, char* completionTag)
{    
…
 switch (portal->strategy) {
 case PORTAL_ONE_SELECT:
                …
 case PORTAL_MULTI_QUERY: // insert從這里進入
                PortalRunMulti(portal, isTopLevel, dest, altdest, completionTag);
 /* Prevent portal's commands from being re-executed */
                MarkPortalDone(portal);
 /* Always complete at end of RunMulti */
                result = true;
 break;
…
}

最終執行ExecInsertT完成資料插入，

#0  ExecInsertT (state=0x7fdbf1836060, slot=0x7fdbf0c86460, planSlot=0x7fdbf0c86460, estate=0x7fdbf0c74060, canSetTag=true,
    options=0, partitionList=0x7fdbf3125860) at nodeModifyTable.cpp:800
#1 0x0000000001a684cd in ExecModifyTable (node=0x7fdbf1836060) at nodeModifyTable.cpp:3043
#2 0x00000000019f3f93 in ExecModifyTableWrap (node=0x7fdbf1836060) at execProcnode.cpp:785
#3 0x00000000019f43b5 in ExecProcNode (node=0x7fdbf1836060) at execProcnode.cpp:1038
#4 0x00000000019ed9d5 in ExecutePlan (estate=0x7fdbf0c74060, planstate=0x7fdbf1836060, operation=CMD_INSERT, sendTuples=false,
    numberTuples=0, direction=ForwardScanDirection, dest=0x7fdbf13bb9c8, motJitContext=0x0) at execMain.cpp:2163
#5 0x00000000019ea25a in standard_ExecutorRun (queryDesc=0x7fdbf1558060, direction=ForwardScanDirection, count=0)
    at execMain.cpp:608
#6 0x000000000181d6ef in explain_ExecutorRun (queryDesc=0x7fdbf1558060, direction=ForwardScanDirection, count=0)
    at auto_explain.cpp:121
#7 0x00000000019e9dee in ExecutorRun (queryDesc=0x7fdbf1558060, direction=ForwardScanDirection, count=0) at execMain.cpp:486
#8 0x000000000194fed6 in ProcessQuery (plan=0x7fdbf0b7b2e0, sourceText=0x7fdbf13ba060 "insert into t1 values(1,200);", params=0x0,
    isMOTTable=false, motJitContext=0x0, dest=0x7fdbf13bb9c8, completionTag=0x7fdbf3126020 "") at pquery.cpp:292
#9 0x0000000001953fa1 in PortalRunMulti (portal=0x7fdbf0c7a060, isTopLevel=true, dest=0x7fdbf13bb9c8, altdest=0x7fdbf13bb9c8,
    completionTag=0x7fdbf3126020 "") at pquery.cpp:1889
#10 0x00000000019525e0 in PortalRun (portal=0x7fdbf0c7a060, count=9223372036854775807, isTopLevel=true, dest=0x7fdbf13bb9c8,
    altdest=0x7fdbf13bb9c8, completionTag=0x7fdbf3126020 "") at pquery.cpp:1191
#11 0x000000000193ac65 in exec_simple_query (query_string=0x7fdbf13ba060 "insert into t1 values(1,200);",
    messageType=QUERY_MESSAGE, msg=0x7fdbf3126210) at postgres.cpp:2720

以上分析了簡單insert陳述句的兩種執行流程，對于delete,update,select基本作業流程一致，

點擊關注，第一時間了解華為云新鮮技術~

轉載請註明出處，本文鏈接：https://www.uj5u.com/shujuku/505602.html

標籤：其他

上一篇：openGauss內核分析：SQL by pass & 經典執行器

下一篇：ElasticSearch：如何從多個索引中搜索