主頁 > 資料庫 > 鴻蒙內核原始碼分析(調度機制篇)

鴻蒙內核原始碼分析(調度機制篇)

2020-09-25 19:21:45 資料庫

提示:本文基于開源鴻蒙內核分析,官方原始碼【kernel_liteos_a】官方檔案【docs】參考檔案【Huawei LiteOS】
本文作者:鴻蒙內核發燒友,將持續研究鴻蒙內核,更新博文,敬請關注,內容僅代表個人觀點,錯誤之處,歡迎大家指正完善,本系列全部文章進入 查看 鴻蒙系統原始碼分析(總目錄)


本文分析任務調度機制原始碼 詳見:../kernel/base/sched/sched_sq/los_sched.c

目錄

建議先閱讀

為什么學一個東西要學那么多的概念?

行程和執行緒的狀態遷移圖

誰來觸發調度作業?

原始碼告訴你調度程序是怎樣的?

請讀懂內核最美函式 OsGetTopTask()

建議先閱讀

閱讀之前建議先讀本系列其他文章,進入鴻蒙系統原始碼分析(總目錄),以便對本文任務調度機制的理解,

為什么學一個東西要學那么多的概念?

鴻蒙的內核中 Task 和 執行緒 在廣義上可以理解為是一個東西,但狹義上肯定會有區別,區別在于管理體系的不同,Task是調度層面的概念,執行緒是行程層面概念,比如 main() 函式中首個函式 OsSetMainTask(); 就是設定啟動任務,但此時啥都還沒開始呢,Kprocess 行程都沒創建,怎么會有大家一般意義上所理解的執行緒呢,狹義上的后續有 鴻蒙內核原始碼分析(啟動程序篇) 來說明,不知道大家有沒有這種體會,學一個東西的程序中要接觸很多新概念,尤其像 Java/android 的生態,概念賊多,很多同學都被繞在概念中出不來,痛苦不堪,那問題是為什么需要這么多的概念呢?

舉個例子就明白了:

假如您去深圳參加一個面試老板問你哪里人?你會說是 江西人,湖南人... 而不會說是張家村二組的張全蛋,這樣還誰敢要你,但如果你參加同鄉會別人問你同樣問題,你不會說是來自東北那旮沓的,卻反而要說張家村二組的張全蛋,明白了嗎?張全蛋還是那個張全蛋,但因為場景變了,您的說法就得必須跟著變,否則沒法愉快的聊天,程式設計就是源于生活,歸于生活,大家對程式的理解就是要用生活中的場景去打比方,更好的理解概念,

那在內核的調度層面,咱們就說task, task是內核調度的單元,調度就是圍著它轉,

行程和執行緒的狀態遷移圖

先看看task從哪些渠道產生:

渠道很多,可能是shell 的一個命令,也可能由內核創建,更多的是大家撰寫應用程式new出來的一個執行緒,

調度的內容task已經有了,那他們是如何有序的被調度?答案:是32個行程和執行緒就緒佇列,各32個哈,為什么是32個,鴻蒙系統原始碼分析(總目錄)文章里有詳細說明,自己去翻,這張行程狀態遷移示意圖一定要看明白,執行緒的狀態遷移大家去官方檔案看,不一一列出來,太多了占地方,

注意:行程和執行緒的佇列內的內容只針對就緒狀態,其他狀態內核并沒有用佇列去描述它,(執行緒的阻塞狀態用的是pendlist鏈表),因為就緒就意味著作業都準備好了就等著被調度到CPU來執行了,所以理解就緒佇列很關鍵,有三種情況會加入就緒佇列,

  • Init→Ready:

    行程創建或fork時,拿到該行程控制塊后進入Init狀態,處于行程初始化階段,當行程初始化完成將行程插入調度佇列,此時行程進入就緒狀態,

  • Pend→Ready / Pend→Running:

    阻塞行程內的任意執行緒恢復就緒態時,行程被加入到就緒佇列,同步轉為就緒態,若此時發生行程切換,則行程狀態由就緒態轉為運行態,

  • Running→Ready:

    行程由運行態轉為就緒態的情況有以下兩種:

  • 有更高優先級的行程創建或者恢復后,會發生行程調度,此刻就緒串列中最高優先級行程變為運行態,那么原先運行的行程由運行態變為就緒態,
  • 若行程的調度策略為SCHED_RR,且存在同一優先級的另一個行程處于就緒態,則該行程的時間片消耗光之后,該行程由運行態轉為就緒態,另一個同優先級的行程由就緒態轉為運行態,

誰來觸發調度作業?

就緒佇列讓task各就各位,在其生命周期內不停的進行狀態流轉,調度是讓task交給CPU處理,那又是什么讓調度去作業的呢?它是如何被觸發的?

筆者能想到的觸發方式是以下四個:

  • Tick(時鐘管理),類似于JAVA的定時任務,時間到了就觸發,系統定時器是內核時間機制中最重要的一部分,它提供了一種周期性觸發中斷機制,即系統定時器以HZ(時鐘節拍率)為頻率自行觸發時鐘中斷,當時鐘中斷發生時,內核就通過時鐘中斷處理程式OsTickHandler對其進行處理,鴻蒙內核默認是10ms觸發一次,執行以下中斷函式:
/*
 * Description : Tick interruption handler
 */
LITE_OS_SEC_TEXT VOID OsTickHandler(VOID)
{
    UINT32 intSave;

    TICK_LOCK(intSave);
    g_tickCount[ArchCurrCpuid()]++;
    TICK_UNLOCK(intSave);

#ifdef LOSCFG_KERNEL_VDSO
    OsUpdateVdsoTimeval();
#endif

#ifdef LOSCFG_KERNEL_TICKLESS
    OsTickIrqFlagSet(OsTicklessFlagGet());
#endif

#if (LOSCFG_BASE_CORE_TICK_HW_TIME == YES)
    HalClockIrqClear(); /* diff from every platform */
#endif

    OsTimesliceCheck();

    OsTaskScan(); /* task timeout scan *///*kyf 任務掃描,發起調度

#if (LOSCFG_BASE_CORE_SWTMR == YES)
    OsSwtmrScan();
#endif
}

里面對任務進行了掃描,時間片到了或就緒佇列有高或同級task, 會執行調度,

  • 第二個是各種軟硬中斷,如何USB插拔,鍵盤,滑鼠這些外設引起的中斷,需要去執行中斷處理函式,
  • 第三個是程式主動中斷,比如運行程序中需要申請其他資源,而主動讓出控制權,重新調度,
  • 最后一個是創建一個新行程或新任務后主動發起的搶占式調度,新行程會默認創建一個main task, task的首條指令(入口函式)就是我們上層程式的main函式,它被放在代碼段的第一的位置,
  • 哪些地方會申請調度?看一張圖,

這里提下圖中的 OsCopyProcess(), 這是fork行程的主體函式,可以看出fork之后立即申請了一次調度,

LITE_OS_SEC_TEXT INT32 LOS_Fork(UINT32 flags, const CHAR *name, const TSK_ENTRY_FUNC entry, UINT32 stackSize)
{
    UINT32 cloneFlag = CLONE_PARENT | CLONE_THREAD | CLONE_VFORK | CLONE_FILES;

    if (flags & (~cloneFlag)) {
        PRINT_WARN("Clone dont support some flags!\n");
    }

    flags |= CLONE_FILES;
    return OsCopyProcess(cloneFlag & flags, name, (UINTPTR)entry, stackSize);
}

STATIC INT32 OsCopyProcess(UINT32 flags, const CHAR *name, UINTPTR sp, UINT32 size)
{
    UINT32 intSave, ret, processID;
    LosProcessCB *run = OsCurrProcessGet();

    LosProcessCB *child = OsGetFreePCB();
    if (child == NULL) {
        return -LOS_EAGAIN;
    }
    processID = child->processID;

    ret = OsForkInitPCB(flags, child, name, sp, size);
    if (ret != LOS_OK) {
        goto ERROR_INIT;
    }

    ret = OsCopyProcessResources(flags, child, run);
    if (ret != LOS_OK) {
        goto ERROR_TASK;
    }

    ret = OsChildSetProcessGroupAndSched(child, run);
    if (ret != LOS_OK) {
        goto ERROR_TASK;
    }

    LOS_MpSchedule(OS_MP_CPU_ALL);
    if (OS_SCHEDULER_ACTIVE) {
        LOS_Schedule();//*kyf 申請調度
    }

    return processID;

ERROR_TASK:
    SCHEDULER_LOCK(intSave);
    (VOID)OsTaskDeleteUnsafe(OS_TCB_FROM_TID(child->threadGroupID), OS_PRO_EXIT_OK, intSave);
ERROR_INIT:
    OsDeInitPCB(child);
    return -ret;
}

原來創建一個行程這么簡單,真的就是在COPY! 這里拋個問題請大家思考,為何 創建行程用copy ,創建執行緒用 new?

原始碼告訴你調度程序是怎樣的

以上是需要提前了解的資訊,接下來直接上原始碼看調度程序吧,檔案就三個函式,主要就是這個了:

VOID OsSchedResched(VOID)
{
    LOS_ASSERT(LOS_SpinHeld(&g_taskSpin));//*kyf 調度程序要上鎖
    newTask = OsGetTopTask(); //*kyf 獲取最高優先級任務
    OsSchedSwitchProcess(runProcess, newProcess);//*kyf 切換運行的行程
    (VOID)OsTaskSwitchCheck(runTask, newTask);
    OsCurrTaskSet((VOID*)newTask);//*kyf 設定當前任務
    if (OsProcessIsUserMode(newProcess)) {
        OsCurrUserTaskSet(newTask->userArea);//*kyf 運行空間
    }
    /* do the task context switch */
    OsTaskSchedule(newTask, runTask); //*kyf 切換任務背景關系
}

函式有點長,筆者留了最重要的幾行,看這幾行就夠了,流程如下:

  1. 調度程序要自旋鎖,不允許任何中斷發生,沒錯,說的是任何事是不能去打斷它,否則后果太嚴重了,這可是內核在切換行程和執行緒的操作啊,
  2. 在就緒佇列里找個最高優先級的task
  3. 切換行程,就是task/執行緒 歸屬的那個行程為當前行程,這里要注意,老的task和老行程只是讓出了CPU指令執行權,其他都還在記憶體,
  4. 設定新任務為當前任務
  5. 用戶模式下需要設定task運行空間,因為每個task堆疊是不一樣的
  6. 是最重要的,切換任務背景關系,引數是新老兩個任務,一個要保存現場,一個要恢復現場,

什么是任務背景關系?看鴻蒙系統原始碼分析(總目錄)其他文章,有專門的介紹,這里要說明的是 在CPU的層面,它只認任務背景關系!這里看不到任何代碼了,因為這是跟CPU相關的,不同的CPU需要去適配不同的匯編代碼,所以這些匯編代碼不會出現在一個通用工程中,請留意后續 鴻蒙內核原始碼分析(匯編指令篇),

請讀懂內核最美函式 OsGetTopTask()

最后留個作業,讀懂這個筆者認為的內核最美函式,就明白了就緒佇列是怎么回事了,這里提下goto陳述句,幾乎所有內核代碼都會大量的使用goto陳述句,鴻蒙內核有617個goto遠大于264個break,還有人說要廢掉goto,你知道內核開發者青睞goto的真正原因嗎?

LITE_OS_SEC_TEXT_MINOR LosTaskCB *OsGetTopTask(VOID)
{
    UINT32 priority, processPriority;
    UINT32 bitmap;
    UINT32 processBitmap;
    LosTaskCB *newTask = NULL;
#if (LOSCFG_KERNEL_SMP == YES)
    UINT32 cpuid = ArchCurrCpuid();
#endif
    LosProcessCB *processCB = NULL;
    processBitmap = g_priQueueBitmap;
    while (processBitmap) {
        processPriority = CLZ(processBitmap);
        LOS_DL_LIST_FOR_EACH_ENTRY(processCB, &g_priQueueList[processPriority], LosProcessCB, pendList) {
            bitmap = processCB->threadScheduleMap;
            while (bitmap) {
                priority = CLZ(bitmap);
                LOS_DL_LIST_FOR_EACH_ENTRY(newTask, &processCB->threadPriQueueList[priority], LosTaskCB, pendList) {
#if (LOSCFG_KERNEL_SMP == YES)
                    if (newTask->cpuAffiMask & (1U << cpuid)) {
#endif
                        newTask->taskStatus &= ~OS_TASK_STATUS_READY;
                        OsPriQueueDequeue(processCB->threadPriQueueList,
                                          &processCB->threadScheduleMap,
                                          &newTask->pendList);
                        OsDequeEmptySchedMap(processCB);
                        goto OUT;
#if (LOSCFG_KERNEL_SMP == YES)
                    }
#endif
                }
                bitmap &= ~(1U << (OS_PRIORITY_QUEUE_NUM - priority - 1));
            }
        }
        processBitmap &= ~(1U << (OS_PRIORITY_QUEUE_NUM - processPriority - 1));
    }

OUT:
    return newTask;
}

#ifdef __cplusplus
#if __cplusplus
}

系列文章在鴻蒙系統原始碼分析(總目錄)查看

轉載請註明出處,本文鏈接:https://www.uj5u.com/shujuku/127686.html

標籤:其他

上一篇:Android中使用OkHttp的五種請求方式及注意事項

下一篇:NDK 入門指南

標籤雲
其他(157675) Python(38076) JavaScript(25376) Java(17977) C(15215) 區塊鏈(8255) C#(7972) AI(7469) 爪哇(7425) MySQL(7132) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5869) 数组(5741) R(5409) Linux(5327) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4554) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2429) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) 功能(1967) .NET技术(1958) Web開發(1951) python-3.x(1918) HtmlCss(1915) 弹簧靴(1913) C++(1909) xml(1889) PostgreSQL(1872) .NETCore(1853) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • GPU虛擬機創建時間深度優化

    **?桔妹導讀:**GPU虛擬機實體創建速度慢是公有云面臨的普遍問題,由于通常情況下創建虛擬機屬于低頻操作而未引起業界的重視,實際生產中還是存在對GPU實體創建時間有苛刻要求的業務場景。本文將介紹滴滴云在解決該問題時的思路、方法、并展示最終的優化成果。 從公有云服務商那里購買過虛擬主機的資深用戶,一 ......

    uj5u.com 2020-09-10 06:09:13 more
  • 可編程網卡芯片在滴滴云網路的應用實踐

    **?桔妹導讀:**隨著云規模不斷擴大以及業務層面對延遲、帶寬的要求越來越高,采用DPDK 加速網路報文處理的方式在橫向縱向擴展都出現了局限性。可編程芯片成為業界熱點。本文主要講述了可編程網卡芯片在滴滴云網路中的應用實踐,遇到的問題、帶來的收益以及開源社區貢獻。 #1. 資料中心面臨的問題 隨著滴滴 ......

    uj5u.com 2020-09-10 06:10:21 more
  • 滴滴資料通道服務演進之路

    **?桔妹導讀:**滴滴資料通道引擎承載著全公司的資料同步,為下游實時和離線場景提供了必不可少的源資料。隨著任務量的不斷增加,資料通道的整體架構也隨之發生改變。本文介紹了滴滴資料通道的發展歷程,遇到的問題以及今后的規劃。 #1. 背景 資料,對于任何一家互聯網公司來說都是非常重要的資產,公司的大資料 ......

    uj5u.com 2020-09-10 06:11:05 more
  • 滴滴AI Labs斬獲國際機器翻譯大賽中譯英方向世界第三

    **桔妹導讀:**深耕人工智能領域,致力于探索AI讓出行更美好的滴滴AI Labs再次斬獲國際大獎,這次獲獎的專案是什么呢?一起來看看詳細報道吧! 近日,由國際計算語言學協會ACL(The Association for Computational Linguistics)舉辦的世界最具影響力的機器 ......

    uj5u.com 2020-09-10 06:11:29 more
  • MPP (Massively Parallel Processing)大規模并行處理

    1、什么是mpp? MPP (Massively Parallel Processing),即大規模并行處理,在資料庫非共享集群中,每個節點都有獨立的磁盤存盤系統和記憶體系統,業務資料根據資料庫模型和應用特點劃分到各個節點上,每臺資料節點通過專用網路或者商業通用網路互相連接,彼此協同計算,作為整體提供 ......

    uj5u.com 2020-09-10 06:11:41 more
  • 滴滴資料倉庫指標體系建設實踐

    **桔妹導讀:**指標體系是什么?如何使用OSM模型和AARRR模型搭建指標體系?如何統一流程、規范化、工具化管理指標體系?本文會對建設的方法論結合滴滴資料指標體系建設實踐進行解答分析。 #1. 什么是指標體系 ##1.1 指標體系定義 指標體系是將零散單點的具有相互聯系的指標,系統化的組織起來,通 ......

    uj5u.com 2020-09-10 06:12:52 more
  • 單表千萬行資料庫 LIKE 搜索優化手記

    我們經常在資料庫中使用 LIKE 運算子來完成對資料的模糊搜索,LIKE 運算子用于在 WHERE 子句中搜索列中的指定模式。 如果需要查找客戶表中所有姓氏是“張”的資料,可以使用下面的 SQL 陳述句: SELECT * FROM Customer WHERE Name LIKE '張%' 如果需要 ......

    uj5u.com 2020-09-10 06:13:25 more
  • 滴滴Ceph分布式存盤系統優化之鎖優化

    **桔妹導讀:**Ceph是國際知名的開源分布式存盤系統,在工業界和學術界都有著重要的影響。Ceph的架構和演算法設計發表在國際系統領域頂級會議OSDI、SOSP、SC等上。Ceph社區得到Red Hat、SUSE、Intel等大公司的大力支持。Ceph是國際云計算領域應用最廣泛的開源分布式存盤系統, ......

    uj5u.com 2020-09-10 06:14:51 more
  • es~通過ElasticsearchTemplate進行聚合~嵌套聚合

    之前寫過《es~通過ElasticsearchTemplate進行聚合操作》的文章,這一次主要寫一個嵌套的聚合,例如先對sex集合,再對desc聚合,最后再對age求和,共三層嵌套。 Aggregations的部分特性類似于SQL語言中的group by,avg,sum等函式,Aggregation ......

    uj5u.com 2020-09-10 06:14:59 more
  • 爬蟲日志監控 -- Elastc Stack(ELK)部署

    傻瓜式部署,只需替換IP與用戶 導讀: 現ELK四大組件分別為:Elasticsearch(核心)、logstash(處理)、filebeat(采集)、kibana(可視化) 下載均在https://www.elastic.co/cn/downloads/下tar包,各組件版本最好一致,配合fdm會 ......

    uj5u.com 2020-09-10 06:15:05 more
最新发布
  • day02-2-商鋪查詢快取

    功能02-商鋪查詢快取 3.商鋪詳情快取查詢 3.1什么是快取? 快取就是資料交換的緩沖區(稱作Cache),是存盤資料的臨時地方,一般讀寫性能較高。 快取的作用: 降低后端負載 提高讀寫效率,降低回應時間 快取的成本: 資料一致性成本 代碼維護成本 運維成本 3.2需求說明 如下,當我們點擊商店詳 ......

    uj5u.com 2023-04-20 08:33:24 more
  • MySQL中binlog備份腳本分享

    關于MySQL的二進制日志(binlog),我們都知道二進制日志(binlog)非常重要,尤其當你需要point to point災難恢復的時侯,所以我們要對其進行備份。關于二進制日志(binlog)的備份,可以基于flush logs方式先切換binlog,然后拷貝&壓縮到到遠程服務器或本地服務器 ......

    uj5u.com 2023-04-20 08:28:06 more
  • day02-短信登錄

    功能實作02 2.功能01-短信登錄 2.1基于Session實作登錄 2.1.1思路分析 2.1.2代碼實作 2.1.2.1發送短信驗證碼 發送短信驗證碼: 發送驗證碼的介面為:http://127.0.0.1:8080/api/user/code?phone=xxxxx<手機號> 請求方式:PO ......

    uj5u.com 2023-04-20 08:27:27 more
  • 快取與資料庫雙寫一致性幾種策略分析

    本文將對幾種快取與資料庫保證資料一致性的使用方式進行分析。為保證高并發性能,以下分析場景不考慮執行的原子性及加鎖等強一致性要求的場景,僅追求最終一致性。 ......

    uj5u.com 2023-04-20 08:26:48 more
  • sql陳述句優化

    問題查找及措施 問題查找 需要找到具體的代碼,對其進行一對一優化,而非一直把關注點放在服務器和sql平臺 降低簡化每個事務中處理的問題,盡量不要讓一個事務拖太長的時間 例如檔案上傳時,應將檔案上傳這一步放在事務外面 微軟建議 4.啟動sql定時執行計劃 怎么啟動sqlserver代理服務-百度經驗 ......

    uj5u.com 2023-04-20 08:26:35 more
  • 云時代,MySQL到ClickHouse資料同步產品對比推薦

    ClickHouse 在執行分析查詢時的速度優勢很好的彌補了MySQL的不足,但是對于很多開發者和DBA來說,如何將MySQL穩定、高效、簡單的同步到 ClickHouse 卻很困難。本文對比了 NineData、MaterializeMySQL(ClickHouse自帶)、Bifrost 三款產品... ......

    uj5u.com 2023-04-20 08:26:29 more
  • sql陳述句優化

    問題查找及措施 問題查找 需要找到具體的代碼,對其進行一對一優化,而非一直把關注點放在服務器和sql平臺 降低簡化每個事務中處理的問題,盡量不要讓一個事務拖太長的時間 例如檔案上傳時,應將檔案上傳這一步放在事務外面 微軟建議 4.啟動sql定時執行計劃 怎么啟動sqlserver代理服務-百度經驗 ......

    uj5u.com 2023-04-20 08:25:13 more
  • Redis 報”OutOfDirectMemoryError“(堆外記憶體溢位)

    Redis 報錯“OutOfDirectMemoryError(堆外記憶體溢位) ”問題如下: 一、報錯資訊: 使用 Redis 的業務介面 ,產生 OutOfDirectMemoryError(堆外記憶體溢位),如圖: 格式化后的報錯資訊: { "timestamp": "2023-04-17 22: ......

    uj5u.com 2023-04-20 08:24:54 more
  • day02-2-商鋪查詢快取

    功能02-商鋪查詢快取 3.商鋪詳情快取查詢 3.1什么是快取? 快取就是資料交換的緩沖區(稱作Cache),是存盤資料的臨時地方,一般讀寫性能較高。 快取的作用: 降低后端負載 提高讀寫效率,降低回應時間 快取的成本: 資料一致性成本 代碼維護成本 運維成本 3.2需求說明 如下,當我們點擊商店詳 ......

    uj5u.com 2023-04-20 08:24:03 more
  • day02-短信登錄

    功能實作02 2.功能01-短信登錄 2.1基于Session實作登錄 2.1.1思路分析 2.1.2代碼實作 2.1.2.1發送短信驗證碼 發送短信驗證碼: 發送驗證碼的介面為:http://127.0.0.1:8080/api/user/code?phone=xxxxx<手機號> 請求方式:PO ......

    uj5u.com 2023-04-20 08:23:11 more