主頁 > 後端開發 > freeswitch APR-UTIL庫執行緒池實作分析

freeswitch APR-UTIL庫執行緒池實作分析

2021-12-31 06:16:49 後端開發

 

 

 

概述

freeswitch的核心源代碼是基于apr庫開發的,在不同的系統上有很好的移植性,

APR庫在之前的文章中已經介紹過了,APR-UTIL庫是和APR并列的工具庫,它們都是由APACHE開源出來的跨平臺可移植庫,不同點在于庫中實作的功能介面有區別,

在應用的開發程序中,多執行緒并發是提高效率的常用方案,但是多執行緒管理并不好做,

在很多大型應用中,都會引入執行緒池的框架,執行緒池是一個執行緒集合,有統一的管理,當有一個新的任務下發,執行緒池管理會按照一定的策略將任務分配給空閑的執行緒,當任務積壓較多時,執行緒池會創建新的執行緒來加快處理效率,

APR-UTIL庫中就提供了一套執行緒池介面,

我對幾個問題比較好奇,執行緒池如何管理?執行緒池什么情況要增加執行緒?什么情況會減少執行緒?執行緒池執行緒數目如何設定才有最優的效率?

下面我們對apr-util庫的執行緒池實作做一個介紹,

 

環境

centos:CentOS  release 7.0 (Final)或以上版本

APR-UTIL:1.6.1

GCC:4.8.5

本來要使用freeswitch1.8.7中帶的apr-util庫源代碼來梳理,但是很遺憾的是這個apr-util庫版本是1.2.8,里面沒有apr_thread_pool介面,,,所以從APR官網上下載了最新的1.6.1版本來做分析,

 

資料結構

apr執行緒池源檔案:

apr-util-1.6.1\include\apr_thread_pool.h

apr-util-1.6.1\misc\apr_thread_pool.c

 

號碼池資料結構定義在apr_thread_pool.c中

typedef struct apr_thread_pool_task

{

    APR_RING_ENTRY(apr_thread_pool_task) link;

    apr_thread_start_t func;

    void *param;

    void *owner;

    union

    {

        apr_byte_t priority;

        apr_time_t time;

    } dispatch;

} apr_thread_pool_task_t;

 

APR_RING_HEAD(apr_thread_pool_tasks, apr_thread_pool_task);

 

struct apr_thread_list_elt

{

    APR_RING_ENTRY(apr_thread_list_elt) link;

    apr_thread_t *thd;

    volatile void *current_owner;

    volatile enum { TH_RUN, TH_STOP, TH_PROBATION } state;

};

 

APR_RING_HEAD(apr_thread_list, apr_thread_list_elt);

 

struct apr_thread_pool

{

    apr_pool_t *pool;

    volatile apr_size_t thd_max;

    volatile apr_size_t idle_max;

    volatile apr_interval_time_t idle_wait;

    volatile apr_size_t thd_cnt;

    volatile apr_size_t idle_cnt;

    volatile apr_size_t task_cnt;

    volatile apr_size_t scheduled_task_cnt;

    volatile apr_size_t threshold;

    volatile apr_size_t tasks_run;

    volatile apr_size_t tasks_high;

    volatile apr_size_t thd_high;

    volatile apr_size_t thd_timed_out;

    struct apr_thread_pool_tasks *tasks;

    struct apr_thread_pool_tasks *scheduled_tasks;

    struct apr_thread_list *busy_thds;

    struct apr_thread_list *idle_thds;

    apr_thread_mutex_t *lock;

    apr_thread_cond_t *cond;

    volatile int terminated;

    struct apr_thread_pool_tasks *recycled_tasks;

    struct apr_thread_list *recycled_thds;

    apr_thread_pool_task_t *task_idx[TASK_PRIORITY_SEGS];

};

 

執行緒池記憶體模型總圖,執行緒池,任務佇列,執行緒佇列,

 

 

 

 

常用函式

常用函式介面

apr_thread_pool_create       //Create a thread pool

apr_thread_pool_destroy     //Destroy the thread pool and stop all the threads

apr_thread_pool_push  //Schedule a task to the bottom of the tasks of same priority.

apr_thread_pool_schedule   //Schedule a task to be run after a delay

apr_thread_pool_top    //Schedule a task to the top of the tasks of same priority.

apr_thread_pool_tasks_cancel     //Cancel tasks submitted by the owner. If there is any task from the owner that is currently running, the function will spin until the task finished.

apr_thread_pool_tasks_count      //Get the current number of tasks waiting in the queue

apr_thread_pool_scheduled_tasks_count   //Get the current number of scheduled tasks waiting in the queue

apr_thread_pool_threads_count  //Get the current number of threads

apr_thread_pool_busy_count      //Get the current number of busy threads

apr_thread_pool_idle_count //Get the current number of idle threads

apr_thread_pool_idle_max_set    //Access function for the maximum number of idle threads. Number of current idle threads will be reduced to the new limit.

apr_thread_pool_tasks_run_count      //Get number of tasks that have run

apr_thread_pool_tasks_high_count    //Get high water mark of the number of tasks waiting to run

apr_thread_pool_threads_high_count //Get high water mark of the number of threads

apr_thread_pool_threads_idle_timeout_count   //Get the number of idle threads that were destroyed after timing out

apr_thread_pool_idle_max_get    //Access function for the maximum number of idle threads

apr_thread_pool_thread_max_set       //Access function for the maximum number of threads.

apr_thread_pool_idle_wait_set     //Access function for the maximum wait time (in microseconds) of an idling thread that exceeds the maximum number of idling threads. A non-zero value allows for the reaping of idling threads to shrink over time.  Which helps reduce thrashing.

apr_thread_pool_idle_wait_get    //Access function for the maximum wait time (in microseconds) of an idling thread that exceeds the maximum number of idling threads

apr_thread_pool_thread_max_get      //Access function for the maximum number of threads

apr_thread_pool_threshold_set   //Access function for the threshold of tasks in queue to trigger a new thread.

apr_thread_pool_threshold_get   //Access function for the threshold of tasks in queue to trigger a new thread.

apr_thread_pool_task_owner_get       //Get owner of the task currently been executed by the thread.

 

apr_thread_pool_create創建

APU_DECLARE(apr_status_t) apr_thread_pool_create(apr_thread_pool_t ** me,

                                                 apr_size_t init_threads,

                                                 apr_size_t max_threads,

                                                 apr_pool_t * pool)

 

介面邏輯:

  1. 分配一塊大小為apr_thread_pool_t的記憶體tp,
  2. 在傳入的記憶體池pool中申請一個新的記憶體池tp->pool,
  3. 初始化執行緒池資料,

    a)      執行緒池資料初始化,

b)      創建執行緒互斥鎖me->lock,

c)      創建條件變數me->cond,

d)      在記憶體池pool上分配一塊大小為“apr_thread_pool_tasks“的記憶體賦值給me->tasks,

e)      在記憶體池pool上分配一塊大小為“apr_thread_pool_tasks“的記憶體賦值給me->scheduled_tasks,

f)       在記憶體池pool上分配一塊大小為“apr_thread_pool_tasks“的記憶體賦值給me->recycled_tasks,

g)      在記憶體池pool上分配一塊大小為“apr_thread_list“的記憶體賦值給me->busy_thds,

h)      在記憶體池pool上分配一塊大小為“apr_thread_list“的記憶體賦值給me->idle_thds,

i)       在記憶體池pool上分配一塊大小為“apr_thread_list“的記憶體賦值給me->recycled_thds,

j)       執行緒池資料初始化,

  1. 在記憶體池tp->pool中注冊清理回呼函式,
  2. 回圈創建初始作業執行緒,并加入執行緒池的管理,作業執行緒的邏輯見“thread_pool_func作業執行緒”,
  3. 回傳創建結果,

 

執行緒池初始化成功后,記憶體模型如圖(作業執行緒啟動未完成時)

 

 

 

thread_pool_func作業執行緒

static void *APR_THREAD_FUNC thread_pool_func(apr_thread_t * t, void *param)

 

介面邏輯:

  1. 加鎖me->lock
  2. 判斷me->recycled_thds鏈表為空?為空則創建新的apr_thread_list_elt節點elt,不為空則獲取recycled_thds中首節點elt并從recycled_thds中移除該節點,
  3. 回圈處理,

a)      將elt節點加入me->busy_thds鏈表,

b)      獲取一個新任務task,TODO

c)      回圈處理,解鎖me->lock,呼叫任務回呼task->func,加鎖me->lock,將task加入me->recycled_tasks鏈表,獲取新任務task,執行緒狀態置為TH_STOP時跳出回圈,獲取任務為空跳出回圈,

d)      執行緒從busy到stop狀態,將elt加入me->recycled_thds鏈表尾部,解鎖me->lock,退出執行緒,

e)      執行緒從busy到idle狀態,將elt節點從me->busy_thds鏈表中移除,將elt加入me->idle_thds鏈表尾部,

f)       檢查是否有定時任務并獲取任務執行等待時間,

g)      檢查當前空閑執行緒數是否大于最大空閑數,獲取空閑等待時間me->idle_wait,并設定當前執行緒狀態為TH_PROBATION,下一輪回圈中進入stop處理流程,

h)      執行緒阻塞,等待條件變數me->cond的通知或超時,

  1. 執行緒數me->thd_cnt自減,
  2. 解鎖me->lock,
  3. 退出執行緒,

 

執行緒池初始化成功后,記憶體模型如圖(作業執行緒啟動完成時)

 

 

 

apr_thread_pool_push添加任務

APU_DECLARE(apr_status_t) apr_thread_pool_push(apr_thread_pool_t *me,

                                               apr_thread_start_t func,

                                               void *param,

                                               apr_byte_t priority,

                                               void *owner)

 

介面邏輯:

  1. 加鎖me->lock,
  2. 檢查me->recycled_tasks是否為空,為空則新建任務節點t,不為空則從me->recycled_tasks獲取任務節點t,
  3. 任務節點t資料初始化,
  4. 計算任務優先級,根據優先級設定me->task_idx[seg]和me->tasks,
  5. 當前作業執行緒數為0時,或者空閑執行緒數為0并且當前執行緒數未達到最大并且當前任務數超過閾值等條件,動態創建新的作業執行緒,
  6. 對條件變數me->cond發通知,
  7. 解鎖me->lock,

 

執行緒池添加任務后的記憶體模型圖,

 

 

 

 

apr_thread_pool_tasks_cancel取消任務

APU_DECLARE(apr_status_t) apr_thread_pool_tasks_cancel(apr_thread_pool_t *me,

                                                       void *owner)

 

介面邏輯:

  1. 加鎖me->lock,
  2. 如果當前任務數大于0,則清空owner的所有任務,
  3. 如果定時任務數大于0,則清空owner的所有定時任務,
  4. 解鎖me->lock,
  5. 等待執行緒退出,

 

總結

APR執行緒池的幾個關注點,

執行緒從busy到stop狀態時,沒有將elt節點從me->busy_thds鏈表中洗掉?

APR執行緒池沒有內置的管理執行緒,根據當前執行緒數和任務數進行動態的調整,而是通過任務閾值、空閑執行緒最大值和超時時間等設定來控制執行緒數的增減,這一點和我開始想的不一樣,

 

 


 

空空如常

求真得真

 

轉載請註明出處,本文鏈接:https://www.uj5u.com/houduan/398375.html

標籤:C++

上一篇:力扣刷題筆記 (1)

下一篇:返回列表

標籤雲
其他(133746) Python(23521) JavaScript(14698) Java(14508) C(10962) 區塊鏈(8076) AI(6762) 基礎類(6313) MySQL(5134) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4183) Linux(4046) PHP(3722) C#(3571) 爪哇(3421) C語言(3288) html(3220) C++語言(3117) sql(2905) Java相關(2746) R(2714) 疑難問題(2699) 数组(2655) 熊猫(2631) 單片機工控(2479) 反应(2364) css(1987) Web開發(1951) VBA(1896) 数据框(1869) 节点.js(1844) 網絡通信(1793) 數據庫相關(1767) VB基礎類(1755) 蟒蛇-3.x(1683) ASP.NET(1647) 開發(1646) .NETCore(1641) 系統維護與使用區(1617) 基礎和管理(1579) JavaEE(1566) C++(1565) 列表(1532) json(1516) 專題技術討論區(1515) HtmlCss(1496) Windows客戶端使用(1484) 安卓(1437) iOS(1383) Unity3D(1365) VCL組件開發及應用(1353) 查询(1348) 扑(1340) 打字稿(1330) .NET技术(1324) Qt(1277) sql-server(1236) HTML(CSS)(1220) 其他技術討論專區(1200)

熱門瀏覽
  • 【C++】Microsoft C++、C 和匯編程式檔案

    ......

    uj5u.com 2020-09-10 00:57:23 more
  • 例外宣告

    相比于斷言適用于排除邏輯上不可能存在的狀態,例外通常是用于邏輯上可能發生的錯誤。 例外宣告 Item 1:當函式不可能拋出例外或不能接受拋出例外時,使用noexcept 理由 如果不打算拋出例外的話,程式就會認為無法處理這種錯誤,并且應當盡早終止,如此可以有效地阻止例外的傳播與擴散。 示例 //不可 ......

    uj5u.com 2020-09-10 00:57:27 more
  • Codeforces 1400E Clear the Multiset(貪心 + 分治)

    鏈接:https://codeforces.com/problemset/problem/1400/E 來源:Codeforces 思路:給你一個陣列,現在你可以進行兩種操作,操作1:將一段沒有 0 的區間進行減一的操作,操作2:將 i 位置上的元素歸零。最終問:將這個陣列的全部元素歸零后操作的最少 ......

    uj5u.com 2020-09-10 00:57:30 more
  • UVA11610 【Reverse Prime】

    本人看到此題沒有翻譯,就附帶了一個自己的翻譯版本 思考 這一題,它的第一個要求是找出所有 $7$ 位反向質數及其質因數的個數。 我們應該需要質數篩篩選1~$10^{7}$的所有數,這里就不慢慢介紹了。但是,重讀題,我們突然發現反向質數都是 $7$ 位,而將它反過來后的數字卻是 $6$ 位數,這就說明 ......

    uj5u.com 2020-09-10 00:57:36 more
  • 統計區間素數數量

    1 #pragma GCC optimize(2) 2 #include <bits/stdc++.h> 3 using namespace std; 4 bool isprime[1000000010]; 5 vector<int> prime; 6 inline int getlist(int ......

    uj5u.com 2020-09-10 00:57:47 more
  • C/C++編程筆記:C++中的 const 變數詳解,教你正確認識const用法

    1、C中的const 1、區域const變數存放在堆疊區中,會分配記憶體(也就是說可以通過地址間接修改變數的值)。測驗代碼如下: 運行結果: 2、全域const變數存放在只讀資料段(不能通過地址修改,會發生寫入錯誤), 默認為外部聯編,可以給其他源檔案使用(需要用extern關鍵字修飾) 運行結果: ......

    uj5u.com 2020-09-10 00:58:04 more
  • 【C++犯錯記錄】VS2019 MFC添加資源不懂如何修改資源宏ID

    1. 首先在資源視圖中,添加資源 2. 點擊新添加的資源,復制自動生成的ID 3. 在解決方案資源管理器中找到Resource.h檔案,編輯,使用整個專案搜索和替換的方式快速替換 宏宣告 4. Ctrl+Shift+F 全域搜索,點擊查找全部,然后逐個替換 5. 為什么使用搜索替換而不使用屬性視窗直 ......

    uj5u.com 2020-09-10 00:59:11 more
  • 【C++犯錯記錄】VS2019 MFC不懂的批量添加資源

    1. 打開資源頭檔案Resource.h,在其中預先定義好宏 ID(不清楚其實ID值應該設定多少,可以先新建一個相同的資源項,再在這個資源的ID值的基礎上遞增即可) 2. 在資源視圖中選中專案資源,按F7編輯資源檔案,按 ID 型別 相對路徑的形式添加 資源。(別忘了先把檔案拷貝到專案中的res檔案 ......

    uj5u.com 2020-09-10 01:00:19 more
  • C/C++編程筆記:關于C++的參考型別,專供新手入門使用

    今天要講的是C++中我最喜歡的一個用法——參考,也叫別名。 參考就是給一個變數名取一個變數名,方便我們間接地使用這個變數。我們可以給一個變數創建N個參考,這N + 1個變數共享了同一塊記憶體區域。(參考型別的變數會占用記憶體空間,占用的記憶體空間的大小和指標型別的大小是相同的。雖然參考是一個物件的別名,但 ......

    uj5u.com 2020-09-10 01:00:22 more
  • 【C/C++編程筆記】從頭開始學習C ++:初學者完整指南

    眾所周知,C ++的學習曲線陡峭,但是花時間學習這種語言將為您的職業帶來奇跡,并使您與其他開發人員區分開。您會更輕松地學習新語言,形成真正的解決問題的技能,并在編程的基礎上打下堅實的基礎。 C ++將幫助您養成良好的編程習慣(即清晰一致的編碼風格,在撰寫代碼時注釋代碼,并限制類內部的可見性),并且由 ......

    uj5u.com 2020-09-10 01:00:41 more
最新发布
  • freeswitch APR-UTIL庫執行緒池實作分析

    概述 freeswitch的核心源代碼是基于apr庫開發的,在不同的系統上有很好的移植性。 APR庫在之前的文章中已經介紹過了,APR-UTIL庫是和APR并列的工具庫,它們都是由APACHE開源出來的跨平臺可移植庫,不同點在于庫中實作的功能介面有區別。 在應用的開發程序中,多執行緒并發是提高效率的常 ......

    uj5u.com 2021-12-31 06:16:49 more
  • 力扣刷題筆記 (1)

    2021-12-30 LeetCode T846 希望自己可以堅持寫博客的習慣😀 題目描述: Alice 手中有一把牌,她想要重新排列這些牌,分成若干組,使每一組的牌數都是 groupSize ,并且由 groupSize 張連續的牌組成。 給你一個整數陣列 hand 其中 hand[i] 是寫在 ......

    uj5u.com 2021-12-31 06:16:39 more
  • Selenium設定首選項下載excel檔案但彈出對話框?

    我正在嘗試excel使用 selenium下載檔案firefox。def download_driver(location_for_download): profile = webdriver.FirefoxProfile() profile.set_preference("brow...

    uj5u.com 2021-12-31 06:05:48 more
  • 如何在pythonselenium中自動化沒有類ID的元素?

    我試圖在 selenium 中自動按下以下按鈕,但我習慣于使用它們的 ID 來參考元素。此按鈕沒有 ID:<button type="button" class="button-error en-button" ng-transclude="" en-ta...

    uj5u.com 2021-12-31 06:01:10 more
  • 在seleniumxpath中集成正則運算式?

    您好,我剛開始在 Java 框架中使用 selenium:我有這種情況:我需要計算視圖中包含多個頁面 (1,2,3) 的所有復選框,并且在每個網頁中,我有一堆具有相同 xpath 且編號不同的復選框,請...

    uj5u.com 2021-12-31 05:59:15 more
  • 使用硒加載網頁回傳錯誤

    我正在嘗試創建一個可以抓取某些電子商務網站的應用程式。我為此目的使用 Selenium 并嘗試在運行 centos 的 ec2 實體上部署我的應用程式。在部署之前,我在本地開發了我的代...

    uj5u.com 2021-12-31 05:58:27 more
  • 使用Tinker獲取用戶選擇的資訊和驅動程式

    我目前正在使用 Tkinter、openpxl 和 selenium。創建一個接受用戶輸入的 GUI,然后使用 selenium 和 openpxl 抓取網站的資訊,然后將它們匯入到檔案中。目前我的 GUI 正在按預...

    uj5u.com 2021-12-31 05:57:28 more
  • 如何為可以分配到1個或多個級別的Post物件建模

    我有一個帖子模型class Post < ApplicationRecord belongs_to :accountend遷移看起來像:class CreatePosts < ActiveRecord::Migration[7.0] def change create_table...

    uj5u.com 2021-12-31 05:37:21 more
  • Javascript/Jquery不適用于RubyonRail7?

    嗨,我是 RoR 的新手,我目前正在嘗試為我的應用程式實作一些 javascript/jquery 代碼,但我似乎無法讓它作業。當我單擊某個元素時,我什至無法在應用程式的控制臺中列印出一個簡單...

    uj5u.com 2021-12-31 05:35:33 more
  • RubyonRails7-js.erb檔案未運行

    我目前遇到“like.js.erb”檔案未運行的問題。可以看到GET請求成功,回應是代碼,但是js.erb代碼沒有運行。我放了一個簡單的“console.log("hello")”,它也沒有運行。任何幫助將...

    uj5u.com 2021-12-31 05:33:42 more