Nginx（5）：行程系結CPU：從nginx原始碼里給你刨功能出來

希望打開這篇對你有所幫助，

超執行緒技術 && 邏輯CPU

超執行緒技術(Hyper-Threading)：就是利用特殊的硬體指令，把兩個邏輯內核(CPU core)模擬成兩個物理芯片，
讓單個處理器都能使用執行緒級并行計算，進而兼容多執行緒作業系統和軟體，減少了CPU的閑置時間，提高的CPU的運行效率，
我們常聽到的雙核四執行緒/四核八執行緒指的就是支持超執行緒技術的CPU.

物理CPU：機器上安裝的實際CPU，比如說你的主板上安裝了一個8核CPU,那么物理CPU個數就是1個，所以物理CPU個數就是主板上安裝的CPU個數，

邏輯CPU：一般情況，我們認為一顆CPU可以有多核，加上intel的超執行緒技術(HT)，可以在邏輯上再分一倍數量的CPU core出來；

邏輯CPU數量 = 物理CPU數量 x CPU cores x 2(如果支持并開啟HT) //前提是CPU的型號一致，如果不一致只能一個一個的加起來，不用直接乘以物理CPU數量

Linux下查看CPU相關資訊

CPU的資訊主要都在/proc/cupinfo中：

# 查看物理CPU個數
cat /proc/cpuinfo|grep "physical id"|sort -u|wc -l

# 查看每個物理CPU中core的個數(即核數)
cat /proc/cpuinfo|grep "cpu cores"|uniq

# 查看邏輯CPU的個數
cat /proc/cpuinfo|grep "processor"|wc -l

# 查看CPU的名稱型號
cat /proc/cpuinfo|grep "name"|cut -f2 -d:|uniq

Linux查看某個行程運行在哪個邏輯CPU上

ps -eo pid,args,psr
#引數的含義：
pid  - 行程ID
args - 該行程執行時傳入的命令列引數
psr  - 分配給行程的邏輯CPU

例子:
[~]# ps -eo pid,args,psr | grep nginx
9073 nginx: master process /usr/   1
9074 nginx: worker process         0
9075 nginx: worker process         1
9076 nginx: worker process         2
9077 nginx: worker process         3
13857 grep nginx                   3

為什么要系結CPU?

在多核 CPU 結構中，每個核心有各自的L1、L2快取，而L3快取是共用的，如果一個行程在核心間來回切換，各個核心的快取命中率就會受到影響，相反如果行程不管如何調度，都始終可以在一個核心上執行，那么其資料的L1、L2 快取的命中率可以顯著提高，

所以，將行程與 CPU 進行系結可以提高 CPU 快取的命中率，從而提高性能，而行程與 CPU 系結被稱為： CPU 親和性 ，

將關鍵服務或行程系結到一個核心上，其他行程避開該核心，可以保證關鍵服務（比如配置下發服務行程、監控行程等）順暢執行沒有卡頓，

這里還要注意以下：行程系結CPU != 行程獨占CPU，要獨占，可以去設定，或者你給服務器上每個行程都安排好核，只要你核夠多，CPU就不會切換行程，因為沒有行程給它切換，

Linux 關于CPU親和性

Linux中針對cpu親和性特性提供的API如表所示,表中cpu_set_t是一個掩碼陣列，一共有1024位，每一位對應系統中的一個邏輯處理器，最低位對應系統中的第一個邏輯處理器，而最高位則對應系統中最后一個邏輯處理器，如在一個四核的服務器上，0001表示第一個第一個邏輯處理器，0010表示第二個邏輯處理器，以此類推，在實際編程程序中不應該直接修改位掩碼，而是使用系統提供的操作宏，

需要注意的是，當行程設定了CPU親和性后，行程就被系結了，只能在那些對應的位被設定的邏輯處理器上運行，如果行程沒有顯示對CPU親和性進行設定，則默認所有的位均被置位，另外，CPU親和性具有遺傳性，即設定了CPU親和性的行程會將這些CPU親和性傳遞給從他們派生的子行程，當然，子行程可以呼叫系統提供的介面，重新對CPU親和性進行設定，

Nginx CPU親和性

配置示例：

worker_processes     4;

worker_cpu_affinity 0001 0010 0100 1000;

此配置的含義為共啟動4個worker行程，第一個行程系結到系統的第一個邏輯處理器，第二個行程系結到系統的第二個邏輯處理器，以此類推，另外，也可以將一個行程系結到多個CPU, 示例如下：

worker_processes     2;

worker_cpu_affinity 0101 1010;

此示例表示啟動兩個worker行程，其中第一個行程系結到cpu0/cpu2，第二個行程系結到cpu1/cpu3，

ngx_set_cpu_affinity

void
ngx_setaffinity(uint64_t cpu_affinity, ngx_log_t *log)
{
    cpu_set_t   mask;
    ngx_uint_t  i;

    ngx_log_error(NGX_LOG_NOTICE, log, 0,
                  "sched_setaffinity(0x%08Xl)", cpu_affinity);

    CPU_ZERO(&mask);
    i = 0;
    do {
        if (cpu_affinity & 1) {
            CPU_SET(i, &mask);
        }
        i++;
        cpu_affinity >>= 1;
    } while (cpu_affinity);

    if (sched_setaffinity(0, sizeof(cpu_set_t), &mask) == -1) {
        ngx_log_error(NGX_LOG_ALERT, log, ngx_errno,
                      "sched_setaffinity() failed");
    }
}

函式的功能很簡單，從地位到高位遍歷cpu_affinity中的位值，如果某位為1，則將對應的CPU設定到CPU集mask中，最后呼叫sched_setaffinity設定本行程的CPU親和性，同時，由于采用uint64_t存盤轉換后的結果，nginx最多只支持64 CPUs的CPU親和性的配置，

我覺得吧，咱還是自己仿寫一個吧，它這里面的引數是需要讀組態檔的，咱沒有剖析那個源代碼，，，

尷尬，，，

仿寫一份

將行程系結到2號CPU上運行

#define _GNU_SOURCE
#include <sched.h>
#include <stdio.h>
#include <string.h>
#include <stdlib.h>
#include <unistd.h>
#include <errno.h>

int main(int argc, char **argv)
{
    int cpus = 0;
    int  i = 0;
    cpu_set_t mask;
    cpu_set_t get;

    cpus = sysconf(_SC_NPROCESSORS_ONLN);
    printf("cpus: %d\n", cpus);

    CPU_ZERO(&mask);    /* 初始化set集，將set置為空*/
    /*將本行程系結到CPU2上*/
    CPU_SET(2, &mask);
    if (sched_setaffinity(0, sizeof(mask), &mask) == -1) {
        printf("Set CPU affinity failue, ERROR:%s\n", strerror(errno));
        return -1; 
    }   

    while(1)
    {
    }
       
    return 0;
}

taskset命令

# 命令列形式
taskset [options] mask command [arg]...taskset [options] -p [mask] pidPARAMETER　　　　
mask : cpu親和性,當沒有-c選項時, 其值前無論有沒有0x標記都是16進制的,當有-c選項時,其值是十進制的.　　　　
command : 命令或者可執行程式　　　　
arg : command的引數　　　　
pid : 行程ID,可以通過ps/top/pidof等命令獲取

OPTIONS　　　　
       -a, --all-tasks (舊版本中沒有這個選項)　　　　　　　　
這個選項涉及到了linux中TID的概念,他會將一個行程中所有的TID都執行一次CPU親和性設定.　　　　　　　　
TID就是Thread ID,他和POSIX中pthread_t表示的執行緒ID完全不是同一個東西.　　　　　　　　
Linux中的POSIX執行緒庫實作的執行緒其實也是一個行程(LWP),這個TID就是這個執行緒的真實PID.
       
       -p, --pid
              操作已存在的PID,而不是加載一個新的程式
       -c, --cpu-list
              宣告CPU的親和力使用數字表示而不是用位掩碼表示. 例如 0,5,7,9-11.
       -h, --help
              display usage information and exit
       -V, --version
              output version information and exit
  USAGE
　　　　1) 使用指定的CPU親和性運行一個新程式
　　　　　　taskset [-c] mask command [arg]...
　　　　　　　　舉例:使用CPU0運行ls命令顯示/etc/init.d下的所有內容 
　　　　　　　　　　taskset -c 0 ls -al /etc/init.d/
　　　　2) 顯示已經運行的行程的CPU親和性
　　　　　　taskset -p pid
　　　　　　　　舉例:查看init行程(PID=1)的CPU親和性
　　　　　　　　　　taskset -p 1
　　　　3) 改變已經運行行程的CPU親和力
　　　　    taskset -p[c] mask pid
　　　　　　　　舉例:打開2個終端,在第一個終端運行top命令,第二個終端中
　　　　　　　　　　首先運行:[~]# ps -eo pid,args,psr | grep top #獲取top命令的pid和其所運行的CPU號
　　　　　　　　　　其次運行:[~]# taskset -cp 新的CPU號 pid       #更改top命令運行的CPU號
　　　　　　　　　　最后運行:[~]# ps -eo pid,args,psr | grep top #查看是否更改成功
  PERMISSIONS        
  	一個用戶要設定一個行程的CPU親和性,如果目標行程是該用戶的,則可以設定,如果是其他用戶的,則會設定失敗,提示 Operation not permitted.當然root用戶沒有任何限制.
        任何用戶都可以獲取任意一個行程的CPU親和性.