背景

• Read the fucking source code! --By 魯迅
• A picture is worth a thousand words. --By 高爾基

說明：

1. Kernel版本：4.14
2. ARM64處理器，Contex-A53，雙核
3. 使用工具：Source Insight 3.5， Visio

1. 概述

本文將分析watermark，
簡單來說，在使用zoned page frame allocator分配頁面時，會將可用的free pages與zone的watermark進行比較，以便確定是否分配記憶體，
同時watermark也用來決定kswapd內核執行緒的睡眠與喚醒，以便對記憶體進行檢索和壓縮處理，

回憶一下之前提到過的struct zone結構體：

struct zone {
	/* Read-mostly fields */

	/* zone watermarks, access with *_wmark_pages(zone) macros */
	unsigned long watermark[NR_WMARK];

	unsigned long nr_reserved_highatomic;
    
    ....
}

enum zone_watermarks {
	WMARK_MIN,
	WMARK_LOW,
	WMARK_HIGH,
	NR_WMARK
};

#define min_wmark_pages(z) (z->watermark[WMARK_MIN])
#define low_wmark_pages(z) (z->watermark[WMARK_LOW])
#define high_wmark_pages(z) (z->watermark[WMARK_HIGH])

可以看出，總共有三種水印，并且只能通過特定的宏來訪問，

• WMARK_MIN
  記憶體不足的最低點，如果計算出的可用頁面低于該值，則無法進行頁面計數；

• WMARK_LOW
  默認情況下，該值為WMARK_MIN的125%，此時kswapd將被喚醒，可以通過修改watermark_scale_factor來改變比例值；

• WMARK_HIGH
  默認情況下，該值為WMARK_MAX的150%，此時kswapd將睡眠，可以通過修改watermark_scale_factor來改變比例值；

圖來了：

下邊將對細節進一步分析，

1. watermark初始化

先看一下初始化的相關呼叫函式：

• nr_free_buffer_pages：統計ZONE_DMA和ZONE_NORMAL中可用頁面，managed_pages - high_pages；

• setup_per_zone_wmarks：根據min_free_kbytes來計算水印值，來一張圖會比較清晰易懂：
  

• refresh_zone_stat_thresholds：
  先來回顧一下struct pglist_data和struct zone：

typedef struct pglist_data {
...
struct per_cpu_nodestat __percpu *per_cpu_nodestats;
...
} pg_data_t;

struct per_cpu_nodestat {
	s8 stat_threshold;
	s8 vm_node_stat_diff[NR_VM_NODE_STAT_ITEMS];
};

struct zone {
...
struct per_cpu_pageset __percpu *pageset;
...
}

struct per_cpu_pageset {
	struct per_cpu_pages pcp;
#ifdef CONFIG_NUMA
	s8 expire;
	u16 vm_numa_stat_diff[NR_VM_NUMA_STAT_ITEMS];
#endif
#ifdef CONFIG_SMP
	s8 stat_threshold;
	s8 vm_stat_diff[NR_VM_ZONE_STAT_ITEMS];
#endif
};

從資料結構中可以看出，針對Node和Zone，都有一個Per-CPU的結構來存盤資訊，而refresh_zone_stat_thresholds就跟這兩個結構相關，用于更新這兩個結構中的stat_threshold欄位，具體的計算方式就不表了，此外還計算了percpu_drift_mark，這個在水印判斷的時候需要用到該值，閾值的作用就是用來進行判斷，從而觸發某個行為，比如記憶體壓縮處理等，

• setup_per_zone_lowmem_reserve：
  設定每個zone的lowmem_reserve大小，代碼中的實作邏輯如下圖所示，
  

• calculate_totalreserve_pages：
  計算各個zone的保留頁面，以及系統的總的保留頁面，其中會將high watermark看成保留頁面，如圖：
  

2. watermark判斷

老規矩，先看看函式呼叫關系圖：

• __zone_watermark_ok：
  watermark判斷的關鍵函式，從圖中的呼叫關系可以看出，最終的處理都是通過它來完成判斷的，還是用圖片來說明整體邏輯吧：
  

上圖中左邊判斷是否有足夠的空閑頁面，右邊直接查詢free_area[]是否可以最終進行分配，

• zone_watermark_ok：直接呼叫__zone_watermark_ok`，沒有其他邏輯，

• zone_watermark_fast：
  從名字可以看出，這個是進行快速判斷，快速的體現主要是在order = 0的時候進行判斷決策，滿足條件時直接回傳true，否則呼叫__zone_watermark_ok，
  貼個代碼吧，清晰明了：

static inline bool zone_watermark_fast(struct zone *z, unsigned int order,
		unsigned long mark, int classzone_idx, unsigned int alloc_flags)
{
	long free_pages = zone_page_state(z, NR_FREE_PAGES);
	long cma_pages = 0;

#ifdef CONFIG_CMA
	/* If allocation can't use CMA areas don't use free CMA pages */
	if (!(alloc_flags & ALLOC_CMA))
		cma_pages = zone_page_state(z, NR_FREE_CMA_PAGES);
#endif

	/*
	 * Fast check for order-0 only. If this fails then the reserves
	 * need to be calculated. There is a corner case where the check
	 * passes but only the high-order atomic reserve are free. If
	 * the caller is !atomic then it'll uselessly search the free
	 * list. That corner case is then slower but it is harmless.
	 */
	if (!order && (free_pages - cma_pages) > mark + z->lowmem_reserve[classzone_idx])
		return true;

	return __zone_watermark_ok(z, order, mark, classzone_idx, alloc_flags,
					free_pages);
}

• zone_watermark_ok_safe：
  在zone_watermark_ok_safe函式中，主要增加了zone_page_state_snapshot的呼叫，用來計算free_pages，這個計算程序將比直接通過zone_page_state(z, NR_FREE_PAGES)更加精確，

bool zone_watermark_ok_safe(struct zone *z, unsigned int order,
			unsigned long mark, int classzone_idx)
{
	long free_pages = zone_page_state(z, NR_FREE_PAGES);

	if (z->percpu_drift_mark && free_pages < z->percpu_drift_mark)
		free_pages = zone_page_state_snapshot(z, NR_FREE_PAGES);

	return __zone_watermark_ok(z, order, mark, classzone_idx, 0,
								free_pages);
}

percpu_drift_mask在refresh_zone_stat_thresholds函式中設定的，這個在上文中已經討論過了，
每個zone維護了三個欄位用于頁面的統計，如下：

struct zone {
...
struct per_cpu_pageset __percpu *pageset;
...
/*
 * When free pages are below this point, additional steps are taken
 * when reading the number of free pages to avoid per-cpu counter
 * drift allowing watermarks to be breached
 */
unsigned long percpu_drift_mark;
...
/* Zone statistics */
atomic_long_t		vm_stat[NR_VM_ZONE_STAT_ITEMS];
}

內核在記憶體管理中，讀取空閑頁面與watermark值進行比較，要讀取正確的空閑頁面值，必須同時讀取vm_stat[]和__percpu *pageset計算器，如果每次都讀取的話會降低效率，因此設定了percpu_drift_mark值，只有在低于這個值的時候，才觸發更精確的計算來保持性能，

__percpu *pageset計數器的值更新時，當計數器值超過stat_threshold值，會更新到vm_stat[]中，如下圖：

zone_watermark_ok_safe中呼叫了zone_page_state_snapshot，與zone_page_state的區別如下圖所示：

watermark的分析到此為止，收工！

標籤：Linux

上一篇：linux卸載gitlab

下一篇：服務器核心知識