背景

Read the fucking source code! --By 魯迅
A picture is worth a thousand words. --By 高爾基

說明：

Kernel版本：4.14
ARM64處理器
使用工具：Source Insight 3.5， Visio

1. 概述

從本文開始，將會針對PCIe專題來展開，涉及的內容包括：

PCI/PCIe總線硬體；
Linux PCI驅動核心框架；
Linux PCI Host控制器驅動；

不排除會包含PCIe外設驅動模塊，一切隨緣，

作為專題的第一篇，當然會先從硬體總線入手，
進入主題前，先講點背景知識，
在PC時代，隨著處理器的發展，經歷了幾代I/O總線的發展，解決的問題都是CPU主頻提升與外部設備訪問速度的問題：

第一代總線包含ISA、EISA、VESA和Micro Channel等；
第二代總線包含PCI、AGP、PCI-X等；
第三代總線包含PCIe、mPCIe、m.2等；

PCIe（PCI Express）是目前PC和嵌入式系統中最常用的高速總線，PCIe在PCI的基礎上發展而來，在軟體上PCIe與PCI是后向兼容的，PCI的系統軟體可以用在PCIe系統中，

本文會分兩部分展開，先介紹PCI總線，然后再介紹PCIe總線，方便在理解上的過渡，開始旅程吧，

2. PCI Local Bus

2.1 PCI總線組成

PCI總線（Peripheral Component Interconnect，外部設備互聯），由Intel公司提出，其主要功能是連接外部設備；
PCI Local Bus，PCI區域總線，區域總線技術是PC體系結構發展的一次變革，是在ISA總線和CPU總線之間增加的一級總線或管理層，可將一些高速外設，如圖形卡、硬碟控制器等從ISA總線上卸下，而通過區域總線直接掛接在CPU總線上，使之與高速CPU總線相匹配，PCI總線，指的就是PCI Local Bus，

先來看一下PCI Local Bus的系統架構圖：

從圖中看，與PCI總線相關的模塊包括：

Host Bridge，比如PC中常見的North Bridge（北橋）；
圖中處理器、Cache、記憶體子系統通過Host Bridge連接到PCI上，Host Bridge管理PCI總線域，是聯系處理器和PCI設備的橋梁，完成處理器與PCI設備間的資料交換，其中資料交換，包含處理器訪問PCI設備的地址空間和PCI設備使用DMA機制訪問主存盤器，在PCI設備用DMA訪問存盤器時，會存在Cache一致性問題，這個也是Host Bridge設計時需要考慮的；
此外，Host Bridge還可選的支持仲裁機制，熱插拔等；
PCI Local Bus；
PCI總線，由Host Bridge或者PCI-to-PCI Bridge管理，用來連接各類設備，比如聲卡、網卡、IDE介面等，可以通過PCI-to-PCI Bridge來擴展PCI總線，并構成多級總線的總線樹，比如圖中的PCI Local Bus #0和PCI Local Bus #1兩條PCI總線就構成一顆總線樹，同屬一個總線域；
PCI-To-PCI Bridge；
PCI橋，用于擴展PCI總線，使采用PCI總線進行大規模系統互聯成為可能，管理下游總線，并轉發上下游總線之間的事務；
PCI Device；
PCI總線中有三類設備：PCI從設備，PCI主設備，橋設備，
PCI從設備：被動接收來自Host Bridge或者其他PCI設備的讀寫請求；
PCI主設備：可以通過總線仲裁獲得PCI總線的使用權，主動向其他PCI設備或主存盤器發起讀寫請求；
橋設備：管理下游的PCI總線，并轉發上下游總線之間的總線事務，包括PCI橋、PCI-to-ISA橋、PCI-to-Cardbus橋等，

2.2 PCI總線信號定義

PCI總線是一條共享總線，可以掛接多個PCI設備，PCI設備通過一系列信號與PCI總線相連，包括：地址/資料信號、介面控制信號、仲裁信號、中斷信號等，如下圖：

左側紅色框里表示的是PCI總線必需的信號，而右側藍色框里表示的是可選的信號；
AD[31:00]：地址與資料信號復用，在傳送時第一個時鐘周期傳送地址，下一個時鐘周期傳送資料；
C/BE[3:0]#：PCI總線命令與位元組使能信號復用，在地址周期中表示的是PCI總線命令，在資料周期中用于位元組選擇，可以進行單位元組、字、雙字訪問；
PAR：奇偶校驗信號，確保AD[31:00]和C/BE[3:0]#傳遞的正確性；
Interface Control：介面控制信號，主要作用是保證資料的正常傳遞，并根據PCI主從設備的狀態，暫停、終止或者正常完成總線事務：
- FRAME#：表示PCI總線事務的開始與結束；
- IRDY#：信號由PCI主設備驅動，信號有效時表示PCI主設備資料已經ready；
- TRDY#：信號由目標設備驅動，信號有效時表示目標設備資料已經ready；
- STOP#：目標設備請求主設備停止當前總線事務；
- DEVSEL#：PCI總線的目標設備已經準備好；
- IDSEL：PCI總線在配置讀寫總線事務時，使用該信號選擇PCI目標設備；
Arbitration：仲裁信號，由REQ#和GNT#組成，與PCI總線的仲裁器直接相連，只有PCI主設備需要使用該組信號，每條PCI總線上都有一個總線仲裁器；
Error Reporting：錯誤信號，包括PERR#奇偶校驗錯誤和SERR系統錯誤；
System：系統信號，包括時鐘信號和復位信號；

看一下C/BE[3:0]都有哪些命令吧：

2.3 PCI事務模型

PCI使用三種模型用于資料的傳輸：

Programmed I/O：通過IO讀寫訪問PCI設備空間；
DMA：PIO的方式比較低效，DMA的方式可以直接去訪問主存盤器而無需CPU干預，效率更高；
Peer-to-peer：兩臺PCI設備之間直接傳送資料；

2.4 PCI總線地址空間映射

PCI體系架構支持三種地址空間：

memory空間：
針對32bit尋址，支持4G的地址空間，針對64bit尋址，支持16EB的地址空間；
I/O空間
PCI最大支持4G的IO空間，但受限于x86處理器的IO空間（16bits帶寬），很多平臺將PCI的IO地址空間限定在64KB；
配置空間
x86 CPU可以直接訪問memory空間和I/O空間，而配置空間則不能直接訪問；
每個PCI功能最多可以有256位元組的配置空間；
PCI總線在進行配置的時候，采用ID譯碼方式，使用設備的ID號，包括Bus Number，Device Number，Function Number和Register Number，每個系統支持256條總線，每條總線支持32個設備，每個設備支持8個功能，由于每個功能最多有256位元組的配置空間，因此總的配置空間大小為：256B * 8 * 32 * 256 = 16M；

有必要再進一步介紹一下配置空間：
x86 CPU無法直接訪問配置空間，通過IO映射的資料埠和地址埠間接訪問PCI的配置空間，其中地址埠映射到0CF8h - 0CFBh，資料埠映射到0CFCh - 0CFFh；
- 圖為配置地址暫存器構成，PCI的配置程序分為兩步：
  1. CPU寫CF8h埠，其中寫的內容如圖所示，BUS，Device，Function能標識出特定的設備功能，Doubleword來指定配置空間的具體某個暫存器；
  2. CPU可以IO讀寫CFCh埠，用于讀取步驟1中的指定暫存器內容，或者寫入指定暫存器內容，這個程序有點類似于通過I2C去配置外接芯片；
那具體的配置空間暫存器都是什么樣的呢？每個功能256Byte，前邊64Byte是Header，剩余的192Byte支持可選功能，有種型別的PCI功能：Bridge和Device，兩者的Header都不一樣，
- Bridge
- Device

配置空間中有個暫存器欄位需要說明一下：Base Address Register，也就是BAR空間，當PCI設備的配置空間被初始化后，該設備在PCI總線上就會擁有一個獨立的PCI總線地址空間，這個空間就是BAR空間，BAR空間可以存放IO地址空間，也可以存放存盤器地址空間，

PCI總線取得了很大的成功，但隨著CPU的主頻不斷提高，PCI總線的帶寬也捉襟見肘，此外，它本身存在一些架構上的缺陷，面臨一系列挑戰，包括帶寬、流量控制、資料傳送質量等；
PCIe應運而生，能有效解決這些問題，所以PCIe才是我們的主角；

3. PCI Express

3.1 PCIe體系結構

先看一下PCIe架構的組成圖：

Root Complex：CPU和PCIe總線之間的介面可能會包含幾個模塊（處理器介面、DRAM介面等），甚至可能還會包含芯片，這個集合就稱為Root Complex，它作為PCIe架構的根，代表CPU與系統其它部分進行互動，廣義來說，Root Complex可以認為是CPU和PCIe拓撲之間的介面，Root Complex會將CPU的request轉換成PCIe的4種不同的請求（Configuration、Memory、I/O、Message）；
Switch：從圖中可以看出，Swtich提供扇出能力，讓更多的PCIe設備連接在PCIe埠上；
Bridge：橋接設備，用于去連接其他的總線，比如PCI總線或PCI-X總線，甚至另外的PCIe總線；
PCIe Endpoint：PCIe設備；
圖中白色的小方塊代表Downstream埠，灰色的小方塊代表Upstream埠；

前文提到過，PCIe在軟體上保持了后向兼容性，那么在PCIe的設計上，需要考慮在PCI總線上的軟體視角，比如Root Complex的實作可能就如下圖所示，從而看起來與PCI總線相差無異：

Root Complex通常會實作一個內部總線結構和多個橋，從而扇出到多個埠上；
Root Complex的內部實作不需要遵循標準，因此都是廠家specific的；

而Switch的實作可能如下圖所示：

Switch就是一個擴展設備，所以看起來像是各種橋的連接路由；

3.2 PCIe資料傳輸

與PCI總線不同（PCI設備共享總線），PCIe總線使用端到端的連接方式，互為接收端和發送端，全雙工，基于資料包的傳輸；
物理底層采用差分信號（PCI鏈路采用并行總線，而PCIe鏈路采用串行總線），一條Lane中有兩組差分信號，共四根信號線，而PCIe Link可以由多條Lane組成，可以支持1、2、4、8、12、16、32條；

PCIe規范定義了分層的架構設計，包含三層：

Transaction層
- 負責TLP包（Transaction Layer Packet）的封裝與解封裝，此外還負責QoS，流控、排序等功能；
Data Link層
- 負責DLLP包（Data Link Layer Packet）的封裝與解封裝，此外還負責鏈接錯誤檢測和校正，使用Ack/Nak協議來確保傳輸可靠；
Physical層
- 負責Ordered-Set包的封裝與解封裝，物理層處理TLPs、DLLPs、Ordered-Set三種型別的包傳輸；