QEMU簡介

• QEMU是一個模擬器，可以模擬CPU，ARM、X86、MIPS等架構
• 可以仿真的ARM處理器：ARM926E、ARM1136、Cortex-A8/A9
• 模擬真實的開發板、外設：串口、LCD、網卡、USB、SD卡…

使用QEMU的事情

• 研究內核虛擬化
• 模擬CPU，對于芯片公司，流片之前在QEMU上做驗證、仿真、軟硬體協同設計，開發BSP和驅動
• 模擬開發板，在模擬平臺上進行系統軟體開發、驅動開發
• 學生、工程師可以利用qemu-system-arm學習嵌入式開發、研究Bootloader 、Linux內核、驅動開發、應用開發等，

使用QEMU學習嵌入式的好處

• 節省學習成本
• 跳過開發板、硬體的各種“坑”，縮短學習曲線
• 重構嵌入式知識體系和技能，跟硬體無關的放到QEMU上學習
• 跟開發板相關的驅動、BSP針對具體開發板深入突破
• 適應不同CPU、開發板的技術要求

驅動開發技能

• 基本的硬體知識
• Linux內核、系統架構的理解
• 芯片手冊、開發板

搭建嵌入式基本開發環境

基本環境

Vmware+Ubuntu18.04

Vmwaretools

更新軟體源

• 軟體源

Ubuntu采用集中式的軟體倉庫機制，將軟體包分類存在軟體倉庫中，進行管理，軟體倉庫放置在各種鏡像服務器中，對于用戶來說，當使用apt-get install安裝軟體包時，會從這些服務器下載軟體包，這些鏡像服務器就是 軟體源(Reposity).

• 經常涉及的幾個目錄

/var/lib/dpkg/available：軟體包的描述資訊，軟體源中所有軟體包中的資訊，包括安裝和未安裝的軟體包
/var/cache/apt/archives：當apt install安裝軟體包的臨時存放路徑
/etc/apt/sources.list：檔案里是軟體源站點，apt install時，Ubuntu會從這些站點下載軟體包到本地并進行安裝
/var/lib/apt/lists：使用apt update命令會從/etc/apt/sources.list中下載軟體包串列索引，并保存到該目錄

• 作業原理
• 執行apt update，程式分析/etc/apt/source.list
• 自動聯網尋找list中對應的Packages/Sources/Release串列檔案，如果有更新則重新下載之，存入存入/var/lib/apt/lists/目錄
• 然后apt install相應的包，下載到本地并進行安裝

安裝uboot-tools

• 編譯的內核鏡像需要通過工具生成uboot可引導的格式
• 用來生成適應U-boot引導的鏡像檔案格式
• $ apt-get install u-boot-tools

代碼編輯管理工具：git/vim

參考git.
參考git.
參考vim.

交叉編譯器：gcc-arm-linux-gnueabi

交叉編譯

在一種計算機環境中編譯程式，在另外一種環境下運行，
或者說在一個平臺上編譯生成在另一個平臺上運行的可執行代碼，

ABI和EABI

• ABI: 二進制應用程式介面(Application Binary Interface (ABI) for the ARMArchitecture) 在計算機中，應用二進制介面描述了應用程式（或者其他型別）和作業系統之間或其他應用程式的低級介面. 涵蓋了資料型別的大小、布局和對齊，呼叫約定
• EABI: 嵌入式ABI
  嵌入式應用二進制介面指定了檔案格式、資料型別、暫存器使用、堆積
  組織優化和在一個嵌入式軟體中的引數的標準約定，
• Arm-none-gnueabi-linux在可移植性、兼容性上面比arm-linux-gcc要好.
• 早期u-boot和Linux編譯可能使用的都不是一個arm-linux-gcc版本

安裝

apt-get install gcc-arm-linux-gnueabi //ubuntu18.04
arm-linux-gnueabi-gcc -v

QEMU安裝

環境

自動安裝

• sudo apt-get install qemu

手動編譯安裝

• 首先安裝QEMU編譯依賴的包
  – apt install zlib1g-dev
  – apt install libglib2.0-0 libglib2.0-dev
  – apt install libsdl1.2-dev
  – apt install libpixman-1-dev libfdt-dev
• 下載QEMU原始碼：git clone git://git.qemu-project.org/qemu.git
• 切換到一個穩定版本：git checkout v2.7.0
• 編譯配置：./configure --target-list=arm-softmmu --audio-drv-list=
• 編譯安裝：make ; make install

QEMU支持的開發板

qemu-system-arm -M help //列出支持的開發板

• cubieboard
• i.mx25
• mainstone
• Samsung Exynos4210
• Vexpress-a9
• Vexpress-a15
• …

ARM express開發板簡介

Vexpress系列開發板

• 全稱versatile express family，ARM公司自己推出的開發板
• 主要用于SOC廠商設計、驗證和測驗自己的SOC芯片
• 采用主板+子板設計，主板提供各種外圍介面，子板提供CPU運算

Vexpress系列支持的CPU

• Cortex-A9：處理器子板 Express A9x4 (V2P-CA9x4)
• Cortex-A5：處理器子板 Express A5x2 (V2P-CA5x2s)
• Cortex-R5：
• Cortex-A15：處理器子板 Express A15x2 (V2P-CA15x2)

系統框圖

子板系統圖

開發板基本配置

記憶體映射分布

最小系統概念

• 嵌入式最小系統
• CPU+DDR/SDRAM
• Flash、SD
• 串口+LCD

基本配置

• 記憶體
• LCD
• 串口

編譯Linux內核和dtb檔案

下載Linux內核

• www.kernel.org
• git clone
  git://git.kernel.org/pub/scm/linux/kernel/git/stable/linux-stable.git/

• 下載一個長期維護的版本

修改內核根目錄的Makefile,若沒有則添加

• ARCH=arm
• CROSS_COMPILE=arm-linux-gnueabi-
  
  

修改單板組態檔

• 位于內核根目錄/arch/arm/configs中
• 修改vexpress_defconfig,一般默認
• 在內核根目錄執行make vexpress_defconfig即可完成配置
  

編譯內核、模塊、dtb檔案

• make vexpress_defconfig
• make zImage //可采用-jx使用x個執行緒編譯,加快編譯速度
• make modules
• make dtbs

執行make vexpress_defconfig遇到的問題
LEX scripts/kconfig/lexer.lex.c
/bin/sh: 1: flex: not found
scripts/Makefile.host:9: recipe for target ‘scripts/kconfig/lexer.lex.c’ failed
make[1]: *** [scripts/kconfig/lexer.lex.c] Error 127
Makefile:591: recipe for target ‘vexpress_defconfig’ failed
make: *** [vexpress_defconfig] Error 2
解決方法
sudo apt-get install flex

運行內核

qemu-system-arm -M vexpress-a9 -m 512M -kernel arch/arm/boot/zImage -dtb arch/arm/boot/dts/vexpress-v2p-ca9.dtb -nographic -append “console=ttyAMA0”

-M vexpress-a9 模擬vexpress-a9單板，你能夠使用-M ?參數來獲取該qemu版本號支持的全部單板
-m 512M 單板執行物理記憶體512M
-kernel arch/arm/boot/zImage   告訴qemu單板執行內核鏡像路徑
-dtb arch/arm/boot/dts/vexpress-v2p-ca9.dtb  告訴qemu單板的設備樹（必須加入）
-nographic 不使用圖形化界面，僅僅使用串口
-append "console=ttyAMA0" 內核啟動參數，這里告訴內核vexpress單板執行，串口設備是哪個tty，

關閉qemu

• ps -a查看行程號
• kill -9 pid 關閉行程
  

使用busybox制作根檔案系統

檔案系統

• 對存盤設備上的資料進行組織的機制

為什么要使用檔案系統

• Linux的哲學：一切皆檔案
• 用戶與作業系統進行互動的主要工具：檔案系統呼叫
• 用戶和底層存盤的介面

根檔案系統

• Linux內核啟動后第一個掛載的檔案系統
• 主要由基本的shell命令、各種庫、字符設備、配置腳本組成
• 提供了根目錄 /
• RFS(根檔案系統root file system)可以放在：nor/nand flash、SD卡、磁盤、網路空間上

busybox

• 一個集成100多個Linux常用命令和工具的軟體
• 一個適合制作嵌入式檔案系統的軟體工具

編譯安裝

下載原始碼

sudo apt-get source busybox

修改Makefile

• ARCH=arm
• CROSS_COMPILE=arm-linux-gnueabi-

配置

• make defconfig
• make menuconfig
• 遇到的問題

HOSTCC  scripts/kconfig/lxdialog/checklist.o
<command-line>:0:12: fatal error: curses.h: No such file or directory
compilation terminated.
scripts/Makefile.host:120: recipe for target 'scripts/kconfig/lxdialog/checklist.o' failed
make[2]: *** [scripts/kconfig/lxdialog/checklist.o] Error 1
/home/snowynight/Work/busybox_soft/busybox-1.27.2/scripts/kconfig/Makefile:14: recipe for target 'menuconfig' failed
make[1]: *** [menuconfig] Error 2
Makefile:443: recipe for target 'menuconfig' failed
make: *** [menuconfig] Error 2

• 解決方法:sudo apt-get install libncurses5-dev

• 配置編譯成靜態庫

編譯安裝

• make
• make install
  
• zImage生成路徑：
  arch/arm/boot/zImage
• modules生成路徑：
  drivers/video/backlight/*.ko
• dtbs生成路徑：
  arch/arm/boot/dts/vexpress-v2p-ca9.dtb

制作根檔案系統

• mkdir rootfs
• mkdir rootfs/lib
• sudo cp -r busybox_soft/busybox-1.27.2/_install/* rootfs 檔案系統目錄
• sudo cp -p /usr/arm-linux-gnueabi/lib/* rootfs/lib/ 系統動態庫
• 創建字符設備,設備檔案,檔案節點
• mkdir dev 用于存放檔案節點
• 在dev目錄下創建節點
• mknod –m 666 tty1 c 4 1 字符設備節點,權限666,串口
• mknod –m 666 tty2 c 4 2 主設備號為4,次設備號為2
• mknod –m 666 tty3 c 4 3
• mknod –m 666 tty4 c 4 4
• mknod –m 666 console c 5 1 作業臺節點
• mknod –m 666 null c 1 3 垃圾回收站

制作SD卡檔案系統鏡像

dd命令參考參考.

• 生成鏡像：dd if=/dev/zero of=rootfs.ext3 bs=1M count=32
• 格式化為exts檔案系統：mkfs.ext3 rootfs.ext3
• 將各種檔案拷貝到檔案系統鏡像中
• mount -t ext3 rootfs.ext3 /mnt/ -o loop

-o 是mount命令的一bai個引數，Options的首字母，du后面跟著mount選項嘍zhi
loop：用來把一個文dao件當成硬1653盤磁區mount到目錄

• cp -r rootfs/* /mnt
• umount /mnt

• 遇到的問題

mount: /mnt: wrong fs type, bad option, bad superblock on /dev/loop21, 
missing >codepage or helper program, or other error.

解決方法
mkfs.ext3 rootfs.ext3

啟動內核，掛載rootfs

• qemu-system-arm -M vexpress-a9 -m 512M -dtb ./vexpress-
  v2p-ca9.dtb -kernel ./zImage -nographic -append
  "root=/dev/mmcblk0 rw console=ttyAMA0" -sd rootfs.ext3

使用LCD啟動內核

• 使用2.11版本的qemu無法啟動圖形化
• 據說2.7以下版本可以使用圖形化啟動,2.7以上版本需要用vnc虛擬機進行連接
• qemu-system-arm -M vexpress-a9 -m 512M -dtb ./vexpress-
  v2p-ca9.dtb -kernel ./zImage -append "root=/dev/mmcblk0 rw
  console=tty0" -sd rootfs.ext3

使用u-boot加載Linux內核

嵌入式啟動概述

嵌入式bootloader

• 功能類似于PC的BIOS、硬體檢測是否正常
• 加載作業系統鏡像到RAM
• 設定不同的啟動方式

常見的啟動方式

• NOR/NAND flash啟動
• 從SD卡啟動
• Bootloader從網路加載Linux內核啟動

U-boot編譯

• 功能類似于Windows的BIOS
• 編譯u-boot
  – 下載： http://ftp.denx.de/pub/u-boot/
  – 修改Makefile：ARCH=arm CROSS_COMPILE=arm-linux-gnueabi-
  – 配置：$ make vexpress_ca9x4_defconfig
  – 編譯：$ make –j4
• 運行u-boot
  – qemu-system-arm -M vexpress-a9
  –kernel u-boot
  – nographic
  – m 512M

• 修改頂層Makefile添加交叉編譯工具
  
• 修改config.mk CPU架構ARCH為arm

• 配置

• 編譯
  
• 測驗

qemu-system-arm \
	-M vexpress-a9 \
	-m 512M \
	-kernel u-boot \
	-nographic \

QEMU網路功能設定

配置QEMU與主機的網路連接

• 采用橋接(bridge)的網路連接與Host通信
• 需要主機內核tun/tap模塊支持

查看主機內核是否支持tun/tap模塊

配置

• 主機安裝工具包： apt install uml-utilities bridge-utils
• 創建tun設備檔案：/dev/net/tun
• 修改/etc/network/interfaces檔案，重啟生效：

# interfaces(5) file used by ifup(8) and ifdown(8)
auto lo
iface lo inet loopback
auto ens33
auto br0
iface br0 inet dhcp
bridge_ports ens33

• 配置/etc/qemu-ifup、/etc/qemu-ifdown腳本

查看網口

修改/etc/network/interfaces檔案
ens33欄位是ifconfig查到的虛擬網卡的名稱
auto lo
iface lo inet loopback
auto ens33
auto br0
iface br0 inet dhcp
bridge_ports ens33
出現br0表示添加成功

內核配置編譯

使用U-boot引導內核鏡像

• 需要將內核編譯為uImage格式
• 需要指定uImage的加載地址
• 編譯時指定：$ make LOADADDR=0x60003000 uImage -j4

若無法生成uImage則參考 ---- 生成uImage的方法
有一個很簡單的辦法u-boot編譯結束時，會在tool檔案夾下面生成一個mkimage檔案，將這個檔案復制到交叉編譯器目錄下的bin檔案夾下面，以后編譯時就會生成uImage檔案，省的用命令列的方式轉了.

主機TFTP工具安裝

• 安裝主機Host的TFTP
• 安裝tftp工具：$ apt-get install tftp-hpa tftpd-hpa xinetd
• 修改組態檔: /etc/default/tftpd-hpa
  – TFTP_USERNAME=“tftp”
  – TFTP_DIRECTORY="/home/snowynight/Work/tftpboot" //qemu會從該目錄中尋找鏡像檔案
  – TFTP_ADDRESS=“0.0.0.0:69” //tftp地址
  – TFTP_OPTIONS="-l -c -s"
• 創建tftp目錄: mkdir /home/snowynight/Work/tftpboot
• chmod 777 tftpboot
• 重啟tftp服務: /etc/init.d/tftpd-hpa restart
• 拷貝內核鏡像(uImage)檔案
• 拷貝dtb(cexpress-v2p-ca9.dtb)檔案

啟動測驗

qemu-system-arm \
	-M vexpress-a9 \
	-m 512M \
	-kernel u-boot-source/u-boot-2019.07+dfsg/u-boot \
	-nographic \
	-device virtio-net-device,netdev=tap0 -netdev tap,id=tap0,ifname=tap0 \
#	-net nic,vlan=0 -net tap,vlan=0,ifname=tap0 \ //舊版本的qemu
	-sd rootfs.ext3

-net 選項’vlan 過時’解決方法.

• 實測不需要修改,使用sudo權限執行也可以使用

自動化引導(添加如下定義)

修改include/configs/vexpress_common.h

• #define CONFIG_BOOTCOMMAND \
  "tftp 0x60003000 uImage;tftp 0x60500000 vexpress-v2p-ca9.dtb; \
  setenv bootargs ‘root=/dev/mmcblk0 console=tty0’; \
  bootm 0x60003000 - 0x60500000; "
• 配置開發板、主機IP地址
  /Netmask/
  #define CONFIG_IPADDR 192.168.244.128
  #define CONFIG_NETMASK 255.255.255.0
  #define CONFIG_SERVERIP 192.168.244.129

• 修改后要重新編譯u-boot
• make -j4

注意事項

服務器地址由創建的虛擬網卡決定

setenv bootargs ‘root=/dev/mmcblk0 console=tty0’;引數需要和啟動腳本中的一致

掛載NFS檔案系統

NFS

• 網路檔案系統
• 計算機與計算機之間可以通過網路實作檔案共享

主機HOST支持NFS服務

• 主機HOST開啟NFS服務

安裝

• apt install nfs-kernel-server

配置NFS

• 在/etc/exports檔案中添加：
• /home/snowynight/Work/rootfs *(rw,sync,no_subtree_check,no_root_squash)
  

開啟NFS服務

• /etc/init.d/rpcbind restart
• /etc/init.d/nfs-kernel-server restart

修改bootargs啟動引數

• 設定NFS為根檔案系統
• 設定主機NFS檔案系統的地址
  
  

內核支持掛載NFS檔案系統

• make menuconfig

File systems —>
[*] Network File Systems —>
<> NFS client support
<> NFS client support for NFS version 3
[*] NFS client support for the NFSv3 ACL protocol extension
[*] Root file system on NFS

• 重新編譯make LOADADDR=0X60003000 uImage -j4
• 拷貝到tftproot目錄下

遇到的問題
Kernel panic - not syncing: VFS: Unable to mount root fs on unknown-block(2,0)

ubuntu18掛載NFS4檔案系統

#define CONFIG_BOOTCOMMAND \
"tftp 0x60003000 uImage;tftp 0x60500000 vexpress-v2p-ca9.dtb; \
setenv bootargs 'root=/dev/nfs rw \
nfsroot=192.168.3.48:/home/snowynight/Work/rootfs,proto=tcp,nfsvers=4,nolock \
ip=192.168.3.88 console=ttyAMA0'; \
bootm 0x60003000 - 0x60500000; 

注意事項

• setenv bootargs 引數
  – ,proto=tcp
  – ,nfsvers=4
  – ,nolock
• 開發板ip地址

make menuconfig配置

完善根檔案系統

• mkdir etc
• cd etc/
• mkdir init.d
• cd init.d
• sudo vim rcS

echo "....................."
echo "inittab init"


echo "....................."

• sudo chmod 777 rcS

步驟

• 新建etct、mp、sys、var、proc目錄
  
• 在etc目錄中添加inittab、init.d/rcS、fstab、profile
• 修改控制臺顯示格式
  參考該筆記.

在etc/profile檔案添加

PS1='user@snowynight:\w # '
export PS1

• 啟動Linux，掛載NFS檔案系統

檔案的啟動流程

• Linux內核啟動之后，掛載NFS根檔案系統

• 開啟Linux的第一個用戶行程：init

• init行程bootargs->init=…->執行inittab腳本

• inittab腳本首先會執行init.d/rcS腳本

• rcS腳本:執行mount –a 讀取fstab掛載各種檔案系統

• inittab:接著會啟動console
  – 啟動shell：/bin/sh
  – 在啟動/bin/sh之前先執行profile檔案

• /etc/init.d/rcS

#! /bin/sh
PATH=/sbin:/bin:/usr/sbin:/usr/bin
LD_LIBRARY_PATH=/lib
export PATH LD_LIBRARY_PATH

mount -a
mkdir -p /dev/pts
mount -t devpts devpts /dev/pts
mdev -s
mkdir -p /var/lock

• etc/fstab

proc		    /proc		    proc	defaults    		    0	    0
tmpfs           /tmp            tmpfs   defaults                0       0
sysfs           /sys            sysfs   defaults                0       0
tmpfs           /dev            tmpfs   defaults                0       0
var             /dev            tmpfs   defaults                0       0
ramfs           /dev            ramfs   defaults                0       0

• etc/inittab

::sysinit:/etc/init.d/rcS
#::respawn:-/bin/sh
#tty2::askfirst:-/bin/sh
#::ctrlaltdel:/bin/umount -a -r

console::askfirst:-/bin/sh
::ctrlaltdel:/sbin/reboot
::shutdown:/bin/umount -a -r

• etc/profile

PS1='user@snowynight:\w # ' 
export PS1 

運行應用和內核驅動程式

運行應用程式

• 注意采用交叉編譯器進行編譯

運行內核驅動程式

#include<linux/init.h>
#include<linux/module.h>

MODULE_LICENSE("GPL");

static int hello_init(void)
{
	printk(KERN_ALERT"-----------------!\n");
	printk(KERN_ALERT"hello world!\n");
	printk(KERN_ALERT"hello vexpress!\n");
	printk(KERN_ALERT"-----------------!\n");

	return 0;
}

static void  __exit hello_exit(void)
{
	printk(KERN_ALERT"goodbye, crazy world!\n");
}

module_init(hello_init);
module_exit(hello_exit);

• Makefile

.PHONY:all clean

obj-m := arm_driver.o

KDIR := /home/snowynight/Work/linux-5.4.72
PWD := $(shell pwd)
all:
		make  CROSS_COMPILE=arm-linux-gnueabi- ARCH=arm -C $(KDIR) M=$(PWD) modules
clean:
		rm -fr *.ko *.o *.mod.o *.mod.c *.symvers *.order .*.ko .tmp_versions

• 掛載和卸載