BFM模型介紹及可視化實作（C++）
BFM模型基本介紹
Basel Face Model是一個開源的人臉資料庫，其基本原理是3DMM，因此其便是在PCA的基礎上進行存盤的，
目前有兩個版本的資料庫（2009和2017），
官方網站：2009，2017
資料內容（以2009版本為例）
檔案內容
01_MorphableModel.mat（資料主體）
BFM模型由53490個頂點構成，其shape/texture的資料長度為160470（53490*3），因為其排列方式如下：
shape: x_1, y_1, z_1, x_2, y_2, z_2, ..., x_{53490}, y_{53490}, z_{53490}
texture: r_1, g_1, b_1, r_2, g_2, b_2, ..., r_{53490}, g_{53490}, b_{53490}
.h5檔案與.mat檔案對應關系
[注] .h5檔案中的tl數量與.mat數量不同，主成分方差的值也不同，且shape的值是.mat中shape值的0.001倍（見/shape/representer/length-unit），
Matlab腳本
建議閱讀script_gen_random_head.m檔案，該腳本實作了如何生成隨機臉，從中我們可以學習到BFM模型的使用方法，
2009與2017版本區別
2009年版本資料集：
- 提供資料格式：mat（
01_MorphableModel.mat）和h5（model2009-publicmm1-bfm.h5）； - 提供一系列Matlab腳本，有生成隨機臉等功能；
- 提供多種特征點（
PublicMM1/11_feature_points）； - 提供segment的mask（
PublicMM1/09_mask）； - 提供對稱點的對應關系（
PublicMM1/13_symmetry_indices）； - 提供屬性（
PublicMM1/04_attributes.mat） - 不提供表情；
2017年版本資料集：
- 提供資料格式：h5（原版（
model2017-1_bfm_nomouth.h5）和裁剪過的版本（model2017-1_face12_nomouth.h5））； - 不提供Matlab腳本（本身也無mat格式資料）；
- 提供單種特征點（
metadata/landmarks/text）； - 不提供segment、對稱點的對應關系和屬性；
- 提供表情（
expression）；
基本原理
目標shape或者texture都可以通過如下式子得到：
obj = average + pc * (coeficient .* pcVariance)
其中系數（coeficient）是變數，其余均是資料庫里的常量，其是一個199維（對應199個PC）的向量，
C++實作BFM模型可視工具
資料讀取
我們可以讀取.mat檔案或者.h檔案，因為讀取.mat檔案需要使用Matlab的庫檔案，我們暫時不考慮，
讀取.h5格式檔案
.h5檔案無法直接通過文本工具打開，需要下載專門的可視工具，此處我使用了HDFView，
通過該檔案我們可以了解到HDF5檔案的內部格式，
在C++中使用HDF5讀寫需要下載官方的庫：
HDF5庫下載地址
官網右上角注冊后下載，隨后選擇對應版本下載，
[注] 在Windows的Visual Studio使用shared庫需要編譯程序定義H5_BUILT_AS_DYNAMIC_LIB，（若出現LINK2001錯誤可以添加這個來解決）
[注] static庫命名前面以lib開頭，例如hdf5.lib是shared庫，libhdf5.lib是static庫，
在VS的包含目錄和庫目錄中添加對應的inlcude和lib目錄，
在聯結器的輸入中增加szip.lib;zlib.lib;hdf5.lib;hdf5_cpp.lib;，并將對應的.dll檔案放置到Windows/System32或Windows/SysWOW64，
我們只需要用到HDF5中的讀取功能，步驟是打開檔案->打開資料庫->讀取資料->關閉資料庫->關閉檔案，我們以shape平均值為例：
float *shape_mu_raw = new float[N_VERTICE * 3];
H5File file(bfm_h5_path, H5F_ACC_RDONLY);
DataSet shape_mu_data = https://www.cnblogs.com/bemfoo/p/file.openDataSet("/shape/model/mean");
shape_mu_data.read(shape_mu_raw, PredType::NATIVE_FLOAT);
raw2vector(shape_mu, shape_mu_raw); // 自行將陣列轉換成想要存放的格式
shape_mu_data.close();
file.close();
shape平均值讀取后需要再乘以1000才等同于.mat格式的讀取，
需要注意的是資料的讀取型別一定要根資料庫中的型別一致，shape/tex的型別均為float，對應PredType::NATIVE_FLOAT，tl的型別為unsigned int，對應PredType::NATIVE_UINT32，
[注] 因為缺少pdb檔案，HDF5中的代碼如果報錯可能無法進行除錯，需要逐行進行錯誤的排除，常見錯誤就是型別不匹配或者長度不匹配，
其他讀取方式
在最開始不了解.h5格式的時候，我便使用一些笨方法進行讀取，例如先將.mat格式資料轉換成二進制檔案/文本檔案再進行讀取，
例如這樣一個matlab腳本：
function mat2binary(filename, mat, type)
fid=fopen(filename, 'wb');
matrix = mat;
[m,n]=size(matrix);
for i=1:1:m
for j=1:1:n
fwrite(fid, matrix(i,j), type);
end
end
fclose(fid);
end
這些腳本能夠簡單地將mat格式進行轉換，成為容易被C++進行讀取的格式，但是弊端也很明顯，在C++中的讀寫速度非常慢，.h5格式讀寫1s左右完成，二進制檔案讀寫1分鐘左右完成，文本檔案讀寫5分鐘左右完成，且在存盤大小上，.h5檔案（249MB）≈ 二進制檔案 < 文本檔案（超過710M），
生成人臉
即按照上述基本原理中的式子進行實作，
OpenGL進行顯示
這里使用了Qt5內置的OpenGL模塊，通過最簡單的glBegin()和glEnd()即可繪出人臉，
double sint = sin(theta), cost = cos(theta);
for (auto t = tl.begin(); t != tl.end(); t++) {
glBegin(GL_TRIANGLES);
vec3 tmp = *t;
glColor3f(tex[tmp.x].x / 255.0, tex[tmp.x].y / 255.0, tex[tmp.x].z / 255.0);
glVertex3f(shape[tmp.x].x * scale * cost - shape[tmp.x].z * scale * sint, shape[tmp.x].y * scale, shape[tmp.x].x * scale * sint + shape[tmp.x].z * scale * cost);
glColor3f(tex[tmp.y].x / 255.0, tex[tmp.y].y / 255.0, tex[tmp.y].z / 255.0);
glVertex3f(shape[tmp.y].x * scale * cost - shape[tmp.y].z * scale * sint, shape[tmp.y].y * scale, shape[tmp.y].x * scale * sint + shape[tmp.y].z * scale * cost);
glColor3f(tex[tmp.z].x / 255.0, tex[tmp.z].y / 255.0, tex[tmp.z].z / 255.0);
glVertex3f(shape[tmp.z].x * scale * cost - shape[tmp.z].z * scale * sint, shape[tmp.z].y * scale, shape[tmp.z].x * scale * sint + shape[tmp.z].z * scale * cost);
glEnd();
}
使用theta和scale引數用于實作滑鼠和鍵盤對模型方向的控制，
根據模型大小，我們設定相應的視角：
void OpenGLWidget::resizeGL(int width, int height) {
glViewport(0, 0, width, height);
glMatrixMode(GL_PROJECTION);
glLoadIdentity();
gluPerspective(60.0, (GLfloat)width / (GLfloat)height, 1.0, 600000.0);
glMatrixMode(GL_MODELVIEW);
glLoadIdentity();
gluLookAt(0, 0, 300000.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0);
}
結果展示
初始界面（左側顯示一個彩色三角形）：
當隨機性設定為0（即coeficient設為[0, ..., 0]），生成平均臉：
隨機生成人臉，或隨機設定PC值：
源代碼
GitHub：https://github.com/Great-Keith/bfm-visual-tool
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/2096.html
標籤：其他
上一篇：相機攝像原理與程序