Java版人臉檢測詳解下篇：編碼-有解無憂

歡迎訪問我的GitHub

https://github.com/zq2599/blog_demos

內容：所有原創文章分類匯總及配套原始碼，涉及Java、Docker、Kubernetes、DevOPS等；

本篇概覽

如果您看過《三分鐘極速體驗：Java版人臉檢測》一文，甚至動手實際操作過，您應該會對背后的技術細節感興趣，開發這樣一個應用，咱們總共要做以下三件事：

準備好docker基礎鏡像
開發java應用
將java應用打包成package檔案，集成到基礎鏡像中，得到最終的java應用鏡像

對于準備好docker基礎鏡像這項作業，咱們在前文《Java版人臉檢測詳解上篇：運行環境的Docker鏡像(CentOS+JDK+OpenCV)》已經完成了，接下來要做的就是開發java應用并將其做成docker鏡像

版本資訊

這個java應用的涉及的版本資訊如下：

springboot：2.4.8
javacpp：1.4.3
javacv：1.4.3

原始碼下載

本篇實戰中的完整原始碼可在GitHub下載到，地址和鏈接資訊如下表所示(https://github.com/zq2599/blog_demos)：

名稱	鏈接	備注
專案主頁	https://github.com/zq2599/blog_demos	該專案在GitHub上的主頁
git倉庫地址(https)	https://github.com/zq2599/blog_demos.git	該專案原始碼的倉庫地址，https協議
git倉庫地址(ssh)	[email protected]:zq2599/blog_demos.git	該專案原始碼的倉庫地址，ssh協議

這個git專案中有多個檔案夾，本篇的原始碼在javacv-tutorials檔案夾下，如下圖紅框所示：

在這里插入圖片描述

編碼

為了統一管理原始碼和jar依賴，專案采用了maven父子結構，父工程名為javacv-tutorials，其pom.xml如下，可見主要是定義了一些jar的版本：

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.bolingcavalry</groupId>
    <artifactId>javacv-tutorials</artifactId>
    <packaging>pom</packaging>
    <version>1.0-SNAPSHOT</version>
    <modules>
        <module>face-detect-demo</module>
    </modules>

    <properties>
        <java.version>1.8</java.version>
        <maven.compiler.source>8</maven.compiler.source>
        <maven.compiler.target>8</maven.compiler.target>
        <maven-compiler-plugin.version>3.6.1</maven-compiler-plugin.version>
        <springboot.version>2.4.8</springboot.version>

        <!-- javacpp當前版本 -->
        <javacpp.version>1.4.3</javacpp.version>
        <!-- opencv版本 -->
        <opencv.version>3.4.3</opencv.version>
        <!-- ffmpeg版本 -->
        <ffmpeg.version>4.0.2</ffmpeg.version>
    </properties>

    <dependencyManagement>
        <dependencies>
            <dependency>
                <groupId>org.projectlombok</groupId>
                <artifactId>lombok</artifactId>
                <version>1.18.18</version>
            </dependency>

            <dependency>
                <groupId>org.bytedeco</groupId>
                <artifactId>javacv-platform</artifactId>
                <version>${javacpp.version}</version>
            </dependency>
            <dependency>
                <groupId>org.bytedeco</groupId>
                <artifactId>javacv</artifactId>
                <version>${javacpp.version}</version>
            </dependency>
            <!-- javacpp -->
            <dependency>
                <groupId>org.bytedeco</groupId>
                <artifactId>javacpp</artifactId>
                <version>${javacpp.version}</version>
            </dependency>
            <!-- ffmpeg -->
            <dependency>
                <groupId>org.bytedeco.javacpp-presets</groupId>
                <artifactId>ffmpeg-platform</artifactId>
                <version>${ffmpeg.version}-${javacpp.version}</version>
            </dependency>
            <dependency>
                <groupId>org.bytedeco.javacpp-presets</groupId>
                <artifactId>ffmpeg</artifactId>
                <version>${ffmpeg.version}-${javacpp.version}</version>
            </dependency>
        </dependencies>

    </dependencyManagement>
</project>

在javacv-tutorials下面新建名為face-detect-demo的子工程，這里面是咱們今天要開發的應用，其pom.xml如下：

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <parent>
        <artifactId>javacv-tutorials</artifactId>
        <groupId>com.bolingcavalry</groupId>
        <version>1.0-SNAPSHOT</version>
    </parent>
    <modelVersion>4.0.0</modelVersion>

    <artifactId>face-detect-demo</artifactId>
    <packaging>jar</packaging>

    <dependencyManagement>
        <dependencies>
            <dependency>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-dependencies</artifactId>
                <version>${springboot.version}</version>
                <type>pom</type>
                <scope>import</scope>
            </dependency>
        </dependencies>
    </dependencyManagement>

    <dependencies>
        <!--FreeMarker模板視圖依賴-->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-freemarker</artifactId>
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>

        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
        </dependency>

        <dependency>
            <groupId>org.bytedeco</groupId>
            <artifactId>javacv-platform</artifactId>
        </dependency>
        <dependency>
            <groupId>org.bytedeco</groupId>
            <artifactId>javacv</artifactId>
        </dependency>
        <!-- javacpp -->
        <dependency>
            <groupId>org.bytedeco</groupId>
            <artifactId>javacpp</artifactId>
        </dependency>
        <!-- ffmpeg -->
        <dependency>
            <groupId>org.bytedeco.javacpp-presets</groupId>
            <artifactId>ffmpeg-platform</artifactId>
        </dependency>
        <dependency>
            <groupId>org.bytedeco.javacpp-presets</groupId>
            <artifactId>ffmpeg</artifactId>
        </dependency>
    </dependencies>

    <build>
        <plugins>
            <!-- 如果父工程不是springboot，就要用以下方式使用插件，才能生成正常的jar -->
            <plugin>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-maven-plugin</artifactId>
                <configuration>
                    <mainClass>com.bolingcavalry.facedetect.FaceDetectApplication</mainClass>
                </configuration>
                <executions>
                    <execution>
                        <goals>
                            <goal>repackage</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
        </plugins>
    </build>
</project>

組態檔如下，要重點關注前段模板、檔案上傳大小、模型檔案目錄等配置：

### FreeMarker 配置
spring.freemarker.allow-request-override=false
#Enable template caching.啟用模板快取，
spring.freemarker.cache=false
spring.freemarker.check-template-location=true
spring.freemarker.charset=UTF-8
spring.freemarker.content-type=text/html
spring.freemarker.expose-request-attributes=false
spring.freemarker.expose-session-attributes=false
spring.freemarker.expose-spring-macro-helpers=false
#設定面板后綴
spring.freemarker.suffix=.ftl

# 設定單個檔案最大記憶體
spring.servlet.multipart.max-file-size=100MB
# 設定所有檔案最大記憶體
spring.servlet.multipart.max-request-size=1000MB
# 自定義檔案上傳路徑
web.upload-path=/app/images
# 模型路徑
opencv.model-path=/app/model/haarcascade_frontalface_default.xml

前端頁面檔案只有一個index.ftl，請原諒欣宸不入流的前端水平，前端只有一個頁面，可以提交頁面，同時也是展示處理結果的頁面：

<!DOCTYPE html>
<head>
    <meta charset="UTF-8" />
    <title>圖片上傳Demo</title>
</head>
<body>
<h1 >圖片上傳Demo</h1>
<form action="fileUpload" method="post" enctype="multipart/form-data">
    <p>選擇檢測檔案: <input type="file" name="fileName"/></p>
    <p>周圍檢測數量: <input type="number" value="https://www.cnblogs.com/bolingcavalry/archive/2021/10/27/32" name="minneighbors"/></p>
    <p><input type="submit" value="https://www.cnblogs.com/bolingcavalry/archive/2021/10/27/提交"/></p>
</form>
<#--判斷是否上傳檔案-->
<#if msg??>
    <span>${msg}</span><br><br>
<#else >
    <span>${msg!("檔案未上傳")}</span><br>
</#if>
<#--顯示圖片，一定要在img中的src發請求給controller，否則直接跳轉是亂碼-->
<#if fileName??>
<#--<img src="https://www.cnblogs.com/show?fileName=${fileName}" style="width: 100px"/>-->
<img src="https://www.cnblogs.com/show?fileName=${fileName}"/>
<#else>
<#--<img src="https://www.cnblogs.com/show" style="width: 200px"/>-->
</#if>
</body>
</html>

再來看后臺代碼，先是最常見的應用啟動類：

package com.bolingcavalry.facedetect;

import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;

@SpringBootApplication
public class FaceDetectApplication {

    public static void main(String[] args) {
        SpringApplication.run(FaceDetectApplication.class, args);
    }
}

前端上傳圖片后，后端要做哪些處理呢？先不貼代碼，咱們把后端要做的事情捋一遍，如下圖：

在這里插入圖片描述

接下來是最核心的業務類UploadController.java，web介面和業務邏輯處理都在這里面，是按照上圖的流程順序執行的，有幾處要注意的地方稍后會提到：

package com.bolingcavalry.facedetect.controller;

import lombok.extern.slf4j.Slf4j;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.core.io.ResourceLoader;
import org.springframework.http.ResponseEntity;
import org.springframework.stereotype.Controller;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.multipart.MultipartFile;

import java.io.File;
import java.io.IOException;
import java.util.Map;
import org.opencv.core.*;
import org.opencv.imgcodecs.Imgcodecs;
import org.opencv.imgproc.Imgproc;
import org.opencv.objdetect.CascadeClassifier;

import java.util.UUID;

import static org.bytedeco.javacpp.opencv_objdetect.CV_HAAR_DO_CANNY_PRUNING;

@Controller
@Slf4j
public class UploadController {

    static {
        // 加載 元件
        System.loadLibrary(Core.NATIVE_LIBRARY_NAME);
    }

    private final ResourceLoader resourceLoader;

    @Autowired
    public UploadController(ResourceLoader resourceLoader) {
        this.resourceLoader = resourceLoader;
    }

    @Value("${web.upload-path}")
    private String uploadPath;

    @Value("${opencv.model-path}")
    private String modelPath;

    /**
     * 跳轉到檔案上傳頁面
     * @return
     */
    @RequestMapping("index")
    public String toUpload(){
        return "index";
    }

    /**
     * 上次檔案到指定目錄
     * @param file 檔案
     * @param path 檔案存放路徑
     * @param fileName 源檔案名
     * @return
     */
    private static boolean upload(MultipartFile file, String path, String fileName){
        //使用原檔案名
        String realPath = path + "/" + fileName;

        File dest = new File(realPath);

        //判斷檔案父目錄是否存在
        if(!dest.getParentFile().exists()){
            dest.getParentFile().mkdir();
        }

        try {
            //保存檔案
            file.transferTo(dest);
            return true;
        } catch (IllegalStateException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
            return false;
        } catch (IOException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
            return false;
        }
    }

    /**
     *
     * @param file 要上傳的檔案
     * @return
     */
    @RequestMapping("fileUpload")
    public String upload(@RequestParam("fileName") MultipartFile file, @RequestParam("minneighbors") int minneighbors, Map<String, Object> map){
        log.info("file [{}], size [{}], minneighbors [{}]", file.getOriginalFilename(), file.getSize(), minneighbors);

        String originalFileName = file.getOriginalFilename();
        if (!upload(file, uploadPath, originalFileName)){
            map.put("msg", "上傳失敗！");
            return "forward:/index";
        }

        String realPath = uploadPath + "/" + originalFileName;

        Mat srcImg = Imgcodecs.imread(realPath);

        // 目標灰色影像
        Mat dstGrayImg = new Mat();
        // 轉換灰色
        Imgproc.cvtColor(srcImg, dstGrayImg, Imgproc.COLOR_BGR2GRAY);
        // OpenCv人臉識別分類器
        CascadeClassifier classifier = new CascadeClassifier(modelPath);
        // 用來存放人臉矩形
        MatOfRect faceRect = new MatOfRect();

        // 特征檢測點的最小尺寸
        Size minSize = new Size(32, 32);
        // 影像縮放比例,可以理解為相機的X倍鏡
        double scaleFactor = 1.2;
        // 執行人臉檢測
        classifier.detectMultiScale(dstGrayImg, faceRect, scaleFactor, minneighbors, CV_HAAR_DO_CANNY_PRUNING, minSize);
        //遍歷矩形,畫到原圖上面
        // 定義繪制顏色
        Scalar color = new Scalar(0, 0, 255);

        Rect[] rects = faceRect.toArray();

        // 沒檢測到
        if (null==rects || rects.length<1) {
            // 顯示圖片
            map.put("msg", "未檢測到人臉");
            // 檔案名
            map.put("fileName", originalFileName);

            return "forward:/index";
        }

        // 逐個處理
        for(Rect rect: rects) {
            int x = rect.x;
            int y = rect.y;
            int w = rect.width;
            int h = rect.height;
            // 單獨框出每一張人臉
            Imgproc.rectangle(srcImg, new Point(x, y), new Point(x + w, y + w), color, 2);
        }

        // 添加人臉框之后的圖片的名字
        String newFileName = UUID.randomUUID().toString() + ".png";

        // 保存
        Imgcodecs.imwrite(uploadPath + "/" + newFileName, srcImg);

        // 顯示圖片
        map.put("msg", "一共檢測到" + rects.length + "個人臉");
        // 檔案名
        map.put("fileName", newFileName);

        return "forward:/index";
    }
    /**
     * 顯示單張圖片
     * @return
     */
    @RequestMapping("show")
    public ResponseEntity showPhotos(String fileName){
        if (null==fileName) {
            return ResponseEntity.notFound().build();
        }

        try {
            // 由于是讀取本機的檔案，file是一定要加上的， path是在application組態檔中的路徑
            return ResponseEntity.ok(resourceLoader.getResource("file:" + uploadPath + "/" + fileName));
        } catch (Exception e) {
            return ResponseEntity.notFound().build();
        }
    }
}

UploadController.java的代碼，有以下幾處要關注：

在靜態方法中通過System.loadLibrary加載本地庫函，實際開發程序中，這里是最容易報錯的地方，一定要確保-Djava.library.path引數配置的路徑中的本地庫是正常可用的，前文制作的基礎鏡像中已經準比好了這些本地庫，因此只要確保-Djava.library.path引數配置正確即可，這個配置在稍后的Dockerfile中會提到
public String upload方法是處理人臉檢測的代碼入口，內部按照前面分析的流程順序執行
new CascadeClassifier(modelPath)是根據指定的模型來實體化分類器，模型檔案是從GitHub下載的，opencv官方提前訓練好的模型，地址是：https://github.com/opencv/opencv/tree/master/data/haarcascades
看似神奇的人臉檢測功能，實際上只需一行代碼classifier.detectMultiScale，就能得到每個人臉在原圖中的矩形位置，接下來，咱們只要按照位置在原圖上添加矩形框即可

現在代碼已經寫完了，接下來將其做成docker鏡像

docker鏡像制作

首先是撰寫Dockerfile：

# 基礎鏡像集成了openjdk8和opencv3.4.3
FROM bolingcavalry/opencv3.4.3:0.0.3

# 創建目錄
RUN mkdir -p /app/images && mkdir -p /app/model

# 指定鏡像的內容的來源位置
ARG DEPENDENCY=target/dependency

# 復制內容到鏡像
COPY ${DEPENDENCY}/BOOT-INF/lib /app/lib
COPY ${DEPENDENCY}/META-INF /app/META-INF
COPY ${DEPENDENCY}/BOOT-INF/classes /app

# 指定啟動命令
ENTRYPOINT ["java","-Djava.library.path=/opencv-3.4.3/build/lib","-cp","app:app/lib/*","com.bolingcavalry.facedetect.FaceDetectApplication"]

上述Dockerfile內容很簡單，就是一些復制檔案的處理，只有一處要格外注意：啟動命令中有個引數-Djava.library.path=/opencv-3.4.3/build/lib，指定了本地so庫的位置，前面的java代碼中，System.loadLibrary加載的本地庫就是從這個位置加載的，咱們用的基礎鏡像是bolingcavalry/opencv3.4.3:0.0.3，已經在該位置準備好了opencv的所有本地庫
在父工程目錄下執行mvn clean package -U，這是個純粹的maven操作，和docker沒有任何關系
進入face-detect-demo目錄，執行以下命令，作用是從jar檔案中提取class、組態檔、依賴庫等內容到target/dependency目錄:

mkdir -p target/dependency && (cd target/dependency; jar -xf ../*.jar)

最后，在Dockerfile檔案所在目錄執行命令docker build -t bolingcavalry/facedetect:0.0.1 .(命令的最后有個點，不要漏了)，即可完成鏡像制作
如果您有hub.docker.com的賬號，還可以通過docker push命令把鏡像推送到中央倉庫，讓更多的人用到：
最后，再來回顧一下《三分鐘極速體驗：Java版人臉檢測》一文中啟動docker容器的命令，如下可見，通過兩個-v引數，將宿主機的目錄映射到容器中，因此，容器中的/app/images和/app/model可以保持不變，只要能保證宿主機的目錄映射正確即可：

docker run \
--rm \
-p 18080:8080 \
-v /root/temp/202107/17/images:/app/images \
-v /root/temp/202107/17/model:/app/model \
bolingcavalry/facedetect:0.0.1

有關SpringBoot官方推薦的docker鏡像制作的更多資訊，請參考《SpringBoot(2.4)應用制作Docker鏡像(Gradle版官方方案)》

需要重點注意的地方

請大家關注pom.xml中和javacv相關的幾個庫的版本，這些版本是不能隨便搭配的，建議按照文中的來，就算要改，也請在maven中央倉庫檢查您所需的版本是否存在；
至此，《Java版人臉檢測》從體驗到開發詳解都完成了，小小的功能涉及到不少知識點，也讓我們體驗到了javacv的便捷和強大，借助docker將環境配置和應用開發分離開來，降低了應用開發和部署的難度(不再花時間到jdk和opencv的部署上)，如果您正在尋找簡單易用的javacv開發和部署方案，希望本文能給您提供參考；

你不孤單，欣宸原創一路相伴

Java系列
Spring系列
Docker系列
kubernetes系列
資料庫+中間件系列
DevOps系列

歡迎關注公眾號：程式員欣宸

微信搜索「程式員欣宸」，我是欣宸，期待與您一同暢游Java世界...
https://github.com/zq2599/blog_demos

轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/337890.html

標籤：其他

上一篇：在python中使用單詞、運算式或模式拆分字串

下一篇：深入淺出Java記憶體模型