使用Java和OpenCV呼叫YOLOv3完成實施目標檢測，識別到目標就將包含目標的圖片保存下來，沒有目標就不保存，詳細代碼以及步驟，
第一步:在IDEA中完成對OpenCV包的匯入
從官網上下載OpenCV：Releases - OpenCV，選擇window版本下載，解壓之后
把 opencv\build\目錄下的java檔案整個復制到專案檔案下，名字隨意，
File>Project Structure>Libraries ，選擇+號，選擇java，之后選擇jar包位置，匯入即可，
這里我已經匯入過了，最后再配置dll
Run>Edit Configurations ，選中你所要配置的java檔案，填入以下內容：
-Djava.library.path=$PROJECT_DIR$\opencv\x64 （64位選x64,32位選x86）
第二步：完成目標檢測
首先下載darknet:GitHub - pjreddie/darknet: Convolutional Neural Networks
為了方便操作，這里只需要將darknet的路徑以及保存的圖片路徑修改為自己的即可，下邊直接上代碼，當然你也可以訓練自己的YOLOv3模型來完成相關的操作，
主程式
import org.opencv.core.*;
import org.opencv.core.Point;
import org.opencv.dnn.Dnn;
import org.opencv.dnn.Net;
import org.opencv.imgcodecs.Imgcodecs;
import org.opencv.videoio.VideoCapture;
import javax.imageio.ImageIO;
import java.awt.image.BufferedImage;
import java.io.*;
import java.util.ArrayList;
import java.util.List;
import static org.opencv.dnn.Dnn.NMSBoxes;
import static org.opencv.highgui.HighGui.*;
import static org.opencv.highgui.HighGui.waitKey;
import static org.opencv.imgproc.Imgproc.*;
import static org.opencv.imgproc.Imgproc.FONT_HERSHEY_SIMPLEX;
public class VideoDet{
final static String ROOTDIR = "E:\\ZxxProject\\darknet-master"; // 根路徑
final static float CONTHRES = 0.8f; // 置信度閾值
final static float NMSTHRES = 0.8f; // iou閾值
final static List<String> CLASSES = new ArrayList<>(); // 存放類別的串列集合（這里直接用的原模型，所以是80類）
public static int count=0;//標記，用來間隔多少次來保存圖片
public static boolean judge=true;
public static void main(String[] args) {
System.loadLibrary(Core.NATIVE_LIBRARY_NAME);//必須要加，不然程式不可執行
//配置 權重 圖片路徑 類別檔案
String modelConfiguration = ROOTDIR + "\\cfg\\yolov3.cfg"; // 模型組態檔
String modelWeights = ROOTDIR + "\\yolov3.weights"; // 模型權重檔案
String classesFile = ROOTDIR + "\\data\\coco.names"; // 模型可識別類別的標簽檔案
// 進入識別圖片的方法
try {
detect_image(modelWeights, modelConfiguration, classesFile);
} catch (Exception e) {
e.printStackTrace();
}
}
啟動攝像頭
public static void detect_image(String modelWeights, String modelConfiguration, String classesFile) throws Exception {
// 使用位元組輸入流讀取classesFile路徑的檔案(從硬碟讀取資料到記憶體)
InputStream inputStream = new FileInputStream(classesFile);
int allByte = inputStream.available();
byte[] bytes = new byte[allByte]; //通過調節allByte的值來完成每次讀取多少位元組，這里直接讀完
inputStream.read(bytes);
String allContent = new String(bytes); // 檔案中的所有內容
String[] tempContent = allContent.trim().split("\n"); // allContent去除首尾空格，再按換行符分割，
// 遍歷tempContent，添加到保存類別名的串列classes里，
for(int i=0; i<tempContent.length; i++){
CLASSES.add(tempContent[i]);
}
System.out.println(CLASSES.size());
Net net = Dnn.readNetFromDarknet(modelConfiguration, modelWeights);
//打開攝像頭
VideoCapture cameraCapture = new VideoCapture(0);
namedWindow("實時檢測");
int frame_width = (int) cameraCapture.get(3);
int frame_height = (int) cameraCapture.get(4);
Mat frame = new Mat();
Size sz1 = new Size(frame_width, frame_height);
while (judge) {
cameraCapture.read(frame);
count=count+1;
System.out.println("-----------第"+count+"輪----------------");
Mat blobImg = Dnn.blobFromImage(frame, 1.0F / 255.0F, sz1);
net.setInput(blobImg);
// 獲取網路輸出層資訊（所有輸出層的名字），設定并前向傳播
List<String> ln = net.getLayerNames(); // 獲得YOLO各層的名字
List<String> x = new ArrayList<>();
List<List<Integer>> out = new ArrayList<>();
List<Integer> temp = net.getUnconnectedOutLayers().toList(); // 獲得未連接的輸出層的索引串列
out.add(temp);
// out中存放的是一個List ,get(0)得到的就是list i 索引串列
List<Integer> i = out.get(0);
System.out.println(i.size()); // 3
for (int a = 0; a < i.size(); a++) {
String n = ln.get(i.get(a) - 1); // 輸出層的名字
x.add(n); // 找到所有的輸出層
}
ln = x; // 給ln重新賦值
// 矩陣串列 [Mat[...], Mat[...], Mat[...]]
List<Mat> outs = new ArrayList<Mat>();
net.forward(outs, ln); // ln此時為輸出層的名字串列，向前傳播，將得到的檢測結果傳入outs
// 檢測識別
detection(frame, outs);
}
}
檢測攝像頭中的目標
public static void detection(Mat frame, List<Mat> outs) {
System.out.println("檢測程序開始");
List<Rect2d> boxes = new ArrayList<>(); // 矩形框串列
List<Integer> classIds = new ArrayList<>(); // 類的序號串列
List<Float> confidences = new ArrayList<>(); // 置信度串列
List<Integer> indices = new ArrayList<>(); //數量標記
MatOfRect2d newbox = new MatOfRect2d();
MatOfFloat newconf = new MatOfFloat();
MatOfInt ind = new MatOfInt();
ind.fromList(indices);
//TODO
for (int i = 0; i < outs.size(); i++) {
Mat mat = outs.get(i);
// 回圈每一個mat物件
for (int j = 0; j < mat.rows(); j++) {
int probaility_index = 5; // [x,y,h,w,c,class1,class2] 所以是標號5
int size = (mat.cols() * mat.channels());
float[] data = new float[size];
mat.get(j, 0, data);
float confidence = -1;//初始值設為-1，
int classId = -1;
// 按列回圈
for (int k = 0; k < mat.cols(); k++) {
if (k >= probaility_index && confidence < data[k]) {
confidence = data[k]; // 最大值付給confidence
classId = k - probaility_index; // 得到檢測的類別索引
}
}
// 過濾掉置信度較小的檢測結果
if (confidence > 0.6) {
System.out.println("Result Object:" + j);
for (int k = 0; k < mat.cols(); k++) {
if (data[k] > 0) {
System.out.println(" " + k + ":" + data[k]);
}
}
float x = data[0]; // centerX 矩形中心點的X坐標
float y = data[1]; // centerY 矩形中心點的Y坐標
float width = data[2]; // 矩形框的寬
float height = data[3]; //矩形框的高
float xLeftBottom = (x - width / 2) * frame.cols(); // 矩形左下角點的X坐標
float yLeftBottom = (y - height / 2) * frame.rows(); // 矩形左下角點的Y坐標
float xRightTop = (x + width / 2) * frame.cols(); // 矩形右上角點的X坐標
float yRightTop = (y + height / 2) * frame.rows(); // 矩形右上角點的Y坐標
// boxes主要包括左下角坐標與右上角坐標
boxes.add(new Rect2d(new Point(xLeftBottom, yLeftBottom), new Point(xRightTop, yRightTop)));
newbox.fromList(boxes);
confidences.add(confidence);
newconf.fromList(confidences);
classIds.add(classId);
}
}
}
//使用OpenCV的非極大抑制
NMSBoxes(newbox, newconf, CONTHRES, NMSTHRES, ind);
//當攝像頭中無出現目標的時候，newbox/newconf.cols()==0，有目標則是1，
if (newbox.cols() == 0 && newconf.cols() == 0) {
imshow("實時檢測", frame);
waitKey(-1);
return;
}
List<Integer> indices1 = ind.toList();
List<Rect2d> bboxs1 = newbox.toList();
List<Float> conf1 = newconf.toList();
List<Mat> cutImages = new ArrayList<>();
int a = 0;
if (indices1.size() > 0) {
for (int b = 0; b < indices1.size(); b++) {
a = a + 1;
Rect2d box = bboxs1.get(indices1.get(b));
Point p1 = box.tl(); // 獲得左 上角點
Point p2 = box.br(); // 獲得右下角點
int classId = classIds.get(a - 1); // 得到類別序號
float confidence = conf1.get(a - 1); // 得到置信度值
// 在原圖上繪制目標邊框
drawPic(classId, confidence, frame, p1, p2);
cutImages.add(frame);
}
}
System.out.println("cutImages" + cutImages);
// 將含有目標的圖片存入本地路徑，無目標不保存
String outputFilePath = "E:\\ZxxProject\\darknet-master\\imgRes";
for (int i = 0; i < cutImages.size(); i++) {
Mat mat = cutImages.get(i);
//顯示圖片
imshow("實時檢測", mat); // 顯示圖片
waitKey(-1);
if (count % 10 == 0) {
MatOfByte mob = new MatOfByte();
Imgcodecs.imencode(".jpg", mat, mob);
byte[] byteArray = mob.toArray();
ByteArrayInputStream in = new ByteArrayInputStream(byteArray);
try {
BufferedImage image = ImageIO.read(in);
OutputStream bOut = new FileOutputStream(outputFilePath + "/" + count + ".jpg");
ImageIO.write(image, "jpg", bOut);
} catch (IOException e) {
e.printStackTrace();
}
}
}
}繪制邊框程式
public static void drawPic(int classId, float confidence, Mat im, Point p1, Point p2){
String text;
double x = p1.x; // p1 的 x 坐標
double y = p1.y; // p1 的 y 坐標
if(classId == 0){
System.out.println("1");
rectangle(im, p1, p2, new Scalar(0, 0, 255), 1);
text = CLASSES.get(classId) + ":" + confidence;
putText(im, text, new Point(x, y-5), FONT_HERSHEY_SIMPLEX, 0.3, new Scalar(0, 255, 0), 1);
}else {
System.out.println("2");
rectangle(im, p1, p2, new Scalar(0, 255, 0), 1); // 畫框
text = String.format("%s %f", CLASSES.get(classId), confidence); // 標簽內容
System.out.println(text);
putText(im, text, new Point(x, y-5), FONT_HERSHEY_SIMPLEX, 0.5, new Scalar(0, 0, 255), 1);
}
}
}第三步：結果
結果中可能出現的繪制的框過多的現象，代碼還有許多優化的地方，可以在評論中留言，
參考文章
[1] opencv呼叫yolov3模型進行深度學習目標檢測（Java版）_w112112_的博客-CSDN博客
[2] 使用python+opencv+yolov3實作實時目標檢測_Lz~ryeom的博客-CSDN博客
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/332194.html
標籤：其他