最近鴿了挺久的，因為最近要做課設，再加上被這個工程的除錯給難到了，
在做該工程的時候，有一個良好的專案管理習慣會讓開發的時候不會讓人那么的高血壓，
特別要注意的是，異步FIFO的讀寫時鐘的速率匹配問題，這個問題卡了我好久，
1、sobel算子
Sobel 演算法是像素影像邊緣檢測中最重要的算子之一，在機器學習、數字媒體、計算機
視覺等資訊科技領域起著舉足輕重的作用，在技術上，它是一個離散的一階差分算子，用來
計算影像亮度函式的一階梯度之近似值，在影像的任何一點使用此算子，將會產生該點對應
的梯度矢量或是其法矢，
Sobel 邊緣檢測通常帶有方向性，可以只檢測豎直邊緣或垂直邊緣或都檢測，
實作步驟：
第一步：Sobel 提供了水平方向和垂直方向兩個方向的濾波模板，設 x 方向和 y 方向
的卷積因子分別為 Gx和 Gy，模板如下所示，A 為原影像，
第二步：矩陣運算后，就得到橫向灰度值 Gx 和縱向灰度值 Gy，然后通過如下公式進
行計算出該點的灰度值：
這個運算比較復雜，涉及到平方和開根（FPGA 不擅長），可以采用取近似值計算方法，對
于最終結果影響不大
第三步：設定一個閾值 threshold，對資料進行比較然后輸出二值影像
2、影像灰度演算法
影像資料中，含有RGB三種顏色的資料，如果一起處理的話，要很大的的運算量和位寬，為了減小運算量，可以將24位的RGB資料轉化為8位的灰度影像，
雖然丟失了一些顏色等級，但是從整幅影像的整體和區域的色彩以及亮度等級分布特征來看，灰度圖描述與彩色圖的描述是一致的，一般有分量法、最大值法、平均值法、加權平均法四種方法對彩色影像進行灰度化，
然后本次采用的是平均值法，
將彩色影像中的三分量亮度求平均得到一個灰度值，如下:
上式中有除法，考慮到在 FPGA 中實作除法比較的消耗資源，這里在實作前可以先做
如下的近似處理，可以將上面公式乘以 3/256，這樣就需要同時乘以 256/3 保證公式的正確
性，公式處理程序如下：
對 256/3 做近似取整處理，將 256/3 替換成 85，則公式變為如下，
這樣式子中除以 256 就可以采用移位方法來處理，式子變為如下：
上面處理程序中使用是對 256/3 的近似處理，當然這里可以采用其他資料，比如
512/3、1024/3、2048/3 等等，基本的原則是將平均公式法中分母的 3 替換成 2 的冪次的
數，這樣除法就可以使用移位的方式實作，減小 FPGA 中由于存在除法帶來的資源消耗，
3、sobel演算法的實作
該工程用到的算子需要三行資料才能進行，我們可以先快取兩行資料，然后接下來的輸入資料加上之前快取的兩行的資料就是三行資料了，示意圖如下：
快取區像移位暫存器一樣，一個周期輸入一個資料和輸出一個資料，可以用xilinx的RAM-base Shift Register IP核來實作，
但上面僅實作31的模板，要實作33的模板可在每行輸出串聯三組暫存器，以下是示意圖：
然后我們就可以取暫存器組里面的值進行Sobel 演算法的實作了，
4、sobel演算法模塊
本模塊需要
- 1個16位寬1024深度的異步FIFO
- 2個16位寬1024深度的同布FIFO
- 2個8位寬400深度RAM-base Shift Register IP核
sobel_core_v1_0.v
`timescale 1ns / 1ps
//////////////////////////////////////////////////////////////////////////////////
// Company: GDUT
// Engineer: Lclone
//
// Create Date: 2023/03/27 22:04:23
// Design Name: sobel_core
// Module Name: sobel_core
// Project Name: sobel_core
// Target Devices:
// Tool Versions:
// Description:
//
// Dependencies:
//
// Revision:
// Revision 0.01 - File Created
// Additional Comments:
//
//////////////////////////////////////////////////////////////////////////////////
module sobel_core_v1_0
# ( parameter LINE_LENGTH = 800, //行長度
parameter LINE_NUM = 480) //場長度
(
//------系統介面---------
input m_clk, //主時鐘
input rst_n, //復位信號
//------攝像頭介面-------
input pclk, //像素時鐘
input [15:0] cam_data, //影像資料輸入
input data_valid, //資料有效
//------maxis介面--------
input m_axis_tready,
output reg m_axis_tvalid,
output [15:0] m_axis_tdata,
output reg m_axis_tlast,
output m_axis_tuser
);
//------------------cam_fifo的信號-----------------------------
reg cam_fifo_data_rd_en; //cam_fifo 讀使能
reg cam_fifo_data_rd_en_r;
wire [15:0] cam_fifo_data_out; //cam_fifo讀出資料
wire [ 9:0] rd_data_count; //cam_fifo讀出計數
//------------------影像灰度演算法的信號------------------------
wire [ 9:0] sum;
reg [15:0] gray_r;
wire [ 7:0] gray_8b_o;
reg gray_valid;
//-------------------sbole模塊信號----------------------------
wire [ 7:0] filter_data_out;
wire filter_data_valid;
//-------------------兩個同步fifo的信號-----------------------
wire [15:0] fifo_data0;
wire [15:0] fifo_data1;
wire [ 9:0] fifo_data_count0;
wire [ 9:0] fifo_data_count1;
reg [ 9:0] out_data_count;
reg fifo_flag;
//-------------------場計數信號-------------------------------
reg [ 8:0] line_cnt;
reg line_end;
//------------------------------------------------------------
reg m_axis_act; //m_axis活動信號
always@(posedge m_clk or negedge rst_n) begin
if(rst_n == 0)
cam_fifo_data_rd_en <= 0;
else if(rd_data_count >= LINE_LENGTH/2)//當cam_fifo里的資料大于400個的時候，就進行讀取
cam_fifo_data_rd_en <= 1;
else if(rd_data_count <= 2) //當cam_fifo里的資料小于兩個的時候，就暫停讀取
cam_fifo_data_rd_en <= 0;
else
cam_fifo_data_rd_en <= cam_fifo_data_rd_en;
end
always @(posedge m_clk) cam_fifo_data_rd_en_r <= cam_fifo_data_rd_en; //延一拍，作為寫入同步fifo的寫信號
always@(posedge m_clk or negedge rst_n) begin
if(rst_n == 0)
m_axis_act <= 0;
else if(fifo_data_count0 >= LINE_LENGTH/2 - 1 ) //當同步fifo0的資料有400個的時候就使axi_stream介面活動
m_axis_act <= 1;
else if(fifo_data_count1 <= 1 )//當同步fifo1的資料小于1個的時候就使axi_stream介面暫停活動
m_axis_act <= 0;
else
m_axis_act <= m_axis_act;
end
always@(posedge m_clk) m_axis_tvalid <= m_axis_act;//延一拍作為tvalid信號與資料同步
always@(posedge m_clk or negedge rst_n) begin//每行資料的最后一個拉高tlast信號
if(rst_n == 0)
m_axis_tlast <= 0;
else if(out_data_count == LINE_LENGTH - 2 & m_axis_tvalid)
m_axis_tlast <= 1;
else
m_axis_tlast <= 0;
end
always@(posedge m_clk or negedge rst_n) begin//場計數器，為給出幀同步信號而設定的，
if(rst_n == 0)
line_cnt <= 0;
else if(line_cnt == LINE_NUM - 1 & out_data_count == LINE_LENGTH - 1)
line_cnt <= 0;
else if(out_data_count == LINE_LENGTH - 1)
line_cnt <= line_cnt + 1'b1;
else
line_cnt <= line_cnt;
end
always@(posedge m_clk or negedge rst_n) begin//輸出計數器，為給出tlast，切換fifo，給出幀同步信號而設定的，
if(rst_n == 0)
out_data_count <= 0;
else if(out_data_count == LINE_LENGTH - 1)
out_data_count <= 0;
else if(m_axis_tvalid & m_axis_tready)
out_data_count <= out_data_count + 1'b1;
else
out_data_count <= out_data_count;
end
always@(posedge m_clk or negedge rst_n) begin
if(rst_n == 0)
line_end <= 0;
else if(line_cnt == LINE_NUM - 1 & out_data_count == LINE_LENGTH - 1)
line_end <= 1;
else
line_end <= 0;
end
assign m_axis_tuser = (out_data_count == 0 & m_axis_tvalid & m_axis_tready & line_cnt == 0)? 1:0; //每個幀的第一個資料拉高tuser，也就是幀同步信號
//-------------------------------------------影像灰度演算法------------------------------------------------------
assign sum = {cam_fifo_data_out[15:11],3'b0} + {cam_fifo_data_out[10:5],2'b0} + {cam_fifo_data_out[4:0],3'b0};
always@(posedge m_clk or negedge rst_n)
begin
if(rst_n == 0)
gray_r <= 16'd0;
else if(cam_fifo_data_rd_en_r)
gray_r <= (sum << 6)+(sum << 4)+(sum << 2)+ sum;
else
gray_r <= 16'd0;
end
assign gray_8b_o = gray_r[15:8];
always@(posedge m_clk)
begin
gray_valid <= cam_fifo_data_rd_en_r;
end
//------------------------------------------同步fifo的資料切換--------------------------------------------------
always@(posedge m_clk or negedge rst_n)
begin
if(rst_n == 0)
fifo_flag <= 0;
else if(out_data_count >= LINE_LENGTH - 1)
fifo_flag <= 0;
else if(out_data_count >= LINE_LENGTH/2 - 1)
fifo_flag <= 1;
else
fifo_flag <= fifo_flag;
end
assign m_axis_tdata = https://www.cnblogs.com/Lclone/archive/2023/04/01/(fifo_flag) ? fifo_data1 : fifo_data0;
//----------------------------------------------------------------------------------------------------------
fifo_generator_1 cam_data_fifo (
.rst(~rst_n), // input wire rst
.wr_clk(pclk), // input wire wr_clk
.rd_clk(m_clk), // input wire rd_clk
.din(cam_data), // input wire [15 : 0] din
.wr_en(data_valid), // input wire wr_en
.rd_en(cam_fifo_data_rd_en), // input wire rd_en
.dout(cam_fifo_data_out), // output wire [15 : 0] dout
.full(), // output wire full
.empty(), // output wire empty
.rd_data_count(rd_data_count), // output wire [9 : 0] rd_data_count
.wr_rst_busy(), // output wire wr_rst_busy
.rd_rst_busy() // output wire rd_rst_busy
);
fifo_generator_0 fifo_generator_0_inst (
.clk(m_clk), // input wire clk
.srst(~rst_n), // input wire srst
.din(cam_fifo_data_out), // input wire [15 : 0] din
.wr_en(cam_fifo_data_rd_en_r), // input wire wr_en
.rd_en(~fifo_flag & m_axis_act & m_axis_tready), // input wire rd_en
.dout(fifo_data0), // output wire [15 : 0] dout //m_axis_tdata
.full(), // output wire full
.empty(), // output wire empty
.data_count(fifo_data_count0) // output wire [9 : 0] data_count
);
sobel_filter
#( .DATA_WIDTH(8))
sobel_filter_inst
(
.clk(m_clk),
.reset_p(~rst_n),
.data_in(gray_8b_o),
.data_in_valid(gray_valid),
.data_in_hs(1'b1),
.data_in_vs(1'b1),
.threshold(8'd127),
//--------------------------
.data_out(filter_data_out),
.data_out_valid(filter_data_valid),
.data_out_hs(),
.data_out_vs()
);
fifo_generator_0 fifo_generator_1_inst (
.clk(m_clk), // input wire clk
.srst(~rst_n), // input wire srst
.din({{5{filter_data_out[0]}},{6{filter_data_out[0]}},{5{filter_data_out[0]}}}),// input wire [15 : 0] din
.wr_en(filter_data_valid), // input wire wr_en
.rd_en(fifo_flag & m_axis_act & m_axis_tready), // input wire rd_en
.dout(fifo_data1), // output wire [15 : 0] dout
.full(), // output wire full
.empty(), // output wire empty
.data_count(fifo_data_count1) // output wire [9 : 0] data_count
);
endmodule
sobel_filter.v
`timescale 1ns / 1ps
module sobel_filter
#( parameter DATA_WIDTH = 8)
(
input clk,
input reset_p,
input [DATA_WIDTH - 1:0] data_in,
input data_in_valid,
input data_in_hs,
input data_in_vs,
input [DATA_WIDTH - 1:0] threshold,
//--------------------------
output reg [DATA_WIDTH - 1:0] data_out,
output data_out_valid,
output data_out_hs,
output data_out_vs
);
reg [DATA_WIDTH - 1:0] row0_col0;
reg [DATA_WIDTH - 1:0] row0_col1;
reg [DATA_WIDTH - 1:0] row0_col2;
reg [DATA_WIDTH - 1:0] row1_col0;
reg [DATA_WIDTH - 1:0] row1_col1;
reg [DATA_WIDTH - 1:0] row1_col2;
reg [DATA_WIDTH - 1:0] row2_col0;
reg [DATA_WIDTH - 1:0] row2_col1;
reg [DATA_WIDTH - 1:0] row2_col2;
wire [DATA_WIDTH - 1:0] line0_data;
wire [DATA_WIDTH - 1:0] line1_data;
wire [DATA_WIDTH - 1:0] line2_data;
reg data_in_valid_dly1;
reg data_in_valid_dly2;
reg data_in_valid_dly3;
reg data_in_hs_dly1;
reg data_in_hs_dly2;
reg data_in_hs_dly3;
reg data_in_vs_dly1;
reg data_in_vs_dly2;
reg data_in_vs_dly3;
wire Gx_is_positive;
wire Gy_is_positive;
reg [DATA_WIDTH+1:0] Gx_absolute; //high bit expansion 2bit
reg [DATA_WIDTH+1:0] Gy_absolute; //high bit expansion 2bit
always @(posedge clk or posedge reset_p) begin
if(reset_p) begin
row0_col0 <= 'd0;
row0_col1 <= 'd0;
row0_col2 <= 'd0;
row1_col0 <= 'd0;
row1_col1 <= 'd0;
row1_col2 <= 'd0;
row2_col0 <= 'd0;
row2_col1 <= 'd0;
row2_col2 <= 'd0;
end
else if(data_in_hs && data_in_vs)
if(data_in_valid) begin
row0_col2 <= line0_data;
row0_col1 <= row0_col2;
row0_col0 <= row0_col1;
row1_col2 <= line1_data;
row1_col1 <= row1_col2;
row1_col0 <= row1_col1;
row2_col2 <= line2_data;
row2_col1 <= row2_col2;
row2_col0 <= row2_col1;
end
else begin
row0_col2 <= row0_col2;
row0_col1 <= row0_col1;
row0_col0 <= row0_col0;
row1_col2 <= row1_col2;
row1_col1 <= row1_col1;
row1_col0 <= row1_col0;
row2_col2 <= row2_col2;
row2_col1 <= row2_col1;
row2_col0 <= row2_col0;
end
else begin
row0_col0 <= 'd0;
row0_col1 <= 'd0;
row0_col2 <= 'd0;
row1_col0 <= 'd0;
row1_col1 <= 'd0;
row1_col2 <= 'd0;
row2_col0 <= 'd0;
row2_col1 <= 'd0;
row2_col2 <= 'd0;
end
end
always @(posedge clk) begin
data_in_valid_dly1 <= data_in_valid;
data_in_valid_dly2 <= data_in_valid_dly1;
data_in_valid_dly3 <= data_in_valid_dly2;
data_in_hs_dly1 <= data_in_hs;
data_in_hs_dly2 <= data_in_hs_dly1;
data_in_hs_dly3 <= data_in_hs_dly2;
data_in_vs_dly1 <= data_in_vs;
data_in_vs_dly2 <= data_in_vs_dly1;
data_in_vs_dly3 <= data_in_vs_dly2;
end
assign data_out_valid = data_in_valid_dly3;
assign data_out_hs = data_in_hs_dly3;
assign data_out_vs = data_in_vs_dly3;
shift_register_2taps
#(
.DATA_WIDTH (DATA_WIDTH)
)
shift_register_2taps_inst
(
.clk (clk),
.shiftin (data_in),
.shiftin_valid (data_in_valid),
.shiftout (),
.taps1x (line1_data),
.taps0x (line0_data)
);
assign line2_data = https://www.cnblogs.com/Lclone/archive/2023/04/01/data_in;
//----------------------------------------------------
// mask x mask y
//[-1,0,1] [ 1, 2, 1]
//[-2,0,2] [ 0, 0, 0]
//[-1,0,1] [-1,-2,-1]
//----------------------------------------------------
assign Gx_is_positive = (row0_col2 + row1_col2*2 + row2_col2) >=
(row0_col0 + row1_col0*2 + row2_col0);
assign Gy_is_positive = (row0_col0 + row0_col1*2 + row0_col2) >=
(row2_col0 + row2_col1*2 + row2_col2);
always @(posedge clk or posedge reset_p) begin
if(reset_p)
Gx_absolute <='d0;
else if(data_in_valid_dly1) begin
if(Gx_is_positive)
Gx_absolute <= (row0_col2 + row1_col2*2 + row2_col2) - (row0_col0 + row1_col0*2 + row2_col0);
else
Gx_absolute <= (row0_col0 + row1_col0*2 + row2_col0) - (row0_col2 + row1_col2*2 + row2_col2);
end
end
always @(posedge clk or posedge reset_p) begin
if(reset_p)
Gy_absolute <= 'd0;
else if(data_in_valid_dly1) begin
if(Gy_is_positive)
Gy_absolute <= (row0_col0 + row0_col1*2 + row0_col2) - (row2_col0 + row2_col1*2 + row2_col2);
else
Gy_absolute <= (row2_col0 + row2_col1*2 + row2_col2) - (row0_col0 + row0_col1*2 + row0_col2);
end
end
//----------------------------------------------------
//result
//----------------------------------------------------
always @(posedge clk or posedge reset_p) begin
if(reset_p)
data_out <= 1'b0;
else if(data_in_valid_dly2) begin
data_out <= ((Gx_absolute+Gy_absolute)>threshold) ? 1'b0 : 1'b1;
end
end
endmodule
5、仿真
仿真程序有復雜，調了許久，這里暫不寫出，
6、上板驗證
本次還是在小梅哥的OV5640_TFT這個工程的基礎上進行修改，并將上面提到的模塊打包成IP核，在block design里進行鏈接，
(1)洗掉紅框內的模塊
(2)修改OV5640_data_0 IP核
module OV5640_Data_v1_0(
Rst_n, //復位
PCLK, //像素時鐘
Vsync, //場同步信號
Href, //行同步信號
Data, //資料
DataValid, //資料有效信號
DataPixel, //像素資料
Frame_Clk //時鐘信號
);
input Rst_n; //復位
input PCLK; //像素時鐘
input Vsync; //場同步信號
input Href; //行同步信號
input [7:0]Data; //資料
output DataValid; //資料有效信號
output [15:0]DataPixel; //像素資料
output Frame_Clk;//時鐘信號
reg r_Vsync;
reg r_Href;
reg [7:0]r_Data;
reg [15:0]r_DataPixel;
reg r_DataValid;
reg [12:0]Hcount;
reg [11:0]Vcount;
reg [3:0]FrameCnt;
reg Dump_Frame;
assign DataPixel = Dump_Frame ? r_DataPixel : 24'd0;
assign DataValid = Hcount[0] & Dump_Frame;
//攝像頭時鐘使能
//assign Frame_Ce = ((Hcount[0]) || (!r_Href)) & Dump_Frame;//1'b1;//(r_DataValid & Dump_Frame)||(!r_DataValid);
//assign Frame_Ce = ((!Hcount[0]) || (!r_Href)) & Dump_Frame;//1'b1;//(r_DataValid & Dump_Frame)||(!r_DataValid);
//時鐘為像素時鐘
assign Frame_Clk = PCLK;
//打拍
always@(posedge PCLK)
begin
r_Vsync <= Vsync;
r_Href <= Href;
r_Data <= Data;
end
//行同步信號為1時，行計數器加一（行同步信號為0時歸零）
always@(posedge PCLK or negedge Rst_n)
if(!Rst_n)
Hcount <= 0;
else if(r_Href)
Hcount <= Hcount + 1'd1;
else
Hcount <= 0;
//8位轉16位，賦予像素資料
always@(posedge PCLK or negedge Rst_n)
if(!Rst_n)
r_DataPixel <= 0;
else if(~Hcount[0])
r_DataPixel <= {r_Data,Data};
else
r_DataPixel[7:0] <= r_Data;
//產生資料有效信號
always@(posedge PCLK or negedge Rst_n)
if(!Rst_n)
r_DataValid <= 0;
else if(Hcount[0] && r_Href)
r_DataValid <= 1;
else
r_DataValid <= 0;
//行同步信號由0變為1時，列計數器加一（場同步信號為1時歸零）
always@(posedge PCLK or negedge Rst_n)
if(!Rst_n)
Vcount <= 0;
else if(r_Vsync)
Vcount <= 0;
else if({r_Href,Href} == 2'b01)
Vcount <= Vcount + 1'd1;
else
Vcount <= Vcount;
//場同步信號由0變為1時，幀計數加一，最大為10
always@(posedge PCLK or negedge Rst_n)
if(!Rst_n)
FrameCnt <= 0;
else if({r_Vsync,Vsync}== 2'b01)begin
if(FrameCnt >= 10)
FrameCnt <= 4'd10;
else
FrameCnt <= FrameCnt + 1'd1;
end
else
FrameCnt <= FrameCnt;
//當計數大于等于10幀時，Dump_Frame變為1，否則為0
always@(posedge PCLK or negedge Rst_n)
if(!Rst_n)
Dump_Frame <= 0;
else if(FrameCnt >= 10)
Dump_Frame <= 1'd1;
else
Dump_Frame <= 0;
endmodule
(3)添加打包好的IP核，并建立連接
(4)修改SDK中的檔案
將紅框中的暫存器的值改為圖片所示的值，即使攝像頭輸出400*480的影像，
最后燒入程式，可觀察到如下結果
7、可改進的地方
可以加個按鍵來控制sobel演算法里的閾值，
（該隨筆部分介紹來自小梅哥的教材，侵權刪，）
轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/548887.html
標籤：其他
上一篇：Anaconda 使用筆記 （可能有些亂 自己挑著看）
下一篇：Java多執行緒（一篇從0講透）