教你們?nèi)绾问褂肰erilog HDL在FPGA上進行圖像處理

該FPGA項目旨在詳細展示如何使用Verilog處理圖像，從Verilog中讀取輸入位圖圖像（.bmp），處理并將處理結(jié)果寫入Verilog中的輸出位圖圖像。提供了用于讀取圖像、圖像處理和寫入圖像的完整 Verilog 代碼 。

在這個FPGA Verilog項目中，一些簡單的處理操作都是在Verilog中實現(xiàn)的，比如反相、亮度控制和閾值操作。圖像處理操作由“parameter.v”文件選擇，然后將處理后的圖像數(shù)據(jù)寫入位圖圖像 output.bmp 以供驗證。

所述圖像讀取Verilog代碼作為圖像傳感器/攝像機的模型的Verilog，它可以是用于在實時的功能驗證真正有用的操作FPGA圖像處理項目。當您想查看 BMP 格式的輸出圖像時，圖像寫入部分對于測試也非常有用。

在這個項目中，我在閱讀部分添加了一些簡單的圖像處理代碼來制作圖像處理的示例，但是您可以輕松地將其刪除以獲得原始圖像數(shù)據(jù)。學生提出的所有相關(guān)問題都在本文底部得到解答。

首先，Verilog 不能直接讀取圖像。要在 Verilog 中讀取 .bmp 圖像，需要將圖像從位圖格式轉(zhuǎn)換為十六進制格式。下面是將位圖圖像轉(zhuǎn)換為 .hex 文件的 Matlab 示例代碼。輸入圖像大小為 768x512，圖像 .hex 文件包括位圖圖像的 R、G、B 數(shù)據(jù)。

b=imread('kodim24.bmp');%24-bitBMPimageRGB888

k=1;
fori=5121%imageiswrittenfromthelastrowtothefirstrow
forj=1:768
a(k)=b(i,j,1);
a(k+1)=b(i,j,2);
a(k+2)=b(i,j,3);
k=k+3;
end
end
fid=fopen('kodim24.hex','wt');
fprintf(fid,'%x
',a);
disp('Textfilewritedone');disp('');
fclose(fid);

要讀取圖像十六進制數(shù)據(jù)文件，Verilog 使用以下命令：readmemb 如果圖像數(shù)據(jù)在二進制文本文件中。讀取圖像.hex 文件后，將RGB 圖像數(shù)據(jù)保存到內(nèi)存中并讀出進行處理。

下面是圖像讀取和處理部分的Verilog代碼：

/**********************************************************************************/
/********************模塊用于讀取和處理圖像**************/
/*********************************************************************************/
/******************************************************************************/
/******************Moduleforreadingandprocessingimage**************/
/******************************************************************************/
`include"parameter.v"//Includedefinitionfile
//fpga4student.com:FPGAprojectsforstudents
//FPGAproject:ImageprocessinginVerilog
moduleimage_read
#(
parameterWIDTH=768,//Imagewidth
HEIGHT=512,//Imageheight
INFILE="./img/kodim01.hex",//imagefile
START_UP_DELAY=100,//Delayduringstartuptime
HSYNC_DELAY=160,//DelaybetweenHSYNCpulses
VALUE=100,//valueforBrightnessoperation
THRESHOLD=90,//ThresholdvalueforThresholdoperation
SIGN=1//Signvalueusingforbrightnessoperation
//SIGN=0:Brightnesssubtraction
//SIGN=1:Brightnessaddition
)
(
inputHCLK,//clock
inputHRESETn,//Reset(activelow)
outputVSYNC,//Verticalsynchronouspulse
//Thissignalisoftenawaytoindicatethatoneentireimageistransmitted.
//Justcreateandisnotused,willbeusedonceavideoormanyimagesaretransmitted.
outputregHSYNC,//Horizontalsynchronouspulse
//AnHSYNCindicatesthatonelineoftheimageistransmitted.
//Usedtobeahorizontalsynchronoussignalsforwritingbmpfile.
outputreg[7:0]DATA_R0,//8bitReddata(even)
outputreg[7:0]DATA_G0,//8bitGreendata(even)
outputreg[7:0]DATA_B0,//8bitBluedata(even)
outputreg[7:0]DATA_R1,//8bitReddata(odd)
outputreg[7:0]DATA_G1,//8bitGreendata(odd)
outputreg[7:0]DATA_B1,//8bitBluedata(odd)
//Processandtransmit2pixelsinparalleltomaketheprocessfaster,youcanmodifytotransmit1pixelsormoreifneeded
outputctrl_done//Doneflag
);
//-------------------------------------------------
//InternalSignals
//-------------------------------------------------
parametersizeOfWidth=8;//datawidth
parametersizeOfLengthReal=1179648;//imagedata:1179648bytes:512*768*3
//localparametersforFSM
localparamST_IDLE=2'b00,//idlestate
ST_VSYNC=2'b01,//stateforcreatingvsync
ST_HSYNC=2'b10,//stateforcreatinghsync
ST_DATA=2'b11;//statefordataprocessing
reg[1:0]cstate,//currentstate
nstate;//nextstate
regstart;//startsignal:triggerFinitestatemachinebeginningtooperate
regHRESETn_d;//delayedresetsignal:usetocreatestartsignal
regctrl_vsync_run;//controlsignalforvsynccounter
reg[8:0]ctrl_vsync_cnt;//counterforvsync
regctrl_hsync_run;//controlsignalforhsynccounter
reg[8:0]ctrl_hsync_cnt;//counterforhsync
regctrl_data_run;//controlsignalfordataprocessing
reg[7:0]total_memory[0:sizeOfLengthReal-1];//memorytostore8-bitdataimage
//temporarymemorytosaveimagedata:sizewillbeWIDTH*HEIGHT*3
integertemp_BMP[0:WIDTH*HEIGHT*3-1];
integerorg_R[0:WIDTH*HEIGHT-1];//temporarystorageforRcomponent
integerorg_G[0:WIDTH*HEIGHT-1];//temporarystorageforGcomponent
integerorg_B[0:WIDTH*HEIGHT-1];//temporarystorageforBcomponent
//countingvariables
integeri,j;
//temporarysignalsforcalculation:detailsinthepaper.
integertempR0,tempR1,tempG0,tempG1,tempB0,tempB1;//temporaryvariablesincontrastandbrightnessoperation

integervalue,value1,value2,value4;//temporaryvariablesininvertandthresholdoperation
reg[9:0]row;//rowindexoftheimage
reg[10:0]col;//columnindexoftheimage
reg[18:0]data_count;//datacountingforentirepixelsoftheimage
//-------------------------------------------------//
//--------Readingdatafrominputfile----------//
//-------------------------------------------------//
initialbegin
$readmemh(INFILE,total_memory,0,sizeOfLengthReal-1);//readfilefromINFILE
end
//use3intermediatesignalsRGBtosaveimagedata
always@(start)begin
if(start==1'b1)begin
for(i=0;ib1&&HRESETn_d==1'b0)//__0___|1|___0____:startingpulse
start<=?1'b1;
else
start<=?1'b0;
end
end
//-----------------------------------------------------------------------------------------------//
//FinitestatemachineforreadingRGB888datafrommemoryandcreatinghsyncandvsyncpulses--//
//-----------------------------------------------------------------------------------------------//
always@(posedgeHCLK,negedgeHRESETn)
begin
if(~HRESETn)begin
cstate<=?ST_IDLE;
????end
????else?begin
????????cstate?<=?nstate;?//?update?next?state?
????end
end
//-----------------------------------------//
//---------?State?Transition?--------------//
//-----------------------------------------//
//?IDLE?.?VSYNC?.?HSYNC?.?DATA
always?@(*)?begin
?case(cstate)
??ST_IDLE:?begin
???if(start)
????nstate?=?ST_VSYNC;
???else
????nstate?=?ST_IDLE;
??end???
??ST_VSYNC:?begin
???if(ctrl_vsync_cnt?==?START_UP_DELAY)?
????nstate?=?ST_HSYNC;
???else
????nstate?=?ST_VSYNC;
??end
??ST_HSYNC:?begin
???if(ctrl_hsync_cnt?==?HSYNC_DELAY)?
????nstate?=?ST_DATA;
???else
????nstate?=?ST_HSYNC;
??end??
??ST_DATA:?begin
???if(ctrl_done)
????nstate?=?ST_IDLE;
???else?begin
????if(col?==?WIDTH?-?2)
?????nstate?=?ST_HSYNC;
????else
?????nstate?=?ST_DATA;
???end
??end
?endcase
end
//?-------------------------------------------------------------------?//
//?---?counting?for?time?period?of?vsync,?hsync,?data?processing?----??//
//?-------------------------------------------------------------------?//
always?@(*)?begin
?ctrl_vsync_run?=?0;
?ctrl_hsync_run?=?0;
?ctrl_data_run??=?0;
?case(cstate)
??ST_VSYNC:??begin?ctrl_vsync_run?=?1;?end??//?trigger?counting?for?vsync
??ST_HSYNC:??begin?ctrl_hsync_run?=?1;?end?//?trigger?counting?for?hsync
??ST_DATA:??begin?ctrl_data_run??=?1;?end?//?trigger?counting?for?data?processing
?endcase
end
//?counters?for?vsync,?hsync
always@(posedge?HCLK,?negedge?HRESETn)
begin
????if(~HRESETn)?begin
????????ctrl_vsync_cnt?<=?0;
??ctrl_hsync_cnt?<=?0;
????end
????else?begin
????????if(ctrl_vsync_run)
???ctrl_vsync_cnt?<=?ctrl_vsync_cnt?+?1;?//?counting?for?vsync
??else?
???ctrl_vsync_cnt?<=?0;
???
????????if(ctrl_hsync_run)
???ctrl_hsync_cnt?<=?ctrl_hsync_cnt?+?1;?//?counting?for?hsync??
??else
???ctrl_hsync_cnt?<=?0;
????end
end
//?counting?column?and?row?index??for?reading?memory?
always@(posedge?HCLK,?negedge?HRESETn)
begin
????if(~HRESETn)?begin
????????row?<=?0;
??col?<=?0;
????end
?else?begin
??if(ctrl_data_run)?begin
???if(col?==?WIDTH?-?2)?begin
????row?<=?row?+?1;
???end
???if(col?==?WIDTH?-?2)?
????col?<=?0;
???else?
????col?<=?col?+?2;?//?reading?2?pixels?in?parallel
??end
?end
end
//-------------------------------------------------//
//----------------Data?counting----------?---------//
//-------------------------------------------------//
always@(posedge?HCLK,?negedge?HRESETn)
begin
????if(~HRESETn)?begin
????????data_count?<=?0;
????end
????else?begin
????????if(ctrl_data_run)
???data_count?<=?data_count?+?1;
????end
end
assign?VSYNC?=?ctrl_vsync_run;
assign?ctrl_done?=?(data_count?==?196607)??1'b1:1'b0;//doneflag
//-------------------------------------------------//
//-------------Imageprocessing---------------//
//-------------------------------------------------//
always@(*)begin

HSYNC=1'b0;
DATA_R0=0;
DATA_G0=0;
DATA_B0=0;
DATA_R1=0;
DATA_G1=0;
DATA_B1=0;
if(ctrl_data_run)begin

HSYNC=1'b1;
`ifdefBRIGHTNESS_OPERATION
/**************************************/
/*BRIGHTNESSADDITIONOPERATION*/
/**************************************/
if(SIGN==1)begin
//R0
tempR0=org_R[WIDTH*row+col]+VALUE;
if(tempR0>255)
DATA_R0=255;
else
DATA_R0=org_R[WIDTH*row+col]+VALUE;
//R1
tempR1=org_R[WIDTH*row+col+1]+VALUE;
if(tempR1>255)
DATA_R1=255;
else
DATA_R1=org_R[WIDTH*row+col+1]+VALUE;
//G0
tempG0=org_G[WIDTH*row+col]+VALUE;
if(tempG0>255)
DATA_G0=255;
else
DATA_G0=org_G[WIDTH*row+col]+VALUE;
tempG1=org_G[WIDTH*row+col+1]+VALUE;
if(tempG1>255)
DATA_G1=255;
else
DATA_G1=org_G[WIDTH*row+col+1]+VALUE;
//B
tempB0=org_B[WIDTH*row+col]+VALUE;
if(tempB0>255)
DATA_B0=255;
else
DATA_B0=org_B[WIDTH*row+col]+VALUE;
tempB1=org_B[WIDTH*row+col+1]+VALUE;
if(tempB1>255)
DATA_B1=255;
else
DATA_B1=org_B[WIDTH*row+col+1]+VALUE;
end
elsebegin
/**************************************/
/*BRIGHTNESSSUBTRACTIONOPERATION*/
/**************************************/
//R0
tempR0=org_R[WIDTH*row+col]-VALUE;
if(tempR0THRESHOLD)begin
DATA_R0=255;
DATA_G0=255;
DATA_B0=255;
end
elsebegin
DATA_R0=0;
DATA_G0=0;
DATA_B0=0;
end
value1=(org_R[WIDTH*row+col+1]+org_G[WIDTH*row+col+1]+org_B[WIDTH*row+col+1])/3;
if(value1>THRESHOLD)begin
DATA_R1=255;
DATA_G1=255;
DATA_B1=255;
end
elsebegin
DATA_R1=0;
DATA_G1=0;
DATA_B1=0;
end
`endif
end
end

endmodule

“parameter.v”文件也是定義輸入輸出文件的路徑和名稱。對圖像進行處理后，需要將處理后的數(shù)據(jù)寫入輸出圖像進行驗證。

以下Verilog代碼是將處理后的圖像數(shù)據(jù)寫入位圖圖像進行驗證：

/********************寫入.bmp圖像的模塊************/
/**************************************************************/
moduleimage_write#(parameter
WIDTH=768,//Imagewidth
HEIGHT=512,//Imageheight
INFILE="output.bmp",//Outputimage
BMP_HEADER_NUM=54//Headerforbmpimage
)
(
inputHCLK,//Clockinput
HRESETn,//Resetactivelow
inputhsync,//Hsyncpulse
input[7:0]DATA_WRITE_R0,//Red8-bitdata(odd)
input[7:0]DATA_WRITE_G0,//Green8-bitdata(odd)
input[7:0]DATA_WRITE_B0,//Blue8-bitdata(odd)
input[7:0]DATA_WRITE_R1,//Red8-bitdata(even)
input[7:0]DATA_WRITE_G1,//Green8-bitdata(even)
input[7:0]DATA_WRITE_B1,//Blue8-bitdata(even)
outputregWrite_Done
);
//fpga4student.comFPGAprojects,Verilogprojects,VHDLprojects
//-----------------------------------//
//-------Headerdataforbmpimage-----//
//-------------------------------------//
//WindowsBMPfilesbeginwitha54-byteheader
initialbegin
BMP_header[0]=66;BMP_header[28]=24;
BMP_header[1]=77;BMP_header[29]=0;
BMP_header[2]=54;BMP_header[30]=0;
BMP_header[3]=0;BMP_header[31]=0;
BMP_header[4]=18;BMP_header[32]=0;
BMP_header[5]=0;BMP_header[33]=0;
BMP_header[6]=0;BMP_header[34]=0;
BMP_header[7]=0;BMP_header[35]=0;
BMP_header[8]=0;BMP_header[36]=0;
BMP_header[9]=0;BMP_header[37]=0;
BMP_header[10]=54;BMP_header[38]=0;
BMP_header[11]=0;BMP_header[39]=0;
BMP_header[12]=0;BMP_header[40]=0;
BMP_header[13]=0;BMP_header[41]=0;
BMP_header[14]=40;BMP_header[42]=0;
BMP_header[15]=0;BMP_header[43]=0;
BMP_header[16]=0;BMP_header[44]=0;
BMP_header[17]=0;BMP_header[45]=0;
BMP_header[18]=0;BMP_header[46]=0;
BMP_header[19]=3;BMP_header[47]=0;
BMP_header[20]=0;BMP_header[48]=0;
BMP_header[21]=0;BMP_header[49]=0;
BMP_header[22]=0;BMP_header[50]=0;
BMP_header[23]=2;BMP_header[51]=0;
BMP_header[24]=0;BMP_header[52]=0;
BMP_header[25]=0;BMP_header[53]=0;
BMP_header[26]=1;BMP_header[27]=0;
end
//---------------------------------------------------------//
//--------------Write.bmpfile----------------------//
//----------------------------------------------------------//
initialbegin
fd=$fopen(INFILE,"wb+");
end
always@(Write_Done)begin//oncetheprocessingwasdone,bmpimagewillbecreated
if(Write_Done==1'b1)begin
for(i=0;i

位圖圖像的標頭數(shù)據(jù)非常重要，在這里發(fā)布。如果沒有標題數(shù)據(jù)，則無法正確顯示寫入的圖像。在 Verilog HDL 中，$fwrite 命令用于將數(shù)據(jù)寫入文件。

接下來，讓我們編寫一個測試平臺 Verilog 代碼來驗證圖像處理操作。

`timescale1ns/1ps/**************************************************/
/*******Testbenchforsimulation****************/
/*********************************************/
//fpga4student.comFPGAprojects,Verilogprojects,VHDLprojects
//Verilogproject:ImageprocessinginVerilog
`include"parameter.v"//includedefinitionfilemoduletb_simulation;
//------------------//InternalSignals
//-------------------------------------------------
regHCLK,HRESETn;
wirevsync;
wirehsync;
wire[7:0]data_R0;
wire[7:0]data_G0;
wire[7:0]data_B0;
wire[7:0]data_R1;
wire[7:0]data_G1;
wire[7:0]data_B1;
wireenc_done;
image_read#(.INFILE(`INPUTFILENAME))
u_image_read
(.HCLK(HCLK),
.HRESETn(HRESETn),
.VSYNC(vsync),
.HSYNC(hsync),
.DATA_R0(data_R0),
.DATA_G0(data_G0),
.DATA_B0(data_B0),
.DATA_R1(data_R1),
.DATA_G1(data_G1),
.DATA_B1(data_B1),
.ctrl_done(enc_done)
);
image_write#(.INFILE(`OUTPUTFILENAME))
u_image_write(
.HCLK(HCLK),
.HRESETn(HRESETn),
.hsync(hsync),
.DATA_WRITE_R0(data_R0),
.DATA_WRITE_G0(data_G0),
.DATA_WRITE_B0(data_B0),
.DATA_WRITE_R1(data_R1),
.DATA_WRITE_G1(data_G1),
.DATA_WRITE_B1(data_B1),
.Write_Done()
);
//-------------//TestVectors
//-------------------------------------
initial
begin
HCLK=0;
forever#10HCLK=~HCLK;
end
initial
begin
HRESETn=0;
#25HRESETn=1;
endendmodule

最后，我們擁有一切來運行模擬來驗證圖像處理代碼。讓我們使用下圖作為輸入位圖文件：

運行仿真 6ms，關(guān)閉仿真并打開輸出圖像以檢查結(jié)果。以下是參數(shù).v中選定操作處理的輸出圖像：

由于讀取代碼是為了模擬目的而對圖像傳感器/相機進行建模，因此建議不要合成代碼。如果你真的想綜合處理代碼并直接在FPGA上運行，你需要將代碼中的這些圖像數(shù)組（total_memory、temp_BMP、org_R、org_B、org_G）替換為塊存儲器（RAM）和設(shè)計地址生成器來讀取圖像塊內(nèi)存中的數(shù)據(jù)。

問題的答案：

此圖像處理項目的完整 Verilog 代碼可在此處下載。運行模擬大約 6ms 并關(guān)閉模擬，然后您將能夠看到輸出圖像。

https://github.com/suisuisi/FPGAandImage/blob/main/Image/012_Others/Verilog_Image_Processing.zip

讀取部分作為圖像傳感器/相機的 Verilog 模型運行（輸出 RGB 數(shù)據(jù)、HSYNC、VSYNC、HCLK）。Verilog 圖像讀取代碼對于實時 FPGA 圖像/視頻項目中的功能驗證非常有用。

3.在這個項目中，我添加了圖像處理部分，做一個圖像增強的例子。如果您只想使用圖像傳感器模型來驗證您的圖像處理設(shè)計，您可以輕松移除處理部分以僅獲取原始圖像數(shù)據(jù)。

4.圖像保存到三個獨立的RGB mem中：由于Matlab代碼是將圖像16進制文件從最后一行寫到第一行，所以RGB保存代碼（org_R， org_B， org_G）在讀取temp_BMP內(nèi)存時也是這樣做的，保存RGB數(shù)據(jù)正確。如果您想以不同的方式進行，您可以相應地更改它。

5.如果您想更改圖像大小，您可能會發(fā)現(xiàn)以下對 BMP 標題的解釋很有用：

圖像大小=768*512*3=1179648字節(jié)
BMP標題=54字節(jié)
BMP文件大小=圖像大小+BMP標題=1179702字節(jié)
將其轉(zhuǎn)換為十六進制數(shù)：1179702 inDecimal=120036inHexade
然后 BMP 文件的 4 字節(jié)大?。?0H, 12 inHexa=18Decimal,00H,36inHexa=54Decimal
這就是我們?nèi)绾蔚玫揭韵轮担?BMP_header[2]=54;
BMP_header[3]=0;
BMP_header[4]=18;
BMP_header[5]=0;
圖像寬度= 768 =>十六進制：0x0300。圖像寬度的 4 個字節(jié)是
0、3、0、0。這就是您獲得以下值的方式：BMP_header[18]=0;
BMP_header[19]=3;
BMP_header[20]=0;
BMP_header[21]=0;
圖像高度= 512 =>十六進制：0x0200。圖像寬度的 4 個字節(jié)是0, 2, 0, 0。這就是我們?nèi)绾蔚玫揭韵轮担?BMP_header[22]=0;
BMP_header[23]=2;
BMP_header[24]=0;
BMP_header[25]=0;

6. 您不應綜合此代碼，因為它不是為在 FPGA 上運行而設(shè)計的，而是用于功能驗證目的. 如果你真的想合成這段代碼（讀取和處理）并將圖像加載到 FPGA中直接在 FPGA 上處理，請將所有 temp. 變量 (org_R, org_B, org_G, tmp_BMP = total_memory) 并生成地址以讀取圖像數(shù)據(jù)（刪除 always @(start) 和所有“for 循環(huán)” - 這些用于模擬目的）。
   有兩種方式：1. 寫一段RAM代碼，用$readmemh將圖像數(shù)據(jù)初始化到內(nèi)存中；2. 使用 Xilinx Core Generator 或 Altera MegaFunction 生成塊存儲器并將圖像數(shù)據(jù)加載到存儲器的初始值（Xilinx Core Gen. 為 .coe 文件，Altera MegaFunction 為 .mif 文件），然后從存儲器中讀取圖像數(shù)據(jù)并處理它（FSM 設(shè)計）。

7. 在這個項目中，為了加快處理速度，同時讀取兩個偶數(shù)和舊像素，但您可以根據(jù)您的設(shè)計更改正在讀取的像素數(shù)。

8. 編寫Verilog代碼對于測試目的也非常有幫助，因為您可以看到BMP 格式的輸出。

9.如果要做實時圖像處理，可以查看camera接口代碼這個：https://www.fpga4student.com/2018/08/basys-3-fpga-ov7670-camera.html

參考：https://www.fpga4student.com/2016/11/image-processing-on-fpga-verilog.html