目录

• 前言
• 1. 图片的缓存与读取
• 2. 滑窗的构建
• 3. 权值的读取
• • 3.1 行列计数器的构建
  • 3.2 权重数据的取存
• 4. 卷积运算
• • 4.1 乘法运算
  • 4.2 加法运算
  • 4.3 卷积输出有效位

前言

基于Verilog实现卷积神的运算需要，有3个要素，即图片数据、滤波器权值数据和乘加运算，一个基本的卷积运算过程如图1所示，本博客是在前文（1. Vivado简单双端口RAM 使用，问题探析 和基于verilog的CNN搭建缓存图片数据浅析）分析的基础上，系统地说明卷积实现过程，主要包括代码分析和仿真，旨在自我学习记录。为了加深理解，便于仿真实现，本文模拟了一个大小为5×5大小图片结和1个2×2的滤波器进行卷积运算，注意：本实验没有考虑偏置项。

图1 卷积的实现过程

图2 图片（左）和滤波器（右）

---

1. 图片的缓存与读取

图片主要是通过RAM进行缓存，具体的实现方法如基于verilog的CNN搭建缓存图片数据浅析所示，这里不在赘述，直接得到的仿真波形，如下所示：

图3 图片缓存仿真结果

从图中可以发现，在对第三行的数据进行写地址操作时，实现了对前两行数据的正常输出，简而言之就是，缓存数据的输出比输入延迟5个时钟周期。

2. 滑窗的构建

由于滤波器是2×2的，需要也构建一个2×2的邻域像素块实现来实现与滤波器权值的乘加运算。

reg [7:0] window[2-1:0][2-1:0];   //定义一个二维数组window[2][2]的滑窗
integer i,j; 

always @(posedge clk or negedge rst_n ) begin  //赋初值为0
    if (~rst_n) begin     
        for (i = 0; i < 2; i = i + 1) begin
            for (j = 0; j < 2; j = j + 1) begin
                window[i][j] <= 'd0;  
            end
        end
    end
    else if(data_in_valid == 1'b1) begin       //如果data_in_valid有效，window[i][0]= window_in[i]
        for (i = 0; i < 2; i = i + 1) begin
                window[i][0] <= window_in[i];
            for (j = 1; j < 2; j = j + 1) begin //数据缓存一拍
                window[i][j] <= window[i][j-1];
            end
        end
    end
end

仿真结果如图3所示，这样实现了window构建，在数据进行第2行的缓存中，可以获得相应的滑窗数据（正确的，用于计算的），如光标所指示的，因为非阻塞赋值，所以会晚1拍。

图4 滑窗构建的仿真结果

3. 权值的读取

3.1 行列计数器的构建

首先需要构建一个计数器，用于指向行列信息。具体代码如下，其中x_cnt 比较简单，y_cnt 的计算需要考虑x_cnt，但整体不难理解。

//======================= x_cnt y_cnt ====================
reg [2:0] x_cnt;
reg [2:0] y_cnt;

always@(posedge clk,negedge rst_n)begin
    if(~rst_n)
        x_cnt<=0;
    else if(x_cnt == 'd4 && data_in_valid==1'b1)
        x_cnt<=0;
    else if(data_in_valid==1'b1)
        x_cnt<= x_cnt +1'b1;
end

always@(posedge clk,negedge rst_n)begin
    if(~rst_n)
        y_cnt<=0;
    else if(y_cnt == 'd4 &&x_cnt == 'd4 && data_in_valid==1'b1)
        y_cnt<=0;
    else if(data_in_valid==1'b1 && x_cnt == 'd4)
        y_cnt<= y_cnt +1'b1;
end

仿真结果如下：

图5 计数器构建仿真结果

3.2 权重数据的取存

因为滤波器为2×2的尺寸，即【20，-21，-12，11】；所以我们在缓存第一行图片的数据的同时，从coe文件中读取权重。具体的操作为例化一个RAM的IP核，采用单端口模式，读取数据。

图6 IP核构建过程
同时我们需要定义一个使能信号，实现在缓存第一行图片的数据的同时，从 coe文件中读取权重，权重数据将保存在 rd_c1_w_1_data中：

wire c1_w_rd_en;
assign  c1_w_rd_en = (data_in_valid && x_cnt>=0 && y_cnt==0)? 1'b1 : 1'b0;
wire    [15:0] rd_c1_w_1_data;


blk_mem_gen_0 your_instance_name (
  .clka(clk),    // input wire clka
  .ena(c1_w_rd_en),      // input wire ena
  .addra(x_cnt),  // input wire [1 : 0] addra
  .douta(rd_c1_w_1_data)  // output wire [15 : 0] douta
);

图7 权重读取的仿真波形
最后为了存储这些权重数据，便于后期卷积运算，我们定义了2维的寄存器单元，用于存储这些数据，代码如下：

reg   signed  [15:0]  c1_w_1[1:0][1:0];

always@(*)begin
    if(y_cnt==0)begin
        c1_w_1[(x_cnt-1)/2][(x_cnt-1)%2] = rd_c1_w_1_data;
    end
end

仿真结果如下

图8 权重存储的仿真波形

4. 卷积运算

4.1 乘法运算

需要重新定义一个2维寄存器单元window_mul_result_1用于存放相乘后的数据，代码如下：

reg signed[31:0]  window_mul_result_1[1:0][1:0];

always@(posedge clk,negedge rst_n)begin
    if(~rst_n)begin
        for(i=0;i<2;i=i+1)begin
            for(j=0;j<2;j=j+1)begin
                    window_mul_result_1[i][j] <= 0;
            end
        end
    end
    else begin
         for(i=0;i<2;i=i+1)begin
            for(j=0;j<2;j=j+1)begin
                    window_mul_result_1[i][j] <={ { 24{1'b0} }, window[i][j] } * { {16{c1_w_1[i][j][15]}}, c1_w_1[i][j] };
            end
        end    
    end
end

仿真结果如下：

图9 卷积运算仿真结果（乘）

4.2 加法运算

我们采用组合逻辑电路，获得乘加后结果

wire [31:0] window_sum_1; 

assign window_sum_1 = window_mul_result_1[0][0]+window_mul_result_1[0][1]+window_mul_result_1[1][0]+window_mul_result_1[1][1];
assign data_out = {(window_sum_1[31]==0)?window_sum_1:0}; //relu

#pic_center)

图10 卷积运算仿真结果（加）

4.3 卷积输出有效位

5×5的图像与2×2的滤波器进行卷积（没有padding），输出的特征图尺寸为4×4，由仿真结果（图10）可知，当x_cnt=>1&&y_cnt=>1（图中少打等于），还要进行打2拍操作。具体如下:

#pic_center)

图11 有效输出分析（加）
最终实现的输出如图所示
图12 卷积运算最终仿真结果

具体代码实现工程请私信

参考：
https://www.bilibili.com/video/BV13U4y1D7dv/?spm_id_from=333.999.0.0
https://www.bilibili.com/video/BV1UL4y1w7i5/?spm_id_from=333.337.search-card.all.click