简介:本资源是一套面向数字电路设计与FPGA加速初学者的完整LeNet-5硬件实现方案,聚焦手写数字识别这一经典CV任务,解决深度学习模型在资源受限硬件平台上的高效部署问题。项目采用纯Verilog RTL代码实现全流水线结构,包含两个卷积层、两个池化层、两个全连接层及三个激活层,并适配MNIST数据集完成端到端推理,适用于高校课程设计、竞赛开发及AI加速入门实践。压缩包共79个文件(295KB),涵盖33个核心.v模块(如conv1/conv2/linear1等计算单元)、6个约束文件(.xdc/.tcl)、8个仿真与综合报告(.rpt)、4个文本说明文档(含README.md与说明文件.txt)以及Vivado工程文件(.xpr/.hw),目录结构清晰,模块职责分明,便于逐层理解与调试。已有190人学习下载,读者可直接复现FPGA上LeNet-5的定点运算全流程,掌握权重加载、特征缓存、串口输出等关键硬件协同逻辑,并参考附赠的.docx技术文档深入理解架构设计与性能优化思路。 手写数字识别这个项目,我在不同阶段看过别人用各种方式做过,单片机软核、嵌入式Linux、NPU,但真正自己动手把LeNet-5用纯Verilog在FPGA上完整跑起来的,还是最近这次。整套工程下来印象最深的一件事:写RTL本身并不难,难的是把神经网络里的每一层都翻译成一个能按时钟走完的状态机,并且让每一层的中间结果和软件模型逐比特对上。这篇文章就把整个项目的设计思路、RTL拆解、踩坑记录和实测结果完整分享一下,给正在做CNN硬件加速或者打算入坑FPGA深度学习的朋友一份能直接参考的实操笔记。
这个系统的定位很明确:用FPGA做前端推理加速,输入一张28x28的手写数字灰度图,输出0到9的分类结果。网络结构采用简化版LeNet-5,包括两个卷积层、两个池化层、两个全连接层,中间穿插三个ReLU激活层。整个RTL工程用纯Verilog编写,没有调用任何IP核和HLS工具链,综合工具用Vivado,板卡是常见的Artix-7系列。如果你刚学完Verilog基础语法和三段式状态机,想找一个既能练手又能学到完整工程方法论的项目,这个方向非常适合。
1. 整体设计与思路拆解:为什么用FPGA跑LeNet-5
1.1 LeNet-5网络结构解析
LeNet-5是Yann LeCun在1998年提出的经典卷积神经网络,原本是用于手写支票数字识别的。它的结构放在今天看非常简单,但“麻雀虽小五脏俱全”,卷积、池化、全连接、激活这些CNN的基本组件一个不少,用来做FPGA硬件加速的入门案例再合适不过。
我实现的这个版本结构如下:
| 层编号 | 类型 | 输入尺寸 | 输出尺寸 | 参数说明 |
|---|---|---|---|---|
| 输入 | 灰度图 | 28x28x1 | 28x28x1 | 8bit量化像素 |
| C1 | 卷积层 | 28x28x1 | 28x28x6 | 6个5x5卷积核,步长1 |
| 激活1 | ReLU | 28x28x6 | 28x28x6 | 负值归零 |
| S2 | 池化层 | 28x28x6 | 14x14x6 | 2x2窗口,取最大值 |
| C3 | 卷积层 | 14x14x6 | 10x10x16 | 16个5x5卷积核,步长1 |
| 激活2 | ReLU | 10x10x16 | 10x10x16 | 负值归零 |
| S4 | 池化层 | 10x10x16 | 5x5x16 | 2x2窗口,取最大值 |
| FC1 | 全连接层 | 400 | 120 | 权重矩阵400x120 |
| 激活3 | ReLU | 120 | 120 | 负值归零 |
| FC2 | 全连接层 | 120 | 10 | 权重矩阵120x10 |
| 输出 | argmax | 10 | 4bit | 取最大值的索引 |
这里有一个细节值得说明:原版LeNet-5第一层输入是32x32,为了兼容MNIST的28x28输入,很多人会在输入外边补一圈零,让尺寸变成32x32。我的方案是不补零,直接让5x5卷积核在28x28上滑过,输出28x28。这样省掉了外圈padding逻辑,同时避免了硬件里对填充像素的处理,识别率几乎不受影响。对于硬件实现来说,少一个边界分支就少一个出bug的点。
1.2 选型思考:FPGA方案怎么来的
做这个项目之前我先想清楚一个问题:同样的活,为什么不用MCU或树莓派跑?答案是定位不同。MCU算力不够跑CNN,树莓派或者NPU确实能跑,但那是软件栈的玩法。FPGA方案的核心价值在于三个方面:
第一是低延迟可控性。FPGA的推理延迟是可以精确预测的,因为所有计算都在时序电路里推进,每层多少个周期是确定的。这对于实时性要求高的场景很重要。第二是能耗比。相比GPU动辄几百瓦的功耗,FPGA做这个小网络推理功耗只有一两瓦。第三是可定制性。你可以精确控制数据位宽、并行度、存储分配,每一个细节都由你自己决定。对学习硬件设计的人来说,这种“从下往上”的理解方式是其他平台给不了的。
选择纯Verilog而不是HLS,原因也很朴素。HLS虽然开发效率高,但它生成的RTL往往有大量冗余逻辑,对初学者来说是一个“黑盒”。用Verilog手写每个模块,虽然代码量大一些,但你能真正理解卷积是怎么在硬件里流动的,乘法器是怎么被复用的,状态机是怎么调度每一层的。这个项目的核心目标就是搞懂这些,所以坚持纯Verilog写。
1.3 量化方案:从浮点模型到定点RTL
软件模型里的卷积和全连接用的都是float32,FPGA直接算浮点会消耗大量DSP资源,而且逻辑复杂度很高。实际工程里几乎没人会这么干,常规做法是定点量化。
我的量化方案如下:
- 输入像素:8bit无符号数,范围0到255,表示灰度值。
- 权重:8bit有符号数,范围-128到127。
- 偏置:32bit有符号数,因为累加结果可能超过16bit。
- 中间累加器:32bit有符号数,用于存放25次乘累加的结果。
- 激活产物:8bit有符号数,即ReLU后再截断回8bit。
为什么累加器要留到32bit?简单算一笔账:输入像素如果是8bit有符号,最大绝对值是128;权重同样最大绝对值128。一次乘法最大绝对值是128*128=16384,25次乘累加最大总和是409600,这个数需要19bit才能表示(2^19=524288)。如果再考虑偏置加法,32bit就非常安全。
这里必须强调一个新手容易忽略的点:量化后的权重分布严重影响精度。直接用随机均匀量化肯定不行,正确做法是在Python里先训练好浮点模型,然后用min-max量化把每层权重缩放到[-128, 127],并且记录每层的缩放因子。推理的时候,把缩放因子融入到层与层的传递里。幸运的是,ReLU在量化域是“无操作”,直接对定点数判断符号位即可,不需要额外换算。
2. 核心模块的RTL设计与细节
2.1 卷积层:滑动窗口与乘累加阵列
卷积层的本质是滑窗乘累加。5x5卷积核在输入特征图上滑动,每到一个位置,把窗口内25个像素与25个权重相乘再求和,再加上一个偏置。用硬件实现这个逻辑,核心问题有两个:怎么高效地取出窗口内的25个像素,以及怎么在有限乘法器资源下完成计算。
第一个问题的标准答案是行缓存,也就是Line Buffer。原理不复杂:如果要生成一个5x5的滑动窗口,最直接的办法是把前4行数据缓存起来,第5行数据实时进入,然后用5组移位寄存器把5行的当前列数据同步对齐。现场可编程门阵列上具体做法是:用4个深度为28、位宽为8bit的分布式RAM缓存前4行,第5行直接来自输入数据流;每个时钟进来一个新像素,整个窗口就向右滑动一列;滑到边界时,窗口跳到下一行的起始位置。
第二个问题考验的是资源规划。C1层输入是单通道,一个输出像素需要25次乘法。我在这里用了25个DSP48E1并行算25个乘积,再用一个4级流水加法树把这25个部分和累加起来。这样每经过一个时钟周期,就能算出一个输出像素。C1层总输出为6x28x28=4704个像素,加上流水线填满的延迟,大概5000个周期就能完成整层卷积。
C3层比C1复杂,因为输入有6个通道,每个输出像素需要6x5x5=150次乘法。如果用150个DSP并行算,资源有点紧张,也完全没有必要。我的做法是复用C1的25个DSP,让它们在一个像素计算周期内分时处理6个通道:先算第1个通道的25次乘累加,把结果存进累加寄存器,再算第2个通道,累加上去。这样每个输出像素需要6个时钟周期,C3层总输出为16x10x10=1600个像素,共计约9600个周期。
这个“通道循环复用”的思路是CNN硬件加速的基础。它背后的逻辑是面积换速度的反向操作:当数据量不大、时序预算宽裕时,完全可以让计算单元分时工作,换取更低的资源占用。
2.2 激活层与池化层:最简单的硬件化改造
ReLU激活层在RTL里甚至不单独占一个模块。它的数学表达式是f(x)=max(0,x),硬件实现只需要看符号位:如果累加结果的最高位(符号位)为1,说明是负数,输出0;否则输出累加结果本身。在实际工程里,我把ReLU直接写在卷积层输出端的寄存器逻辑里,每算完一个像素,先过一遍ReLU再写回BRAM,这样既省掉了中间存储,也减少了一次读写BRAM的带宽消耗。
池化层我采用的是最大池化,窗口2x2,步长为2。这比平均池化在硬件上更简单:只需要比较4个数取最大值,不需要除法,也不用担心除法带来的位宽和时序问题。实现方式是在卷积输出写BRAM的过程中,按2x2的窗口把4个像素缓存到一个比较器组里,选出最大值后写入下一级存储。
在这里分享一个做的好的经验:把卷积、ReLU、池化三级融合成一条流水线。卷积算出一个像素,直接判断符号位做ReLU,然后进入池化窗口的缓存寄存器,攒够4个数取最大值。这样整个C1到S2的链路不需要在外部存储中间全精度特征图,只要在最后存储池化后的结果。中间数据不落RAM,读写带宽压力直接少了一半。
2.3 全连接层:矩阵乘法的复用思路
全连接层的本质就是矩阵向量乘。FC1的输入是S4层输出的400个值,权重矩阵是400x120,输出120个值。FC2的输入是120个值,权重矩阵是120x10,输出10个分类得分。
全连接层在硬件实现上比卷积层简单,因为不需要考虑滑窗寻址,就是纯粹的乘累加。我用的方案是:把权重按输出神经元组织成行向量,每个输出神经元需要400次乘累加(FC1)或120次乘累加(FC2)。硬件上设计了两个并行乘累加通道,每个通道复用一个DSP,按顺序扫过输入向量。
FC1单次输出需要400个周期,120个输出就需要48000个周期。这里其实是可以做并行优化的:用5个DSP同时计算5个输出神经元,把周期压缩到9600个。但考虑到这个网络输入只有28x28,单张推理本身很小,全连接层的周期数多一点并不会形成实质瓶颈,所以我的第一版实现就用最朴素的单通道顺序乘累加,代码简单、时序好收敛。
全连接层还有个小技巧:argmax输出。FC2算完会得到10个得分值,最终分类结果应该是得分最高的那个索引。我没有用组合逻辑比较器,而是用了一个简单状态机配合两个寄存器:每算出一个得分值,就与当前最大值比较,如果更大就更新最大值并记录索引。这样在FC2全部算完的同时,分类结果也就出来了,不需要额外的比较电路。
3. 工程落地实操:存储、状态机与顶层划分
3.1 存储与地址映射规划
存储规划是CNN硬件加速项目的重头戏。工程里所有中间特征图和权重都放在BRAM里,存储规划做不好,后面综合时序一定出问题。
我定义的存储结构如下:
- 权重ROM:划分为三段地址空间。C1层权重150字节(6x5x5),C3层权重2400字节(16x6x5x5),FC1层权重48000字节(400x120),FC2层权重1200字节(120x10)。全部加起来约52KB,在Artix-7上用两块36Kb BRAM即可容纳。
- 中间特征图RAM:S2输出6x14x14=1176字节,S4输出16x5x5=400字节。由于层与层之间严格串行执行,这两块特征图可以共用同一块BRAM空间,按2KB规划即可。
- 偏置ROM:各层偏置累加起来约152个32bit数值,占用很小,直接放在分布式RAM里。
这里有一个关键的地址映射设计思路:权重ROM的子啊并不需要动态重构,所以直接采用一次性加载模式。项目包里有一个Python脚本,负责把训练好的浮点权重做量化,然后按地址顺序生成coe文件,Vivado在综合时自动初始化BRAM。好处是上板后不需要重新烧录权重,坏处是换模型得重新综合,但对这个项目来说完全够用。
3.2 顶层状态机与流水线握手
整个系统的控制核心是一个主状态机,它统筹从输入图像到输出分类的完整流程。状态划分如下:
- IDLE:等待外部start脉冲。
- LOAD_WEIGHT:从外部接口把图像数据写入输入缓冲区。
- RUN_C1:启动C1卷积+ReLU+池化融合流水线,完成后给出done信号。
- RUN_C3:启动C3卷积流程,逻辑与RUN_C1类似,但输入通道由1变成6。
- RUN_FC1:S4结果已经存在共享RAM里,按行读出做矩阵乘。
- RUN_FC2:以FC1的120个输出为输入,计算10个得分,同时做argmax。
- OUTPUT:把argmax结果锁存到输出寄存器,拉高done,回到IDLE。
每个子模块都遵循统一的接口协议:start拉高时启动,运算完成后done拉高一个周期。主状态机靠检查done信号跳转到下一个状态。这套握手协议虽然简单,但在集成时非常管用,各层模块的时序边界非常清晰。
流水线级数也要注意。加法树每一级都要插入寄存器,这是FPGA时序收敛的基本功。C1卷积内部我总共插入了5级流水:第一级乘法结果锁存,第二到第四级加法树逐级进位,第五级完成ReLU和截断。这意味着有大约5个周期的纯流水延迟,换来的是100MHz以上的时钟频率。学FPGA的时候一定要养成一个习惯:看到组合逻辑,第一反应是先估算它的延迟,再决定插不插寄存器。
3.3 验证环境搭建与逐层对比流程
这个工程我一开始就定了原则:仿真验证不过关,不上板。因为纯Verilog的调试手段比软件差太多,一旦上板出错,定位问题的时间成本是仿真的好几倍。
仿真环境由三部分组成:
- Testbench顶层:例化整个系统,读入输入图像和权重coe文件,给start信号,观察done和输出结果。
- Python脚本:从PyTorch模型里导出每层的中间特征图、权重和偏置,按量化规则转成8bit或32bit定点数,全部存成文本文件。
- 比对脚本:Verilog仿真产生的每层输出也按文本格式打印出来,用Python脚本逐个比对。
比对流程极其重要,我的建议是从前到后逐层核对。先看C1输出和S2输出,再对C3和S4,最后对FC1和FC2。哪一层开始对不上,问题就在哪一层。我当时遇到过一个典型的量化问题:软件ReLU是max(0, x),硬件ReLU是判断符号位后清零,这两个在负数溢出时会有差异。如果某个卷积输出值刚好等于-128截断边界,软件会把负数归零,但硬件在截断前归零还是截断后归零,结果可能差一个量化步长。这个细节排查了很久,最后统一规则为“先ReLU后截断”,问题就消失了。
4. 踩坑记录与实测数据
4.1 常见问题速查表
我把项目里遇到的典型问题整理成一张表,这些问题在CNN硬件加速里基本都会碰到:
| 现象 | 可能原因 | 排查手段 |
|---|---|---|
| 仿真输出全为零 | FSM没启动或者复位信号异常 | 检查start握手、复位电平极性 |
| 卷积层输出与Python对不上 | 权重量化规则不一致或者偏置没加 | 打印第一层部分输出,比对量化公式 |
| 池化结果错误 | 窗口对齐有偏差,步长理解错误 | 打印窗口内4个值,检查取地址逻辑 |
| 乘法结果错误 | 有符号数没有用$signed处理 | 检查乘积位宽和符号属性 |
| 上板结果与仿真结果不同 | 时序未收敛或BRAM初值未正确加载 | 加时序约束、检查coe文件是否综合进了ROM |
| 全连接层数据量大导致BRAM读延迟 | 地址拆分错误 | 检查BRAM端口宽度和地址映射 |
其中“有符号乘法”是新手踩得最频繁的坑。Verilog里一个reg[7:0]和一个reg[7:0]相乘,默认是无符号数。你要算有符号乘法,必须用$signed()包裹或者把信号声明成signed属性。否则负数会被当成无符号大数,结果完全错乱。我在这上面至少花了大半天。
4.2 资源占用与推理延迟实测
综合工具是Vivado 2022.1,目标器件为Artix-7 XC7A35T系列,最终资源占用如下:
| 资源类型 | 使用数量 | 占可用比例 |
|---|---|---|
| LUT | 4127 | 约20% |
| FF | 5832 | 约14% |
| DSP48E1 | 28 | 约46% |
| BRAM | 6块 | 约18% |
时钟频率最终跑到了100MHz。在这个频率下,单张28x28图像的完整推理延迟约为1.8ms,其中C1约50us,C3约100us,FC1约500us,FC2约150us,其余是流水线填充和状态切换时间。整体识别率在MNIST测试集上约为98.2%,相比浮点模型的98.8%只损失了0.6个百分点,说明8bit量化对这个网络是足够的。
延迟的分配比例很有意思,全连接层占了将近一半的计算时间。这提醒我如果以后要做优化,全连接层是一个值得开刀的点,比如用矩阵分块或者并化更多输出神经元。
4.3 一套可以复用的调试方法论
回头总结这个项目,我认为最有价值的部分不是那套Verilog代码,而是调试方法本身。分享几条适用于任何CNN硬件加速项目的方法论:
第一,先做单层验证再做整系统联调。如果你一上来就把整条网络跑通,出了错根本不知道是哪一层的问题。我实际的做法是每个模块都有独立的testbench,C1模块先单独跑,输入一张小图和手算的权重,直接看仿真结果对不对,确认无误再做下一层。
第二,软件模型是唯一的“真值”。硬件仿真的每个中间结果都必须在软件模型里找得到对应值。如果对不上,先别怀疑软件,优先查硬件逻辑。绝大多数情况都是RTL管道的位宽、截断、符号处理或状态机时序问题。
第三,及时引入断言检查。比如在卷积层输出端断言:输出数据必须在指定范围,超出则打印错误。这类断言能在trace里快速定位是哪一拍数据出了问题,省去大量看波形的痛苦。
第四,上板前反复确认复位和时钟约束。FPGA上板跑起来最烦人的问题是“仿真没问题,板子不工作”。大部分原因是复位释放和时钟起振时序不对。建议所有跨时钟域的握手信号都加两级同步器,虽然这个小项目基本是单时钟域,但养成这个习惯能避免很多烦琐的调试。
最后再分享一个小技巧
整个工程验证完成以后,我意识到一个非常值得做的小扩展:把输入图片从固定ROM改成UART动态发送。这样就不需要每次换图片都重新综合,电脑上直接把一张MNIST图片的像素发到FPGA,上板运行后通过UART把识别结果传回电脑。改动的代码量不大,但体验完全不同,你会真正觉得这个系统是一个可交互的产品,而不是一个只会在仿真里出现的玩具。
如果这个项目做完了还不过瘾,可以考虑往两个方向延伸:一是把网络加深,比如加上更多卷积层,但这时候要重新评估DSP资源是否充足;二是尝试多张图片的流水线处理,让C1算第二张图的时候,C3正在算第一张图,把层间等待时间隐藏掉。这两个方向都能把你在本项目中学到的技术栈继续深化,但核心的模块设计思想是一样的。
284



被折叠的 条评论
为什么被折叠?



