简介:基于XDMA的PCIE读写DDR完整FPGA工程,面向FPGA开发者和硬件工程师,解决高速数据在PC与DDR之间直接搬运的问题,适用于数据采集、图像传输等场景。压缩包包含1183个文件,约225.61MB,以Verilog/VHDL源码(v、sv、vh、vhd等)、Vivado工程配置文件(xci、xdc、bit)、仿真脚本(do、tcl、sh)为主,并含IP核定义、综合结果与约束文件,整体是由Vivado直接导入的完整工程,目录按RTL、综合、仿真等模块划分。已有4179人学习,内容难度适中,适合具备一定FPGA基础、需要落地PCIe读写DDR方案的中高级开发者。工程内实现XDMA控制器、DDR控制器、PCIe配置空间和DMA引擎等关键模块,并配有RTL代码、约束文件、综合与仿真脚本,可对照原理梳理数据通路、时序约束和驱动交互,涵盖PCIe配置空间管理、XDMA传输机制和DDR时序状态机等核心内容,结合源码与仿真脚本可快速理解PCIe链路初始化、BAR空间映射和DDR读写时序,是一份难得的工程化参考。
1. 基于XDMA的PCIE读写DDR是什么:先搞清三张图和一条链路
拿到一个叫“基于XDMA的PCIE读写DDR.rar”的工程包,里面十有八九是Vivado工程加一组驱动源码。XDMA是Xilinx官方PCIe DMA IP,DDR是板卡上的内存颗粒。这套组合解决的是“CPU和FPGA之间高速搬数据”的问题:CPU把一块数据写进FPGA侧DDR,FPGA算完再把结果送回来。常见于高速采集卡、AI推理加速、软件无线电这类需要大吞吐、低延迟的场景。
适合谁做?手里有Xilinx FPGA开发板,想跑通PCIe Gen3 x4甚至x8读写DDR的工程师。新手能靠这套工程把链路点亮,熟手能拿来当参考设计改地址映射和DMA描述符。注意,这里“读写DDR”不是指CPU直接读FPGA的DDR,而是通过PCIe总线发起AXI事务,由XDMA作为主设备访问MIG DDR控制器。方向搞反了,后面所有调试都会绕远路。
2. PCIe链路与XDMA IP配置:建链、枚举、BAR空间映射
2.1 XDMA的两种工作模式:AXI MM 与 AXI ST
XDMA IP在Vivado里配置时,第一项选“Mode”,有Memory Mapped和Streaming两种。做读写DDR,必须选Memory Mapped。因为DDR控制器对外是AXI Slave接口,XDMA在AXI MM模式下才能发起带地址的读写事务;Streaming模式只能做连续数据流,不适合随机寻址的DDR访问。
另一个关键是“Address Width”。XDMA的AXI Master接口地址宽度默认32位,如果DDR容量超过4GB,要改成64位。很多翻车案例就是只改了MIG那边,没改XDMA这边的地址宽度,导致高地址被截断。
2.2 最小配置:PCIe Gen3 x4 + AXI MM + DDR基址
在Vivado里新建IP核,搜索“XDMA”,双击打开配置界面。参考参数如下:
| 配置项 | 推荐值 | 说明 |
|---|---|---|
| Mode | Memory Mapped | 访问DDR必须用这个 |
| PCIe Lane Width | X4 | x8也能工作,但DDR带宽往往喂不满 |
| PCIe Max Link Speed | Gen3 (8.0 GT/s) | 板卡和插槽都支持才选,否则降Gen2 |
| AXI Data Width | 128 bit | 与MIG用户接口位宽对齐 |
| AXI Address Width | 32/64 | DDR容量超过4G选64 |
| Number of DMA Channels | 2 (C2H和H2C各一) | 双向搬运至少要一对 |
| AXI Master Enable | 勾选 | XDMA要主动读写DDR |
配置完后,把XDMA的axi_master_*接口连到MIG的S_AXI,MIG再连DDR颗粒。地址映射上,让XDMA的master地址0x0000_0000对应MIG的DDR起始地址。不要在这里引入地址偏移,否则后面Linux侧BAR映射会算到头晕。
2.3 枚举过程与BAR空间:为什么Linux看到一个内存区域
PCIe设备上电后,RC(Root Complex)会扫描总线,给EP分配资源。XDMA IP内部有配置寄存器,会响应PCIe配置请求,所以Linux下 lspci 能看到设备。设备被枚举后,BAR0和BAR2默认映射到XDMA内部寄存器,BAR1和BAR3映射到AXI Master地址空间(也就是DDR的窗口)。
常见做法是Linux下用 setpci 或驱动读取BAR信息,看到类似 Memory at ... (64-bit, non-prefetchable) 就是XDMA的DDR窗口。直接 cat /sys/bus/pci/devices/0000:01:00.0/resource 能看到地址范围。这里有个血泪经验:BAR空间映射后,DDR物理地址是落到CPU物理地址空间里的,但CPU不能直接像访问本地内存一样访问它,必须通过PCIe事务。所以驱动里要用ioremap,不能直接指针访问。
3. DDR控制器与AXI地址映射:把读写DDR变成总线事务
3.1 MIG配置要点:时钟、位宽、用户接口
DDR读写能不能跑满,MIG配置占一半。打开MIG IP,重点关注三组参数。
第一是Memory Type,DDR3还是DDR4,取决于板卡颗粒。第二是User Interface,选AXI4,位宽尽量与XDMA一致,128位或256位。这里有一个玄学:MIG用户接口位宽越大,内部跨时钟域缓冲越深,延迟也越高,但带宽能上去。做数据采集建议256位,做控制类应用128位就够了。
第三是Clock Period,对应DDR颗粒运行频率。DDR4-2400跑1200MHz,DDR3-1866跑933MHz。MIG的Input Clock频率通常100MHz或200MHz,由板卡晶振决定。
3.2 AXI地址映射:PCIe地址到DDR地址的换算
XDMA的AXI Master地址空间是“PCIe看到的地址”,这跟DDR控制器看到的地址未必相同。在Vivado里可以用AXI Interconnect做地址偏移,也可以直接在XDMA的配置里改Target地址。
最省心的做法:在Address Editor里把XDMA的axi_master_0基地址设为0x0000_0000,MIG的S_AXI基地址也设为0x0000_0000,两者直连。这样PCIe BAR1空间里的0x1000偏移,就是DDR的0x1000物理地址。省掉一层换算,调试时用 devmem 直接写地址,心智负担最小。
3.3 带宽计算:Gen3 x4 到底能跑多少
Gen3 x4的理论带宽是8GT/s * 4 lane,编码128b/130b后有效速率约3.94GB/s。方向是双向的,但DDR4单颗粒常见数据带宽是12.8GB/s(DDR4-2400,64bit),所以瓶颈通常在PCIe一侧,不在DDR。
实际跑Xilinx官方XDMA测试,H2C方向写DDR能跑到3.5GB/s左右,C2H方向读回也差不多。如果数据块很小(小于4KB),描述符和中断开销会吃掉带宽,性能会掉到1GB/s以下。这里有个习惯:大批量传输时,尽量让DMA长度在32KB以上,并且使用多描述符循环,不要一个描述符等一次中断。
4. 驱动侧与应用层:从BAR寄存器到数据搬运
4.1 驱动方案选择:不用自己写PCIe驱动
XDMA官方有驱动,Xilinx在Linux源码树外维护了 xdma 驱动。不依赖BSP的话,可以在驱动里简化为“字符设备 + mmap + ioctl”。但更快的验证方式是用UIO(Userspace I/O):驱动只负责使能PCIe设备和映射BAR,用户在应用层直接读写寄存器。
用UIO的步骤是:加载 uio_pci_generic 驱动,绑定到XDMA设备,然后在 /dev/uio0 上mmap。这种方法把BAR空间暴露给用户态,写寄存器、操作DMA描述符都可以在App里做。缺点是性能不如内核驱动,但用来调通链路足够。
4.2 最小验证:devmem读写BAR空间
FPGA工程下载后,先不加载任何驱动,直接用Linux的 devmem 工具验证PCIe读写通路。
首先要找到设备的Bus:Device.Function号,用 lspci -d 10ee: 过滤Xilinx的Vendor ID。然后查BAR0的物理地址:
lspci -v -s 01:00.0 | grep "Memory at"
# 输出示例: Memory at fe800000 (64-bit, non-prefetchable) [size=1M]
# 这是XDMA内部寄存器,不是DDR窗口
接着读出DDR窗口的BAR地址,通常是BAR1。假设BAR1物理地址是 fe700000 ,往DDR偏移0x1000写一个数,再读回来:
devmem 0xfe701000 32 0xdeadbeef
devmem 0xfe701000 32
# 如果输出0xdeadbeef,说明PCIe->AXI->DDR的写通路OK
上面的命令里, 0xfe701000 是BAR1基址加0x1000偏移, 32 表示32位访问。这里有个注意点:devmem直接写物理内存,可能被Linux的MMU拦截,但因为是PCIe MMIO区域,通常可以直通。如果读回全FFFF或超时,先查FPGA侧是否有AXI Slave错误,或者MIG是否初始化完成。
4.3 真正的DMA搬运:一个App骨架
验证通路后,可以写一个简单的用户态程序,触发XDMA做H2C传输。XDMA的寄存器映射里,H2C通道寄存器在BAR0偏移0x0000,C2H在0x1000。最小流程分四步:配置源地址、目标地址、长度,然后写控制寄存器启动DMA。
用C写个例子,配合UIO设备操作:
#include <stdio.h>
#include <stdlib.h>
#include <fcntl.h>
#include <sys/mman.h>
#include <unistd.h>
int main(int argc, char **argv) {
// 打开UIO设备,/dev/uio0对应XDMA的BAR
int fd = open("/dev/uio0", O_RDWR);
if (fd < 0) { perror("open uio"); exit(1); }
// 映射BAR0,基址由UIO驱动自动分配
void *bar0 = mmap(NULL, 0x1000, PROT_READ | PROT_WRITE,
MAP_SHARED, fd, 0);
if (bar0 == MAP_FAILED) { perror("mmap"); exit(1); }
// 目的地址:DDR偏移0x00001000
volatile uint32_t *dst = (volatile uint32_t *)(bar0 + 0x1000);
*dst = 0x12345678;
printf("Read back: 0x%08x\n", *dst);
munmap(bar0, 0x1000);
close(fd);
return 0;
}
这段代码做的是单次32位读写,不是真正的DMA描述符搬运。XDMA的DMA传输需要在内核里维护描述符环,用户态直接操作太繁琐。实际产品用Xilinx官方驱动,调用 xdma_h2c_write 接口,或者用 dma-buf 把用户空间缓冲映射到DMA地址。调试阶段,先确认寄存器读写通路正常,再去碰描述符环,能省不少时间。
5. PCIe读写DDR的避坑指南:从枚举失败到数据错位
5.1 lspci看不到设备:PCIe链路根本没建起来
现象:FPGA加载完bitstream,插到主机后执行 lspci ,列表里没有10ee设备。
原因:最常见的是PERST#信号没拉对。PCIe规范要求PERST#有效时EP必须复位,复位释放后RC才开始建链。如果FPGA的PERST引脚悬空或时序不对,链路状态机卡在Detect或Polling状态。另一个原因是Gen3协商失败,插槽只支持Gen2,但FPGA侧强制Gen3,两边握手超时。
解决:先用示波器看PERST#复位时序,确保上电后至少延迟100ms再释放。在XDMA IP配置里把Max Link Speed改为Gen2试一次,确认是不是速率协商问题。还可以在ILA里抓 axi_pcie_gt 的 gt_qpll_lock 信号,看PLL是否锁定。我一般会用Vivado的Hardware Manager读XDMA的 link_status 寄存器,看ltssm状态停在哪个值。
5.2 数据读回全是0或0xDEADBEEF写不进去
现象:devmem写DDR后读回全0,或者写进去变了一点。
原因:MIG还没初始化完成,axi_ctl_areset_n拉低期间,AXI事务直接返回错误。XDMA本身也可能因AXI写响应错误标志置位而停止后续传输。
解决:先检查MIG的 init_calib_complete 信号是否拉高,没有拉高就查DDR时钟、复位和CKE。如果MIG初始化正常,再看XDMA的 axi_wr_ok 信号。写操作完成后, axi_wr_ok 应该是一个脉冲;如果没看到,多半是AXI地址超出DDR范围,比如BAR窗口偏移配错,写到了MIG不响应的区域。
5.3 DMA传输到一半卡死,中断不触发
现象:大块DMA传输时,前几个描述符完成,后面的触发不了complete信号。
原因:XDMA的H2C描述符环使用 rx_buf_base 和 rx_buf_size 寄存器组。如果循环次数超过描述符数,又没有及时用 descriptor_bypass 或重新初始化尾指针,通道就停在等待描述符状态。
解决:检查中断状态寄存器 channel_isr ,看看是哪个位挂死。然后在App里每次传输后重新写 h2c_chnl_desc_tail 寄存器,让它知道新的描述符已经就位。注意描述符的 next 指针必须指向有效内存,如果指向0,XDMA会认为描述符链结束,直接停止。
5.4 重启主机后FPGA端DDR数据丢失,链路不稳定
现象:热重启Linux后,lspci能识别设备,但一读写DDR就报 Uncorrected (Non-Fatal) 错误,或MIG重新校准失败。
原因:PCIe主机复位后,FPGA的DDR控制器没有跟着复位。DDR训练状态保留,但PCIe链路重新建链,导致AXI时钟域出现毛刺。很多人忽略了给MIG的复位信号连到PCIe的 user_lnk_up 和 axi_aresetn 上。
解决:把MIG的系统复位输入接成PCIe链路状态相关信号,例如 axi_pcie_axi_aresetn && init_calib_complete 的组合。这样每次PCIe重新枚举,DDR控制器也重新复位校准。热插拔相关功能在Linux里默认关闭,写驱动时不要依赖 rescan ,尽量先关机上电再插卡,稳妥很多。
5.5 带宽只有理论值一半,读写不对称
现象:H2C写DDR 3.8GB/s,C2H读DDR只有1.7GB/s。
原因:C2H方向通常需要CPU先通知FPGA“我要读哪些地址”,XDMA的C2H通道在启动时要从主机内存搬运描述符,产生额外延迟。如果数据在DDR中不连续,每次读都要重新取描述符,效率更低。另外,AXI读操作需要等待返回数据,MIG的读延迟在40ns左右,面对短突发时协议开销占比大。
解决:读方向尽量用大段连续地址,DMA长度设到128KB以上,减少描述符切换次数。MIG侧开启 Read Burst 长度最大化,XDMA的AXI接口也配置成支持max burst 256。实测从512B突发改成4KB突发,C2H带宽能提升3倍以上。
6. 进阶验证:用回环模式与脚本压测DDR读写
6.1 利用XDMA自带回环验证数据通路
XDMA IP内部有一个loopback选项,勾选后可以在不接MIG的情况下,将H2C数据直接回环给C2H通道。这个功能适合先验证PCIe链路和驱动,排除DDR问题。
修改寄存器可以启用回环:往BAR0偏移0x0处写控制字,TX方向的数据会被内部环回到RX方向。配合 xdma 驱动里的 perf_test 工具,可以快速测PCIe裸带宽。等回环数据一致后,再把通道切到AXI MM模式,访问真正的DDR地址空间。
6.2 连续读写脚本:一条命令压测
工程里如果没有自带测试脚本,可以用一个简单的bash脚本做压测。假设驱动加载后设备节点是 /dev/xdma0_h2c_0 和 /dev/xdma0_c2h_0 ,配合systemd或直接前台运行:
#!/bin/bash
# 向DDR偏移0x100000写入1MB随机数据,再读回校验
dd if=/dev/urandom of=/tmp/test.bin bs=1M count=1
cmp <(dd if=/dev/urandom bs=1M count=1 2>/dev/null) /tmp/test.bin || echo "数据不同"
# 以上只是生成测试数据,实际搬运用xdma驱动ioctl
6.3 用ioctl做一次完整DMA搬运与校验
驱动加载后,真正搬运要调ioctl。Xilinx官方驱动通常提供 XDMA_IOC_WRITE 和 XDMA_IOC_READ ,作用是把用户态缓冲区地址传给驱动,由内核分配DMA缓冲并启动搬运。示例仍然以C语言给出:
#include <linux/xdma_ioctl.h>
#include <sys/ioctl.h>
#include <fcntl.h>
struct xdma_ioctl_write_reg reg = {0};
int fd = open("/dev/xdma0_h2c_0", O_WRONLY);
// 传输4MB数据到DDR偏移0x200000
char *buf = aligned_alloc(4096, 4 * 1024 * 1024);
unsigned long flags = XDMA_IOC_WRITE;
ioctl(fd, flags, ®);
这个ioctl的参数里, reg.addr 是DDR偏移地址, reg.len 是字节数。驱动内部会分配散列表并构造描述符,因此每次ioctl都会有分配和释放开销。批量小包传输时建议自己维护环形缓冲,避免ioctl频繁触发内存分配。
6.4 习惯走完这一遍,再谈优化
我自己的做法是:拿到任何XDMA读写DDR的工程,先不碰DMA,只用devmem把BAR窗口、DDR读写验证通;然后跑回环模式确认PCIe物理层稳定;最后才上完整DMA驱动。顺序乱掉,出了问题要同时猜PCIe、DDR、驱动三个地方,血泪经验告诉我这会让排查时间翻倍。
除此之外,每次改动XDMA配置后,务必重新生成bitstream并重新插拔一次板卡,不要只重载驱动。很多玄学问题其实是bitstream和驱动版本不匹配,导致描述符环地址解析错误。
希望这篇笔记能帮你少走弯路,尽快把XDMA读写DDR的链路跑通。如果你是刚开始接触PCIe,建议先拿官方example design原封不动跑一遍,观察寄存器默认值,再一点一点改成自己的业务逻辑。把基础链路调稳定了,后面做高性能数据采集或加速器会顺手很多。
327



被折叠的 条评论
为什么被折叠?



