amdgpu kfd TTM USERPTR

ROCT内存申请、注册、映射 一、总览 1. CPU DDR物理内存对应的虚拟地址全部来自于SVM aperture GPU DDR物理内存对应的虚拟地址根据芯片系列决定来自于gpuvm_aperture或SVM aperture 2. 关于CPU DDR中的userptr区域给GPU访问的原理讨论 1)userptr就是CPU已经申请的CPU DDR空间,现在要register给KFD,再映射给GPU访问 2)register memory API调用过程 (上图的所有DDR处理路径,只有regi... 阅读详情

USERPTR

alloc of gpu

vm_alloc_memory_of_gpu

domain = AMDGPU_GEM_DOMAIN_GTT;
alloc_domain = AMDGPU_GEM_DOMAIN_CPU;
alloc_flags = 0;

bp:
domain: GEM_DOMAIN_CPU(alloc_domain)
bo_type: ttm_bo_type_device
alloc_flags: 0

bo_create

为了shadow bo, wrapper了do_create

  1. bo_do_create
    acc_size = 存储这个bo占用的真正页面所需要的空间
    preferred_domain = domain = GEM_DOMAIN_CPU;
    — bo_placement_from_domain()
    places[c].fpfn = 0;
    places[c].lpfn = 0;
    places[c].flags = TTM_PL_FLAG_SYSTEM;
    bo->allowed_domains = bo->preferred_domains;
    bo->flags = bp->flags;

    1. ttm_bo_init_reserved
      bo->type = ttm_bo_type_device;
      bo->num_pages (size + PAGE_SIZE - 1) >> PAGE_SHIFT;
      bo->mem.size = page对齐的字节数量
      bo->mem.mm_node = NULL; 存储bo在

摄像头原始数据读取——V4L2(userptr模式,V4L2_MEMORY_USERPTR) V4L2 userptr模式(V4L2_MEMORY_USERPTR)实时采集数据 阅读详情

相关推荐

AMD KFD技术分析:Eviction Fence

AMDGPU驱动中的EvictionFence机制通过dma_fence框架与TTM、GPU调度器协同工作,确保在异构计算场景下安全管理GPU显存资源。该机制核心在于创建与进程绑定的fence结构,当显存不足触发BO驱逐时,通过enable_signaling回调通知KFD进程静默所有userqueue,待任务完成后才允许迁移BO。相比传统图形BO管理,该方案解决了用户空间队列的同步问题,支持多进程、SVM等复杂场景,在保证数据安全的同时实现高效资源回收与恢复。作为AMDGPU驱动资源管理的关键组件

图形/计算GPU的驱动与虚拟化技术分享园地 1290

1.3 amdgpu_bo的设计 — amd扩展和kfd扩展

本文分析了AMD GPU驱动中的内存管理机制,重点探讨了amdgpu_bo和kgd_mem两个核心数据结构。amdgpu_bo作为驱动层扩展,在TTM基础上实现了GPU内存域管理、pin/unpin机制、分块模式优化等特性,支持虚拟内存映射和恢复机制。kgd_mem则封装了KFD计算层功能,提供多GPU映射、进程隔离和共享内存支持。两者协同工作,通过指针关联而非嵌入的方式实现灵活的内存管理,满足图形渲染和高性能计算的不同需求。文章还通过典型场景说明了这些结构在实际应用中的使用方法。

图形/计算GPU的驱动与虚拟化技术分享园地 2165

5.2 bo内存分配位置flags概述

本文解析了KFD内存分配接口中的flags字段,重点介绍不同类型内存分配的用途和实现机制。VRAM用于高带宽GPU计算任务,GTT适用于CPU/GPU共享访问,USERPTR实现零拷贝数据传输,DOORBELL用于GPU队列通知,MMIO_REMAP支持寄存器访问。文章详细说明了用户空间分配流程、内核驱动处理方式及典型应用场景,为GPU资源管理和异构计算提供了关键指导。理解这些flags有助于开发者根据具体需求选择最优内存分配策略。

图形/计算GPU的驱动与虚拟化技术分享园地 7635

5.5 userptr BO(system ram里的bo)的内存分配分析

本文分析了AMD GPU驱动中KFD子系统对用户态指针(userptr)内存的处理机制。当应用程序通过KFD_IOC_ALLOC_MEM_FLAGS_USERPTR标志分配内存时,驱动将用户空间内存映射到GPU地址空间。核心流程包括:IOCTL入口处理中检查地址对齐和设备内存;GPU内存对象分配时设置GTT和CPU双域;BO创建与初始化;以及通过init_user_pages()完成用户页面映射,包括保存用户地址、注册MMU通知器、获取用户页面和验证BO等步骤。该机制实现了GPU对用户态内存的安全高效访问。

图形/计算GPU的驱动与虚拟化技术分享园地 2716

linux HMM 应用篇:AMDGPU 驱里的应用

AMDGPU HMM 机制分析摘要 AMDGPU驱动通过HMM(Heterogeneous Memory Management)机制实现了GPU直接访问用户空间内存的功能。该架构包含核心组件amdgpu_bo、mmu_interval_notifier和hmm_range等,支持GFX(图形渲染)和HSA(异构计算)两种模式。关键实现包括:1) MMU Notifier回调处理CPU页表变化;2) HMM注册/注销流程;3) 页面获取机制。

图形/计算GPU的驱动与虚拟化技术分享园地 325

1.2 amdgpu_bo的设计分析 — gem层和ttm层

本文分析了AMD KFD的BO设计架构,重点介绍了DRM子系统中缓冲对象的多层继承关系。文章首先展示了核心继承层次图,包括DRM通用层(drm_gem_object)、TTM内存管理层(ttm_buffer_object)、AMD驱动层(amdgpu_bo)和KFD计算层(kgd_mem)。随后详细解析了drm_gem_object结构体的关键功能,包括用户空间接口管理、内存映射支持、引用计数机制以及DMA-BUF导入/导出功能。

图形/计算GPU的驱动与虚拟化技术分享园地 2570

5.5 amdgpu HMM:userptr BO 的页表同步

本文介绍了AMDGPU驱动中userptr BO的实现机制,其核心思路是将用户态CPU内存包装为GEM/TTM BO对象,通过HMM机制同步CPU页表到GPU页表。主要内容包括:1) userptr BO与SVM的区别,前者侧重于页表同步而非迁移;2) BO创建流程,包括UAPI接口和HMM notifier注册;3) notifier回调处理,GFX和KFD采用不同失效策略;4) 页获取与绑定过程,通过HMM获取页并转换为GPU可访问形式;5) 命令提交时的页表验证机制;6) KFD特有的恢复工作队列机制

图形/计算GPU的驱动与虚拟化技术分享园地 399

0-1 专栏介绍:AMD KFD BO设计深度剖析——解锁GPU存储核心技术

本专栏深入解析AMD KFD驱动中BufferObject(BO)的核心架构与实现原理,涵盖虚拟/物理地址管理、TTM/DRM框架协作、GPU页表机制等关键技术。通过体系化的内容编排,从基础概念到SVM高级应用,结合代码分析与实践案例,帮助开发者掌握GPU内存管理底层机制。专栏特色包括可视化讲解、工程实践导向和社区互动支持,适合GPU驱动、图形渲染及异构计算领域的开发者进阶学习。

图形/计算GPU的驱动与虚拟化技术分享园地 2952

AMD KFD BO设计深度剖析——BO 多地址空间映射与转换

本专栏深入剖析AMD KFD BO的多地址空间映射与转换机制,以"一个BO、多个地址空间、多个翻译器"为主线,系统分析CPU VA、GPU VA、DMA Address和Physical Address之间的映射关系。内容涵盖BO设计概览与分类体系、物理地址空间管理(drm_mm机制)、GPU虚拟地址空间(VM体系)、物理存储空间分类(VRAM/GTT等)以及GART页表转换机制。

图形/计算GPU的驱动与虚拟化技术分享园地 1929

第7章: MMU notifier在AMD GPU驱动中的应用

AMD GPU驱动利用MMU Interval Notifier机制实现共享虚拟内存(SVM)和异构内存管理(HMM)。通过分析AMDGPU内存架构(VRAM、GTT、Userptr)和Buffer Object设计,重点探讨了Userptr零拷贝机制如何依赖MMU notifier保持CPU/GPU内存一致性。HMM框架进一步实现统一地址空间和透明页面迁移,AMDGPU通过amdgpu_hmm.c实现两种invalidate回调(GFX和HSA模式),处理不同场景下的内存失效同步问题。

图形/计算GPU的驱动与虚拟化技术分享园地 2486

HsaMemFlags标记分析:CoarseGrain 内存一致性标志从用户态到内核的传递链(Thunk → ioctl → KFD)

本文详细分析了从用户态设置 HsaMemFlags 到内核创建 BO(Buffer Object)的完整链路,重点聚焦内存一致性标志的传递与翻译过程。流程分为三层: Thunk 层转换:在 fmm_translate_alloc_to_kfd_ioc_flags() 中,将 HsaMemFlags.CoarseGrain 反转为 KFD_IOC_ALLOC_MEM_FLAGS_COHERENT(fine-grain 路径),并处理 Uncached 和 ExtendedCoherent 标志。

图形/计算GPU的驱动与虚拟化技术分享园地 498

6-2 GPU GART 绑定机制与 TLB 失效

本文详细解析了AMD GPU的GART(Graphics Address Remapping Table)绑定机制实现。主要内容包括: 绑定流程:从ttm_tt_bind()到硬件PTE更新的完整调用链,重点分析amdgpu_gart_bind()函数实现。 关键函数: amdgpu_gart_bind():执行安全检查、记录映射关系、更新页表等操作 amdgpu_gart_map():将CPU页映射为多个GPU页并填充PTE amdgpu_gmc_set_pte_pde():处理硬件特定的PTE格式 内存

图形/计算GPU的驱动与虚拟化技术分享园地 2674

9.2 GTT BO 在有 IOMMU 系统中的完整地址转换流程

本文详细描述了在IOMMU系统中AMD GPU访问GTT区域BO的完整地址转换流程。系统包含CPU MMU、GPU MMU和IOMMU三大硬件组件,形成四级地址空间转换层次。BO创建阶段首先通过DMA API生成IOVA地址,当Pin BO到GTT Domain时,会调用dma_map_sgtable()进行IOMMU映射,最终将DMA地址填入BO对象。整个过程涉及从用户空间API调用到内核DMA映射,再到IOMMU层的地址转换,确保GPU能通过虚拟地址正确访问BO内存区域。

图形/计算GPU的驱动与虚拟化技术分享园地 2033

6.4 专栏总结:从 MM 到 HMM 的设计哲学

Linux 通过 HMM(异构内存管理)机制将原本为 CPU DRAM 设计的内存管理(MM)扩展到了 GPU/CXL/SmartNIC 等异构设备内存。其核心思想是复用而非重构,将设备内存接入 Linux MM 现有的对象模型(如 mm_struct、struct page)、页表模型、缺页处理模型、通知模型和迁移模型。

图形/计算GPU的驱动与虚拟化技术分享园地 573

专栏目录:Linux 内存管理子系统的进化——从 MM 到 HMM

专栏梳理了Linux内存管理子系统从经典MM到异构内存管理(HMM)的演进历程。内容分为六大部分:首先介绍经典MM基础,包括虚拟地址空间、页表、VMA等核心机制;其次分析MM通用框架如页表遍历、NUMA迁移等;然后探讨设备内存引入的关键技术,如ZONE_DEVICE和dev_pagemap;接着深入解析HMM核心机制及其与DMA的集成;随后通过多个实际驱动案例展示HMM应用;最后讨论大页支持等进阶主题。专栏采用"经典机制→问题→扩展方案"的三段式结构,帮助开发者理解Linux如何通过HMM实现设备内存管理。

图形/计算GPU的驱动与虚拟化技术分享园地 908

告别环境配置焦虑:在Win10的Ubuntu子系统里搞定CSAPP实验环境(附32/64位库编译指南)

本文详细介绍了如何在Win10的Ubuntu子系统中搭建CSAPP实验环境,包括WSL 2的安装与配置、32/64位库的编译指南以及高效开发工具链的设置。通过优化WSL性能和使用实用技巧,开发者可以轻松应对CSAPP实验中的环境配置问题,提升学习效率。

weixin_30443813的博客 300

Python实战:基于PyG和Stable-Baselines3复现柔性车间调度算法(附数据集)

本文提供了一份基于图神经网络与深度强化学习的柔性车间调度实战指南。通过PyTorch Geometric构建异构图表示车间状态,并利用Stable-Baselines3中的PPO算法训练调度智能体,详细介绍了从环境建模、网络设计到训练评估的完整代码实现,帮助开发者构建可复用的工业级智能调度系统。

ansible6ops的博客 609

win10系统下使用Mask_Rcnn训练自己的数据

版权所有,翻版必究。https://mp.csdn.net/console/editor/html/106094147 运行环境:WIN10,pycharm,相应的CUDA,CUDNN,tensorflow1.15.0,tensorflow-gpu-1.14.0,Anaconda3 第一步:Mask RCNN开源项目:https://github.com/matterport/Mask_RCNN 第一步:数据准备 首先安装labelme进行数据的标注。安装方法pip install labe

fightingxyz的博客 1752

BP神经网络回归预测+SHAP可解释分析+新数据预测(MATLAB完整源码)

BP神经网络回归预测+SHAP可解释分析+新数据预测(MATLAB完整源码)

机器学习之心的博客,关注并私信文章链接,获取对应文章源码和数据。 397

9.23华为OD机试真题 新系统 - 世界杯徽章换购 (Java/Py/C/C++/Js/Go)

9.23华为OD机试真题 新系统 - 世界杯徽章换购 (Java/Py/C/C++/Js/Go)

算法大师! 1717

深度强化学习训练结果曲线绘制教程

使用python语言,只调用matplotlib库,绘制训练过程中保存的强化学习训练曲线。模仿经典论文中的训练曲线,多次训练取平均,并绘制出阴影区域。

加斯顿工程师的博客 913

# YOLOv11-seg改进系列 | 引入CVPR MetaFormer的C3k2_PoolingFormerCGLU模块,池化Token混合+CGLU门控MLP

本文引入 CVPR 2022 论文(MetaFormer/PoolFormer)提出的 MetaFormer 元架构设计,以Pooling Token 混合器 + ConvolutionalGLU(CGLU)MLP构成,将其封装为,用于替换 YOLOv11-seg 的 C3k2 块。对比维度C3k2(基线)C3k2_PoolingFormerCGLU(本文)参数量(n scale)2.46M≈2.49M9.6≈9.69.7(+1.0%)架构范式单阶段卷积MetaFormer 双阶段。

qq_44224801的博客 850

4、基于球面波展开的近场/远场变换技术解析

本文深入解析了基于球面波展开的近场/远场变换技术,涵盖坐标系统选择、截断测量处理、高级SWE方法及实际应用场景。重点介绍了广义SWE、全探头补偿、平移SNF测量(TSWE)等关键技术,结合吸收材料与导电地板系统的误差处理方案,系统总结了各类方法的优缺点与适用场景,并通过流程图和案例分析展示了技术应用路径。该技术在汽车、通信和航空航天领域的天线测量中具有重要价值,可显著提升测量效率与精度。

dell8的博客 262

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

上一篇: amdgpu kfd TTM create GTT
下一篇: DRM vulkan同步(dma fence)机制 Sync Objects
TheMoonRiver
博客等级 码龄11年 212粉丝 42原创
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址