PCIe ATS介绍

VIPPCIe ATS介绍
主机侧使用IOMMU完成设备地址到物理memory地址的转换,以及设备访问权限的检查。但如果所有PCIe设备都在进行DMA操作,则TA(Translation Agent)和ATPT(Address Translation and Protection Table)则会成为瓶颈,从而影响系统的latency。
开通可读全文 ·6k 人阅读
最低0.47元/天 解锁文章

ATS Architectural Overview

DMA access time can be significantly lengthened due to the time required to resolve the actual physical address.

主机侧使用IOMMU完成设备地址到物理memory地址的转换,以及设备访问权限的检查。但如果所有PCIe设备都在进行DMA操作,则TA(Translation Agent)和ATPT(Address Translation and Protection Table)则会成为瓶颈,从而影响系统的latency。

To mitigate these impacts, designs often include address translation caches in the entity that performs the address translation. In a CPU, the address translation cache is most commonly referred to as a translation look-aside buffer (TLB). For an I/O TA, the term address translation cache or ATC is used to differentiate it from the translation cache used by the CPU.

为了解决地址转换性能问题,设计者通常会实现一个地址转换cache,在CPU侧通常称为translation look-aside buffer (TLB);对于IO侧,则称为address translation cache or ATC。

While there are some similarities between TLB and ATC, there are important differences. A TLB serves the needs of a CPU that is nominally running one thread at a time. The ATC, however, is generally processing requests from multiple I/O Functions, each of which can be considered a separate thread

与TLB不同的是,ATC通常处理的是多线程的请求。

这一区别使得主机侧的ATC很难针对系统的IO Function数目来确定cache的大小。

. The benefits of having an ATC within a Device include: • Ability to alleviate TA resource pressure by distributing address translation caching responsibility (reduced probability of “thrashing” within the TA) • Enable ATC Devices to have less performance dependency on a system’s ATC size • Potential to ensure optimal access latency by sending pretranslated requests to central complex

设备侧ATC中存放有TA和ATPT的内容,从而降低设备性能对系统cache大小的依赖。

There are a number of considerations a Function or software can use in making such a determination; for example: • Memory address ranges that will be frequently accessed over an extended period of time or whose associated buffer content is subject to a significant update rate • Memory address ranges, such as work and completion queue structures, data buffers for low-latency communications, graphics frame buffers, host memory that is used to cache Function-specific content, and so forth

针对设备Funcion访问某一个需要被频繁刷新的地址,或者对latency特别敏感的访问,ATC能显著提高软件性能。

Address Translation Services (ATS) Overview

ATS uses a request-completion protocol between a Device and a Root Complex (RC) to provide translation services.

  1. ATS Request的路由规则和序的规则同Non-Posted Memory Read
  2. ATS Request可以在1个或多个TC上outstanding地发送

TA收到ATS Translation Request之后

  1. 检查该Function是否开启ATS能力
  2. 检查该Function是否有权限访问该段地址
  3. 检查是否可以给该Function提供页表
    1. 页表请求是否合规
      1. Page size必须为2的幂次方,并且地址需要对齐到page size
      2. 最小的page size为4096 bytes
    2. 为了提供系统资源的利用效率,该Function必须被告知minimum translation或invalidate size,并且该Fucntion需要支持该size。最小的minimum translation size必须为4096 bytes
  4. TA告诉RC请求的结果是成功还是失败,RC产生ATS Translation Completion通过RP返回给Device Function
    1. RC针对1条ATS Translation Request至少返回1条ATS Translation Completion
      1. A successful translation can result in one or two ATS Translation Completion TLPs per request.
      2. An RC may pipeline multiple ATS Translation Completions,并且多条ATS Translation Completion的序是任意的
      3. RC需要按照与ATS Translation Request相同的TC返回Completion
    2. 如果Reques
VIP 浅析PCIe 6.0 ATS地址转换功能 在现代高性能计算和虚拟化系统中,(Address Translation)是一个至关重要的机制。随着 PCIe 设备(如 GPU、网卡、存储控制器)直接访问系统内存的能力增强,设备对虚拟内存的访问需求日益增长。为了提升性能并确保安全访问,应运而生。ATS 是 PCIe 规范中的一项关键功能,允许设备(如 Endpoint)在访问内存时自行进行虚拟地址到物理地址的转换,而无需依赖 CPU 的 MMU(Memory Management Unit)或操作系统介入。 开通可读全文·2.9k 阅读·29 点赞·11 收藏 阅读全文

相关推荐

2021, Dec日志-关于PCIe的AER

PCIe定义了很多的Cap. 但大多数人只用到了其中一些最常用的,比如MSI/MSIX, PMC, ARI, PCI express, PASID等等 还有很多Cap, 没有深入了解的实践机会, 比如LTR, OBFF, TPH, 等等,等等,非常之多。 另外一些Cap,比如AER, DPE/eDPC, ACS, ATS, SRIOV有一点点了解。 ATS, PASID可以看成TA(translation agent), ATPT(address trans and protection t..

3302

手把手教你学PCIE--PCIe 的 ATS (Address Translation Services) 功能详细介绍

ATS(Address Translation Services,地址转换服务)是 PCIe 3.0 及以上版本引入的一项重要功能,主要用于支持 I/O 虚拟化环境中的地址转换。它允许 PCIe 设备直接参与虚拟机的内存管理,从而提高 I/O 操作的效率和安全性。以下是关于 PCIe ATS 功能的详细介绍,涵盖其工作原理、应用场景、配置方式以及优势。

MHD0815的博客 1556

[ATS]一文带你深入了解 PCIe ATS

ATS之于iommu就相当于TLB之于cpu,其起到的作用不言自明。但是目前支持ATS的设备并不多,一方面是因为大部分业务场景下对这一块感知并不明显,那部分感知比较明显的比如HPC,机器学习这些业务主要依赖GPU,NV针对这些limit也早就做了优化比如gpudirect等;还就是在设备上增加cache也是需要成本的,本来设备上的SRAM也没有多大,另外就是非虚拟化场景intel iommu也支持PT的方式从而避免了iova的转换的开销。但是随着云原生和serverless的出现,可能就不一样了。

元直的博客 2365

【PCIe 总线及设备入门学习专栏 3.2.3 -- PCIe 中的 ATC 与 ATS】

在 PCIe 体系结构中,ATC(Address Translation Cache)和ATS(Address Translation Services)是用于优化地址翻译和内存访问性能的重要技术。它们主要应用于高性能计算和虚拟化环境中,以减少翻译延迟和提高内存访问效率。:缓存地址翻译结果,提高内存访问性能。:允许设备向 IOMMU 请求地址翻译,并将结果缓存到 ATC 中。协同工作:ATS 请求翻译,ATC 缓存结果,减少重复翻译请求,提高系统性能。

CodingCos的博客 1953

SMMU软件指南操作之ATS和PRI

SMMU软件指南操作之ATS地址转换服务和PRI页面请求接口

AI-安全-功耗 1215

【PCIe 总线及设备入门学习专栏 3.4.2 -- PCIE ATS地址转换协议】

PCIe设备及根复合体RC之间采用请求-完成协议来实现地址转换服务ATS。ATS主要包括两部分地址转换(Translation):用以将 ATPT(Address Translation and Protection Table) 中的转换地址缓存到本地 ATC,包括地址转换请求及地址转换完成。地址作废(Invalidation):用以当 ATPT 中地址转换发生变化时,将 ATC中的对应转换地址作废,包括地址转换作废请求及地址转换作废完成。

CodingCos的博客 1091

揭秘PCIe ATS:如何让数据中心“堵车”成为历史?

揭秘PCIe ATS:如何让数据中心“堵车”成为历史?

qq_27846717的博客 761

【ARMv8/v9 SMMU 专栏 3.3 -- SMMU 中的 ATS 功能介绍】

ATS 目的:通过缓存端点或请求者的翻译结果来提高系统性能,从而减少共享 TLB 的争用和延迟。:类似于 TLB,存储翻译结果。ATC 按需填充,通过向根复合体发出翻译请求,再由根复合体转发给 SMMU。翻译完成响应:如果翻译成功并通过权限检查,返回物理地址并将其缓存到 ATC 中。翻译失败:如果翻译失败或权限检查失败,将返回负响应,端点不能使用 ATS 访问该地址。ATS 目的:提高系统性能,减少翻译延迟。ATC:缓存翻译结果,减少共享 TLB 争用。权限检查。

CodingCos的博客 602

金蝶云星空初级实施认证考题

Q4.[单选题] (1.5分) 总账中的多账簿账表主要是基于什么进行查看的Q47.[多选题] (2.5分) 销售订单的收款计划页签勾选预收之后,预收控制环节可以控制哪些节点?

m0_51994557的博客 3131

别再浪费主板上的PCIE插槽了!手把手教你用VL805芯片打造高速USB3.0扩展坞

本文详细介绍了如何利用VL805芯片将主板闲置的PCIE插槽改造为高性能USB3.0扩展坞。从芯片选型、电路设计到焊接工艺和系统调试,提供了一套完整的实战指南,帮助用户充分释放硬件潜能,实现高达5Gbps的传输速度。

weixin_27134495的博客 334

【深度学习3】ubuntu22.04从零开始搭建深度学习环境

ubuntu22.04从零开始搭建深度学习开发环境

weixin_43387635的博客 1万+

Labwindows CVI写上位机与STM32下位机通信(二)

接着上篇,这篇主要谈谈流量计数据读取。我们使用的MEMS流量计采用Modbus协议Modbus 使用RS-485 作为硬件载体。 一. Modbus协议   该协议定义了 Modbus 总线Master(主设备)与Slave(从设备)之间的通讯报文格式,对于主设备来说,Modbus 协议是联系上位机(如PC、PLC、HMI 等)的接口,而且所有的通讯都是“透明的”。控制器通信使用主-从技术,即

yang2011079080010的专栏 1万+

机房电脑的“还原”秘密:如何应对重启即清零的困境

机房电脑重启后自动还原是常见的现象,这主要依靠硬件还原卡或软件还原系统(如冰点还原)实现。这类技术会定期将系统盘恢复初始状态,但通常不保护非系统盘。要高效使用公共电脑,建议:1)将个人文件存储在D/E盘;2)使用绿色便携软件;3)必要时可尝试通过热键临时关闭还原功能;4)养成云端备份习惯。掌握这些技巧既能遵守机房规定,又能保证学习资料安全,培养良好的数字资产管理能力。

一位主要以学校学生信息技术,社会工作生活讲解科普拓展的博主 1468

如何在 SAP BTP 上通过 CDS view 快速创建 Fiori Elements 应用

本文基于 SAP Business Technology Platform 的 ABAP 编程环境进行的开发。 使用 ABAP Development Tool 登录 SAP BTP ABAP 编程环境,新建一个 package,命名为 Z_JERRY_CDS. 右键选中该 package,创建一个新的 Consumption view. 该视图是一个消费视图,它基于业务对象 (BO) 视图 /DMO/I_TRAVEL_U,提供了独立于消费层的给定数据模型。 它包含在其上运行的应用程序所需的所有核心信息。

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 2033

AIPex:AI + 自然语言驱动的浏览器自动化扩展

AIPex是一款革命性的Chrome扩展,通过AI技术实现自然语言驱动的浏览器自动化。它支持30多种自动化工具,包括智能标签页管理(分组、切换、批量操作)、页面内容提取(文本、链接、元数据)、交互元素操作(点击、滚动)以及表单智能填写等功能。用户只需用自然语言下达指令,即可快速完成复杂的浏览器操作,大幅提升工作效率。AIPex特别适合需要处理大量重复性网页操作的用户,如数据分析师、产品经理等。

blues_C的博客 1143

7、布尔网络的基础定义

本文介绍了布尔网络的基础定义及其在系统生物学中的应用。布尔网络是一种描述复杂系统动态行为的数学模型,由布尔变量和布尔函数组成,能够模拟生物系统中基因调控、信号传导和细胞代谢等过程。文章详细阐述了布尔网络的基本结构、动力学特征(如状态转移图和吸引子),以及其在生物建模中的重要价值,并探讨了优化和简化技术(如Backward Boolean Equivalence)如何提升其计算效率。

yhn45678901的博客 274

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

上一篇: PCIe Data Link Layer - 可靠传输
下一篇: CXL简介
maxwell2ic
博客等级 码龄10年 1701粉丝 68原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址