注意力机制QKV在GAT(Graph Attention Network)的体现

transformer中对于QKV的个人理解 上面这个transformer中的注意力公式,相信大家不会陌生。公式并不复杂,但是why?为什么是这个公式,为什么大家都说之前了解transformer的时候,对于QKV的设定感到很奇怪,后来慢慢接受了这个设定,今天记录一下自己的理解。 总结一下核心是新词向量矩阵包含了位置编码和其他词的上下文信息的一组信息的词向量。 阅读详情

注意力机制其实并没有规定 Q、K、V 的具体来源,GAT是规定了一套Q、K、V,自注意力是规定了另一套Q、K、V。核心其实只要计算满足下图的矩阵形式计算流程就是所谓的注意力机制了。学过注意力机制的应该都看的明白。
在这里插入图片描述

在自注意力机制self-attention中,Q、K和V是通过线性变换从同一个特征向量中获得的,是同一个特征矩阵X同源的,也就是Q、K、V都是来源于同一个特征矩阵X,只不过Q、K、V是同一个特征矩阵X的线性变换的产物罢了。说直白点就是:Q = X ⋅ WQ, K = X ⋅ WK, V = X ⋅ WV。
这些变换将节点的特征映射到不同的表示空间,然后用于计算注意力权重。

GAT(Graph Attention Network)被称为注意力机制的一种图神经网络,它使用了注意力机制的思想。
在GAT中,每个节点与其邻居节点之间的关系被建模为具有不同权重的注意力权重。这就涉及到了注意力机制中的Q(查询)、K(键)和V(数值)的概念。具体来说,Q、K和V分别用于以下操作:

  1. 查询(Q):用于度量一个节点与其邻居之间的相关性。每个节点都有一个查询向量,用于计算与邻居节点之间的相似度。

  2. 键(K):描述邻居节点的特征。每个节点都有一个键向量,它用于与其他节点的查询向量进行比较,以确定注意力权重。

  3. 数值(V):包含了邻居节点的特征信息。每个节点都有一个数值向量,用于计算与邻居节点之间的加权和。

上面的Q、K、V 我自己觉得不太好理解,直接看下面的具体计算步骤。
下面的计算步骤是典型的注意力机制的计算,那就是说明肯定用到了注意力机制就对了()

通过将 查询向量Q 与 键向量K 进行点积操作,然后应用so

transformer中QKV的通俗理解(剩女与备胎的故事) 用vit的时候读了一下transformer的思想,前几天面试结束之后发现对QKV又有点忘记了, 写一篇文章来记录一下 参考链接: 哔哩哔哩:在线激情讲解transformer&Attention注意力机制(上)在线激情讲解transformer&Attention注意力机制(上)_哔哩哔哩_bilibiliAttention is all you need介绍 更具体的介绍可以去阅读论文在Attention is all you need这篇文章中提出了著名的Transformer模型Transforme 阅读详情

相关推荐

Transformer 01:自注意力机制Q,K,V详解

在深度学习领域,一个神秘且强大的概念——自注意力机制(Self-Attention Mechanism),近年来成为了许多突破性成果的幕后英雄。从自然语言处理(NLP)到计算机视觉,自注意力机制正逐渐成为构建高效、强大模型的关键。但它究竟是什么?又是如何工作的?接下来将用通俗易懂的理解解释Transformer的工作原理。

qq_35284513的博客 1万+

深度学习算法选型速查表:按数据维度与工程约束决策

深度学习算法本质是解决特定数据结构问题的工具,其核心不在模型架构本身,而在匹配‘数据如何携带信息’——空间主导型(如图像)依赖局部不变性,时序主导型(如传感器流)需建模长程依赖,关系主导型(如知识图谱)要求非欧结构感知,多模态耦合型则强调跨模态语义对齐。理解这一原理,才能避开用CNN处理时序、用LSTM建模图结构等典型工程陷阱。技术价值体现在落地可行性:显存占用、推理延迟、小样本鲁棒性、硬件亲和度等硬指标直接决定模型能否上线。在工业质检、金融风控、医疗影像、智能物流等真实场景中,算法选型必须基于数据主导维度

weixin_34294649的博客 405

多头注意力Attention中qkv分别是什么

Query (Q): 查询向量,用于表示当前要关注的信息。每个注意力头会根据输入序列生成自己的查询向量。Q 向量用于与K 向量进行相似度计算,以确定哪些值(V)应该被关注。Key (K): 键向量,代表输入序列中每个元素的特征。每个输入元素都有一个对应的 K 向量,Q 与 K 的相似度决定了该元素对当前查询的重要性。Value (V): 值向量,实际包含的信息。每个 K 向量都有一个对应的 V 向量,最终的输出是通过加权求和 V 向量得到的,其中权重由 Q 和 K 的相似度决定。

zengxiaojian2的博客 3742

Transformer中的QKV揭秘:从入门到实践(含流程图)

Transformer模型彻底改变了自然语言处理领域,而其中的核心——注意力机制(Attention)的QKV三要素,是理解Transformer的关键。很多初学者看到Q(Query)、K(Key)、V(Value)就一头雾水:它们到底是什么?从哪里来?为什么需要它们?本文将用最直观的方式,带你彻底理解QKV的原理,配有详细流程图和可运行代码,保证小白也能轻松掌握!概念说明关键点Q(Query)“提问者”,表示当前关注点决定"我想知道什么"K(Key)“标签”,表示内容特征。

m0_47867638的博客 2901

手把手教你用HarmBench数据集测试大模型安全性(含多模态案例)

本文详细介绍了如何使用HarmBench数据集测试大模型的安全性,包括文本和多模态越狱指令的实战案例。通过环境配置、数据集获取、测试流程及结果分析,帮助开发者全面评估和提升大模型的安全防护能力,特别关注多模态攻击的防御策略。

weixin_26642481的博客 334

28-基于STM32单片机的便携式健康监测系统设计与实现(程序+原理图+元件清单)

本文详细介绍了基于STM32单片机的便携式健康监测系统设计与实现,该系统集成MAX30102光电传感器和MSP20压力传感器,实时监测心率、血氧和血压等关键生理指标。通过STM32F103C8T6主控芯片和HC-05蓝牙模块,实现数据采集、处理及无线传输,具有便携性高、操作简便等特点,适用于家庭健康监护和户外运动场景。

weixin_29191669的博客 423

ADS交叉耦合振荡器VCO仿真

本文主要参考视频中如何使用进行ADS交叉耦合振荡器仿真和分析,由于视频中有诸多错误和视频清晰度较低,虽然视频博主及时改正,为了节省学习时间,可以直接参考本文。

qq_32589131的博客 5438

SONiC (6) - SONiC 源码框架分析

https://github.com/sonic-net/sonic-utilitieshttps://github.com/sonic-net/sonic-snmpagenthttps://github.com/sonic-net/sonic-linux-kernelhttps://github.com/sonic-net/sonic-platform-commonhttps://github.com/sonic-net/sonic-platform-daemons以下是在 SONiC 中运行的容器列表:

qq_49477505的博客 1347

26、电子测量与旋转编码器控制技术解析

本文深入解析了电子测量中的电感测量技术与旋转编码器的控制方法。介绍了LC电路振荡原理、滤波器类型及其应用,并通过代码实现了基于脉冲宽度的电感值计算。对比了陶瓷电容与电解电容在高频测量中的性能差异。在旋转编码器部分,详细阐述了其工作原理,提出了抖动问题和检测遗漏的解决方案,包括中断检测法和基于4位状态映射的高精度控制方法。文章还探讨了相关技术在电力系统、通信设备、工业自动化和智能家居中的应用,并展望了高精度、智能化、小型化和无线化的发展趋势,为电子系统设计提供了实用指导和技术参考。

elastic6hunter的博客 102

搭建一个简单的 Django + Vue 项目

在本文中,我将为您详细介绍如何搭建一个简单的 Django + Vue 项目。Django 是一个使用 Python 编写的高级 Web 框架,而 Vue 是一个流行的 JavaScript 框架,用于构建用户界面。通过结合 Django 和 Vue,我们可以创建强大的全栈 Web 应用程序。创建 Django 项目设置 Django 后端创建 Vue 前端连接 Django 和 Vue让我们开始吧!

JfpBlockchain的博客 356

ContextCapture系列教程(三):大疆精灵4RTK版无人机POS数据提取、处理(处理后勉强达到免相控要求)

大疆精灵 Phantom 4 RTK于2018年发布,是大疆为高精度建图与精准飞行设计的行业级无人机,在精灵4无人机外形的基础上,机身增加了RTK模块,可以实现高精度 RTK 定位导航,相机与 RTK 系统采用微秒级时间同步,可以通过app 进行航线规划飞行

pausau的博客 1万+

微信小程序 - 解决支付报错 requestPayment:fail access denied (微信支付提示错误requestPayment:拒绝访问失败,真机运行测试或打包编译上线后报错问题)

微信小程序,微信支付,wx.requestPayment,微信小程序支付报错requestPayment:fail access denied,调不起微信,无法唤起支付弹窗,支付失败,支付权限没问题,小程序上线后支付报错,小程序真机测试支付报错,微信小程序苹果ios系统手机无法支付,小程序发布上线后支付报错,本地测试没问题,拒绝访问失败,小程序调起支付API requestPayment:fail:access denied微信开发者工具正常支付,权限没问题,微信公众平台,依旧报错怎么办,检查了appid都

🏆 前端领域优质创作者 1万+

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

上一篇: 对知识蒸馏的一些理解
下一篇: 二元交叉熵损失函数(Binary Cross Entropy Loss,BCELoss)是交叉熵损失函数(CrossEntropyLoss)的特殊情况
重剑DS
博客等级 码龄7年 617粉丝 393原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

重剑DS

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址