transformer中为什么使用不同的K 和 Q, 为什么不能使用同一个值?

Transformer 中查询(Q)、键(K)、值(V)生成的深度解析 Transformer 的自注意力机制通过查询(Q)、键(K)、值(V)三个矩阵实现信息筛选。Q代表"需求",K是"索引",V是"内容",三者通过可学习的权重矩阵将输入特征映射到不同语义空间。这种分离设计实现了差异化关注、维度优化和更强的表达能力,为后续计算注意力分数提供基础。该机制通过Q和K的匹配度筛选V中的重要信息,使模型能自主判断关注点,有效捕捉长距离语义依赖,是Transformer理解复杂关系的核心所在。 阅读详情

我也有过题主的疑问,但是感觉其他人都没有回答到点子上。

题主应该是想问,既然K和Q差不多(唯一区别是W_k和W_Q权值不同),直接拿K自己点乘就行了,何必再创建一个Q?创建了还要花内存去保存,不断去更新,多麻烦。

(这个是self-attention的公式,主要有Q,K,V三个向量)

想要回答这个问题,我们首先要明白,为什么要计算Q和K的点乘。

现补充两点

  1. 先从点乘的物理意义说,两个向量的点乘表示两个向量的相似度。

  2. Q,K,V物理意义上是一样的,都表示同一个句子中不同token组成的矩阵。矩阵中的每一行,是表示一个token的word embedding向量。假设一个句子"Hello, how are you?"长度是6,embedding维度是300,那么Q,K,V都是(6, 300)的矩阵

简单的说,K和Q的点乘是为了计算一个句子中每个token相对于句子中其他token的相似度,这个相似度可以理解为attetnion score,关注度得分。比如说 "Hello, how are you?"这句话,当前token为”Hello"的时候,我们可以知道”Hello“对于” , “, “how”, “are”, “you”, "?"这几个token对应的关注度是多少。有了这个attetnion score,可以知道处理到”Hello“的时候,模型在关注句子中的哪些token。

这个attention score是一个(6, 6)的矩阵。每一行代表每个token相对于其他token的关注度。比如说上图中的第一行,代表的是Hello这个单词相对于本句话中的其他单词的关注度。添加softmax只是为了对关注度进行归一化。

虽然有了attention score矩阵,但是这个矩阵是经过各种计算后得到的,已经很难表示原来的句子了。然而V还代表着原来的句子,所以我们拿这个attention score矩阵与V相乘,得到的是一个加权后结果。也就是说,原本V里的各个单词只用word embedding表示,相互之间没什么关系。但是经过与attention score相乘后,V中每个token的向量(即一个单词的word embedding向量),在300维的每个维度上(每一列)上,都会对其他token做出调整(关注度不同)。与V相乘这一步,相当于提纯,让每个单词关注该关注的部分。

好了,该解释为什么不把K和Q用同一个值了。

经过上面的解释,我们知道K和Q的点乘是为了得到一个attention score 矩阵,用来对V进行提纯。K和Q使用了不同的W_k, W_Q来计算,可以理解为是在不同空间上的投影。正因为有了这种不同空间的投影,增加了表达能力,这样计算得到的attention score矩阵的泛化能力更高。这里解释下我理解的泛化能力,因为K和Q使用了不同的W_k, W_Q来计算,得到的也是两个完全不同的矩阵,所以表达能力更强。

但是如果不用Q,直接拿K和K点乘的话,你会发现attention score 矩阵是一个对称矩阵。因为是同样一个矩阵,都投影到了同样一个空间,所以泛化能力很差。这样的矩阵导致对V进行提纯的时候,效果也不会好。

推荐看一下这篇文章,对Q,K,V进行了很详细的讲解。

https://medium.com/dissecting-bert/dissecting-bert-part-1-d3c3d495cdb3

理解self-attention的Q, K, V的含义 如果不设置 W_Q、W_k、W_v,我们计算的权重很大程度上依赖于我们如何确定原始输入向量 点乘的物理意义:两个向量的点乘表示两个向量的相似度。 就是Q如果自己跟自己(Q)相乘的话,那么根据向量点乘知识知道,俩个向量越相似,内积越大,当一个向量与自己做内积,再与其他不同词的向量做内积后(行成一个打分向量),该向量经过softmax后,就会变成有一个位置的值特殊的大(自己与自己相乘),其他位置的值非常非常小的状况出现,比如[0.98,0.01,0.05,0.05]那么,这样的得分再与V矩阵相乘后得出的加权向量 阅读详情

相关推荐

bcftools实战指南:从VCF文件处理到变异分析全流程解析

在基因组数据分析中,VCF(Variant Call Format)文件是存储基因序列变异信息的标准格式,广泛应用于群体遗传学和生物信息学研究。其核心原理是通过结构化文本记录SNP、INDEL等变异位点的基因型、质量值和注释信息。掌握高效处理VCF文件的技术,对于提升变异检测、数据清洗和下游分析的工作流效率具有重要价值。在生物信息学工具生态中,bcftools作为处理VCF/BCF文件的瑞士军刀,通过模块化设计实现了数据查询、过滤、统计和格式转换等核心功能。其流式处理架构支持管道化操作,能有效应对海量基因组

weixin_29081703的博客 327

【面试】Transformer中,为什么Query (Q) 和 Key (K) 使用不同的权重矩阵生成?为什么不能使用同一个值进行自身的点乘?

提供更多的学习灵活性,分别为查询任务和序列描述学习不同的特征。避免模型退化成只关注自相关,而无法捕捉全局依赖。减少信息瓶颈,使模型能够提取出更多上下文信息。更好地适应无序列依赖的任务场景。

Lewiz_124的博客 1738

别再为批次效应发愁了!手把手教你用Harmony整合10x单细胞数据(附完整R代码)

本文详细介绍了如何使用Harmony工具消除单细胞数据中的批次效应,提供完整的R代码实现跨样本数据整合。通过模糊聚类和渐进校正技术,Harmony能有效区分技术噪音与真实生物信号,适用于大型数据集处理。文章包含质控要点、参数设置建议及常见问题解决方案,助力研究者获得高质量整合结果。

weixin_27215403的博客 199

为什么 Transformer 中 Q 和 K 使用不同的权重矩阵来生成,为什么不能使用同一个值进行自身的点乘?

因为 Q 和 K 代表不同的语义,Q 代表查询向量,K 代表值向量,代表不同的语义信息,我们的目的是要对于每一个查询,在众多值向量中找出与其相匹配的值。如果 Q 和 K 是一样的,那就变成了“我拿我自己和我自己比”——相当于做了一个很“自恋”的注意力,没法捕捉跨词之间的依赖关系。是一个“自相关矩阵”,注意力值会变得特别不区分词之间的差异(因为每个词对自己会有非常高的相似度,其他可能都很低)。你会看每个人的关键词,和你的问题匹不匹配,匹配得越好,你就越想听他讲(这就是 attention 权重)。

ncnfjdjjd的博客 936

Dify + Oracle + MCP:轻松构建 RAG 应用与Oracle MCP Agent

通过一个实践案例,展示如何使用 Oracle 23ai 数据库、Dify、Oracle SQLcl MCP 从零开始构建一个功能完备的 RAG 应用,以及通过 Agent 与 SQLcl MCP Server 实现 Oracle 数据访问。

Rambo zheng的博客 2504

innovus 命令每日精要 | 掌控Innovus布线的利器——setNanoRouteMode详解

在数字IC后端设计的复杂世界里,布线优化是至关重要的一步。今天,我来给大家深入讲解Innovus工具中setNanoRouteMode命令的精妙之处,让你轻松驾驭布线策略,提升设计质量。setNanoRouteMode是Innovus中用于配置NanoRoute绕线行为的关键命令。通过其丰富的参数,你可以精细控制布局后阶段的绕线策略、信号完整性优化、工艺适配及设计规则修复等流程。下面,我将按功能分类总结其核心选项,并针对不同场景给出建议。

weixin_50820814的博客 3547

transformer面试题的简单回答

点击上方“机器学习与生成对抗网络”,关注星标获取有趣、好玩的前沿干货!来自 | 知乎作者 |Greene地址 |https://zhuanlan.zhihu.com/p/36346...

idol24的博客 1287

用友u8服务器优化,用友U8erp软件运行的性能优化方案图文教程

今天一定要给大家分享一下用友U8erp软件运行的性能优化方案图文教程,以下方案来自用友软件官方维护工程师反馈在在处理客户问题的时候,有一类问题较为挠头,就是诸如用友U8服务器效率低下的问题。比如用友U8运行慢,卡住等,我们暂先不提用友U8软件代码、脚本层面本身的性能提升问题,我们只是基于现有用友U8软件版本,在客户现有环境下排查用友U8软件运行的性能瓶颈,并采取一定的技术手段进行性能调校。本文将推...

weixin_39882870的博客 5309

Transformer的Q、K、V和Mutil-Head Self-Attention(超详细解读)

举个例子我们在某宝上搜索东西,输入的搜索关键词就是Q,商品对应的描述就是K,Q与K匹配成功后搜索出来的商品就是V。Q、K、V经过Linear然后经过h个Self-Attention,得到h个输出,其中h指的是注意力的头数。更多的头数意味着更强大的模型能力,比如LLM大模型Baichuan-13B中的head数目是40,而Baichuan-7B中的head数目是32。是三个可训练的参数矩阵,输入矩阵X分别与三个矩阵参数进行相乘,相当于进行一次线性变换,得到了Q、K、V。,那Q、K、V是怎么来的呢?

weixin_45303602的博客 4万+

MFC C++ 中实现跨平台(WindowsLinux)的远程桌面控制

**输入捕获**:在显示窗口中捕获鼠标/键盘事件(重写 `OnLButtonDown`、`OnMouseMove`、`OnKeyDown` 等),将事件坐标/键值通过网络发送到服务端。- **显示窗口**:使用 `CStatic` 或自定义 `CWnd` 派生类显示远程桌面图像(通过 `StretchDIBits` 绘制解压后的像素数据)。// 转换为相对坐标。- **Wayland 支持**:需使用 `libweston` 或 `xdg-desktop-portal`,较复杂,建议优先支持 X11。

寒寒豆豆软件公司的博客 158

【maven】idea左侧External Libraries里,没有Maven的依赖包 代码飘红

文章目录1.概述M.参考 1.概述 因为内网开发,然后这几天我被隔离了,然后公司搞了一个外网的vpn能连接的云桌面,云桌面也是网络隔离的,因此只能自己拷贝相关的文件到里面。 然后我就拷贝了代码和maven仓库中的一部分,因为本地的20G一次拷贝不完,需要多次拷贝,但是我拷贝了kafka,仍然飘红。具体如下 idea左侧External Libraries里,没有Maven的依赖包 然后整了很久都没搞定,后来我自己新建了一个项目,然后引入发现是不可以的,而且框框里面的飘红。 然后我就想是不是因为缺少依赖

九师兄 4413

Transformer相关的问题解读

Transformer相关的问题

weixin_50515468的博客 290

动力学约束下的运动规划算法——Kinodynamic RRT*算法

动力学约束下的运动规划算法——Kinodynamic RRT*算法

慕羽★的博客 6759

【AI大模型大厂面试真题】Transformer里为什么Q和K要使用不同的权重矩阵生成?

Transformer可以说是大模型的基石,面试大模型相关工作,必问Transformer!所以,大家一定要在理解Transformer上多下功夫。今天的话题是:Transformer里为什么Q和K要使用不同的权重矩阵生成? 为何不能使用同一个值进行自身的点乘?

Android23333的博客 888

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

transformer一些题目

无

weixin_45553275的博客 2491

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

transformer灵魂21问

原文链接(https://zhuanlan.zhihu.com/p/363466672) 1.Transformer为何使用多头注意力机制?(为什么不使用一个头) 答:多头可以使参数矩阵形成多个子空间,矩阵整体的size不变,只是改变了每个head对应的维度大小,这样做使矩阵对多方面信息进行学习,但是计算量和单个head差不多。 2.Transformer为什么Q和K使用不同的权重矩阵生成,为何不能使用同一个值进行自身的点乘? 答:请求和键值初始为不同的权重是为了解决可能输入句长与输出句长不一致的问题。并且

frighting_ing的博客 1703

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

Transformer常见问题与回答总结

作者:Jack CC(北大微电子硕士在读)Transformer为何使用多头注意力机制?(为什么不使用一个头)多头保证了transformer可以注意到不同子空间的信息,捕捉到更加丰富的特征信息。可以类比CNN中同时使用多个滤波器的作用,直观上讲,多头的注意力有助于网络捕捉到更丰富的特征/信息。参考:zhihu.com/question/3412Transformer为什么Q和K使用不同的权重矩阵...

weixin_40920183的博客 485

炼丹面试官的面试笔记

作者:无名,某小公司算法专家 排版:一元,四品炼丹师 公众号:炼丹笔记关于Attention和Transformer的灵魂拷问背景现在几乎很多搞深度学习的朋友都把attention和Transformer等当做是基础知识去考察,但是经过我的几轮面试发现,我发现好像90%的朋友都回答不上来或者不是很令我们满意,因为平时工作繁忙,也知道大家都不容易,为了尊重所有的候选人,我们也做了很多功课。一般我们问...

炼丹笔记 436

大模型面试高频题:为什么Transformer中Q和K要用不同权重矩阵?

Transformer可以说是大模型的基石,面试大模型相关工作,必问Transformer!所以,大家一定要在理解Transformer上多下功夫。今天的话题是:Transformer里为什么Q和K要使用不同的权重矩阵生成?为何不能使用同一个值进行自身的点乘?

2401_85373691的博客 1010

大模型面试必考:解析Transformer中Q和K使用不同权重矩阵的原因

本文深入解析了Transformer模型中Q(查询)、K(键)、V(值)使用不同权重矩阵的必要性。通过图书馆查书的生动比喻,说明Q和K需要不同的"转换器"(权重矩阵)才能实现精准匹配:Q如同提问者,K如同被提问者,两者功能不同,使用相同权重会导致模型只能匹配完全相同的词,丧失理解同义词和上下文关系的能力。文章还详细介绍了QKV的生成过程,强调不同的可学习权重矩阵使模型获得定义优质提问和回答的能力,这是Transformer理解复杂语言关系的核心机制。最后提供了AI大模型学习资料包,包含思

2401_85343303的博客 527

LLM - Transformer 的 Q/K/V 详解

Transformer 中 Self-Attention、Multi-Head-Attention 原理与实践。

BITDDD小栈 3643

深入浅出Transformer:为什么大模型推理中只缓存K和V而不缓存Q?

文章解释了Transformer自回归推理中只缓存K和V而不缓存Q的原因。Q代表当前处理的token,需实时计算;K和V代表历史token信息,可通过缓存避免重复计算。这种优化使时间复杂度从O(n)降至O(1),显著提升生成效率,同时确保模型只能利用历史信息预测下一个token,符合自回归语言建模要求。

WANGJUNAIJIAO的博客 1119

【transfomer】transfomer中Q、K、V的理解

简单来说,Q和K用于计算相关性系数,V相当于原始序列。V在相关性系数的加权下获得注意力层的输出。

rocking_struggling的博客 5066

Transformer - K, Q, V向量

在Transformer模型中,Q(Query)、K(Key)和V(Value)这三个向量是注意力机制(Attention Mechanism)中的核心概念。

顺其自然~专栏 1127

【Transformer详解】Transformer中的Q、K、V矩阵:形状必须一致吗?

矩阵对必须一致的维度可以不同的维度Q和K最后一维(特征维度)d_k序列长度seq_lenK和V序列长度seq_len最后一维(特征维度)Q和V无强制要求所有维度都可以不同Q和K的**最后一维(特征维度)**必须相同,否则无法计算QKTQK^TQKT。K和V的序列长度必须相同,否则无法计算注意力权重与V的乘积。V的最后一维可以任意,它决定了注意力输出的特征维度。理解这些形状关系对于正确实现和调试Transformer模型至关重要。

Small__明的博客 1979
上一篇: Transformers 中的 Softmax 可以并行加速么?
下一篇: DockerUI:一款功能强大的中文Docker可视化管理工具
seetimee
博客等级 码龄7年 952粉丝 80原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址