1. 从零开始理解TransE:知识图谱补全的“翻译官”
如果你玩过“你画我猜”或者“传声筒”游戏,就能理解知识图谱补全的痛点。游戏里,一个词从第一个人传到最后一个,意思可能完全变了。知识图谱也类似,它用“头实体-关系-尾实体”这样的三元组来记录事实,比如“北京-是-中国的首都”。但现实世界的信息浩如烟海,图谱里总会有缺失,比如你知道“姚明”和“篮球运动员”这个关系,但图谱里可能没记录“姚明-效力于-休斯顿火箭队”。这时候,我们就需要一种方法,像一位聪明的“翻译官”,根据已有的信息,推测出缺失的链接。这就是知识图谱补全,而TransE模型,就是这位“翻译官”最经典、也最直观的“工作手册”。
我第一次接触TransE时,觉得它简直聪明得有点“简单粗暴”。它的核心思想就一句话:把一个关系,看作是从头实体向量指向尾实体向量的一个“翻译”或“位移”。听起来有点抽象?我们打个比方。想象一下,我们把世界上所有的实体(人、地点、概念)都放在一个多维空间里,每个实体都有一个坐标(也就是向量)。关系呢,就是这个空间里的一个“动作指令”。比如,“首都”这个关系,就可以看作是一个固定的向量。那么,“中国”这个实体的向量,加上“首都”这个关系向量,就应该非常接近“北京”这个实体的向量。用公式表示就是:h + r ≈ t。这里的h、r、t分别是头实体、关系和尾实体的向量表示。
这个想法为什么强大?因为它把复杂的逻辑推理,转化成了空间里的向量加减运算,计算机最擅长的就是这种计算。我们不再需要写一堆“如果...那么...”的规则,只需要让模型从大量已知的三元组里,学习出每个实体和关系的“正确位置”和“正确动作”。一旦学好了,当遇到一个不完整的“(姚明,效力于,?)”时,我们就把“姚明”的向量加上“效力于”这个关系向量,然后在向量空间里找找,看哪个实体(比如“休斯顿火箭队”)的向量离这个计算结果最近,谁就是最可能的答案。
所以,TransE模型本质上是一个表示学习模型。它的任务不是直接做预测,而是先为知识图谱里的每个元素找到一个好的“数学化身”(即向量表示)。这个化身找得好不好,直接决定了后续补全任务的准确性。接下来,我们就深入看看,这位“翻译官”具体是怎么学习和工作的。
2. 拆解TransE的核心原理:目标函数与损失函数
理解了TransE的基本假设,我们得让它从“想法”变成可执行的“算法”。关键就在于设计一个明确的目标:怎么才算学得好?答案就是设计一个目标函数,让模型朝着“正确三元组满足 h+r≈t,错误三元组不满足”这个方向去优化。
2.1 如何衡量“接近”?——距离度量的选择
首先得解决一个问题:怎么量化“h+r”和“t”有多接近?在向量空间里,我们自然想到了距离。最常用的有两种“尺子”:
- L1范数(曼哈顿距离):计算两个向量在每个维度上差值的绝对值之和。你可以想象在城市里开车,只能沿着网格状的街道走,不能斜穿,走过的总路程就是曼哈顿距离。它计算简单,对异常值不那么敏感。
- L2范数(欧氏距离):就是我们最熟悉的直线距离。计算两个向量各维度差值的平方和再开根号。它对向量各维度的变化比较均衡。
在TransE的原始论文和大多数实现里,更常用的是L2范数,因为它能产生更平滑的优化空间。我们用 d(h + r, t) 来表示这个距离。对于一个正确的三元组,我们希望这个距离 越小越好,理想情况下接近0。
2.2 目标函数:让对的更近,错的更远
光让正确的三元组距离小还不够。想象一下,如果模型偷懒,把所有向量都学成零向量,那所有距离都是0,目标也达成了,但这显然毫无意义。所以,我们必须引入“错误样本”(也叫负样本)作为对比。我们的目标是:正确三元组的距离,要比错误三元组的距离小得多。
这就引出了TransE经典的目标函数,它基于“间隔损失”的思想:
min Σ [γ + d(h+r, t) - d(h'+r, t')]+
我来拆解一下这个公式:
(h, r, t):这是一个从知识图谱里取出的正确三元组(正样本)。(h', r, t'):这是一个错误三元组(负样本),通常是通过随机替换正样本的头实体或尾实体造出来的(例如把“北京-是-中国的首都”换成“上海-是-中国的首都”)。d(...):距离函数,比如L2距离。γ:一个大于0的常数,叫做间隔参数。你可以把它理解为一道“安全沟壑”。我们不仅要求正样本距离比负样本小,还要求至少小一个γ的宽度,这样模型学到的区分度才更可靠。[x]+:这是max(0, x)的表示。意思是,只有当γ + d(h+r, t) - d(h'+r, t')大于0时(即正样本距离加上γ还比负样本距离大,这是不好的情况),我们才计算损失;如果这个值已经是负数或零(说明正样本距离已经比负样本距离小γ以上,目标已达成),那么损失就是0,模型无需对这个样本对进行优化。
这个目标函数在做什么? 它是在所有正负样本对上求和。对于每一对正负样本,它都在“督促”模型:快调整向量位置,让正样本的距离降下去,让负样本的距离升上来,直到两者拉开至少γ的差距!
2.3 负样本的生成艺术
这里有个技术细节:知识图谱里只有正样本,负样本从哪来?最常用的方法是随机替换。
- 均匀随机替换:对于一个正样本
(h, r, t),我们随机从所有实体中选一个实体e’,来替换头实体
4万+



被折叠的 条评论
为什么被折叠?



