📌 TL;DR(先看结论)
-
嵌入(Embedding)= 把文本压成固定长度的数字向量,让「意思像不像」变成「向量距离近不近」——本质是把语言问题翻译成数学问题,之后才能算相似度、排序、检索。
-
它是 RAG 的地基:先向量化,再从库里找最相似的几段喂给大模型。除此之外,语义搜索、去重聚类、推荐、分类全靠它。
-
两个必知坑:① 对话模型不一定有 embeddings 接口(DeepSeek 就没有,通常要另配一家);② 换 embedding 模型必须全量重建索引,不同模型的向量空间互不兼容。
前言:机器「看不懂」文字
前三篇我们一直在跟「聊天」打交道:给一句话,模型回一段话。
但换个问题就卡住了:如果你想让机器判断「这两句话意思像不像」,它怎么判断?
机器只认数字。你给它「我喜欢猫」和「我爱猫咪」,它看到的只是两串字符——比不了大小,也算不了距离。
搭这座桥的东西,就叫嵌入。
一、理论:嵌入到底在做什么
1.1 一句话变一串数字
生活比喻:把每句话想象成地图上的一个点。「今天好热」和「天气真闷」靠得很近;「今天好热」和「股票跌了」离得很远。 嵌入模型,就是那个把句子放到地图上的绘图师。
"大模型是一种通用的文字预测模型"
│
▼ [ 嵌入模型 ]
[0.00, 0.00, 0.16, 0.00, 0.31, 0.00, 0.22, ...] ← 128 / 768 / 1024 维
变成向量之后,好处立刻显现:
| 原来(文字) | 现在(向量) |
|---|---|
| 没法比较 | 可以算余弦相似度 |
| 没法排序 | 可以按相似度排序 |
| 没法检索 | 可以找最近邻 |
1.2 主流嵌入模型
| 模型 | 特点 | 维度 |
|---|---|---|
| BAAI/bge 系列 | 中文效果好、开源免费、可本地跑 | 512 / 1024 |
| m3e | 中文专用、轻量 | 768 |
| text-embedding-3-small/large | OpenAI 云端、效果强、要付费 | 1536 / 3072 |
| nomic-embed-text | 可用 Ollama 本地跑 | 768 |
选型口诀:中文优先 bge;要离线选开源;要省事选云端。
1.3 它能用在哪
最主流的是 RAG 检索:
你的问题 ──► 向量化 ──► 向量库里找最相似的 N 段 ──► 拼进提示词 ──► 大模型回答
但不止于此:语义搜索(搜「怎么退款」命中「退货流程」)、去重聚类、推荐、分类打标、异常检测——只要涉及「文本之间比相似度」,都靠它。
1.4 接入:三个方法名就够了
LangChain 把所有嵌入模型抽象成同一个基类,只要求两个方法:
| 方法 | 作用 | 用在哪 |
|---|---|---|
embed_documents(texts) | 批量转向量 | 建库时(存) |
embed_query(text) | 单条转向量 | 检索时(查) |
# ① 本地开源(推荐)
from langchain_huggingface import HuggingFaceEmbeddings
emb = HuggingFaceEmbeddings(model_name="BAAI/bge-small-zh-v1.5")
# ② 云端 API
from langchain_openai import OpenAIEmbeddings
emb = OpenAIEmbeddings(model="text-embedding-3-small", api_key="...")
# ③ 本地 Ollama
from langchain_ollama import OllamaEmbeddings
emb = OllamaEmbeddings(model="nomic-embed-text")
# ↓ 换哪个类,下面代码都一样
vecs = emb.embed_documents(["第一段", "第二段"])
q = emb.embed_query("查询内容")
这就是抽象的价值:换模型 = 换一个类,业务代码一行不动。
1.5 为什么「查」和「存」要分开:query vs 文档
生活比喻:图书馆查书时,你写的是「我要找讲 XX 的书」;书架上贴的标签是「这本书讲的是 XX」。语气不一样,但指向同一主题。
有些模型(尤其 bge)对两者用不同前缀指令效果更好:
为这个句子生成表示以用于检索相关文章:
加上它,召回率通常会明显提升;不加也能用,但等于没用满模型的实力。
但别迷信:到底加不加、加什么,要在你自己的数据上测。工程思维是「效果靠测,不靠猜」。
一个必须知道的事实:DeepSeek 没有 embeddings 接口。很多人接完 DeepSeek 对话,以为也能拿它做向量化,结果找不到 API。所以「对话模型」和「嵌入模型」往往是两家。
二、实战:亲手算一次相似度
2.1 为什么本节不用云端 embedding
DeepSeek 没有 embeddings 接口、OpenAI 要翻墙、本机也没有 HF/Ollama 的 embedding 模型。
所以这段代码用自实现的哈希 n-gram 向量化:零依赖、离线可跑,接口和真实模型完全一致(同样是 embed_documents / embed_query),换模型时业务代码不用改。
2.2 核心代码
import math, hashlib
from typing import List
from langchain_core.embeddings import Embeddings
class HashingEmbeddings(Embeddings):
"""字符 n-gram 哈希向量化:零依赖,仅教学/离线用"""
def __init__(self, dim: int = 256):
self.dim = dim
@staticmethod
def _hash_index(token: str, dim: int) -> int:
h = hashlib.md5(token.encode("utf-8")).hexdigest()
return int(h, 16) % dim # 稳定映射到某一格
def _embed(self, text: str) -> List[float]:
vec = [0.0] * self.dim
text = text.strip().lower()
for ch in text: # 1-gram:单字
if ch.strip():
vec[self._hash_index(ch, self.dim)] += 1.0
for i in range(len(text) - 1): # 2-gram:相邻两字
gram = text[i:i + 2]
if gram.strip():
vec[self._hash_index(gram, self.dim)] += 1.0
norm = math.sqrt(sum(v * v for v in vec)) # L2 归一化
if norm > 0:
vec = [v / norm for v in vec]
return vec
def embed_documents(self, texts):
return [self._embed(t) for t in texts]
def embed_query(self, text):
return self._embed(text)
def cosine(a, b):
"""已归一化,点积即余弦相似度"""
return sum(x * y for x, y in zip(a, b))
emb = HashingEmbeddings(dim=512)
docs = [
"大语言模型通过预测下一个词来生成文本",
"嵌入模型把文本转换成向量表示",
"今天食堂的红烧肉很好吃",
"向量数据库支持相似度检索",
"深度学习需要大量的训练数据",
]
doc_vecs = emb.embed_documents(docs)
q_vec = emb.embed_query("文本怎么变成向量?")
for score, d in sorted([(cosine(q_vec, dv), d) for dv, d in zip(doc_vecs, docs)],
key=lambda x: x[0], reverse=True):
print(f"{score:.4f} {d}")
2.3 运行结果
0.4053 嵌入模型把文本转换成向量表示
0.2392 大语言模型通过预测下一个词来生成文本
0.1867 向量数据库支持相似度检索
0.0485 深度学习需要大量的训练数据
0.0000 今天食堂的红烧肉很好吃
问「文本怎么变成向量」,讲嵌入的那条排第一,讲红烧肉的是 0.0000。
这就是 RAG 检索的全部秘密:向量化 → 算相似度 → 排序 → 取前 K。
2.4 诚实看它的局限
相似度 1.0000 ← 我喜欢吃苹果 vs 我喜欢吃苹果(完全相同)
相似度 0.6472 ← 我喜欢吃苹果 vs 我爱吃苹果(换了个词,同义)
相似度 0.0000 ← 我喜欢吃苹果 vs 今天天气不错(完全无关)
换个词就掉分——因为哈希 n-gram 只看「字面重合」。
而真实 embedding 模型(bge / m3e / text-embedding-3)在海量语料上训练过,能把「苹果」和「iPhone」放到相近位置。
这也说明:向量化用什么模型,直接决定检索质量。 生产环境必须用训练过的 embedding,别自己造。
三、踩坑排查
| 症状 | 根因 | 解决 |
|---|---|---|
AttributeError: no attribute ... | 没实现两个抽象方法 | embed_documents/embed_query 都必须实现 |
| 相似度全是 0 | 建库和查询用了不同维度/不同实例 | 全流程共用同一个 emb |
| 换模型后检索全乱 | 旧库与新查询的向量空间不兼容 | 换 embedding 必须全量重建索引 |
| 中文效果差 | 只用 1-gram,没加 2-gram | 加 2-gram,或直接用 bge |
| 模型下载卡住 | HuggingFace 不可达 | 用 ModelScope 镜像 / Ollama / 云端 API |
| 字面像但意思不对 | 用了字面型向量 | 换语义模型(bge-m3、text-embedding-3) |
四、本篇小结
-
嵌入 = 文本 → 固定长度向量,把「语义相似」变成「向量距离近」。
-
价值:语言问题 → 数学问题,之后才能算相似度、排序、检索。
-
用途:RAG 检索(主流)、语义搜索、去重聚类、推荐、分类。
-
接口:
embed_documents(存)/embed_query(查),换模型只换类。 -
query 与文档要分开表示,bge 建议给查询加指令前缀。
-
DeepSeek 无 embeddings 接口;换模型必须重建索引。
完整代码已上传 Gitee:04_embeddings.py
下一篇预告:05 模型平台——Hugging Face 与魔搭社区。模型从哪来、怎么找、怎么判断一个模型值不值得用,一次讲清。

611



被折叠的 条评论
为什么被折叠?



