FastGPT 引申:借鉴 FastGPT 基于MySQL + ES 实现知识库(含表结构以及核心代码)
一、整体思路
- 知识库查询能力:引入 Elasticsearch (ES) 提供向量存储和检索能力。
- 三层逻辑结构:
- 数据集:使用模块 ID 关联应用。
- 数据:存储具体的知识内容。
- 索引:提供高效的查询能力。
二、存储结构
2.1 MySQL 表结构
(1) knowledge_base_dataset
存储数据集基本信息
| 字段名 | 类型 | 描述 |
|---|---|---|
| id | BIGINT | 主键 |
| type | INT | 0:手动数据集 |
| name | VARCHAR | 数据集名称 |
| es_index_name | VARCHAR | ES 索引名称 |
| extract_qa_prompt | TEXT | 抽取 QA 问答对 Prompt |
| extract_summary_prompt | TEXT | 抽取摘要 Prompt |
| extract_param_prompt | TEXT | 抽取参数 Prompt |
| is_deleted | TINYINT | 逻辑删除标志 |
(2) knowledge_base_data
存储具体知识数据项
| 字段名 | 类型 | 描述 |
|---|---|---|
| id | BIGINT | 主键 |
| dataset_id | BIGINT | 关联 dataset 表 |
| main_content | TEXT | 主要内容 |
| auxiliary_data | TEXT | 辅助数据 |
| is_deleted | TINYINT | 逻辑删除标志 |
(3) knowledge_base_index
存储索引项
| 字段名 | 类型 | 描述 |
|---|---|---|
| id | BIGINT | 主键 |
| data_id | BIGINT | 关联 data 表主键 |
| index_type | INT | 0-默认,1-用户指定,3-提取问题,4-相关摘要 |
| index_content | TEXT | 索引内容 |
(4) ai_kb_relation
存储数据集与应用关联
| 字段名 | 类型 | 描述 |
|---|---|---|
| id | BIGINT | 主键 |
| module_id | BIGINT | 关联的模块 ID |
| dataset_id | BIGINT | 知识库数据集 ID |
2.2 Elasticsearch Mapping 结构
(1) ES索引
存储知识数据的向量索引:ai_knowledge
{
"mappings": {
"properties": {
"data_id": {
"type": "long",
"index": true
},
"index_id": {
"type": "long",
"index": true
},
"dataset_id": {
"type": "long",
"index":
2598



被折叠的 条评论
为什么被折叠?



