FastGPT 引申:借鉴 FastGPT 基于MySQL + ES 实现知识库(含表结构以及核心代码)

docker 运行postgresql fastgpt的本地手动部署及远程数据库数据查看 用户名填写postgres,因为默认username是postgres,密码根据创建pq时候填写的-e设置的环境变量来,-d 是detached模式运行,-p是映射端口,--name为container命名,--name 将postgresql 这个名字分配给这个实例,可以用这个直接启动容器,-v 是创建名为pgdata的volume,-e 是创建环境变量。账户密码分别是 运行pgadmin时候设置的,-v 把容器挂载到刚创建好的volume上,可以查看容器是否正常运行。查看是否拉取镜像成功。 阅读详情
AI摘要

该博客借鉴FastGPT,基于MySQL + ES实现知识库。引入ES提供向量存储和检索能力,采用三层逻辑结构。MySQL存储基础数据,ES存储向量及文本索引。代码实现包括调用Embedding服务、向量检索和RRF排序。此方案支持灵活知识管理和高效检索,可扩展应用。

FastGPT 引申:借鉴 FastGPT 基于MySQL + ES 实现知识库(含表结构以及核心代码)

一、整体思路

  • 知识库查询能力:引入 Elasticsearch (ES) 提供向量存储和检索能力。
  • 三层逻辑结构:
    • 数据集:使用模块 ID 关联应用。
    • 数据:存储具体的知识内容。
    • 索引:提供高效的查询能力。

二、存储结构

2.1 MySQL 表结构

(1) knowledge_base_dataset

存储数据集基本信息

字段名 类型 描述
id BIGINT 主键
type INT 0:手动数据集
name VARCHAR 数据集名称
es_index_name VARCHAR ES 索引名称
extract_qa_prompt TEXT 抽取 QA 问答对 Prompt
extract_summary_prompt TEXT 抽取摘要 Prompt
extract_param_prompt TEXT 抽取参数 Prompt
is_deleted TINYINT 逻辑删除标志
(2) knowledge_base_data

存储具体知识数据项

字段名 类型 描述
id BIGINT 主键
dataset_id BIGINT 关联 dataset 表
main_content TEXT 主要内容
auxiliary_data TEXT 辅助数据
is_deleted TINYINT 逻辑删除标志
(3) knowledge_base_index

存储索引项

字段名 类型 描述
id BIGINT 主键
data_id BIGINT 关联 data 表主键
index_type INT 0-默认,1-用户指定,3-提取问题,4-相关摘要
index_content TEXT 索引内容
(4) ai_kb_relation

存储数据集与应用关联

字段名 类型 描述
id BIGINT 主键
module_id BIGINT 关联的模块 ID
dataset_id BIGINT 知识库数据集 ID

2.2 Elasticsearch Mapping 结构

(1) ES索引

存储知识数据的向量索引:ai_knowledge

{
   
   
  "mappings": {
   
   
    "properties": {
   
   
      "data_id": {
   
   
        "type": "long",
        "index": true
      },
      "index_id": {
   
   
        "type": "long",
        "index": true
      },
      "dataset_id": {
   
   
        "type": "long",
        "index": 
QClaw项目深度解析:从AI智能体本地部署到微信直连实战 AI智能体开发正成为技术热点,其核心在于通过大语言模型API实现智能交互。本地部署是保障数据隐私和可控性的关键技术方案,允许开发者在自有服务器上运行AI应用框架。结合微信直连等生态入口,能够快速构建聊天机器人等落地应用。本文以QClaw项目为例,探讨如何利用平台提供的资源,实现从环境搭建、Token配置到智能体工作流编排的全流程实践,为开发者提供低成本入门AI应用开发的实战路径。 阅读详情

相关推荐

FastGPT 知识库搜索测试功能解析(一)

搜索测试功能包含三种类型:语义检索、全文检索、混合检索。使用向量进行文本相关性查询,即调用向量数据库根据向量的相似性检索;使用传统的全文检索,适合查找一些关键词和主调语特殊的数据;使用向量检素与全文检素的综合结果返回,使用RRF算法进行排序。默认情况下使用语义检索,如下所示。搜索测试前可以根据“知识库搜索配置”进行相关参数的配置,例如:搜索模式、搜索过滤、问题优化等。

Muti-Agent 2598

Dify表结构写入知识库

Dify表结构写入知识库

为什么你的单细胞数据总有问题?可能是忽略了scDblFinder这个神器

本文深入剖析了单细胞数据分析中异质性双细胞这一常见但易被忽视的痛点,并重点介绍了scDblFinder这一神器。scDblFinder通过机器学习模型,能精准识别并过滤同一样本内的异质性双细胞,有效解决其导致的聚类模糊、信号混淆等问题,从而显著提升数据洁净度与下游分析结果的可靠性。

brandy的博客 455

GPU运维工程师入门指南 (第九篇): 高性能网络 - InfiniBand与RDMA技术

本文介绍了支撑AI分布式训练的高性能网络技术InfiniBand和RDMA。传统TCP/IP网络因内核开销和内存拷贝成为性能瓶颈,而InfiniBand提供高带宽、低延迟的专用网络,RDMA则通过内核旁路和零拷贝技术实现节点间内存直接访问,显著提升通信效率。特别介绍了GPUDirect RDMA技术,使GPU显存可直接通信。文章还列举了运维人员在部署这些技术时需要考虑的硬件、驱动、配置和监控等关键点。这些技术共同构成了支撑大规模AI集群的"数据高速公路",为后续讨论存储性能瓶颈奠定了基础

weixin_42587823的博客 1101

统信UOS/麒麟Kylin OS下利用pyenv实现Python多版本开发环境搭建指南

本文详细介绍了在统信UOS和麒麟Kylin OS国产操作系统下使用pyenv搭建Python多版本开发环境的完整指南。从系统环境准备、pyenv定制安装到Python版本编译实战,提供了针对国产CPU架构的特殊优化方案和常见问题解决方法,帮助开发者高效管理不同Python版本需求。

sea99的博客 1057

【yolov8】与yolov5的区别及改进详解

yolov8-----有点厉害的目标检测框架.

qq_44878985的博客 3万+

RouterOS v7.6实战:5分钟搞定IPv6双栈配置(含光猫桥接避坑指南)

本文详细解析了在RouterOS v7.6系统中配置IPv6双栈网络的实战步骤,特别针对家庭网络光猫桥接模式下的常见问题提供了避坑指南。文章涵盖了从基础配置到企业级部署的进阶内容,包括IPv6前缀获取、DHCPv6客户端设置、路由通告以及安全优化,帮助用户充分利用v7.6版本在IPv6支持上的改进与优势。

embedding5hiker的博客 1300

图像去畸变(相机成像、畸变模型)

首先通过上一步相机标定得到畸变参数和相机内参,同时,由于图像去畸变都是在归一化相机坐标系下进行的,而图像都是像素坐标,所以需要先通过相机内参矩阵将图片上的像素点从像素坐标系转变到归一化坐标系,再通过畸变参数在归一化坐标上进行去畸变的操作。由于畸变是发生在世界点通过透镜投影到相机坐标系这个过程中的,所以去畸变操作是在相机坐标系下进行的。(如图,Pd即为畸变后成像点)3.读取图像和各个参数,调用去畸变函数(opencv自带的cv.undistort函数),就可以完成对图像的去畸变处理,进而得到去畸变的图像。

lm5688jjupm1n28的博客 1054

lammps教程:实例讲解npt、nvt系综的选择

对于lammps新手来说,系综的选择令人困惑,到底是应该用nvt系综还是npt系综? 我在初学lammps时就被这个问题困扰了很久。如果去问别人,可能会告诉你一个答案:根据模拟需要确定。 其实和没说一样。 到底如何确定系综,确实不是一句两句能够说清楚的,不同的体系、不同的模拟目的要选择不同的系综。 前几天遇到的一个合金的模拟案例,比较有代表性,分享出来供大家参考。 建模方法和之前介绍过的高熵合金建模方法类似,先建立单晶模型,然后使用替换原子的命令获得合金结构。 建模完成后,按照常规,先上nvt系综进行驰豫

lammps_jiayou的博客 9773

博途PLC S7-1200/1500 ModbusTcp通信SCL代码篇(轮询)

博途PLC MODBUS TCP的详细讲解和注意事项,可以参看下面这篇博文,这里不在赘述。这篇作为SCL代码篇主要给出SCL语言下的轮训写法和注意事项。博途PLC1200/1500PLC ModbusTcp通信(轮询处理)_RXXW_Dor的博客-CSDN博客。............

RXXW_Dor的博客 8442

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

全球国家地区城市数据

MySQL全球国家地区城市数据报。。。。。。。。。。。。

贝叶斯统计 [韦来生编]

贝叶斯(Bayes)统计是近几十年来迅速发展起来的数理统计的一个重要分支。贝叶斯方法与经典统计方法的主要不同之处是进行统计推断时除了利用样本信息外,还要利用参数的先验信息,因此可以提高统计推断或统计决策的效果。它在经济、金融、生物、医学、自然科学和社会科学等许多领域具有广泛的应用。贝叶斯方法的研究已渗透到了统计学的几乎所有领域。作者在给中国科学技术大学概率论与数理统计专业本科生开设的“数理统计”课程中有一章专门讲授“贝叶斯方法和统计决策理论”,近十年来也给中国科学技术大学概率统计专业研究生开设过几次“贝叶斯分析”课。本书是在对过去讲稿的内容作了适当的增减和调整的基础上完成的。  本书共分六章。第1章是绪论,介绍了贝叶斯统计的若干基本概念,同时对必要的数理统计的基础知识有重点地作了回顾。第二章介绍了确定先验分布的若干可供选择的方法。第三章介绍了几类常见统计模型参数的后验分布的主要结果和计算方法。第四章和第五章分别介绍了“贝叶斯统计推断”和“贝叶斯统计决策”的内容。第六章介绍了贝叶斯统计计算的若干方法,包括蒙特卡洛方法和马尔可夫链蒙特卡洛(MCMC)方法以及相关统计软件的简介。本书的每一章附右大量的例题和习题,书末附有常用的几个表格和部分习题解答供读者查用。  大约可在54学时内讲授本书的第1章至第六章的主要内容,教师可根据学时需要选讲本书第1章至第六章的部分内容。书中标“*”号的章节可略去不讲,留给读者作为阅读材料。第六章例题中的R代码和部分例题的数据文件等可从作者个人主页下载。  作者在编写本书的过程中参考了J.O.Berger教授的《统计决策论及贝叶斯分析》和茆诗松教授编写的《贝叶斯统计》等书中的一些内容,以及《贝叶斯分析》一书中由张伟平博士编写的有关贝叶斯统计计算的一些内容。在此表示衷心感谢。  本书编写准备过程中,中国科学技术大学统计与金融系的几个研究生帮助完成了本书部分中文的录入和排版,作者对他们的辛勤工作表示真诚的感谢。高等教育出版社为本书的出版给予了大力支持。在此一并致谢。

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

上一篇: FastGPT 引申:如何基于 LLM 判断知识库的好坏
下一篇: FastGPT 引申:知识库辅助开发(代码符号自动提取与文件匹配工具详解)
窝窝和牛牛
博客等级 码龄12年 288粉丝 58原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址