傻瓜操作:GraphRAG、Ollama 本地部署及踩坑记录

简话 RAG 本地部署(DeepSeek + RAGFlow) RAG = DeepSeek + OLlama + Docker + RAGFlow + Windows 11 简话 RAG 本地部署 阅读详情
AI摘要

本文介绍了微软开源的基于知识图谱构建的检索增强生成系统GraphRAG,包括其创新点、算法、数据和实验结果等。同时分享了GraphRAG的本地部署过程,涵盖环境准备、安装、索引建立、查询等步骤,并总结了部署过程中遇到的问题及解决方法。

折腾了一天终于把 GraphRAG 部署好了,记录一下心酸的踩坑过程。

一、GraphRAG 介绍

这里按惯例介绍一下 GraphRAG (其实就是水字数,大部分是 GPT 写的)

1.引言

微软开源了一个新的基于知识图谱构建的检索增强生成(RAG)系统:GraphRAG。该框架主要解决了如何将检索增强生成(RAG)应用于整个文本语料库的全局性问题,例如“数据集中的主题是什么?”
论文地址
项目地址

2.创新点

  1. 图RAG方法:提出了一种新的Graph RAG方法,这种方法结合了知识图谱的构建、检索增强生成(RAG)和查询聚焦摘要(QFS),以支持对整个文本语料库的人类感知制作。这种方法特别针对于全局性问题,如“数据集中的主要主题是什么?”
  2. 两阶段图索引构建:Graph RAG方法使用大型语言模型(LLM)分两个阶段构建基于图的文本索引:
    • 第一阶段:从源文档中提取实体,构建实体知识图谱。
    • 第二阶段:为所有密切相关的实体组预生成社区摘要。
  3. 社区检测算法:利用社区检测算法(如Leiden算法)将图索引划分为模块化的社区,这些社区内的节点(实体)之间有更强的联系。
  4. 查询聚焦摘要:通过查询聚焦摘要方法,将社区摘要合并为最终的全局答案,这种方法特别适用于处理大规模文本数据集。

3. 算法

Graph RAG pipline(论文fig 1)

  • 图索引构建:首先,使用LLM对源文档进行处理,提取实体和关系,构建实体知识图谱。然后,使用社区检测算法将图谱划分为社区,并为每个社区生成摘要。
  • 查询处理:当接收到用户查询时,系统会使用社区摘要来生成部分答案。这些部分答案随后被汇总和摘要,以形成对用户的最终回答。
  • 并行处理:在索引和查询时,系统能够并行处理社区摘要,这提高了处理效率并允许处理大规模数据集。
  • 模块化和可扩展性:Graph RAG方法的模块化设计允许它适应不同规模和类型的数据集,同时保持高效和可扩展。

4. 数据和实验结果

  • 数据集选择:选择了两个大约一百万标记的数据集进行评估,包括播客文稿和新闻文章,这些数据集代表了用户在现实世界活动中可能遇到的文本语料库类型。
  • 问题生成:使用活动中心的方法自动化生成需要理解整个语料库的问题,而不是特定文本的细节。
  • 条件比较:比较了六种不同的条件,包括使用不同层次的图社区(C0, C1, C2, C3)的Graph RAG,直接对源文本应用map-reduce方法的文本摘要(TS),以及朴素的“语义搜索”RAG方法(SS)。
  • 评估指标:采用LLM评估器进行头对头比较,选择了三个目标指标来捕捉对感知制作活动有益的质量:全面性、多样性和赋能性。同时,使用直接性作为有效性的指标。
  • 结果分析:
    • 全局方法与朴素RAG:全局方法在全面性和多样性指标上一致优于朴素RAG方法。
    • 社区摘要与源文本:社区摘要通常在答案的全面性和多样性上提供了小幅但一致的改进,尤其是在播客数据集的中级社区摘要和新闻数据集的低级社区摘要中。
    • 赋能性:赋能性比较显示了混合结果,但LLM分析指出提供具体例子、引用和引证的能力是帮助用户达到知情理解的关键。
    • 上下文窗口大小:测试了不同的上下文窗口大小,发现最小的上下文窗口大小(8k)在全面性上普遍表现更好,而在多样性和赋能性上与较大的上下文窗口大小相当。

5.不足和展望

  • 目前的评估仅限于一类全局性问题和大约一百万标记的数据集,未来的工作需要在不同类型的问题、数据类型和数据集大小上验证性能。
  • 考虑构建图索引的权衡,包括计算预算、预期的查询数量以及从图索引中获得的其他价值。
  • 未来的工作可能包括更本地化的 RAG 方法,以及将基于嵌入的匹配与社区报告结合起来的混合 RAG 方案。

二、本地部署

目前已经有很多教程,但在我跑模型过程中,发现还是很多 bug,这里记录一下。部署过程中主要参考了几个教程,列在文末

1.为什么要本地部署

微软开源的 GraphRAG 项目代码和 OpenAI 的 Chat GPT 高度耦合,对我这样又穷又不方便科学上网的人实在不友好,据说跑一个官方的demo 就要 10 刀。还是用开源的模型方便啊,开源万岁!!

土豪可以直接用官网的项目,如果使用其他在线的模型可以参考这个教程:http://t.csdnimg.cn/dDEbL

2.环境准备

这部分基础环境配置就不废话了,我的环境如下:

  • 操作系统 windows 11
  • PyCharm 2024.2.0.1
  • Python 3.12
  • Ollama(Ollama 的安装和使用有一大堆教程,可以参考这个:handy-ollama)

3. GraphRAG 安装

3.1 下载 GraphGAG

命令行操作

git clone https://github.com/microsoft/graphrag.git 

这里注意一下,很多教程上代码地址是: https://github.com/TheAiSingularity/graphrag-local-ollama.git,而本文写的是官网地址。正如前面所说,微软的 GraphRAG 项目代码和 OpenAI 的 Chat GPT 高度耦合,改用 Ollama 需要进行很多修改。TheAiSingularity 和官网的区别正在于此。但是,但是,截止今天(2024.8.28)我部署情况看,这个修改不完全,还有很多地方要改(我已经提了 pr,希望他们能采纳),为了讲解的完整性,下文直接讲解修改官网的项目(其实改的也不多)

3.2 安装依赖包

进入 Graph RAG 安装目录

cd graphrag 

傻瓜操作,安装依赖包

pip install -e .

3.3 创建数据目录

在 Graph RAG 安装目录下创建文件夹 ragtest/input,这只是方便管理,也可以直接创建 input 文件夹。把要训练的数据放到 input 文件夹(仅支持 txt 文件,可以有多个)。

3.4 项目初始化

python -m graphrag.index --init --root ./ragtest

此时会在 ragtest 目录下生成 output,setting.yaml,prompts,.env (默认隐藏)等目录及文件。setting.yaml 是配置文件,后面需要修改,output 是每次跑模型的结果和运行日志。

3.5 修改配置文件

因为要改用本地模型,必须修改配置文件 setting.yaml。修改以下四处:
配置文件1

  • 我的模型使用的是 mistral,这里根据自己的模型修改即可。api_base 是 Ollama 的默认地址,一般都是这个(确保你的端口没被占用)
    配置文件2
  • 注意,embeddings 和前面 llm 是两个不同的模型,推荐使用 nomic-embed-text。另外 api_base 末尾是 api

3.6 修改.env文件

把原文件内容删掉,换成下面这个

GRAPHRAG_API_KEY=ollama
GRAPHRAG_CLAIM_EXTRACTION_ENABLED=True

必须加上参数GRAPHRAG_CLAIM_EXTRACTION_ENABLED=True,否则无法生成协变量 covariates, 在 Local Search 时会出错。

3.7 修改源码

这里需要修改几处代码,放心,很简单,已经完成一大半了
在你的 Graph RAG 安装目录下应该有一个 graphrag 的文件夹,长成这样:
在这里插入图片描述
我们需要修改其中三个文件

  • llm\openai\openai_embeddings_llm.py
    在这里插入图片描述
    只需要引入 Ollama 依赖 ,然后修改最后五行代码即可(见注释,注释掉的代码为源代码),如下:
【GraphRAG】本地部署全流程!超详细介绍! graphrag本地部署 阅读详情

相关推荐

从RAG到GraphRAG的应用落地揭秘

RAG(检索增强生成)是什么?正如提到的那样,它是一种技术,可以“良好”地解释用户的查询,检索“相关”信息,将其处理为上下文,然后将此有用信息融入回复中。正如引用的网站所指出的,RAG以其成本效益、相对准确性、提供领域特定语境的充足性、反映最新信息的能力以及追踪信息来源文档的透明度和可解释性等特点而被认为是一种主要选择的方法。

具身机器人和通用AI 2246

电流采样(分流器与霍尔传感器)

霍尔效应霍尔效应是磁电效应的一种,这一现象是霍尔(A.H.Hall,1855—1938)于1879年在研究金属的导电机构时发现的。霍尔效应是研究半导体材料性能的基本方法。通过霍尔效应实验测定的霍尔系数,能够判断半导体材料的导电类型、载流子浓度及载流子迁移率等重要参数。简单原理如图1所示,半导体薄片两端通以控制电流I,垂直方向施加磁感应强度为B的匀强磁场,d为半导体材料的厚度,k为霍尔常数,它与半导体材质有关,则在垂直于电流和磁场的方向上,将产生电势差为UH的霍尔电压,它们之间的关系为。霍尔元件。

weixin_48867130的博客 1万+

Vscode搭配Keil Assistant插件,头文件红色波浪线终极修复指南

本文详细解析了Vscode搭配Keil Assistant插件时出现头文件红色波浪线问题的根源,即ARMCC与ARMCLANG编译器的兼容性问题,并提供了三种实用解决方案:复制文件夹、创建符号链接和手动配置includePath,帮助开发者彻底修复错误,恢复代码跳转和自动补全功能。

q1w3e5r7t9y的博客 357

Arduino IDE 2.2.1最新版配置ESP32/ESP8266开发环境(附离线包+避坑指南)

本文详细介绍了如何在Arduino IDE 2.2.1中高效配置ESP32/ESP8266开发环境,包括离线包安装、开发板管理器地址配置及常见问题解决方案。针对国内开发者遇到的下载缓慢和安装失败问题,提供了完整的离线安装方案和避坑指南,帮助开发者快速搭建稳定的开发环境。

yyy34的博客 341

电容DAC版图布局中的对称艺术:从二维共质心到误差最小化

本文深入探讨了电容DAC版图布局中的对称艺术,重点介绍了二维共质心技术如何有效最小化误差。通过分析系统误差和随机误差的来源,详细解析了共质心布局的核心技术及优化策略,包括梯度误差补偿和寄生参数平衡方法。实战案例展示了该技术在12位SAR ADC设计中的应用效果,为高精度集成电路设计提供了重要参考。

weixin_29300241的博客 586

核心组件大换血:Backbone与Neck魔改篇:YOLO26魔改Neck:引入BiFPN(双向特征金字塔),多尺度融合能力飙升

本文深入解析了YOLO26目标检测模型中Neck部分的优化策略,重点探讨了BiFPN(双向特征金字塔网络)的原理与实现。文章首先指出YOLO26原生FPN+PAN结构在多尺度特征融合上的局限性,特别是在小目标检测和边缘部署场景中的性能瓶颈。随后系统梳理了Neck网络的演进历程,从FPN、PANet到BiFPN和ASFF,详细对比了各架构的特点。核心部分展示了如何将BiFPN引入YOLO26,包括可学习权重融合、双向跨尺度连接等关键技术实现,并提供了PyTorch代码示例。本文为需要提升小目标检测性能或优化边

ZDQ58818的博客 250

Ubuntu搭建Pytorch环境(Anaconda、Cuda、cuDNN、Pytorch、Python、Pycharm、Jupyter)

Ubuntu搭建Pytorch环境(Anconda、Cuda、Pytorch、Python、Pycharm、Jupyter)

funfan的博客 1万+

深入URP之Shader篇5: SimpleLit Shader分析(1)

本篇开始分析simple lit shader。我们通过分析unlit shader了解了URP shader的结构,以及一些基础功能。而simple lit shader包含了更多的内容。本篇开始,就不会特别仔细的逐行去分析shader文件了,只会针对pass的功能中比较有意思且之前没看到过的内容进行分析。名字为的pass,它的Tags为: 根据URP的文档:说明这是一个前向渲染路径的pass,虽然URP(至少是10.8.1版本)还没有正式支持Deferred Rendering,但URP已经为它打了很多

聚焦游戏和图形引擎开发技术 1902

计算机视觉论文复现指南:从理论到可运行代码的保姆级教程

计算机视觉论文复现指南:从理论到可运行代码的保姆级教程​ ,人工智能,计算机视觉,大模型,AI,本文围绕计算机视觉论文复现展开,介绍从理论到可运行代码的全流程。先强调复现的重要性,再讲解复现前的准备,包括明确目标、构建工具链;接着说明代码获取分析、环境配置调优、调试运行技巧及结果验证优化方法,还推荐了高效工具,提及复现中的伦理规范。旨在助读者掌握复现方法论,实现从经典模型到前沿论文的复现,推动学术成果落地。

不踩坑,不知道坑有多深;不总结,踩过的坑白踩。 12万+

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

上一篇: 学习最优化课程中的一些疑惑
下一篇: 用 5 行代码预测模型瓶颈:MLSys·im Roofline 教程学习笔记
RyanLintong
博客等级 码龄9年 74粉丝 34原创
评论 60
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

RyanLintong

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址