书生大模型实战营第4期(L1G4000-InternLM + LlamaIndex RAG 实践)

mcgs数据导出到U盘 mcgs触摸屏在工业中应用还是很多的,尤其他的脚本功能策略功能等将开放性放到了最大,让用户可以根据实际需求进行自由创作,正因为这样,对一些初学者就不是很友好,初学者想要简单操作就能实现功能,但是mcgs不可能两者兼备,在做工业设备,一些数据的采集保存就比较常见,但是mcgs没有相关按钮能够直接实现将数据导出到U盘的功能。这里我给大家讲解关于mcgs将报警历史记录、日志记录、历史数据记录导出到U盘的方法。 阅读详情

1 环境、模型准备

1.1 创建开发机

在这里插入图片描述

1.2 安装conda

由于第一次尝试使用魔搭,没有集成conda,需要单独安装,但是运行到后面可能由于版本冲突,导致失败,重新使用实战营的开发机进行尝试,可以跳过此步骤。

1.2.1 下载安装包

#下载安装包
wget -c https://repo.anaconda.com/archive/Anaconda3-2022.05-Linux-x86_64.sh

1.2.2 修改文件操作权限

#给执行权限
chmod 775 Anaconda3-2022.05-Linux-x86_64.sh

1.2.3 运行安装包与修改安装目录

执行以下命令进入安装过程

#执行安装过程--安装过程中要选yes 和按下enter
bash Anaconda3-2022.05-Linux-x86_64.sh

安装过程中需要回车来阅读用户协议,一直回车到协议结束,出现是否接受的询问,如下图,此时输入yes,会继续安装
在这里插入图片描述
接受用户协议之后会询问是否修改conda的安装路径,默认安装在/root/anaconda3,如果使用实战营的开发机需要改到share目录下,确保数据不被删除
注意:如果安装位置会被开发机重置或清空时,为避免重启后重复安装,需要将安装目录改到持久化存储的目录,我的是改到/mnt/workspace/anaconda3
在这里插入图片描述

1.2.4 添加清华源

某些软件由于原下载地址下载网速较慢,可以使用清华源提高软件包下载速度

#配置清华源
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/bioconda/
conda config --set show_channel_urls yes
conda config --get channels

1.3 环境配置

1.3.1 使用conda创建并激活环境

环境名为:llamaindex

conda create -n llamaindex python=3.10

1.3.2 安装python依赖

conda activate llamaindex
pip install einops==0.7.0 protobuf==5.26.1
pip install torch==2.5.0 torchvision==0.20.0 torchaudio==2.5.0 --index-url https://download.pytorch.org/whl/cu121

在这里插入图片描述

1.4 模型准备

1.4.1 安装 Llamaindex

conda activate llamaindex
pip install llama-index==0.11.20
pip install llama-index-llms-replicate==0.3.0
pip install llama-index-llms-openai-like==0.2.0
pip install llama-index-embeddings-huggingface==0.3.1
pip install llama-index-embeddings-instructor==0.2.1

在这里插入图片描述

1.4.2 下载Sentence Transformer 模型

当前目录下,运行以下指令,新建一个python文件

cd ~
mkdir llamaindex_demo
mkdir model
cd ~/llamaindex_demo
touch download_hf.py

在这里插入图片描述
在这里插入图片描述
编辑download_hf.py脚本文件,输入如下代码,注意下载模型命令中文件保存的路径,如果是使用实战营的开发机,可直接使用下面的命令,如果不是需要修改下载模型命令中目录到自己需要的位置

import os

# 设置环境变量
os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com'

# 下载模型
os.system('huggingface-cli download --resume-download sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 --local-dir /root/model')

然后,在llamaindex_demo 目录下执行该脚本即可自动开始下载:

conda activate llamaindex
python download_hf.py

在这里插入图片描述
若出现下载失败,清空model文件夹,使用以下代码下载

apt install git-lfs
cd ~
cd model/
git lfs install
git clone https://www.modelscope.cn/Ceceliachenen/paraphrase-multilingual-MiniLM-L12-v2.git

1.4.3 下载 NLTK 相关资源

在使用开源词向量模型构建开源词向量的时候,需要用到第三方库 nltk 的一些资源。正常情况下,其会自动从互联网上下载,但可能由于网络原因会导致下载中断,此处可以从国内仓库镜像地址下载相关资源,保存到服务器上。 我们用以下命令下载 nltk 资源并解压到服务器上:
和1.6一样需要注意目录问题,若是使用实战营的开发机可直接使用以下命令,若不是需要将第一行命令中目录修改至需要位置,比如我修改后的是:cd /mnt/workspace

cd /root
git clone https://gitee.com/yzy0612/nltk_data.git  --branch gh-pages
cd nltk_data
mv packages/*  ./
cd tokenizers
unzip punkt.zip
cd ../taggers
unzip averaged_perceptron_tagger.zip

完成后效果如图
在这里插入图片描述

2 LlamaIndex 使用前后对比

2.1 未使用 LlamaIndex RAG

2.1.1 获取token

登录网站:token获取地址
按照下图操着步骤依次操作,给token命名,然后点击“提交”,将生成的token保存到其他地方。
在这里插入图片描述

2.1.2 新建并编辑demo文件

在llamaindex_demo中新建文件
在这里插入图片描述
编辑test_internlm.py,录入以下代码,使用2.1.1中生成的token赋值给api_key(替换语句 api_key = "token"中引号里的token)
注意:实战营文档中base_url最后多了一个逗号,这里已经需要删除

from openai import OpenAI

base_url = "https://internlm-chat.intern-ai.org.cn/puyu/api/v1/"
api_key = "token"
model="internlm2.5-latest"

# base_url = "https://api.siliconflow.cn/v1"
# api_key = "sk-请填写准确的 token!"
# model="internlm/internlm2_5-7b-chat"

client = OpenAI(
    api_key=api_key , 
    base_url=base_url,
)

chat_rsp = client.chat.completions.create(
    model=model,
    messages=[{"role": "user", "content": "xtuner是什么?"}],
)

for choice in chat_rsp.choices:
    print(choice.message.content)

2.1.3 运行效果

conda activate llamaindex
cd ~/llamaindex_demo/
python test_internlm.py

执行以上命令,得到下图结果,可见回答并不令人满意
在这里插入图片描述

2.2 使用 API+LlamaIndex RAG

2.2.1 获取知识库

conda activate llamaindex
cd ~/llamaindex_demo
mkdir data
cd data
git clone https://github.com/InternLM/xtuner.git
mv xtuner/README_zh-CN.md ./

完成后图下图
在这里插入图片描述

2.2.2 创建并编辑测试程序

在这里插入图片描述
文档中输入以下代码
注意:代码中的api_key需要重新赋值为2.1.1中创建的token

import os 
os.environ['NLTK_DATA'] = '/root/nltk_data'

from llama_index.core import VectorStoreIndex, SimpleDirectoryReader
from llama_index.core.settings import Settings
from llama_index.embeddings.huggingface import HuggingFaceEmbedding
from llama_index.legacy.callbacks import CallbackManager
from llama_index.llms.openai_like import OpenAILike

# Create an instance of CallbackManager
callback_manager = CallbackManager()

api_base_url =  "https://internlm-chat.intern-ai.org.cn/puyu/api/v1/"
model = "internlm2.5-latest"
api_key = "请填写 API Key"

# api_base_url =  "https://api.siliconflow.cn/v1"
# model = "internlm/internlm2_5-7b-chat"
# api_key = "请填写 API Key"

llm =OpenAILike(model=model, api_base=api_base_url, api_key=api_key, is_chat_model=True,callback_manager=callback_manager)

#初始化一个HuggingFaceEmbedding对象,用于将文本转换为向量表示
embed_model = HuggingFaceEmbedding(
#指定了一个预训练的sentence-transformer模型的路径
    model_name="/root/model/paraphrase-multilingual-MiniLM-L12-v2"
)
#将创建的嵌入模型赋值给全局设置的embed_model属性,
#这样在后续的索引构建过程中就会使用这个模型。
Settings.embed_model = embed_model

#初始化llm
Settings.llm = llm

#从指定目录读取所有文档,并加载数据到内存中
documents = SimpleDirectoryReader("/root/llamaindex_demo/data/xtuner").load_data()
#创建一个VectorStoreIndex,并使用之前加载的文档来构建索引。
# 此索引将文档转换为向量,并存储这些向量以便于快速检索。
index = VectorStoreIndex.from_documents(documents)
# 创建一个查询引擎,这个引擎可以接收查询并返回相关文档的响应。
query_engine = index.as_query_engine()
response = query_engine.query("xtuner是什么?")

print(response)

2.2.3 运行效果

运行以下命令,执行代码

conda activate llamaindex
cd ~/llamaindex_demo/
python llamaindex_RAG.py

执行结果如图
在这里插入图片描述

2.3 LlamaIndex web

安装依赖

pip install streamlit==1.39.0

创建文件

cd ~/llamaindex_demo
touch app.py

将以下代码写入app.py中,注意token

import streamlit as st
from llama_index.core import VectorStoreIndex, SimpleDirectoryReader, Settings
from llama_index.embeddings.huggingface import HuggingFaceEmbedding
from llama_index.legacy.callbacks import CallbackManager
from llama_index.llms.openai_like import OpenAILike

# Create an instance of CallbackManager
callback_manager = CallbackManager()

api_base_url =  "https://internlm-chat.intern-ai.org.cn/puyu/api/v1/"
model = "internlm2.5-latest"
api_key = "请填写 API Key"

# api_base_url =  "https://api.siliconflow.cn/v1"
# model = "internlm/internlm2_5-7b-chat"
# api_key = "请填写 API Key"

llm =OpenAILike(model=model, api_base=api_base_url, api_key=api_key, is_chat_model=True,callback_manager=callback_manager)

st.set_page_config(page_title="llama_index_demo", page_icon="🦜🔗")
st.title("llama_index_demo")

# 初始化模型
@st.cache_resource
def init_models():
    embed_model = HuggingFaceEmbedding(
        model_name="/root/model/paraphrase-multilingual-MiniLM-L12-v2"
    )
    Settings.embed_model = embed_model

    #用初始化llm
    Settings.llm = llm

    documents = SimpleDirectoryReader("/root/llamaindex_demo/data").load_data()
    index = VectorStoreIndex.from_documents(documents)
    query_engine = index.as_query_engine()

    return query_engine

# 检查是否需要初始化模型
if 'query_engine' not in st.session_state:
    st.session_state['query_engine'] = init_models()

def greet2(question):
    response = st.session_state['query_engine'].query(question)
    return response

# Store LLM generated responses
if "messages" not in st.session_state.keys():
    st.session_state.messages = [{"role": "assistant", "content": "你好,我是你的助手,有什么我可以帮助你的吗?"}]    

    # Display or clear chat messages
for message in st.session_state.messages:
    with st.chat_message(message["role"]):
        st.write(message["content"])

def clear_chat_history():
    st.session_state.messages = [{"role": "assistant", "content": "你好,我是你的助手,有什么我可以帮助你的吗?"}]

st.sidebar.button('Clear Chat History', on_click=clear_chat_history)

# Function for generating LLaMA2 response
def generate_llama_index_response(prompt_input):
    return greet2(prompt_input)

# User-provided prompt
if prompt := st.chat_input():
    st.session_state.messages.append({"role": "user", "content": prompt})
    with st.chat_message("user"):
        st.write(prompt)

# Gegenerate_llama_index_response last message is not from assistant
if st.session_state.messages[-1]["role"] != "assistant":
    with st.chat_message("assistant"):
        with st.spinner("Thinking..."):
            response = generate_llama_index_response(prompt)
            placeholder = st.empty()
            placeholder.markdown(response)
    message = {"role": "assistant", "content": response}
    st.session_state.messages.append(message)

执行以下命令,运行效果如图

streamlit run app.py

在这里插入图片描述

Mac微信聊天记录备份终极指南:用软链接轻松迁移到外接硬盘(附重签名教程) 本文详细介绍了如何通过软链接技术将Mac微信聊天记录备份迁移到外接硬盘,解决内置存储空间不足的问题。教程包括备份文件定位、软链接创建及微信重签名步骤,帮助用户高效管理微信数据,释放Mac存储空间。 阅读详情

相关推荐

易灵思Ti60F100 FPGA的HyperRAM实战:从硬件连接到Native接口时序调试

本文详细介绍了易灵思Ti60F100 FPGA内置HyperRAM控制器的实战应用。文章从硬件设计要点(如400MHz+信号完整性、等长匹配)切入,重点解析了如何通过Interface Designer配置高效的Native接口,并分享了其时序详解与调试技巧,为开发者提供了一份从硬件连接到软件调试的深度指南。

weixin_29168153的博客 460

书生大模型实战营第4期 基础岛 第4关 L1G4000 InternLM + LlamaIndex RAG 实践

可以看到模型依据本地数据进行了正确的回答!

linzeyang的博客 228

在Jetson Orin (Arm64)上从Ubuntu22.04回退至20.04的完整指南及ROS-noetic适配方案

本文提供了在Jetson Orin (Arm64)设备上将Ubuntu 22.04系统回退至20.04 LTS版本的完整操作指南。针对机器人开发中ROS-noetic对Ubuntu20.04的官方最佳支持,详细阐述了从关键备份、软件源与APT优先级配置、系统降级执行到后续问题排查的全过程,并附带了在Arm64架构上成功安装和验证ROS-noetic的适配方案,旨在为开发者构建稳定可靠的机器人开发环境。

flower的专栏 580

书生大模型实战营L1G4000 - InternLM + LlamaIndex RAG 实践

正式介绍检索增强生成(Retrieval Augmented Generation,RAG)技术以前,大家不妨想想为什么会出现这样一个技术。给模型注入新知识的方式,可以简单分为两种方式,一种是内部的,即更新模型的权重,另一个就是外部的方式,给模型注入格外的上下文或者说外部信息,不改变它的的权重。第一种方式,改变了模型的权重即进行模型训练,这是一件代价比较大的事情,大语言模型具体的训练过程,可以参考。第二种方式,并不改变模型的权重,只是给模型引入格外的信息。

Ameliorating的博客 2367

【日常小结】项目Modbus RTU 协议

Modbus RTU(远程终端) 协议 一、前言 最近因为码跺宽度测量项目推广升级,更换了摄像头(换成了基恩士摄像头)和光栅(换成了施莱格05LCM系列光栅),导致原来的程序用不了了,然而这个软件升级的任务落到了我身上,作为机械非科班出身的我要学习TCP和Modbus RTU通信协议,也算是自我突破了。本文只对Modbus/RTU/HEX 进行简单的小结。 二、Modbus Modbus是一种串行通信协议,是Modicon公司(现在的施耐德电气Schneider Electric)于1979年为使用可编程逻

weixin_39681471的博客 833

ABB机器人与西门子PLC、工业相机联合实现无序抓取的完整调试方案

将此方案导入系统后,逐步执行调试,确保各环节信号正常触发,即可实现高效无序抓取!

CHUXUEZHE8210的博客 1998

书生大模型实战营 L1G4000 InternLM + LlamaIndex RAG 实践

基于 LlamaIndex 构建自己的 RAG 知识库,寻找一个问题 A 在使用 LlamaIndex 之前 浦语 API 不会回答,借助 LlamaIndex 后 浦语 API 具备回答 A 的能力配置环境,安装所需依赖,下载模型后。

qq_42803347的博客 1491

[PCIE5.0] 2.2.8.3 Error Signaling Messages

错误信号消息用于在 PCI Express 设备之间传递错误信息,帮助系统发现并报告错误。每当发生某种错误时,检测到该错误的设备会通过发送这些消息来通知系统。• 没有数据负载:这些错误信号消息不包含任何数据(即 TLP Type 是 Msg),它们仅用于错误报告。• 长度字段保留:在这些消息中,长度字段是保留的,不使用。• 功能号(Function Number)字段:这个字段标识哪个设备发生了错误。

系统固件工程师 293

书生大模型实战营第四期L1G4000(InternLM + LlamaIndex RAG 实践)

检索原理:向量数据库。

stinkypudding的博客 1152

【06】C#入门到精通——C# 多个 .cs文件项目 同一项目下添加多个 .cs文件

本文介绍了如何将C#游戏开发中的代码从单个.cs文件拆分到多个.cs文件中,以提升代码的可维护性和可读性。文章演示了在Visual Studio中创建Hero类和ShowInfo类的具体步骤:通过右键项目名添加新建类,将原有代码分别剪切到对应的类文件中,并自动生成命名空间。拆分后需要在Program.cs中通过"using"指令引用这些类,最后通过运行测试验证功能正常。这种模块化代码组织方式能有效解决单一文件代码过长、结构混乱的问题。

程序员,他们想的是什么?他们想的永远都是技术,他们崇尚的也永远都是技术。 1141

Pulseaudio之同步/异步(十一)

PulseAudio是一个声音服务器,一个后台进程从一个或多个音源(进程或输入设备)接受声音输入 然后重定向声音到一个或多个槽(声卡,远程网络PulseAudio服务,或其他进程)。 PulseAudio的主要特点包括: 可对每一个应用程序进行音量控制Per-application volume controls 可扩展的插件与支持可装载模块架构 兼容性许多流行的音频应用程序 支持多重音源和多重输出 低延时操作和支持延迟测量 一个对处理器资源效率零拷贝内存架构 能够发现本地网络上使用PulseAu

Android系统攻城狮 1008

【第四期书生大模型实战营基础岛】L1G4000——LlamaIndex+InternLM RAG 实践

(Retrieval Augmented Generation,RAG),就是通过引入的方式,给模型注入格外的上下文或者说外部信息,而不改变它的的权重(非fine-tuning方式)。如下图所示它能够让基础模型实现非参数知识更新,无需训练就可以掌握新领域的知识。本次课程选用了框架。LlamaIndex 是一个上下文增强的 LLM 框架,旨在通过将其与特定上下文数据集集成,增强大型语言模型(LLMs)的能力。它允许您构建应用程序,既利用 LLMs 的优势,又融入您的私有或领域特定信息。

weixin_46084134的博客 1382

如何使用Agent框架来模拟群体智能?

Agent 框架作为人工智能领域的重要工具,可以模拟复杂的群体智能行为,广泛应用于社会科学、经济学和行为学等领域。

336

第三期书生大模型实战营(【基础岛】- 第4关 | InternLM + LlamaIndex RAG 实践)

基础岛通关奖励:结营证书,解锁全部 50% A100 权限,1688 算力点奖励助力项目申请和落地。

博客 1307

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

L1G4000书生大模型实战营第4期——2.4 LlamaIndex+InternLM API实践

使用API+LlamaIndex RAG实现大模型回答之前不能回答的问题。

wuzipl的博客 1294

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

书生大模型实战营第四期 L1G4000 InternLM + LlamaIndex RAG 实践

Llamaindex RAG 实践

qq_30731313的博客 1014

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

书生大模型实战营第四期-闯关挑战L1G4000 InternLM + LlamaIndex RAG 实践 任务记录

(我们也可以选用别的开源词向量模型来进行 Embedding,目前选用这个模型是相对轻量、支持中文且效果较好的。,由于需要避免在项目中储存API KEY,这里在原有的基础上简单地加上了API KEY输入和检测。通过llamaindex使用RAG后,浦语API成功认识了xtuner。,点击vscode弹窗自动配置端口映射,打开后询问得到结果。因为开发机没有魔法,这边直接在本地把项目做好上传了。可见目前本地部署的大模型不认识xtuner。为了完成这次的任务,我们解锁了更强的算力。运行时长: 默认8小时。

qq_39297910的博客 959

L1G4000作业-InternLM+Llamaindex RAG 实践

书生浦语训练营

m0_73878994的博客 1829

书生大模型闯关L1G3000:Llamaindex RAG 实践

基于 LlamaIndex 构建自己的 RAG 知识库,寻找一个问题 A 在使用 LlamaIndex 之前 InternLM2-Chat-1.8B 模型不会回答,借助 LlamaIndex 后 InternLM2-Chat-1.8B 模型具备回答 A 的能力,截图保存。正常情况下,其会自动从互联网上下载,但可能由于网络原因会导致下载中断,此处我们可以从国内仓库镜像地址下载相关资源,保存到服务器上。messages=[{"role": "user", "content": "xtuner是什么?

weixin_45712844的博客 1865

InternLM Camp4 L1G400 InternLM + LlamaIndex RAG 实践

本博客是第四期书生大模型实战营基础岛的第四个大任务。我们需要基于 LlamaIndex 构建自己的 RAG 知识库,让 InternLM2-Chat-1.8B 或者浦语API之前不会回答的问题现在会回答了。

weixin_51617262的博客 815

书生大模型实战营第4期——L1-LlamaIndex

L1G4000InternLM + LlamaIndex RAG 实践。

Joe66693的博客 976

书生大模型实战营

不要因为走得太远,而忘记了为什么出发

我是Xtaiyang,我的学习不止于自己掌握,更在于与你一起前行。所以我把笔记公开,把心得共享,只为构建一个自由学习的空间 。这里没有“我的”,只有“我们的”。 1022

【阿尼亚探索大模型】书生大模型实战营-基础岛第4关(L1G4000)InternLM + LlamaIndex RAG 实践

任务类型任务内容必做任务可选任务优秀学员任务。

qq_45943172的博客 1026

书生大模型实战营L1G4000作业

基于 LlamaIndex 构建自己的 RAG 知识库,寻找一个问题 A 在使用 LlamaIndex 之前 浦语 API 不会回答,借助 LlamaIndex 后 浦语 API 具备回答 A 的能力,截图保存。:基于 LlamaIndex 构建自己的 RAG 知识库,寻找一个问题 A 在使用 LlamaIndex 之前 InternLM2-Chat-1.8B 模型不会回答,借助 LlamaIndex 后 InternLM2-Chat-1.8B 模型具备回答 A 的能力,截图保存。

qq_45212409的博客 1312

(笔记+作业)书生大模型实战营春节卷王班---L1G4000 InternLM + LlamaIndex RAG 实践

(笔记+作业)书生大模型实战营春节卷王班---L1G4000 InternLM + LlamaIndex RAG 实践

haidizym的博客 1138

L1G4000 LlamaIndex+InternLM RAG 实践

internlm+llamaindex RAG

Sophia_2019的博客 949
上一篇: 书生大模型实战营第4期(L1G1000-书生大模型全链路开源体系)
下一篇: 书生大模型实战营第4期(L1G2000-玩转书生「多模态对话」与「AI搜索」产品)
猿牧码
博客等级 码龄16年 91粉丝 12原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址