书生大模型实战营

机器学习教程 之 半监督学习 Co-training 协同训练 (论文、算法、数据集、代码) 这篇博客介绍的是一篇用于半监督分类问题的方法: 协同训练 Co-training, A. Blum and T. Mitchell, “Combining labeled and unlabeled data with co-training,” in Proc. of the 11th Annual Conf. on Computational Learning Theory, 1998.,这算是半监督领域里面始祖级的论文了,是1998年两位CMU大佬提出的方法。 之前还写过一篇关于Tri-trainin 阅读详情

书生大模型实战营-InternLM + LlamaIndex RAG 实践

任务要点

  • InternLM + LlamaIndex RAG 实践

基础任务

  • 任务要求1:基于 LlamaIndex 构建自己的 RAG 知识库,寻找一个问题 A 在使用 LlamaIndex 之前 浦语 API 不会回答,借助 LlamaIndex 后 浦语 API 具备回答 A 的能力,截图保存。

  • 任务要求2:基于 LlamaIndex 构建自己的 RAG 知识库,寻找一个问题 A 在使用 LlamaIndex 之前 InternLM2-Chat-1.8B 模型不会回答,借助 LlamaIndex 后 InternLM2-Chat-1.8B 模型具备回答 A 的能力,截图保存。

  • 任务要求3 :将 Streamlit+LlamaIndex+浦语API的 Space 部署到 Hugging Face。

实践流程

新开一个30% A100机器 Cuda12.2-conda 镜像
在这里插入图片描述

浦语 API+LlamaIndex 实践

# 安装新环境
conda create -n llamaindex python=3.10
conda env list
conda activate llamaindex

# 安装 Llamaindex和相关的包
pip install einops==0.7.0 protobuf==5.26.1
pip install llama-index==0.11.20
pip install llama-index-llms-replicate==0.3.0
pip install llama-index-llms-openai-like==0.2.0
pip install llama-index-embeddings-huggingface==0.3.1
pip install llama-index-embeddings-instructor==0.2.1
pip install torch==2.5.0 torchvision==0.20.0 torchaudio==2.5.0 --index-url https://download.pytorch.org/whl/cu121

# 下载 Sentence Transformer 模型
cd ~
mkdir llamaindex_demo
mkdir model
cd ~/llamaindex_demo
touch download_hf.py

# download_hf.py 中的代码
import os
# 设置环境变量
os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com'
# 下载模型
os.system('huggingface-cli download --resume-download sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 --local-dir /root/model/sentence-transformer')

# 执行代码
cd /root/llamaindex_demo
conda activate llamaindex
python download_hf.py

在这里插入图片描述

# 下载 NLTK 相关资源
cd /root
git clone https://gitee.com/yzy0612/nltk_data.git  --branch gh-pages
cd nltk_data
mv packages/*  ./
cd tokenizers
unzip punkt.zip
cd ../taggers
unzip averaged_perceptron_tagger.zip

在这里插入图片描述

是否使用 LlamaIndex 前后对比

  • 不使用 LlamaIndex RAG(仅API)
    • 运行以下指令,新建一个python文件
      cd ~/llamaindex_demo
      touch test_internlm.py
      
    • 打开test_internlm.py 贴入以下代码
      from openai import OpenAI
      
      base_url = "https://internlm-chat.intern-ai.org.cn/puyu/api/v1/"
      api_key = "eyJ0eXBlIjoiSldUIiwiYWxnIjoiSFM1MTIifQ.eyJqdGkiOiI1MDE3MTYwMCIsInJvbCI6IlJPTEVfUkVHSVNURVIiLCJpc3MiOiJPcGVuWExhYiIsImlhdCI6MTczMjg4NDg3NiwiY2xpZW50SWQiOiJlYm1ydm9kNnlvMG5semFlazF5cCIsInBob25lIjoiMTUyOTY2MjY3OTIiLCJ1dWlkIjoiYjA2NDA1MmQtNmEzYy00MDUwLThjOTgtNjc1ZDJmYzhhNTYxIiwiZW1haWwiOiIiLCJleHAiOjE3NDg0MzY4NzZ9.QRz3xCB7fE8rwNTlqHZ2H9K7wum0gt_pGEk7PtmxihKEnRKJ9oL-ULjaPr9SLTFUCGu_GRcTuNSWGWMDGyDZWw"
      model="internlm2.5-latest"
      
      # base_url = "https://api.siliconflow.cn/v1"
      # api_key = "sk-请填写准确的 token!"
      # model="internlm/internlm2_5-7b-chat"
      
      client = OpenAI(
          api_key=api_key , 
          base_url=base_url,
      )
      
      chat_rsp = client.chat.completions.create(
          model=model,
          messages=[{"role": "user", "content": "为什么要做 RAG ?"}],
      )
      
      for choice in chat_rsp.choices:
          print(choice.message.content)
      
    • 之后运行
      conda activate llamaindex
      cd ~/llamaindex_demo/
      python test_internlm.py
      
    • 结果为:
      在这里插入图片描述
      可以看到回答的效果并不好

  • 使用 API+LlamaIndex
    • 运行以下命令,获取知识库

      cd ~/llamaindex_demo
      mkdir data
      cd data
      git clone https://github.com/InternLM/xtuner.git
      mv xtuner/README_zh-CN.md ./
      
    • 编辑README_zh-CN.md文件,加入对应的RAG内容供大模型参考

      在这里插入图片描述

    • 运行以下指令,新建一个python文件

      cd ~/llamaindex_demo
      touch llamaindex_RAG.py
      
    • 打开llamaindex_RAG.py贴入以下代码

      import os 
      os.environ['NLTK_DATA'] = '/root/nltk_data'
      
      from llama_index.core import VectorStoreIndex, SimpleDirectoryReader
      from llama_index.core.settings import Settings
      from llama_index.embeddings.huggingface import HuggingFaceEmbedding
      from llama_index.legacy.callbacks import CallbackManager
      from llama_index.llms.openai_like import OpenAILike
      
      
      # Create an instance of CallbackManager
      callback_manager = CallbackManager()
      
      api_base_url =  "https://internlm-chat.intern-ai.org.cn/puyu/api/v1/"
      model = "internlm2.5-latest"
      api_key = "eyJ0eXBlIjoiSldUIiwiYWxnIjoiSFM1MTIifQ.eyJqdGkiOiI1MDE3MTYwMCIsInJvbCI6IlJPTEVfUkVHSVNURVIiLCJpc3MiOiJPcGVuWExhYiIsImlhdCI6MTczMjg4NDg3NiwiY2xpZW50SWQiOiJlYm1ydm9kNnlvMG5semFlazF5cCIsInBob25lIjoiMTUyOTY2MjY3OTIiLCJ1dWlkIjoiYjA2NDA1MmQtNmEzYy00MDUwLThjOTgtNjc1ZDJmYzhhNTYxIiwiZW1haWwiOiIiLCJleHAiOjE3NDg0MzY4NzZ9.QRz3xCB7fE8rwNTlqHZ2H9K7wum0gt_pGEk7PtmxihKEnRKJ9oL-ULjaPr9SLTFUCGu_GRcTuNSWGWMDGyDZWw"
      
      # api_base_url =  "https://api.siliconflow.cn/v1"
      # model = "internlm/internlm2_5-7b-chat"
      # api_key = "请填写 API Key"
      
      
      
      llm =OpenAILike(model=model, api_base=api_base_url, api_key=api_key, is_chat_model=True,callback_manager=callback_manager)
      
      
      #初始化一个HuggingFaceEmbedding对象,用于将文本转换为向量表示
      embed_model = HuggingFaceEmbedding(
      #指定了一个预训练的sentence-transformer模型的路径
          model_name="/root/model/sentence-transformer"
      )
      #将创建的嵌入模型赋值给全局设置的embed_model属性,
      #这样在后续的索引构建过程中就会使用这个模型。
      Settings.embed_model = embed_model
      
      #初始化llm
      Settings.llm = llm
      
      #从指定目录读取所有文档,并加载数据到内存中
      documents = SimpleDirectoryReader("/root/llamaindex_demo/data").load_data()
      #创建一个VectorStoreIndex,并使用之前加载的文档来构建索引。
      # 此索引将文档转换为向量,并存储这些向量以便于快速检索。
      index = VectorStoreIndex.from_documents(documents)
      # 创建一个查询引擎,这个引擎可以接收查询并返回相关文档的响应。
      query_engine = index.as_query_engine()
      response = query_engine.query("为什么要做 RAG ?")
      
      print(response)
      
    • 之后运行

      conda activate llamaindex
      cd ~/llamaindex_demo/
      python llamaindex_RAG.py
      
    • 结果为:
      在这里插入图片描述
      借助RAG技术后,就能获得我们想要的答案了

LlamaIndex web

  • 运行之前首先安装依赖
    pip install streamlit==1.39.0
    
  • 运行以下指令,新建一个python文件
    cd ~/llamaindex_demo
    touch app.py
    
  • 打开app.py贴入以下代码
    import streamlit as st
    from llama_index.core import VectorStoreIndex, SimpleDirectoryReader, Settings
    from llama_index.embeddings.huggingface import HuggingFaceEmbedding
    from llama_index.legacy.callbacks import CallbackManager
    from llama_index.llms.openai_like import OpenAILike
    
    # Create an instance of CallbackManager
    callback_manager = CallbackManager()
    
    api_base_url =  "https://internlm-chat.intern-ai.org.cn/puyu/api/v1/"
    model = "internlm2.5-latest"
    api_key = "eyJ0eXBlIjoiSldUIiwiYWxnIjoiSFM1MTIifQ.eyJqdGkiOiI1MDE3MTYwMCIsInJvbCI6IlJPTEVfUkVHSVNURVIiLCJpc3MiOiJPcGVuWExhYiIsImlhdCI6MTczMjg4NDg3NiwiY2xpZW50SWQiOiJlYm1ydm9kNnlvMG5semFlazF5cCIsInBob25lIjoiMTUyOTY2MjY3OTIiLCJ1dWlkIjoiYjA2NDA1MmQtNmEzYy00MDUwLThjOTgtNjc1ZDJmYzhhNTYxIiwiZW1haWwiOiIiLCJleHAiOjE3NDg0MzY4NzZ9.QRz3xCB7fE8rwNTlqHZ2H9K7wum0gt_pGEk7PtmxihKEnRKJ9oL-ULjaPr9SLTFUCGu_GRcTuNSWGWMDGyDZWw"
    
    # api_base_url =  "https://api.siliconflow.cn/v1"
    # model = "internlm/internlm2_5-7b-chat"
    # api_key = "请填写 API Key"
    
    llm =OpenAILike(model=model, api_base=api_base_url, api_key=api_key, is_chat_model=True,callback_manager=callback_manager)
    
    
    
    st.set_page_config(page_title="llama_index_demo", page_icon="🦜🔗")
    st.title("llama_index_demo")
    
    # 初始化模型
    @st.cache_resource
    def init_models():
        embed_model = HuggingFaceEmbedding(
            model_name="/root/model/sentence-transformer"
        )
        Settings.embed_model = embed_model
    
        #用初始化llm
        Settings.llm = llm
    
        documents = SimpleDirectoryReader("/root/llamaindex_demo/data").load_data()
        index = VectorStoreIndex.from_documents(documents)
        query_engine = index.as_query_engine()
    
        return query_engine
    
    # 检查是否需要初始化模型
    if 'query_engine' not in st.session_state:
        st.session_state['query_engine'] = init_models()
    
    def greet2(question):
        response = st.session_state['query_engine'].query(question)
        return response
    
          
    # Store LLM generated responses
    if "messages" not in st.session_state.keys():
        st.session_state.messages = [{"role": "assistant", "content": "你好,我是你的助手,有什么我可以帮助你的吗?"}]    
    
        # Display or clear chat messages
    for message in st.session_state.messages:
        with st.chat_message(message["role"]):
            st.write(message["content"])
    
    def clear_chat_history():
        st.session_state.messages = [{"role": "assistant", "content": "你好,我是你的助手,有什么我可以帮助你的吗?"}]
    
    st.sidebar.button('Clear Chat History', on_click=clear_chat_history)
    
    # Function for generating LLaMA2 response
    def generate_llama_index_response(prompt_input):
        return greet2(prompt_input)
    
    # User-provided prompt
    if prompt := st.chat_input():
        st.session_state.messages.append({"role": "user", "content": prompt})
        with st.chat_message("user"):
            st.write(prompt)
    
    # Gegenerate_llama_index_response last message is not from assistant
    if st.session_state.messages[-1]["role"] != "assistant":
        with st.chat_message("assistant"):
            with st.spinner("Thinking..."):
                response = generate_llama_index_response(prompt)
                placeholder = st.empty()
                placeholder.markdown(response)
        message = {"role": "assistant", "content": response}
        st.session_state.messages.append(message)
    
  • 之后运行
    streamlit run app.py
    
  • 在本地终端运行(端口映射)
    ssh -p 42190 root@ssh.intern-ai.org.cn -CNg -L 8501:127.0.0.1:8501 -o StrictHostKeyChecking=no -o StrictHostKeyChecking=no -o UserKnownHostsFile=/dev/null
    
  • 浏览器访问该url
    http://localhost:8501/
    

在这里插入图片描述

  • 在该网页下,就可以开始尝试问问题了
    在这里插入图片描述
  • 询问结果为:
    在这里插入图片描述

本地部署InternLM+LlamaIndex实践

  • 安装相关的包
    pip install huggingface_hub llama-index-llms-huggingface sentencepiece sentence-transformers
    
  • 运行以下指令,把 InternLM2 1.8B 软连接出来
    cd ~/model
    ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b/ ./
    
  • 运行以下指令,新建一个 python 文件
    cd ~/llamaindex_demo
    touch llamaindex_internlm.py
    
  • 打开 llamaindex_internlm.py 贴入以下代码
    from llama_index.llms.huggingface import HuggingFaceLLM
    from llama_index.core.llms import ChatMessage
    llm = HuggingFaceLLM(
        model_name="/root/model/internlm2-chat-1_8b",
        tokenizer_name="/root/model/internlm2-chat-1_8b",
        model_kwargs={"trust_remote_code":True},
        tokenizer_kwargs={"trust_remote_code":True}
    )
    
    rsp = llm.chat(messages=[ChatMessage(content="为什么要做 RAG ?")])
    print(rsp)
    
  • 之后运行
    conda activate llamaindex
    cd ~/llamaindex_demo/
    python llamaindex_internlm.py
    
  • 结果为:
    在这里插入图片描述
    目前回答的效果并不好,并不是我们想要的。

  • 运行以下指令,新建一个 python 文件
    cd ~/llamaindex_demo
    touch llamaindex_internlm_RAG.py
    
  • 打开llamaindex_internlm_RAG.py贴入以下代码
    from llama_index.core import VectorStoreIndex, SimpleDirectoryReader, Settings
    
    from llama_index.embeddings.huggingface import HuggingFaceEmbedding
    from llama_index.llms.huggingface import HuggingFaceLLM
    
    #初始化一个HuggingFaceEmbedding对象,用于将文本转换为向量表示
    embed_model = HuggingFaceEmbedding(
    #指定了一个预训练的sentence-transformer模型的路径
        model_name="/root/model/sentence-transformer"
    )
    #将创建的嵌入模型赋值给全局设置的embed_model属性,
    #这样在后续的索引构建过程中就会使用这个模型。
    Settings.embed_model = embed_model
    
    llm = HuggingFaceLLM(
        model_name="/root/model/internlm2-chat-1_8b",
        tokenizer_name="/root/model/internlm2-chat-1_8b",
        model_kwargs={"trust_remote_code":True},
        tokenizer_kwargs={"trust_remote_code":True}
    )
    #设置全局的llm属性,这样在索引查询时会使用这个模型。
    Settings.llm = llm
    
    #从指定目录读取所有文档,并加载数据到内存中
    documents = SimpleDirectoryReader("/root/llamaindex_demo/data").load_data()
    #创建一个VectorStoreIndex,并使用之前加载的文档来构建索引。
    # 此索引将文档转换为向量,并存储这些向量以便于快速检索。
    index = VectorStoreIndex.from_documents(documents)
    # 创建一个查询引擎,这个引擎可以接收查询并返回相关文档的响应。
    query_engine = index.as_query_engine()
    response = query_engine.query("为什么要做 RAG ?")
    
    print(response)
    
  • 之后运行
    conda activate llamaindex
    cd ~/llamaindex_demo/
    python llamaindex_internlm_RAG.py
    

结果为:
在这里插入图片描述
借助 RAG 技术后,就能获得我们想要的答案了


  • 运行以下指令,新建一个 python 文件
    cd ~/llamaindex_demo
    touch app_internlm.py
    
  • 打开app_internlm.py 贴入以下代码
    import streamlit as st
    from llama_index.core import VectorStoreIndex, SimpleDirectoryReader, Settings
    from llama_index.embeddings.huggingface import HuggingFaceEmbedding
    from llama_index.llms.huggingface import HuggingFaceLLM
    
    st.set_page_config(page_title="llama_index_demo", page_icon="🦜🔗")
    st.title("llama_index_demo")
    
    # 初始化模型
    @st.cache_resource
    def init_models():
        embed_model = HuggingFaceEmbedding(
            model_name="/root/model/sentence-transformer"
        )
        Settings.embed_model = embed_model
    
        llm = HuggingFaceLLM(
            model_name="/root/model/internlm2-chat-1_8b",
            tokenizer_name="/root/model/internlm2-chat-1_8b",
            model_kwargs={"trust_remote_code": True},
            tokenizer_kwargs={"trust_remote_code": True}
        )
        Settings.llm = llm
    
        documents = SimpleDirectoryReader("/root/llamaindex_demo/data").load_data()
        index = VectorStoreIndex.from_documents(documents)
        query_engine = index.as_query_engine()
    
        return query_engine
    
    # 检查是否需要初始化模型
    if 'query_engine' not in st.session_state:
        st.session_state['query_engine'] = init_models()
    
    def greet2(question):
        response = st.session_state['query_engine'].query(question)
        return response
    
    
    # Store LLM generated responses
    if "messages" not in st.session_state.keys():
        st.session_state.messages = [{"role": "assistant", "content": "你好,我是你的助手,有什么我可以帮助你的吗?"}]
    
        # Display or clear chat messages
    for message in st.session_state.messages:
        with st.chat_message(message["role"]):
            st.write(message["content"])
    
    def clear_chat_history():
        st.session_state.messages = [{"role": "assistant", "content": "你好,我是你的助手,有什么我可以帮助你的吗?"}]
    
    st.sidebar.button('Clear Chat History', on_click=clear_chat_history)
    
    # Function for generating LLaMA2 response
    def generate_llama_index_response(prompt_input):
        return greet2(prompt_input)
    
    # User-provided prompt
    if prompt := st.chat_input():
        st.session_state.messages.append({"role": "user", "content": prompt})
        with st.chat_message("user"):
            st.write(prompt)
    
    # Gegenerate_llama_index_response last message is not from assistant
    if st.session_state.messages[-1]["role"] != "assistant":
        with st.chat_message("assistant"):
            with st.spinner("Thinking..."):
                response = generate_llama_index_response(prompt)
                placeholder = st.empty()
                placeholder.markdown(response)
        message = {"role": "assistant", "content": response}
        st.session_state.messages.append(message)
    
  • 之后运行
    streamlit run app_internlm.py
    
  • 在本地终端运行(端口映射)
    ssh -p 42190 root@ssh.intern-ai.org.cn -CNg -L 8501:127.0.0.1:8501 -o StrictHostKeyChecking=no -o StrictHostKeyChecking=no -o UserKnownHostsFile=/dev/null
    
  • 浏览器访问该url
    http://localhost:8501/
    

在这里插入图片描述
在这里插入图片描述

部署到 Hugging Face

  • 登录 Hugging Face 平台
    进入Hugging Face官网,点击右上角头像,New Space,选择Streamlit。

在这里插入图片描述

  • 登录 GitHub CodeSpace 平台
    在这里插入图片描述
  • 创建requirements.txt,space在运行时会自动安装requirements.txt中的库。
    einops==0.7.0 
    protobuf==3.20.3
    llama-index==0.11.20
    llama-index-llms-replicate==0.3.0
    llama-index-llms-openai-like==0.2.0
    llama-index-embeddings-huggingface==0.3.1
    llama-index-embeddings-instructor==0.2.1
    torch==2.5.0 
    torchvision==0.20.0 
    torchaudio==2.5.0 
    
  • 克隆自己在huggingface上刚刚创建的项目:
    pip install huggingface_hub
    git clone https://huggingface.co/spaces/Sunshine108/Llamaindex_RAG
    
  • 切换至Llamaindex_RAG目录下,运行以下指令,新建一个 python 文件
    cd /workspaces/codespaces-jupyter/Llamaindex_RAG
    touch app.py
    
  • 在Llamaindex_RAG目录下创建model文件夹并下载sentence-transformer:
    mkdir model
    huggingface-cli download --resume-download sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 --local-dir /workspaces/codespaces-jupyter/Llamaindex_RAG/model
    
  • 打开app.py贴入以下代码
    import streamlit as st
    from llama_index.core import VectorStoreIndex, SimpleDirectoryReader, Settings
    from llama_index.embeddings.huggingface import HuggingFaceEmbedding
    from llama_index.legacy.callbacks import CallbackManager
    from llama_index.llms.openai_like import OpenAILike
    
    # Create an instance of CallbackManager
    callback_manager = CallbackManager()
    
    api_base_url =  "https://internlm-chat.intern-ai.org.cn/puyu/api/v1/"
    model = "internlm2.5-latest"
    api_key = "eyJ0eXBlIjoiSldUIiwiYWxnIjoiSFM1MTIifQ.eyJqdGkiOiI1MDE3MTYwMCIsInJvbCI6IlJPTEVfUkVHSVNURVIiLCJpc3MiOiJPcGVuWExhYiIsImlhdCI6MTczMjg4NDg3NiwiY2xpZW50SWQiOiJlYm1ydm9kNnlvMG5semFlazF5cCIsInBob25lIjoiMTUyOTY2MjY3OTIiLCJ1dWlkIjoiYjA2NDA1MmQtNmEzYy00MDUwLThjOTgtNjc1ZDJmYzhhNTYxIiwiZW1haWwiOiIiLCJleHAiOjE3NDg0MzY4NzZ9.QRz3xCB7fE8rwNTlqHZ2H9K7wum0gt_pGEk7PtmxihKEnRKJ9oL-ULjaPr9SLTFUCGu_GRcTuNSWGWMDGyDZWw"
    
    # api_base_url =  "https://api.siliconflow.cn/v1"
    # model = "internlm/internlm2_5-7b-chat"
    # api_key = "请填写 API Key"
    
    llm =OpenAILike(model=model, api_base=api_base_url, api_key=api_key, is_chat_model=True,callback_manager=callback_manager)
    
    
    
    st.set_page_config(page_title="llama_index_demo", page_icon="🦜🔗")
    st.title("llama_index_demo")
    
    # 初始化模型
    @st.cache_resource
    def init_models():
        embed_model = HuggingFaceEmbedding(
            model_name="model"
        )
        Settings.embed_model = embed_model
    
        #用初始化llm
        Settings.llm = llm
    
        documents = SimpleDirectoryReader("data").load_data()
        index = VectorStoreIndex.from_documents(documents)
        query_engine = index.as_query_engine()
    
        return query_engine
    
    # 检查是否需要初始化模型
    if 'query_engine' not in st.session_state:
        st.session_state['query_engine'] = init_models()
    
    def greet2(question):
        response = st.session_state['query_engine'].query(question)
        return response
    
          
    # Store LLM generated responses
    if "messages" not in st.session_state.keys():
        st.session_state.messages = [{"role": "assistant", "content": "你好,我是你的助手,有什么我可以帮助你的吗?"}]    
    
        # Display or clear chat messages
    for message in st.session_state.messages:
        with st.chat_message(message["role"]):
            st.write(message["content"])
    
    def clear_chat_history():
        st.session_state.messages = [{"role": "assistant", "content": "你好,我是你的助手,有什么我可以帮助你的吗?"}]
    
    st.sidebar.button('Clear Chat History', on_click=clear_chat_history)
    
    # Function for generating LLaMA2 response
    def generate_llama_index_response(prompt_input):
        return greet2(prompt_input)
    
    # User-provided prompt
    if prompt := st.chat_input():
        st.session_state.messages.append({"role": "user", "content": prompt})
        with st.chat_message("user"):
            st.write(prompt)
    
    # Gegenerate_llama_index_response last message is not from assistant
    if st.session_state.messages[-1]["role"] != "assistant":
        with st.chat_message("assistant"):
            with st.spinner("Thinking..."):
                response = generate_llama_index_response(prompt)
                placeholder = st.empty()
                placeholder.markdown(response)
        message = {"role": "assistant", "content": response}
        st.session_state.messages.append(message)
    
  • 在Llamaindex_RAG目录下创建data文件夹和README.md
     mkdir data
     cd data
     git clone https://github.com/InternLM/xtuner.git
     mv xtuner/README_zh-CN.md ./
    

		---
		title: Llamaindex_RAG
		emoji: 🦙
		colorFrom: green
		colorTo: blue
		sdk: streamlit
		sdk_version: "1.39.0"
		app_file: app.py
		pinned: false
		---
		
		# Llamaindex_RAG
		
		Welcome to Llamaindex_RAG.

  • 现在可以push到远程仓库上了
    git add .
    git commit -m "demo"
    git remote set-url origin https://Sunshine108:hf_cEwsWCfJtMncMILqhoppDjwGh@huggingface.co/spaces/Sunshine108/Llamaindex_RAG
    git push
    

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

总结

天行健,君子以自强不息。

华为OD机试真题 新系统-字符串格式调整(C/C++/Py/Java/Js/Go) 华为OD机试 新系统真题【字符串格式调整】,提供C语言、Java、C++、Python、Go、JavaScript源码实现,并提供完整思路讲解,以及在线OJ模拟做题。华为OD机试真题【字符串格式调整】多语言题解 阅读详情

相关推荐

用WorkBuddy搭建漫剧AI自动化制作流水线全攻略

在内容创作领域,AI智能体正逐渐从单一工具辅助走向全流程自动化调度。其核心原理是将剧本、分镜、绘图、配音、剪辑等环节拆解为可独立执行的任务单元,由总控系统统一协调,从而大幅降低人力与时间成本。这种模式尤其适用于动态漫画(漫剧)这类环节多、专业度要求高的视频形态。传统制作流程中,角色一致性、配音周期和剪辑返工是公认的效率瓶颈,而借助AI智能体工作台,创作者只需输入故事创意,即可驱动多个数字分身协同完成内容生产。本文以WorkBuddy为例,详细展示如何配置模型、安装技能包并串联五段式流水线,将单集制作成本从万

weixin_28224217的博客 261

【InternLM实战营第二期02笔记】轻松玩转书生浦语大模型趣味Demo

Lagent 是一个轻量级、开源的基于大语言模型的智能体(agent)框架,支持用户快速地将一个大语言模型转变为多种类型的智能体,并提供了一些典型工具为大语言模型赋能。可以理解自由形式的图文指令输入,包括大纲、文章细节要求、参考图片等,为用户打造图文并貌的专属文章。后,(会有较长的加载时间)勾上数据分析,其他的选项不要选择,进行计算方面的 Demo 对话,即完成本章节实战。Agent:与 Model 的输入接口保持一致,模型到智能体的蜕变只需一步,便捷各种 agent 的探索实现;

w626394316的博客 914

深入解析JESD204B Periodic SYSREF在多ADC/DAC系统中的同步优化策略

本文深入探讨了JESD204B Periodic SYSREF在多ADC/DAC系统中的同步优化策略,针对雷达阵列和宽带通信系统中的同步精度问题,详细解析了硬件实现细节、参数配置实战经验及系统级优化方法。通过案例分析和技术要点,帮助工程师解决由温度漂移和时钟抖动引起的同步挑战,提升系统性能。

weixin_29267307的博客 139

llamaindex+Internlm2 RAG实践

给模型注入新知识的方式,可以简单分为两种方式,一种是内部的,即更新模型的权重,另一个就是外部的方式,给模型注入格外的上下文或者说外部信息,不改变它的的权重。第一种方式,改变了模型的权重即进行模型训练,这是一件代价比较大的事情,大语言模型具体的训练过程,可以参考。它能够让基础模型实现非参数知识更新,无需训练就可以掌握新领域的知识。第二种方式,并不改变模型的权重,只是给模型引入格外的信息。类比人类编程的过程,第一种方式相当于你记住了某个函数的用法,第二种方式相当于你阅读函数文档然后短暂的记住了某个函数的用法。

outsideinthesun的博客 370

SiamFC++笔记

SiamFC++: Towards Robust and Accurate Visual Tracking with Target Estimation Guidelines 文章根据这些思路:引入分类和目标状态估计分支(G1),无歧义的分类得分(G2),无先验知识的跟踪(G3)和评估质量得分(G4)来设计SiamFC ++。 SiamRPN ++和SiamFC ++的比较(红色部分代表得分高的区域): guide: G1 : 分类和状态估计任务的分离:分类任务将目标从干扰物和背景中分类出来,目标状态

木木JL的博客 9447

商店销售预测(回归&随机森林)

通过准备线性回归的数据,我们发现了一些有趣的见解,包括周末的销售增长,公共部门支付工资时的销售增长,以及11月和12月的销售增长。如果我们选择包括这些,我们可能会得到更好的结果,但在这个时候,我们不会用它来做任何预测,而是将转向另一种可能给我们更好的结果的技术。在Kaggle竞赛中,要求我们应用时间序列预测,根据厄瓜多尔大型杂货零售商Corporación Favorita的数据预测商店销售情况,建立一个模型,准确地预测在不同商店销售的商品的单位销量。在快速查看我们的训练数据集之后,我们可以看到有很多零。

qq_45791012的博客 4758

[书生训练营-第四期] Llamaindex RAG实践

1.基于 LlamaIndex 构建自己的 RAG 知识库,寻找一个问题 A 在使用 LlamaIndex 之前 浦语 API 不会回答,借助 LlamaIndex 后 浦语 API 具备回答 A 的能力,截图保存。2.将 Streamlit+LlamaIndex+浦语API的 Space 部署到 Hugging Face。space地址:https://huggingface.co/spaces/jaeliu2000li/APT。将APT的维基百科页面下载为markdown,作为额外的知识库。

qq_33583163的博客 305

ORB-SLAM3代码详解 - 第 18 篇 · Atlas 多地图系统、地图保存与全系统调优

会跑:理解三线程架构与数据流(01/08/10/13),能编译、配参、复现各数据集结果。会改:掌握相机模型抽象(05)、g2o 顶点与边(14)、预积分(15),能接入新传感器、新相机、新约束。会调:理解每个参数背后的物理含义与耦合(03/15/16/18),能针对自己的平台与场景做精度/实时/鲁棒的权衡。ORB-SLAM3 的价值不止于一个可用的 SLAM 系统,更在于它是一套工程化的几何状态估计模板:清晰的模块边界、可替换的相机/传感器抽象、紧耦合优化的标准范式。

PX4-SLAM-PNC 176

书生大模型实战营闯关 - 入门岛 - Python

选择debug config时选择remote attach就行,随后会让我们选择debug server的地址,因为我们是在本地debug,所以全都保持默认直接回车就可以了,也就是我们的server地址为localhost:5678。开发机的链接命令可以在开发机控制台对应开发机"SSH连接"找到,复制登录命令到vscode的弹窗中然后回车,vscode就会开始链接InternStudio的服务器,记得此时切回去复制一下ssh的密码,待会会用到。配置完以后会打开配置的json文件,但这不是重点,可以关掉。

nachtmusik的博客 1133

FPGA电路设计1——芯片原理图和封装制作流程

本文详细介绍了FPGA电路板设计的学习过程,以Xilinx Kintex-7系列FPGA为例。主要内容包括:1)从官网下载芯片引脚分配文件的方法;2)原理图库绘制流程,重点讲解Bank划分(配置Bank、HR/HP IO Bank、高速收发器Bank)及利用Excel预处理数据;3)使用Altium Designer的Symbol Wizard工具实现引脚自动化导入;4)原理图设计要点,包括电源系统设计(多电压需求与上电时序)、配置电路(JTAG/Flash接口)和时钟设计。

在读研究生,FPGA电路设计与功能开发。 1390

128、点云配准与ICP:经典配准算法与深度学习配准

上周调试一台双臂协作机器人,左手持结构光相机扫描桌面上的随机堆叠工件,右手准备执行抓取。问题出在“对齐”这一步——相机扫描得到的点云和CAD模型点云之间差了大约15度的旋转,导致抓取姿态计算出来直接怼到桌面上。我第一反应是“ICP跑一下不就行了”,结果跑了三分钟,误差纹丝不动,甚至越迭代越发散。后来查了日志才发现,初始位姿给得太离谱,ICP直接掉进了局部最优。这个场景太典型了——很多人以为点云配准就是调个ICP库函数,实际工程里坑比想象中多得多。今天这篇笔记,咱们把点云配准这件事从头捋一遍。

sundong_81的博客 52

大模型系列——解读RAG

RAG 是2023年最流行的基于 LLM 的应用系统架构。有许多产品几乎完全建立在 RAG 之上,覆盖了结合网络搜索引擎和 LLM 的问答服务,到成千上万个数据聊天的应用程序。很多人将RAG和Agent 作为大模型应用的两种主流架构,但什么是RAG呢?RAG又涉及了哪些具体的技术呢?1. 什么是RAGRAG即检索增强生成,为 LLM 提供了从某些数据源检索到的信息,并基于此修正生成的答案。RAG ...

我相信...... 3754

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

书生·浦语大模型实战营

Lagent 是一个轻量级、开源的基于大语言模型的智能体(agent)框架,支持用户快速地将一个大语言模型转变为多种类型的智能体,并提供了一些典型工具为大语言模型赋能。它的整个框架图如下:流式输出:提供 stream_chat 接口作流式输出,本地就能演示酷炫的流式 Demo。接口统一,设计全面升级,提升拓展性,包括:Model : 不论是 OpenAI API, Transformers 还是推理加速框架 LMDeploy 一网打尽,模型切换可以游刃有余;

sorrowyn的博客 2482

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

书生·浦语大模型实战营合集

书生·浦语大模型实战营

个人小站:www.xiaowangyun.com 1455

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

书生浦语大模型实战营

这里要考察业务本身是否需要跟环境进行交互,如果这个业务是需要与环境进行交互的,比如需要调用外部API,或者与已有的数据库进行交互,那么就需要构建一个智能体(Agent),完成相关业务。如果算力足够,可能就需要进行模型的续训,或者全参数的微调,当然,这个花的钱就比较多。如果不是足够复杂,可以直接使用该模型,加上Prompt工程,就可以实现相关的业务;XTuner可以适合不同的生态,支持不同的算法,支持不同的开原生态、不同的加速方式和Nvidia的各级显卡。关注不同维度的能力,特别是专业上的能力。

weixin_66889864的博客 1047

【书生大模型实战营】书生入门岛通关

书生大模型实战营通关记录

qq_41234663的博客 776

书生·浦语大模型实战营学习总结

书生浦语大模型春节实战营课程内容个人笔记&作业汇总。

fangsfdavid的博客 1450

【书生·浦语大模型实战营】书生浦语大模型全链条开放体系介绍

在国内众多开源大模型中,上海人工智能实验室开源的书生浦语系列绝对占有一席之地。可能有很多同学还记得年初央视播出的首部人工智能生成动画片《千秋诗颂》,就是上海人工智能实验室的“书生筑梦”大模型制作的。具体可以查看以下新闻报道国产文生视频大模型“筑梦”亮相 助央视制作AI动画片《千秋诗颂》筑梦大模型是文生图大模型,我们今天介绍的重点是大语言模型,所以重点在书生浦语上。正好我最近报名的书生·浦语大模型实战营需要写学习笔记。这篇文章既可以当做学习笔记,也可以给大家详细的介绍一下书生浦语系列产品。

weixin_42553583的博客 1087

《书生·浦语大模型实战营》第1次学习笔记

2022年12月1日,`ChatGPT`发布,迅速发展,成为互联网历史上最快达到一亿用户的产品。我在互联网行业有二十多年的经验,看到`ChatGPT`的时候就仿佛小时候第一次接触计算机、1996年上大学后第一次接触互联网、2008年第一次购买`iPhone`一代手机。 2023年,随着以`ChatGPT`为代表的AIGC(生成式AI,GenAI)的快速发展,就开始找资料,渐渐理解了这不同于以往的搜索引擎的大规模集群方案,而是把海量知识压缩到一个很小的模型中。 最开始体验各种网上应用,然后看介绍资料,随着

胡争辉 1959

第4期书生大模型实战营精选项目一览

在这个快节奏的世界里,我们都需要一点调味剂来调和生活。无论是需要一点甜言蜜语来提振精神,还是需要一剂犀利怼语来释放压力,基于 InternLM2.5 系列大模型开发出的 FunGPT 都能满足您的需求。甜言蜜语模式心情提升器:当您感到低落,我们的甜言蜜语模式能让您的心情瞬间飙升,就像尝了一颗超级甜的蜜糖。自信加油站:同时我们的赞师傅会用最合适且独特的方式夸奖您,让您的自信心爆棚。犀利怼语模式压力释放阀:当您感到压力山大,我们的怼人模式能让您在怼人的同时,找到释放的出口。

2402_82411485的博客 1004

书生大模型实战营 重要笔记汇总

算力平台: https://studio.intern-ai.org.cn/console/dashboard闯关文档: https://aicarrier.feishu.cn/wiki/XBO6wpQcSibO1okrChhcBkQjnsfssh -p 37367 root@ssh.intern-ai.org.cn -CNg -L {本地机器_PORT}:127.0.0.1:{开发机_PORT} -o StrictHostKeyChecking=nossh -CNg -L 6006:127.0.0.1:6

晓飞趋势 1917

【大模型】书生·浦语大模型实战营课程 学习汇总

【大模型】书生·浦语大模型实战营 第一节-CSDN博客 https://blog.csdn.net/weixin_43193528/article/details/135447026【大模型】书生·浦语大模型实战营 第二节-CSDN博客 https://blog.csdn.net/weixin_43193528/article/details/135447175【大模型】第二节课作业-CSDN博客 https://blog.csdn.net/weixin_43193528/article/details/1

weixin_43193528的博客 776

第五期书生大模型实战营报名啦

书生·浦语是上海人工智能实验室大模型品牌,期待和广大的社区开发者一起建设开放、繁荣、健康的大模型开源社区!本知识库已上线飞书社区,欢迎大家来玩。

qq_60666264的博客 613
上一篇: 书生大模型实战营
下一篇: 书生大模型实战营
X_taiyang18
博客等级 码龄7年 508粉丝 52原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

X_taiyang18

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址