文章目录
1 简介
致力于大模型研究与开发工具链的开源组织。
为所有 AI 开发者提供高效、易用的开源平台,让最前沿的大模型与算法技术触手可及

2 书生浦语大模型发展历史

2023年7月6日,InternLM-7B 开源双线免费商用,发布全链条开源工具体系
2023年9月20日,书生万卷1.0多模态预训练语料库开源发布
2024年1月17日,InternLM2开源,性能超最新同量级模型
2024年7月4日,InternLM2.5开源

3 大模型分类
1.8B:超轻量级,可用于端侧应用或者开发者快速学习上手
7B:为轻量级的研究和应用提供了一个轻便但性能不俗的模型
20B:模型的综合性能更为强劲,可有效支持更加复杂的使用场景
102B:性能强大的闭源模型,典型场景表现接近GPT-4

4 核心计数思路


5 领先的推理能力

6 全链条开源

数据标注
Miner U
一站式开源高质量数据提取工具,支持多格式(PDF/网页/电子书),只能萃取,生成高质量预训练/微调语料
Label LLM
专业致力于LLM对话标注,通过灵活多变的工具配置与多种数据模态的广泛兼容,为大模型量身打造高质量的标注数据
Label U
一款轻量级开源标注工具,自由组合多样工具,无缝兼容多格式数据,同时支持载入预标注,加速数据标注效率

预训练
模型训练
internLM、LLAMA、LLAVA等
分布式训练系统
包含分布式训练、仿真器、通信优化、显存优化、计算加速等
训练支撑系统
包含异常恢复、可视化、跨集群任务调度等
基础设施
包含跨硬件平台、存储、网络等

微调

为了进一步提升模型的性能和适应特定任务,上海人工智能实验室开发了XTuner微调框架。XTuner可以根据不同的任务需求,对大模型进行微调,使其在特定领域或任务上表现更加优秀。它具有以下特点:
支持多种任务类型,如增量预训练,指令微调,工具类指令微调
支持全量参数、LoRA、QLoRA 等低成本微调,覆盖各类 SFT 场景
支持多种大语言模型的微调,如 InternLM, Llama, QWen, BaiChuan, ChatGLM,适配多种开源生态,支持加HuggingFace、ModelScope 模型或数据集
支持自动优化加速,如 Flash Attention, DeepSpeed ZeRO, 使得开发者无需关注复杂的现存优化与计算加速细节
支持多种硬件,覆盖 NVIDIA 20 系以上所有显卡,最低只需 8GB 现存即可微调 7B 模型
支持多种数据格式,如 Alpaca, MOSS, OpenAI, Guanacao 等等。
评测

部署

在模型应用方面,开发LMDeploy部署框架。
LMDeploy提供大模型在 GPU 上部署的全流程解决方案,包括模型轻量化、推理和服务。可以将大模型快速部署到各种计算平台上,实现模型的实时推理和应用。
接口支持:Python, GRPC, RESTful
量化支持:4bit 、8bit
推理引擎:turbomind, pytorch
服务:openai-server, gradio, triton inference server
智能体

496



被折叠的 条评论
为什么被折叠?



