在Ubuntu24.04搭建VLLM, SGLang 和 LangChain环境

Ubuntu24.04下VLLM与SGLang环境搭建的避坑指南 本文详细介绍了在Ubuntu24.04系统下搭建VLLM与SGLang开发环境的完整流程,包括系统安装、NVIDIA驱动配置、CUDA环境管理、Conda最佳实践以及SGLang和VLLM的高效部署方案。针对AI开发者常见的环境配置问题,提供了实用的避坑指南和性能优化技巧,帮助用户快速搭建稳定的AI开发环境。 阅读详情
AI摘要

本文介绍在Ubuntu24.04系统搭建VLLM、SGLang和LangChain环境的方法。包含Ubuntu 24.04安装步骤,SGLang安装中NVIDIA驱动、CUDA、Miniconda/anaconda的安装要点,以及VLLM安装的前提条件、分步操作和故障排查,还提及了LangChain的安装。

在Ubuntu24.04搭建VLLM, SGLang 和 LangChain环境

[!NOTE] 概述
整片文章是笔者的回忆(白天忙碌了一天,晚上进行的总结),所以有些地方的描述可能有误差,本文更多的是大体方向问题,细节步骤不是本文的重点,见谅 !!!

如何安装Ubuntu 24.04

  1. 制作启动U盘,作者使用的是rufus.exe工具
  2. 下载Ubuntu24.04的ISO镜像
  3. 使用rufus.exe工具刷入Ubuntu22.04.iso文件
  4. 插入服务起(或电脑)进入BISO页面,选择U盘作为启动项
  5. 选择Try and Install Ubuntu(可能记忆有错误,第一个位置的选项,整片文章是笔者的回忆,所以有些名词可能有误差,见谅)
  6. 无脑Next,知道出现分区页面 (这里是重点,一定仔细!!!)
    1. 选择手动分区(Manual partitioning,选择带有Manual的选项)
    2. 先点击左下角选择启动盘
    3. 点击后会出现/et/uefi区,这个分区不要手动修改
    4. 然后对下面的内容进行分区,如果你是新手,那么建议
      1. 分区swap大小和你的运存一样就行,如果你的运存512G或者更大,那就无看你情况想给多大,有这么大分区的人,也不是新手,自己肯定也懂
      2. 剩下的都给/就可以了
      3. 这是最简单的,但是绝对不是最有效的
      4. 哦对了,分区格式为/ext4如果你没有特殊需求
  7. 无脑Next,等待安装完成
  8. 选择重启电脑,然后在退出页面中,先拔出U盘,后敲击键盘Enter按键

如何安装SGLang

安装NVIDIA驱动(重点,不要出错)

  1. 首先明确官方推荐的是530版本,但是Ubutnu24.04的内核对它不兼容!!!(血泪的教训,卡了我上一上午)
  2. 直接安装最新版的便可以
    1. 命令:sudo apt update && sudo apt upgrade 获取并更新安装包的命令,装完系统后记得执行
    2. sudo ubuntu-drivers autoinstall, 自动安装适配的版本
      1. 优势:无脑安装,兼容性好
      2. 劣势:如果你的项目不支持这个驱动,嘿嘿,那你就惨了
      3. 小幸运:SGLang支持
      4. 时间:autoinstall的安装版本会随时间变化,截止到2025-5-3安装版本为575.51.03

安装CUDA,(一步一坑的噩梦)

  1. SGLang推荐的CUDA版本是CUDA 12.1版本,但是实测CUDA 12.9也可以
  2. 多CUDA环境配置方法
    1. 从官网下载.run包
    # CUDA 12.9
    wget https://developer.download.nvidia.com/compute/cuda/12.9.0/local_installers/cuda_12.9.0_575.51.03_linux.run
    sudo sh cuda_12.9.0_575.51.03_linux.run
    
    # CUDA 12.1
     wget https://developer.download.nvidia.com/compute/cuda/12.1.0/local_installers/cuda_12.1.0_530.30.02_linux.run
     sudo sh cuda_12.1.0_530.30.02_linux.run
    
    1. sudo bash cuda_xxx_linux.run 来进行安装
    2. 如果报错
      1. cat /path/log.conf,出错会告诉你在哪看日志
      2. sudo apt insnstall gcc, g++ #下载对应版本
      3. sudo bash cuda_xxx_linux.run --override
    3. 安装选项 重点
      1. 输入accept
      2. 然后不要选择安装驱动
      3. 进入Option高级选项,选择下载路径,不要使用Sympol链接
    4. 修改export, source .bashrc 和将下面自动切换脚本写入.bashrc文件
    # ~/.bashrc 或 ~/.zshrc
    # 定义一个切换 CUDA 版本的函数
    switch_cuda() {
         
         
    local desired_version=$1
    # 假设你的 CUDA 版本都安装在 /usr/local/cuda-X.Y 格式的路径下
    local cuda_path="/usr/local/cuda-${desired_version}"
    
    # 检查目标版本的 CUDA 目录是否存在
    if [ -d "${cuda_path}" ]; then
       export CUDA_HOME="${cuda_path}"
       export CUDA_PATH="${CUDA_HOME}" # 有些应用可能也看这个变量
    
       # 从 PATH 和 LD_LIBRARY_PATH 中移除旧的 CUDA 路径 (避免冲突)
       # (注意: 这个移除逻辑可能需要根据你的具体 PATH/LD_LIBRARY_PATH 结构调整)
       export PATH=$(echo "$PATH" | awk -v RS=':' -v ORS=':' '!/\/usr\/local\/cuda-[0-9.]+\/bin/' | sed 's/:$//')
       export 
【总结篇】LLM推理环境安装部署全指南 本文介绍了安装WSL2、Ubuntu、NVIDIA显卡驱动、CUDA 12.4.1、cuDNN的方法及Xinference、vLLM、SGLang等推理框架的部署使用方法。本文适用于NVIDIA显卡用户,建议GPU架构为Turing或更新(对应RTX 20系或以上)。 阅读详情

相关推荐

【运维】SGLang 安装指南

SGLang 是一个高性能的大语言模型推理框架,支持多种安装方式。本文档提供了详细的安装步骤和常见问题解决方案。

qq_20623849的博客 3689

在 Ubuntu 系统中基于 Miniconda 安装 VLLM 并启动模型 + Dify 集成指南

本文将详细介绍在 Ubuntu 系统已安装 Miniconda 的前提下,通过虚拟环境安装 VLLM、两种启动模型的方法(含参数详解),以及 Docker 部署的 Dify 如何添加 VLLM 模型,全程步骤清晰且命令可直接复制。

当 AI 开始写文章、绘星空,甚至预测未来,您还在旁观吗?这里将剖开人工智能的思考逻辑,拆解 AI 创作的底层密码,也聊聊人工智能里的人文温度。每篇都有让你拍案的细节,快来解锁 AI 时代的神奇世界! 1636

Ubuntu24.04避坑指南:VLLM+SGLang+LangChain环境搭建全流程(附多CUDA版本切换脚本)

本文详细介绍了在Ubuntu24.04系统上搭建VLLM+SGLang+LangChain全栈环境的完整流程,包括NVIDIA驱动安装、多CUDA版本切换、Conda环境配置以及各框架的专项优化方案。特别提供了实用的多CUDA管理脚本和性能调优参数,帮助开发者高效构建AI应用开发环境,解决版本兼容性和资源管理难题。

weixin_30839881的博客 358

Ubuntu24.04下VLLM+SGLang环境搭建避坑指南:从驱动安装到多CUDA切换

本文详细介绍了在Ubuntu24.04系统上搭建VLLM和SGLang大模型开发环境的完整流程与避坑指南。重点解决了NVIDIA驱动与多CUDA版本(如12.1、12.4、12.9)的兼容性问题,提供了自动化驱动安装、.run包精细安装以及通过环境变量函数实现多CUDA版本优雅切换的实战方案。同时,文章涵盖了SGLang推理服务器部署、VLLM与LangChain高效集成,以及环境维护、故障排查等核心内容,旨在帮助开发者构建稳定、灵活的大模型开发与部署环境。

yog99的博客 590

SGLang vs vLLM:Qwen大模型高并发推理性能实测对比

大语言模型推理部署中,吞吐量和延迟是衡量服务性能的核心指标。其原理在于通过连续批处理、KV Cache管理和异步调度等技术,最大化GPU利用率并降低响应时间。这些优化对于构建高可用API服务具有重要技术价值,广泛应用于内部知识库问答、IDE集成工具和批量数据处理等场景。本文聚焦于vLLM和SGLang两大推理引擎,通过实测对比它们在处理Qwen模型时的并发性能表现,其中SGLang在吞吐量方面展现出显著优势,而vLLM则在长上下文任务中表现稳健。

weixin_34320724的博客 356

SGLang vs vLLM深度对比:大模型本地部署选型实战指南

大语言模型推理引擎是构建私有化AI应用的核心基础设施。vLLM以PagedAttention内存优化技术著称,主打高吞吐、低延迟与显存极致利用率;SGLang则定位为LLM编程框架,通过RadixAttention前缀缓存和Python原生控制流(如@function、fork)实现复杂Agent逻辑的内聚式开发。二者差异本质是工程效率与开发效率的权衡:vLLM适合标准化文本生成服务,SGLang胜在多工具调用、结构化输出与动态推理流程。当前主流百亿级模型(如Qwen3-32B、DeepSeek-V3)在A

483

GLM-5.2本地部署性能优化实战:从vLLM/SGLang选型到推理加速全攻略

最近在尝试本地部署 GLM-5.2 模型时,我发现了一个被很多人忽略的“性能加速”秘密。官方文档和社区讨论大多集中在模型能力、基准测试和基础部署流程上,但对于如何榨干硬件性能、实现远超官方示例的推理速度,却鲜有系统性的实战分享。经过一系列环境调优、框架选型和参数组合测试,我成功将 GLM-5.2 的推理速度提升到了一个令人惊喜的水平。本文将完整分享这套从零开始的 GLM-5.2 高性能自部署方案,涵盖模型选择、推理框架对比、环境配置、核心优化参数详解,以及一个可复现的完整实战案例。无论你是想搭建一个私有的长

weixin_30460489的博客 376

vLLM的C++内核与部署实战:从环境准备到昇腾适配

大模型推理框架的高性能实现,往往离不开底层C++与CUDA的深度优化。作为高吞吐推理代表,vLLM采用Python调度与C++内核混合架构,其PagedAttention、KV Cache管理及融合算子均由C++/CUDA实现。理解这种设计不仅能解释“C++ Version of vLLM”的真实含义,也能指导生产环境下的显存优化与算子适配。针对本地大模型推理场景,从环境准备、服务启动到OpenAI兼容接口调用,均可基于vLLM快速落地。同时,面对昇腾等非NVIDIA硬件的适配需求,需要结合社区分支与算子兼

weixin_34209851的博客 460

避开这5个坑!用MATLAB做核密度估计时90%人会犯的错误

本文详细解析了使用MATLAB进行核密度估计时常见的5个高频错误,包括三维数据可视化、带宽参数优化、大数据量处理、核函数选择及版本兼容性问题。特别针对核密度估计中的关键参数带宽(bandwidth)提供了数据驱动的优化策略,帮助用户提升分析精度与效率。

jenkins8butler的博客 279

OpenHarmony 4.1/5.0 Beta上手:如何用ArkUI在非华为设备上开发你的第一个“鸿蒙”应用

本文详细介绍了如何在非华为设备上使用ArkUI开发OpenHarmony应用,涵盖从设备选型、环境搭建到应用部署的全流程。通过实战案例展示ArkTS语言在开源鸿蒙生态中的应用,帮助开发者突破设备限制,构建跨平台鸿蒙应用。

weixin_33704234的博客 371

映泰TB250-BTC主板魔改BIOS支持8/9代CPU实战与开机故障排查

BIOS(基本输入输出系统)是计算机硬件与操作系统之间的桥梁,负责初始化硬件和提供运行时服务。其工作原理是通过存储在主板芯片中的固件程序,在上电自检(POST)阶段完成对CPU、内存等关键组件的检测与配置。魔改BIOS的技术价值在于突破硬件限制,通过修改微码和电源管理模块,让旧平台支持新处理器,从而以极低成本实现性能跃升,在预算有限或追求极致性价比的DIY、办公和软路由等应用场景中极具吸引力。本文以映泰TB250-BTC矿板为例,详细解析了通过软刷方式刷入魔改BIOS,并重点解决了刷写后常见的“开机风扇转一

weixin_29164185的博客 421

国产操作系统替换方案:3个避坑指南

坑核心误区避坑核心原则关键动作坑一:选型只看信创信创目录=唯一标准兼容性优先,信创是约束三维评估(兼容性+信创+生态),分场景选型坑二:迁移只管能跑功能能跑=迁移成功性能确认+运维回归适配-压测-回归三阶段,基线对比坑三:不防二次迁移解决停服=完成任务一步到位,两级兼容信创路线优先,双轨制发布,终态规划。

weixin_43524706的博客 305

Cass三角网法土方计算优化技巧:如何根据地形特点调整边界采样间距

本文深入探讨了Cass软件中三角网法(DTM法)土方计算的优化技巧,核心在于如何根据地形的复杂程度动态调整边界采样间距。针对平坦、复杂及人工构造物等不同地形特征,提供了具体的间距调整策略与精度验证方法,旨在帮助工程师在计算精度与效率间找到最佳平衡,实现精细化土方计算。

weixin_29294975的博客 528

避坑指南:Windows下OpenCV摄像头索引混乱问题的3种解决之道

本文详细解析了Windows下OpenCV摄像头索引混乱问题的3种解决方案,包括GUID查询法、DirectShow接口集成和注册表固化技术。针对工业视觉和智能监控场景,提供实战代码和性能优化建议,帮助开发者稳定识别多路摄像头设备,有效解决VideoCapture接口的索引漂移问题。

weixin_30836759的博客 407

AI在生物学领域的应用:基因序列分析和人工智能生物学

好的,非常感谢您提供的这个精彩的主题和详细的要求。我会全力以赴,遵循您的要求写一篇内容丰富、结构清晰、论述深入的专业技术文章。现在,就让我们开始这篇关于"AI在生物学领域的应用:基因序列分析和人工智能生物学"的博客文章吧! 1. 背景介绍 1.1 生物信息学的兴起

AI天才研究院 1425

RK3588 Buildroot 新建板级DTS

在rk3588 linux开发过程中,新创建板型主要基于硬件差异化、软件适配与优化、项目定制化等多方面需求。

501846585_QQAndroid_java 1301

vb 6.0并口开发操作实例

vb6并口开发,简体中文,试例内有inpout32.dll动态链接库

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

上一篇: 付费抢票软件真的有用吗?(如果有人让你帮忙抢票,请把这篇文章刷到他脸上!!!)
下一篇: Tailscale和headscale的完全自托管部署
小熊冲!冲!冲!
博客等级 码龄5年 61粉丝 19原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址