在Ubuntu24.04搭建VLLM, SGLang 和 LangChain环境
[!NOTE] 概述
整片文章是笔者的回忆(白天忙碌了一天,晚上进行的总结),所以有些地方的描述可能有误差,本文更多的是大体方向问题,细节步骤不是本文的重点,见谅 !!!
如何安装Ubuntu 24.04
- 制作启动
U盘,作者使用的是rufus.exe工具 - 下载
Ubuntu24.04的ISO镜像 - 使用
rufus.exe工具刷入Ubuntu22.04.iso文件 - 插入服务起(或电脑)进入
BISO页面,选择U盘作为启动项 - 选择
Try and Install Ubuntu(可能记忆有错误,第一个位置的选项,整片文章是笔者的回忆,所以有些名词可能有误差,见谅) - 无脑
Next,知道出现分区页面 (这里是重点,一定仔细!!!)- 选择手动分区(
Manual partitioning,选择带有Manual的选项) - 先点击左下角选择启动盘
- 点击后会出现
/et/uefi区,这个分区不要手动修改 - 然后对下面的内容进行分区,如果你是新手,那么建议
- 分区
swap大小和你的运存一样就行,如果你的运存512G或者更大,那就无看你情况想给多大,有这么大分区的人,也不是新手,自己肯定也懂 - 剩下的都给
/就可以了 - 这是最简单的,但是绝对不是最有效的
- 哦对了,分区格式为
/ext4如果你没有特殊需求
- 分区
- 选择手动分区(
- 无脑Next,等待安装完成
- 选择重启电脑,然后在退出页面中,先
拔出U盘,后敲击键盘Enter按键
如何安装SGLang
安装NVIDIA驱动(重点,不要出错)
- 首先明确官方推荐的是
530版本,但是Ubutnu24.04的内核对它不兼容!!!(血泪的教训,卡了我上一上午) - 直接安装最新版的便可以
- 命令:
sudo apt update && sudo apt upgrade获取并更新安装包的命令,装完系统后记得执行 sudo ubuntu-drivers autoinstall, 自动安装适配的版本- 优势:无脑安装,兼容性好
- 劣势:如果你的项目不支持这个驱动,嘿嘿,那你就惨了
- 小幸运:
SGLang支持 - 时间:
autoinstall的安装版本会随时间变化,截止到2025-5-3安装版本为575.51.03
- 命令:
安装CUDA,(一步一坑的噩梦)
SGLang推荐的CUDA版本是CUDA 12.1版本,但是实测CUDA 12.9也可以- 多CUDA环境配置方法
- 从官网下载
.run包
# CUDA 12.9 wget https://developer.download.nvidia.com/compute/cuda/12.9.0/local_installers/cuda_12.9.0_575.51.03_linux.run sudo sh cuda_12.9.0_575.51.03_linux.run # CUDA 12.1 wget https://developer.download.nvidia.com/compute/cuda/12.1.0/local_installers/cuda_12.1.0_530.30.02_linux.run sudo sh cuda_12.1.0_530.30.02_linux.runsudo bash cuda_xxx_linux.run来进行安装- 如果报错
cat /path/log.conf,出错会告诉你在哪看日志sudo apt insnstall gcc, g++#下载对应版本sudo bash cuda_xxx_linux.run --override
- 安装选项 重点
- 输入
accept - 然后不要选择安装驱动
- 进入
Option高级选项,选择下载路径,不要使用Sympol链接
- 输入
- 修改
export,source .bashrc和将下面自动切换脚本写入.bashrc文件
# ~/.bashrc 或 ~/.zshrc # 定义一个切换 CUDA 版本的函数 switch_cuda() { local desired_version=$1 # 假设你的 CUDA 版本都安装在 /usr/local/cuda-X.Y 格式的路径下 local cuda_path="/usr/local/cuda-${desired_version}" # 检查目标版本的 CUDA 目录是否存在 if [ -d "${cuda_path}" ]; then export CUDA_HOME="${cuda_path}" export CUDA_PATH="${CUDA_HOME}" # 有些应用可能也看这个变量 # 从 PATH 和 LD_LIBRARY_PATH 中移除旧的 CUDA 路径 (避免冲突) # (注意: 这个移除逻辑可能需要根据你的具体 PATH/LD_LIBRARY_PATH 结构调整) export PATH=$(echo "$PATH" | awk -v RS=':' -v ORS=':' '!/\/usr\/local\/cuda-[0-9.]+\/bin/' | sed 's/:$//') export - 从官网下载
3689



被折叠的 条评论
为什么被折叠?



