vLLM部署大模型

【VLLM】大模型本地化部署 vLLM 非常适合中高级开发者、AI 工程团队,在具备一定 GPU 资源的前提下部署高效、低成本、可控的大语言模型服务,尤其适合本地化、安全敏感、高并发调用等场景。 阅读详情
AI摘要

该博客介绍了vLLM部署大模型的相关内容,支持多卡、多机部署,还支持GPU、CPU混合运行及多种运行格式。详细说明了环境信息,包括操作系统、CPU、内存等,还涵盖基础组件安装、创建Python虚拟环境、安装模块、下载模型、部署模型及部署效果等步骤。

支持多卡部署
支持多机部署(非原生,nginx网关、ray等)
支持GPU、CPU混合运行
支持运行格式pt,safetensors,npcache,dummy,tensorizer,sharded_state,gguf,bitsandbytes,mistral,runai_streamer

环境信息

机器01
操作系统:Debain 12.9/Ubuntu 24.04
CPU:i7-10750H
内存:32G
显卡:GTX 1650(4G)
硬盘:SSD(1T)
IP:192.168.3.17

基础组件安装

基础组件安装

创建python虚拟环境

python3 -m venv ~/vllm
source ~/vllm/bin/activate

安装python模块

# 使用清华大学python源,https://pypi.tuna.tsinghua.edu.cn/simple
pip install --upgrade pip -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install vllm -i https://pypi.tuna.tsinghua.edu.cn/simple
vllm --version
vllm -h
vllm serve -h

下载模型

modelscope download --model 'unsloth/DeepSeek-R1-Distill-Qwen-1.5B' --local_dir 'unsloth/DeepSeek-R1-Distill-Qwen-1.5B'

部署模型

# 部署safetensors模型
vllm serve ~/ollama/unsloth/DeepSeek-R1-Distill-Qwen-1.5B --enable-reasoning --reasoning-parser deepseek_r1 --dtype float16 --cpu-offload-gb 4 --max-model-len 16380 --api-key vl-5bgrMOCJ5OSBKQV5XbHz --port 16144
# 部署gguf量化模型
vllm serve ~/ollama/unsloth/DeepSeek-R1-Distill-Qwen-1.5B-GGUF/DeepSeek-R1-Distill-Qwen-1.5B-Q4_K_M.gguf --tokenizer ~/ollama/unsloth/DeepSeek-R1-Distill-Qwen-1.5B --enable-reasoning --reasoning-parser deepseek_r1 --max-model-len 16380 --api-key vl-5bgrMOCJ5OSBKQV5XbHz --port 16145

部署效果

在这里插入图片描述
在这里插入图片描述

大模型推理:vllm多机多卡分布式本地部署 我是一台机器启动了一个docker,将docker当作一个节点,在docker里面执行ray start --head --port=6379,将另一台机器的docker作为worker节点,并加入到ray cluster中,如果机器间的通信没有问题,worker节点在几秒内就能加入集群。值得注意的是多机多卡部署的推理框架,也适用于单机多卡,单机单卡,这里不过多赘述。确保head节点的IP与指定的通信网卡的IP一致,同时,检查/etc/hosts里面的IP对应的主机名与docker的主机名是一致的。 阅读详情

相关推荐

在Ubuntu24.04搭建VLLM, SGLang 和 LangChain环境

从安装ubuntu开始,一步一步搭建VLLM, SGLang和LangChain的全过程

qq_65073403的博客 2788

ubuntu系统vllm部署deepseek-70B(DeepSeek-R1-Distill-Llama-70B)

假设下载到 ~/Downloads/cudnn-linux-x86_64-8.9.7.29_cuda12-archive.tar.xz。--served-model-name deepseek-70b # API中的模型名称。--gpu-memory-utilization 0.85 \ # 显存利用率。--trust-remote-code \ # 如果模型需要自定义代码。# 例如DeepSeek-R1-Distill-Llama-70B模型。# 例如deepseek-r1-awq量化模型。

qq_38988216的博客 7627

使用vllm部署大模型

本文介绍了DeepSeek-R1系列大模型的部署流程。首先提供了ModelScope官网地址以查询模型版本,并列出各版本模型对应的显存需求(如14B版本需30G显存)。部署步骤包括:使用uv工具安装虚拟环境,通过pip安装vLLM框架,从ModelScope下载指定模型,配置运行参数启动服务(如指定显卡数量),最后通过curl命令测试模型API接口。文中特别强调运行命令与请求参数中的模型路径需保持一致,否则会出现404错误。该指南完整呈现了大模型从环境准备到成功运行的全过程。

qq_39452675的博客 1139

Ubuntu24.04使用 vLLM 部署本地 DeepSeek 模型与开机启动

参数会在环境中预装 pip 和 setuptools,确保基础工具可用。这个过程可能需要几分钟,因为 vLLM 包含了许多深度学习相关的依赖。安装完成后,重新加载终端环境或执行。使 UV 命令生效。

qq_30345409的博客 2196

本地部署Qwen2大模型之二:vLLM方式部署

本文继续详细记录通过vLLM方式在本地部署该大模型的过程。

F8_11的博客 3808

vLLM-CPU部署大模型

本文介绍了如何在CPU环境下部署大语言模型(如7B参数量级)的"丐版"解决方案,适用于预算有限的开发者。主要步骤包括:1) 配置Ubuntu20.04系统环境,升级gcc/g++至13版本;2) 创建Python虚拟环境并安装vLLM CPU后端依赖;3) 从源码编译安装vLLM CPU版本;4) 以AgentCPM-GUI(8B)模型为例,成功启动CPU版vLLM服务。该方法解决了GPU显存不足的问题,但仅推荐用于测试场景。

DYF的博客 2188

在docker中使用vLLM部署大模型

注意,如果在启服务的时候遇到了下面这个错误,需要进入到模型所在的文件夹,找到config.json,修改其中的max_position_embeddings字段和你的max_model_len匹配。这里注意,–limit-mm-per-prompt参数尽量加上,如果不加的话,一个对话里最多只能有一张图片,多了就会报错400,这里我随便设成了5,一个对话中对于5张图片就会报400。这个网站就可以实现,直接把转换内容替换到上面 “url” 的值就可以了,因为那个编码太长了,贴一张图片作为例子。

m0_52827625的博客 5587

大模型推理:vllm多机多卡分布式本地部署1

ubuntu中采用docker和vllm进行多机多卡大模型本地部署

sunny0121的博客 3万+

使用vllm部署自己的大模型

使用vllm能够部署一个非常方便使用的大模型的后端,供webui前端使用,它不仅能够加速模型的推理过程,包括支持fast-attn库,而且还具有很友好的openai风格的api调用功能。

刘炫320的博客 3万+

【极速部署】Ubuntu24.04+CUDA13.0 玩转 VLLM 0.15.0:预编译 Wheel 包 GPU 版安装全攻略

本文详细介绍了在Ubuntu24.04系统上安装VLLM0.15.0的完整流程。关键步骤包括:创建Python3.12虚拟环境、配置CUDA13.0环境变量、通过GitHubAPI查找适配的预编译Wheel包,以及使用pip安装VLLM。文章特别强调了预编译包的优势:快速安装、版本精准适配、性能无损,并提供了可直接复制的完整命令序列。安装后建议执行验证步骤,确保GPU可用。该方法避免了复杂的源码编译过程,适合新手快速部署VLLM环境。

2501_93651177的博客 1719

保姆级教程:用torch.profiler给你的vLLM推理做个“全身体检”(附Perfetto可视化分析)

本文提供了一份详细的vLLM推理性能分析教程,通过torch.profiler和Perfetto工具链实现从数据采集到可视化分析的全流程。文章涵盖了环境配置、性能数据采集、trace文件解析以及Perfetto可视化分析,帮助开发者优化大模型推理服务的性能,显著降低计算资源消耗。

weixin_29041767的博客 360

大模型实践:vLLM部署llm

在大模型部署这个领域,其实已经形成了相对清晰的生态分工。主要面向资源受限的环境,比如个人电脑、边缘设备等。它的优势在于对硬件要求低,能够在CPU上运行大模型,对于个人开发者和小型应用来说非常友好。可以理解为LlamaCPP的用户友好版本,提供了更简洁的API和更便捷的模型管理,但本质上还是基于LlamaCPP的核心。。当面临数百个用户同时访问,或者需要在多GPU环境下发挥最大性能时,它们就显得力不从心了。正是为了填补这个空白。它从设计之初就瞄准了多GPU、高并发的应用场景。

ngadminq的博客 1354

从零到一:RF-DETR如何通过神经架构搜索重塑实时目标检测的边界

RF-DETR通过创新的权重共享神经架构搜索(NAS)机制,重新定义了实时目标检测的技术边界。这项技术在COCO等基准测试中表现卓越,成为首个AP超过60的实时检测器,同时保持跨领域稳定性和高效推理速度。RF-DETR的动态架构调整能力使其能够适应从嵌入式设备到云端服务器的各种硬件环境,为工业质检、自动驾驶等场景提供灵活解决方案。

weixin_29061531的博客 473

基于vLLM 部署大模型的简单介绍

vLLM是一个用于大规模语言模型(LLM)推理的高效框架,特别设计用于提供高性能的推理服务。它支持多种大模型(如 GPT、BERT、T5 等)并能够在高并发的场景下提供低延迟的推理服务。vLLM 可以帮助你有效地部署大模型,尤其是在资源有限的情况下,进行高效的多实例推理。下面是基于vLLM部署大模型的步骤。安装 vLLM 并准备相关依赖;加载预训练的大模型(例如 GPT、BERT 等);使用 vLLM 提供的 API (如 REST 或 gRPC)部署推理服务;

Major_S的博客 2523

UE4-(IK)实现人物脚贴合地面解决斜坡上脚无旋转无法贴合地面问题

在斜面上脚陷入模型中,需要设置旋转值对脚的骨骼进行一个旋转。 解决思路:在射线检测中可以获取到检测点的法线方向,根据法线方向来计算出脚应该向哪个方向进行适当的旋转,在斜坡上,人物脚需要旋转的轴为x轴和y轴以便来贴合地面,z轴方向的旋转是不需要进行修改的。 如图所示,我们需要求得水平面与斜坡的夹角用来得出人物在x轴上的脚旋转量,在蓝图中提供反正切函数,反正切 = 锐角的邻边/对边 所以 反正切值(脚x轴值(roll)) = 法线Y轴值/法线Z轴 值。 现在将上图的人物想象成面向屏幕,脚需...

Stone的博客 3320

cmu15445(2024fall) project 2

project 2比p1难度要更大,代码量更大且涉及的知识更多,实现中出现的bug更多,好在是最后全部解决了。我最大的收获在于对于多线程编程的理解更深入了,实际发现解决了多个多线程相关的bug,学会了更多多线程下debug的技巧方法,也见识了更多多线程的bug情况。在之后可以更系统的学习一下多线程编程。同时学会实现B+树也是需要掌握的基础。

Jerome_Yi的博客 1564

VLLM大模型服务部署指南

环境变量仅在当前 shell 中生效,每次创建新的 shell 都需要重新加载。:高性能、开源的大模型推理与服务框架。

glasse的博客 787

VSS shielding线可以floating吗?

shielding vss不打孔,就相当于dummy metal,如果周围有其他干扰线,他们影响了这段dummy metal,这段dummy metal仍然会对目标线产生干扰,bug的是,工具知道这段dummy是vss,那么计算寄生的时候仍然把它当vss,就有可能噪声没有完全消除,而用户又看不见。而真正接地的线,相当于一直是0,就不会对目标线产生干扰,一般加shield是在route之前,这时候shield能尽量覆盖目标线,等到绕线后再加就会出现shield只覆盖到一部分目标线的情况。

m0_61544122的博客 6651

大模型部署[Dify+Vllm]

进入版本的下载页面,选择对应的操作系统、架构、操作系统、版本,安装方式,就可以看到相应的安装命令。–max-num-batched-tokens 4096: 批处理最大token数为4096。–gpu-memory-utilization 0.98: GPU内存利用率设置为98%。–max-model-len 3072: 模型最大输入长度为3072个token。这里用的模型是Qwen2.5-14B-Instruct-GPTQ-Int4。–trust-remote-code 运行的时候信任该模型。

sihannuke的博客 1255

韩版传奇 2 源码分析与 Unity 重制(一)服务端 TCP 状态管理

该专题将会分析 LOMCN 基于韩版传奇 2,使用 .NET 重写的传奇源码(服务端 + 客户端),分析数据交互、状态管理和客户端渲染等技术,此外笔者还会分享将客户端部分移植到 Unity 和服务端用现代编程语言重写的全过程。本文重点介绍了服务端的启动链路、网络初始化和连接处理这三个过程,并简要分析的游戏循环的实现与数据包处理,在下一篇文章中,我们会从客户端角度分析从游戏启动、登录、游戏开始和基础游戏交互的全流程。

东方猫的博客 2504

用 CL_HTTP_CLIENT 正确处理 Cookie,彻底解决 SAP Gateway OData 的 CSRF Token 校验失败

SAP OData 集成中 CSRF Token 校验失败的解决方案 问题现象:使用 Postman 测试 OData 写入成功,但 ABAP 代码调用时出现 CSRF token validation failed 错误。 根本原因:Postman 自动处理 Cookie,而 ABAP 代码仅获取了 CSRF Token 却遗漏了 Cookie 信息。SAP Gateway 要求修改请求必须同时携带 Token 和 Cookie 才能通过校验。 解决方案: 通过 GET 请求同时获取 CSRF Token

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 436

用vllm快速部署大模型

vLLM:高效部署大型语言模型的GPU解决方案 本文介绍了vLLM工具在GPU上高效部署大型语言模型的方法。vLLM专为高性能并行处理设计,相比支持CPU的Ollama具有更高吞吐量优势。文章详细讲解了安装步骤:首先通过pip安装vLLM,然后使用Qwen-7B-Chat模型启动服务端。同时提供了两种客户端集成方案:通过OpenAI SDK发送请求,或使用requests库直接发送HTTP POST请求。vLLM为需要高性能AI应用的组织提供了简单经济、可扩展的解决方案,适用于本地或云端GPU部署场景,能显

qingkahui24689的博客 879

行为预测模型:Social LSTM与Graph Neural Networks

行为预测模型:Social LSTM与Graph Neural Networks ,人工智能,计算机视觉,大模型,AI,本文围绕行为预测模型Social LSTM与Graph Neural Networks展开,介绍了两者的基础概念、原理、应用场景,还对比了它们在优势、劣势和适用场景上的不同,最后给出了相应的代码示例。Social LSTM基于LSTM,通过社交池化层处理多智能体交互;图神经网络处理图结构数据,靠消息传递获取信息,二者各有侧重,适用于不同场景。

不踩坑,不知道坑有多深;不总结,踩过的坑白踩。 15万+

vLLM部署本地大模型进行在线调用

vLLM部署本地大模型进行在线调用

人工智能(AI)技术,大模型技术,深度学习,机器学习,计算机视觉,AI工具实践应用等分享 6206

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

vLLM 部署大模型

vLLM 是来自 UC Berkeley 的 LMSYS 在 LLM 推理方面的最新工作(没错就是搞出 Vicuna 的那个 group),最大亮点是采用 Paged Attention 技术,结合 Continuous Batching,极大地优化了 realtime 场景下的 LLM serving 的 throughput 与内存使用。

哦豁灬 13万+

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

基于vLLM部署企业级DeepSeek大模型

Ollma框架适合个人用户私有化本地部署,但在多用户并发场景下性能衰减明显。vLLM 是由加州大学伯克利分校 LMSYS 组织开源的大语言模型(LLM)高速推理框架。它旨在显著提升实时场景下语言模型服务的吞吐量和内存使用效率。vLLM 的主要特点包括:1、PagedAttention 技术:vLLM 引入了 PagedAttention 算法,通过分页管理注意力机制中的键(keys)和值(values),有效解决了传统方法中显存碎片化和过度预留的问题。

秃了也弱了 4266
上一篇: SGLang部署大模型
下一篇: llama.cpp部署大模型
Eddy5x
博客等级 码龄13年 233粉丝 66原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Eddy5x

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址