1. 从零开始:华为昇腾910B环境搭建与模型准备
最近在项目里用上了华为昇腾910B集群,部署了DeepSeek-R1蒸馏系列模型,整个过程踩了不少坑,也积累了不少实战经验。今天我就把这些经验整理出来,手把手教你如何在910B上高效部署DeepSeek-R1的14B和32B版本。
先说说我的硬件环境:8张910B3(65GB版本)的NPU卡,CANN版本7.0,操作系统是openEuler 24.03 LTS。如果你用的是其他版本的910B(比如910B1或B2),配置上可能会有细微差别,但整体思路是相通的。
1.1 镜像获取与容器启动的实战技巧
昇腾官方提供了专门的MindIE镜像,版本是1.0.0-800I-A2-py311-openeuler24.03-lts。这个镜像已经集成了PyTorch 2.1、CANN 7.0以及MindIE的所有组件,开箱即用。不过有个小坑需要注意:这个镜像需要申请下载权限,审核大概需要2天左右,所以建议提前准备。
我遇到的情况比较特殊,生产环境的910B机器是纯内网,无法直接访问公网拉取镜像。我的解决方案是找一台能访问公网的x86机器,先把镜像拉取下来,然后导出为tar包,再传输到内网机器导入。具体操作命令如下:
# 在公网机器上拉取镜像
docker pull --platform=linux/arm64 swr.cn-south-1.myhuaweicloud.com/ascendhub/mindie:1.0.0-800I-A2-py311-openeuler24.03-lts
# 导出镜像
docker save -o mindie-1.0.0.tar swr.cn-south-1.myhuaweicloud.com/ascendhub/mindie:1.0.0-800I-A2-py311-openeuler24.03-lts
# 传输到内网后加载镜像
docker load -i mindie-1.0.0.tar
如果你的机器可以直接访问公网,那就简单多了,直接拉取就行。不过要注意指定--platform=linux/arm64参数,因为910B是ARM架构。
启动容器时,权限配置是个关键点。我试过两种方式:root特权模式和普通用户模式。在实际生产环境中,我更推荐使用普通用户模式,安全性更高。下面是我常用的启动命令:
docker run -it -d --net=host --shm-size=10g \
--name deepseek-r1-deploy \
--device=/dev/davinci_manager \
--device=/dev/hisi_hdc \
--device=/dev/devmm_svm \
--device=/dev/davinci0 \
--device=/dev/davinci1 \
--device=/dev/davinci2 \
--device=/dev/davinci3 \
--device=/dev/davinci4 \
--device=/dev/davinci5 \
--device=/dev/davinci6 \
--device=/dev/davinci7 \
-v /usr/local/Ascend/driver:/usr/local/Ascend/driver:ro \
-v /usr/local/sbin:/usr/local/sbin:ro \
-v /data1/apps/models:/storage/llm \
-w /storage/llm \
swr.cn-south-1.myhuaweicloud.com/ascendhub/mindie:1.0.0-800I-A2-py311-openeuler24.03-lts \
bash
这里有几个细节需要注意:--shm-size=10g设置共享内存大小,如果后续运行多个模型实例,可能需要调大这个值。--device参数要挂载所有需要用到的NPU设备,从davinci0到davinci7对应8张卡。模型权重我习惯挂载到/storage/llm目录下,这样容器内外路径一致,管理起来方便。
1.2 模型下载与权重处理的最佳实践
DeepSeek-R1蒸馏模型可以从魔搭社区(ModelScope)直接下载。我建议使用modelscope的Python库来下载,比手动下载要稳定得多。在容器内执行:
from modelscope import snapshot_download
model_dir = snapshot_download('deepseek-ai/DeepSeek-R1-Distill-Qwen-14B', cache_dir='/storage/llm')
下载完成后,检查一下模型文件。DeepSeek-R1的权重是.safetensors格式,这是好消息——不需要做任何转换,可以直接在MindIE中使用。这点比某些需要转换的模型省事多了。
模型路径的权限设置很重要,我遇到过好几次因为权限问题导致服务启动失败的情况。正确的做法是:
# 在宿主机上设置权限
chmod -R 755 /data1/apps/models
chown -R 1000:1000 /data1/apps/models
# 在容器内确认权限
chmod -R 755 /storage/llm
chown -R 1000:1000 /storage/llm
注意,如果使用普通用户镜像,默认的用户组ID是1000。你可以通过id HwHiAiUser命令查看你的HDK安装用户组ID,如果不同,需要在启动容器时通过--user mindieuser:你的组ID参数指定。
进入容器后,第一件事就是验证环境。运行npu-smi info应该能看到NPU设备信息。如果提示命令找不到,可能是宿主机上的npu-smi工具不在/usr/local/sbin路径下,可以用find / -name npu-smi找到正确路径,然后在启动容器时挂载进去。
接着验证PyTorch和torch_npu是否正常:
import torch
import torch_npu
print(torch.__version__) # 应该显示2.1.0
print(torch_npu.__version__)
最后检查MindIE组件:
pip list | grep mindie
应该能看到mindie_llm、mindiebenchmark、mindieclient、mindiesd、mindietorch等组件,版本都是1.0.0。
2. 深度解析:MindIE服务配置与参数调优
配置MindIE服务是整个部署过程中最核心也最容易出错的环节。我花了大量时间研究各个参数的含义和最佳实践,下面分享我的配置经验。
2.1 配置文件结构全解析
MindIE的配置文件位于/usr/local/Ascend/mindie/latest/mindie-service/conf/config.json,结构比较复杂,但主要关注三个部分:ServerConfig、BackendConfig和ScheduleConfig。
先说说ServerConfig,这部分主要控制HTTP服务的行为。对于内网部署,我强烈建议把httpsEnabled设为false,这样可以避免证书配置的麻烦。端口号可以自定义,我习惯用1025作为业务端口,1026作为管理端口,1027作为监控端口。
"ServerConfig": {
"ipAddress": "127.0.0.1",
"managementIpAddress": "127.0.0.2",
"port": 1025,
"managementPort": 1026,
"metricsPort": 1027,
"maxLinkNum": 1000,
"httpsEnabled": false
}
BackendConfig是配置的重中之重。modelInstanceNumber表示要启动的模型实例数量,这个值需要根据你的硬件资源和业务需求来定。对于14B模型,单卡就能跑一个实例,8张卡就可以启动8个实例。对于32B模型,由于模型更大,需要两张卡才能跑一个实例,所以8张卡最多启动4个实例。
npuDeviceIds的配置很有讲究。如果是单卡单实例,配置成[[0], [1], [2], [3], [4], [5], [6], [7]];如果是双卡并行跑32B模型,配置成[[0,1], [2,3], [4,5], [6,7]]。注意,这里的卡号分配要连续,不能跳着用。
656



被折叠的 条评论
为什么被折叠?



