llama.cpp部署大模型
支持多卡部署
仅支持GGUF量化模型
环境信息
机器01
操作系统:Debain 12.9/Ubuntu 24.04
CPU:i7-10750H
内存:32G
显卡:GTX 1650(4G)
硬盘:SSD(1T)
IP:192.168.3.17
基础组件安装
创建python虚拟环境
python3 -m venv ~/llamacpp
source ~/llamacpp/bin/activate
安装python模块
# 使用清华大学python源,https://pypi.tuna.tsinghua.edu.cn/simple
pip install --upgrade pip -i https://pypi.tuna.tsing
2788



被折叠的 条评论
为什么被折叠?



