不用再纠结“8G显存连70B模型的权重都放不下”这种问题,看完这篇你就明白如何在这么小的显存里折腾出一台能用的70B+大模型推理机器。这篇文章的记录对象是NVIDIA CMP 170HX,一块曾经被矿老板拿来挖矿的专业卡,现在被我破解、魔改、装进服务器,再通过量化与张量拆分,成功跑起了70B+量化模型。整个过程包括矿卡解锁、驱动适配、模型选型、推理框架配置和性能调优,踩过的坑和解决办法都写在这里,直接抄作业即可。
我之前一直以为“本地跑70B”必须得塞两张RTX 3090或一块A100,直到我发现这张8G显存的矿卡,加上CPU内存的offload方案,其实也能让70B模型“动起来”。当然,速度不会像云端A100那么夸张,但作为个人折腾项目,它足够有趣,也真的能完成不少实际任务。这篇文章适合两类人:一是手头有矿卡想废物利用的玩家,二是想用最低成本体验大模型本地部署的开发者。我会从硬件解构讲到软件部署,最后再聊聊性能优化和稳定性问题,尽量让每个步骤都能复现。
1. 为什么偏偏是CMP 170HX:矿卡里的“异类”其实很适合跑推理
1.1 一张被低估的HBM高带宽卡
CMP 170HX是NVIDIA在挖矿热潮期推出的一款专业矿卡,核心用的其实是安培架构的GA100,跟A100算是近亲。但NVIDIA为了拉开产品线,砍掉了显示输出接口,锁低了大部分计算单元的功耗墙,并且把显存压到了只有8GB的HBM2e。很多人一听8GB就觉得这是一张“废卡”,但忽略了一个决定大模型推理体验的关键指标——显存带宽。
CMP 170HX的HBM2e显存带宽接近1.6TB/s,这个数字比RTX 3090的936GB/s高出将近一倍,甚至比很多专业计算卡还猛。大模型推理时的核心瓶颈往往不是算力,而是权重和KV Cache在显存里搬来搬去的带宽消耗。量化后的模型参数需要被反复读取,带宽越高,单位时间能喂给计算单元的数据就越多,这就意味着即便算力一般,高带宽也能带来远超同价位显卡的实际推理吞吐。而且GA100本身支持FP16、INT8和稀疏计算,虽然这张卡的张量核心频率被压得比较保守,但跑INT8量化模型绰绰有余。
我拿到这张卡时,它已经被矿场折腾过很久,散热器积灰严重,清理之后换上硅脂,插到主板上,开机直接黑屏。这其实很正常,因为CMP 170HX没有视频输出,必须额外准备一张亮机卡,或者依赖CPU核显完成显示。服务器部署最好直接无头模式,用SSH远程管理。
1.2 只有8G显存凭什么跑70B?量化与offload的常识
先泼一盆冷水:8GB显存哪怕用最狠的量化,也不可能完整塞下一个70B模型。70B参数的FP16权重约140GB,INT8约70GB,INT4量化也要35GB左右。8G显存跑70B,靠的是“张量卸载”(offload)思路——模型并非全部放进显存,而是分层存放,GPU只加载一部分计算层,其余层留在内存中由CPU计算,或者直接借助llama.cpp这类框架动态换入换出。
具体原理用搬砖来打比方:显存就是桌面,内存就是仓库,GPU是工人。70B模型的权重是堆积如山的砖块,虽然桌面只能放一小部分,但工人可以一边在桌面上砌墙,一边从仓库搬砖过来。桌面(显存)越大,工人越少跑腿;桌面小也没关系,只要仓库(内存)足够大,路径(内存带宽和PCIe带宽)不堵死,工作就还是能推进,只是速度慢。
实际操作中,llama.cpp、Ollama、vLLM都支持这种分层加载方式。比如llama.cpp里可以用 -ngl 指定“把多少层放到GPU”,剩下的层CPU计算;Ollama里对应 num_gpu 参数。量化等级通常选Q4_K_M或者Q4_0,显存占用少,质量损失可控,对CPU也友好。关键在于CPU的内存容量必须够大,我建议至少要有64GB物理内存,因为70B的Q4模型本身约40GB,推理过程中的KV Cache和临时变量还要额外占用十几个GB。如果内存只有18GB或32GB,模型加载到一半就会直接OOM。
2. 解锁CMP 170HX:从矿卡到计算卡的魔改全过程
2.1 魔改前必须准备好的工具与环境
解锁这张卡主要是为了绕过NVIDIA对非正式计算卡的功耗/算力限制。矿卡版本大概率已经刷过矿场定制的VBIOS,频率和功耗墙都是为ETH哈希率优化的,跑大模型时频率和功耗曲线反而不合理。所以我建议按“备份 – 刷写 – 验证 – 改驱动”四步走。
准备工作清单如下:
- 一台装好Linux的电脑,推荐Ubuntu 22.04,最好有核显或额外一块亮机卡。
- NVIDIA显卡驱动安装包,建议470.xx或525.xx系列,后续要手动改inf。
- nvflash工具,用于备份和刷写GPU VBIOS。
- GPU-Z或者nvidia-smi,用于确认设
184



被折叠的 条评论
为什么被折叠?



