去年矿难那阵子,我蹲了好久的二手板卡板块,最后花不到一张入门游戏卡的钱,收了一块成色还不错的 CMP 170HX,8GB HBM2e 显存版本。圈内人都知道,这卡当年是拿来挖以太坊的,没有视频输出,普通驱动还不搭理它,好多人都嫌它是“电子垃圾”。但我不这么看,GA100 核心、接近 1.2TB/s 的显存带宽,这东西放在今天本地跑大模型推理,反倒有点“错位竞争”的意思。
折腾了大半个星期,从插上点不亮、驱动不识别,到咬牙切齿地调量化参数、抠显存占用,最后终于让一个 70B+ 参数的大模型在这块 8G 显存的矿卡上跑出了第一个 token。这篇就把整个“破解”到部署的完整过程记下来。这里说的“破解”,不是搞什么灰色操作,而是把一个专为挖矿设计的硬件,通过驱动适配、参数调优等手段,解锁出通用计算能力,让它回归本质。文章适合手里正好有闲置矿卡、想低成本玩本地大模型的朋友;如果你只想抄作业不想折腾,也可以直接看部署章节。
1. CMP 170HX 到底是什么卡:一张被“禁言”的算力卡
1.1 从矿卡到 AI 推理卡的定位转换
CMP 170HX 是 NVIDIA 在 2021 年矿潮时单独拉出来的产品线,属于 CMP(Cryptocurrency Mining Processor)系列。它本质上是一颗 Ampere 架构的 GA100 核心,跟 A100 同源,但官方把它定位成“专为挖矿优化”,砍掉了视频输出,驱动层面也不向普通消费者开放图形功能。手里这块是 8GB 显存版本,另一版本是 16GB HBM2e,两者用的都是同一颗核心,只是显存颗粒配置不同。
这卡最离谱的地方是显存带宽。普通消费级显卡 GDDR6 基本在 300~600GB/s,而 HBM2e 的带宽接近 1.2TB/s,哪怕是 8GB 版本,带宽也没有缩水太多。对挖矿来说,带宽越高越好;对本地大模型推理来说,带宽同样是核心瓶颈。这个硬件特性,决定了它虽然不能打游戏,却很适合做 LLM 推理加速。矿难之后二手价格崩得厉害,于是就有了一群“垃圾佬”拿着矿卡折腾大模型的风潮。
1.2 为什么 8G 显存能“跑”70B 模型
很多朋友听到“8G 显存跑 70B 大模型”第一反应是扯淡。单看显存确实装不下,一个 70B 模型就算量化到 4bit,也要 40GB 左右,8GB 连零头都不够。但这里有个关键认知:显存不够,不等于模型不能跑,只是速度会慢。
原理其实可以类比成“小灶台配大仓库”。显存是灶台,内存是仓库,模型权重是食材。你的灶台(显存)只能放一小部分食材,于是就得派一个搬运工(CPU)不停从仓库(内存)往灶台搬原料。每次炒一盘菜(生成一个 token),都要把下一批食材提前搬过来,而这个搬运速度慢,整道菜就慢。这就是所谓 CPU offload 和 GPU 混合推理的思路:把模型的前几层放进显存加速计算,剩下大部分层放在内存里,靠 CPU 计算,再配合量化大幅压缩模型体积,最终把一个 70B 级模型“塞进”这台看似不可能的设备上。
这种方案当然不是让 70B 模型跑出 40 tokens/s,而是让它在“能跑但慢”的基线上可用。你的系统内存越大,数据搬运越顺畅;CPU 核心越多,纯 CPU 推理那一部分才不至于卡死。所以标题里说“跑起”,指的是验证了整条链路能通,并且实测可以完成写代码、写摘要、格式整理这类对延迟不敏感的任务。换句话说,这是一次“技术示威”,不是“速度竞赛”。
2. 破解过程实录:从“不识别”到“能计算”的三道坎
2.1 硬件层面的改造与补全
矿卡到手第一步不是装驱动,而是先检查硬件。CMP 170HX 的标准功耗在 250W 左右,所以供电一定要稳。我手里的版本是 8pin×2 供电,刚开始用旧电源带,负载一高直接黑屏重启,换了额定 850W 的电源就再没出现过。这里给后来者一个明确的建议:不要在这类卡上省电源钱,供电不足轻则掉驱动,重则把显卡核心电压拉到异常值,直接报废。
散热方面,矿卡长期在高温环境跑,风扇轴承和散热鳍片往往积灰严重。到手后我做了三件事:拆开清理灰尘、换掉老化的导热垫、重新涂硅脂。特别注意是显存颗粒上的导热垫,HBM2e 封装对温度敏感,如果导热垫老化会导致显存温度比核心还高,而这个卡又没有独立的显存温度传感器,只能靠经验和红外测温枪判断。改造后满载温度从 86℃ 降到了 68℃ 左右,跑几十个小时大模型都没问题。
还有一个坑是“没有视频输出”。CMP 170HX 根本没有显示接口,上机之后你没法直接插显示器看画面。我的处理方式是准备一张几十元的亮机卡专门输出画面,主计算任务交给 CMP 170HX。如果你手头有支持无头启
91



被折叠的 条评论
为什么被折叠?



