【Bug已解决】Offloading not working as expected with quantization 解决方案
一、现象长什么样
你想在显存不足的机器上加载一个量化模型,同时用 accelerate 的 CPU/磁盘卸载(offload)把放不下的层搬到内存或硬盘。但组合起来后表现异常:
# 现象 A:该卸载的没卸载,依然 OOM
torch.OutOfMemoryError: CUDA out of memory. Tried to allocate 1.40 GiB
# 明明设了 offload_folder,模型却几乎全压在 GPU 上
# 现象 B:加载卡死 / 极慢,且没真正落盘
# 日志停在 "Loading checkpoint shards",进度条不动;
# 等到结束,offload_folder 里几乎没有文件
# 现象 C:推理时报错说权重不在设备上
RuntimeError: Expected all tensors to be on the same device,
but found at least two devices, cpu and cuda:0
# 量化层被 bitsandbytes 钉在 GPU,offload 的层在 CPU,二者对不上
# 典型触发代码
from transformers import AutoModelForCausalLM
m = AutoModelForCausalLM.from_pretrained(
"big-model",
device_map="auto",
load_in_8bit=True,
订阅专栏 解锁全文
338



被折叠的 条评论
为什么被折叠?



