NotImplementedError: Cannot copy out of meta tensor; no data! Please use torch.nn.Module.to_empty()

NotImplementedError: Cannot copy out of meta tensor; no data! 最大的问题还是我太相信transformers自带的bitsandbytes库了。主要还是从CPU和GPU上TENSOR的相互转换的时候遇到的问题。然后在pytorch上有人问了在tensor转移时遇到的问题。参考了一些答案,需要先确保自己的库是对的。发现和我遇到的问题报错很相似。重新加载模型时出现的问题。 阅读详情
AI摘要

本地部署训练大语言模型时出现NotImplementedError报错,上网搜索可能是显存不足,运行nvidia - smi时显卡瘫痪,发现有僵尸进程占用GPU资源。解决方案包括强制结束进程、重启NVIDIA相关服务、重新加载驱动等,最后彻底重启服务器解决问题。

本地部署训练大语言模型报错NotImplementedError: Cannot copy out of meta tensor; no data! Please use torch.nn.Module.to_empty() instead of torch.nn.Module.to() 

上网搜索可能是显存不足

后来运行

nvidia-smi

输出(llama) (base) [root@localhost home]# nvidia-smi Unable to determine the device handle for GPU0000:09:00.0: Unknown Error

显卡直接瘫痪了,通过手动输出进程发现,

ps aux | grep -i nvidia
ps aux | grep -i python

进程 (PID 12824) 处于 僵尸进程 (defunct) 状态,不能直接 kill 结束

ps -o ppid= -p 12824
    1

进程 12824 的父进程 ID (PPID) 是 1,这意味着它的父进程是 init (或 systemd),所以 无法直接杀死。这是典型的“孤儿进程”,但它还是 defunct (僵尸进程),占用 GPU 资源。

解决方案:

1.尝试强制结束进程

sudo kill -9 12824
#然后
错误: NotImplementedError: Cannot copy out of meta tensor; no data!(多机多卡) 在 Deepspeed 分布式训练中,模型的初始化和权重加载可能需要特殊处理,因此需要使用。按照原博的解释,这个错误通常是由于 Deepspeed 在使用自定义权重初始化时出现问题,而这些初始化可能需要从先前的训练中加载权重。在模型文件中,有个modeling_chatglm.py文件,大概750多行左右,将默认的empty_init=True,改为empty_init=False,即可。参数来指定在加载权重之前不要将权重矩阵初始化为空。,以便在加载权重之前,权重矩阵不会被初始化为空。 阅读详情

相关推荐

LLaMA 3 QLoRA微调实战:从显存约束到llama.cpp部署

QLoRA(Quantized Low-Rank Adaptation)是一种面向大语言模型轻量微调的关键技术,其核心在于通过4-bit量化与低秩矩阵协同,在大幅降低显存占用的同时保持参数可训练性。相比标准LoRA,QLoRA将适配器权重进一步压缩为NF4格式,并嵌入反量化计算图,从而兼顾训练稳定性与部署兼容性。该技术显著缓解GPU显存墙问题——例如Llama-3-8B在单卡RTX 4090(24GB)上实现SFT成为可能,并原生支持合并导出,无缝对接llama.cpp等端侧推理框架。本文聚焦监督微调(SF

diaocuiguo2493的博客 475

ChatGLM多机多卡训练避坑指南:如何解决NotImplementedError: Cannot copy out of meta tensor错误

本文深入解析ChatGLM多机多卡训练中常见的`NotImplementedError: Cannot copy out of meta tensor`错误,提供多种解决方案,包括修改模型初始化参数、使用自定义初始化函数、Deepspeed专属配置以及PyTorch推荐的`to_empty`方法。帮助开发者高效解决分布式训练中的meta tensor初始化难题,优化训练性能。

n2o3p4的博客 224

Llama-2-70b量化后加载报错?手把手解决NotImplementedError: Cannot copy out of meta tensor问题

本文详细解析了Llama-2-70b量化后加载时出现的`NotImplementedError: Cannot copy out of meta tensor`错误,提供了多种解决方案,包括显式设备分配、升级关键库版本和修改模型加载方式。文章还分享了高级调试技巧和预防措施,帮助开发者高效解决PyTorch中的meta tensor问题。

weixin_29273849的博客 308

【Debug记录】Pytorch搭建神经网络时报错‘NotImplementedError’

raise NotImplementedError

Roaddd的博客 1672

解决Python3.8运行tornado项目报NotImplementedError错误

主要介绍了Python3.8运行tornado项目报NotImplementedError错误,本文给大家分享解决方法,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下

tensor_proto.raw_data().empty() || !tensor_proto.float_data().empty() || !tensor_proto.double_data()

应该是上采样 tensor_proto.raw_data().empty() || !tensor_proto.float_data().empty() || !tensor_proto.double_data().empty() || !tensor_proto.int64_data().empty() 报错代码: # -*- coding: utf-8 -*- import onnx import os import time import cv2 import numpy as np net = cv2.dnn.readNetFromONNX(r'onnx_model/0.onnx')

电表协议避坑指南:DLT645-2007与Modbus RTU的5大核心差异对比

本文深入对比了DLT645-2007与Modbus RTU两大电表通讯协议的核心差异,涵盖协议定位、数据地址、报文结构及实测性能。DLT645-2007作为电力行业标准,数据定义统一但效率受限;Modbus RTU作为通用协议,灵活高效但需依赖厂家点表。文章结合实测数据与开发经验,为不同场景下的协议选型与编程实践提供了清晰的避坑指南。

weixin_29166013的博客 110

基于陀螺仪航向反馈的轮式机器人PID直线控制

航向角控制是移动机器人实现稳定直线运动的基础技术,其本质是通过实时感知机体朝向偏差并动态调节驱动输出,以抵消机械不对称、轮径误差等固有扰动。该方法依托陀螺仪测量角速度并积分解算航向角,结合离散化PID算法生成补偿性PWM指令,在嵌入式平台(如STM32)上构建低延迟闭环。相比依赖编码器的速度闭环,它规避了轮径标定与安装偏心等误差源,显著提升低成本平台的工程鲁棒性与部署效率。典型应用场景包括教育机器人直线循迹、AGV基础导航模块开发及IMU-PID融合控制原型验证。

web39explorer的博客 1113

【OpenCV】复杂场景下的高精度圆检测实战(附完整代码)

本文针对OpenCV霍夫圆检测在复杂场景下易失效的问题,提出了一套基于轮廓分析的高精度圆检测实战方案。通过图像预处理、轮廓发现及多轮几何筛选(面积、周长、椭圆拟合、多边形逼近),有效排除噪声和类圆干扰物,显著提升复杂场景下的检测鲁棒性,并附完整可调参的Python代码实现。

weixin_29095587的博客 205

[QDS]从零开始,写第一个Qt Design Studio到程序调用的项目

最近在使用Qt Design Studio进行开发,但是简中网上要不就是只搜得到Qt Designer(Qt Creator内部库),要不就只搜得到一点营销号不知道从哪里搬来的账号,鉴于Qt Design Studio是一个这么强大的软件,自然是需要来进行一下小小的实践的。所以开了这篇文章,方便没有使用过Qt Design Studio 和 QML的开发者也可以快速上手QDS(Qt Design Studio)。在本文中,你将学会如何使用QDS开发一个简单的QML程序,与你的C++后端代码进行交流。

Andius的博客 8223

Petalinux实战:3种方法调试AXI UART Lite设备(含minicom/screen/直接寄存器操作对比)

本文详细介绍了在Zynq平台上使用Petalinux调试AXI UART Lite设备的三种实用方法:用户空间工具(minicom/screen)、应用层程序(termios配置)和底层寄存器直接操作。文章对比了各方法的优缺点与适用场景,并重点解析了设备树配置、驱动加载等关键环节,帮助开发者快速定位并解决串口通信中的常见问题。

weixin_29190169的博客 435

【数据集实例】CMIP6气候模式数据下载-以河东地区为例

以河东地区为例,介绍CMIP6数据下载及处理

WW、forever的博客 4965

雷电模拟器+ADB全栈爬虫实战:绕过APP反爬的终极方案与2026最新踩坑指南

现在主流的模拟器爬虫方案有三种,我对比了它们的优缺点,最终选择了雷电模拟器+纯ADB控制方案优势劣势适用场景Appium生态完善,支持多平台重依赖,启动慢,反爬检测率高大型项目,需要跨平台Airtest图像识别强大,上手简单性能差,多开不稳定,反爬检测率高简单的自动化测试纯ADB轻量无依赖,速度快,反爬检测率极低需要自己封装工具工业级爬虫,追求稳定性和反爬逆向接口速度最快,性能最好开发成本高,维护成本高接口简单,反爬弱的APP为什么选雷电模拟器?

专注于Python爬虫开发,分享爬虫技巧、项目实战与反爬经验,使用Scrapy、BeautifulSoup等工具,解决数据抓取难题。 1998

100天精通Python(基础篇)——第1天:Python从起源到应用的全面解析(附上Python、PyCharm、VSCode下载安装详细教程)

100天精通Python(基础篇)——第1天:Python从起源到应用的全面解析(附上Python、PyCharm、VSCode下载安装详细教程)

努力让自己发光,对的人才能迎着光而来 101万+

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

上一篇: 交叉注意力cross attention
唐果然
博客等级 码龄5年 553粉丝 58原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

唐果然

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址