ImportError: cannot import name ‘AutoTokenizer‘ from ‘modelscope‘解决方案

AI摘要

本文针对使用modelscope时出现'ImportError: cannot import name AutoTokenizer'的问题,提出了解决方案。经验证,该问题是由于缺少transformers库导致的,安装此依赖后即可正常导入并使用AutoTokenizer,适用于Python环境下模型加载场景。

  大家好,我是爱编程的喵喵。双985硕士毕业,现担任全栈工程师一职,热衷于将数据思维应用到工作与生活中。从事机器学习以及相关的前后端开发工作。曾在阿里云、科大讯飞、CCF等比赛获得多次Top名次。现为CSDN博客专家、人工智能领域优质创作者。喜欢通过博客创作的方式对所学的知识进行总结与归纳,不仅形成深入且独到的理解,而且能够帮助新手快速入门。

  本文主要介绍了ImportError: cannot import name ‘AutoTokenizer’ from 'modelscope’解决方案,希望能对使用Python的同学们有所帮助。

1. 问题描述

  今天在使用modelscope加载模型时,却出现了ImportError: cannot import name ‘AutoTokenizer’ from 'modelscope’的错误提示,具体报错信息如下图所示:

在这里插入图片描述

  在经过了亲身的实践后,终于找到了解决问题的方案,最终将逐步的操作过程总结如下。希望能对遇到同样bug的同学们有所帮助。

在这里插入图片描述
在这里插入图片描述

  在开始正文之前,我想对关注本专栏的朋友们说几句。技术写作是一场孤独的修行,但读者的反馈是我持续输出的最大动力。本专栏的文章,都是我基于实际项目经验,剥离了繁杂的业务逻辑,提炼出的核心技术内容。我希望通过文字的复现,不仅带大家跑通代码,更重要的是养成一种“从问题出发,寻找最优解”的工程思维。

2. 解决方案

  经过调研和实践后发现,modelscope

加载预训练模型遇到transformers的问题 问题1: urllib.error.URLError: urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] 这是由于ssl验证的问题,在.py 文件的开头导入ssl包,创建默认验证: import ssl ssl._create_default_https_context = ssl._create_unverified_context 问题2: ImportError: cannot import name ‘AutoModelWithHeads’ from ‘ 阅读详情

相关推荐

MiniMax Music 3开源音乐模型本地部署实战指南

音乐生成是AIGC领域的热门方向,但开源模型往往难以兼顾人声、乐器与结构完整性。文本到音乐生成技术通过自然语言描述直接合成完整歌曲,其核心在于语义理解与声学建模的协同。掌握这类模型的本地部署,能帮助创作者摆脱闭源平台的限制,自由生成定制化配乐。MiniMax Music 3作为开源音乐模型的代表,在人声质感、多乐器分离和长时长结构稳定性上表现突出,适合独立音乐人、游戏音频设计师及AI Agent开发者。本文从环境配置、模型下载到推理脚本编写,完整演示了在本地GPU上运行该模型的流程,并提供了常见问题的排查思

weixin_33882452的博客 406

Qwen3-TTS CPU部署实战:魔搭+OpenVINO端到端加速指南

语音合成(TTS)是AI落地的关键技术之一,其核心在于将文本高效、稳定地转换为自然语音。基于Transformer架构的TTS模型(如Qwen3-TTS)虽效果优异,但参数量大、计算密集,直接在CPU上运行常面临高延迟、高功耗与内存瓶颈。OpenVINO作为面向Intel硬件的深度学习推理引擎,通过模型图优化、FP16量化、算子融合与内存布局重排等技术,显著提升CPU推理效率;而魔搭社区(ModelScope)则提供标准化封装、开箱即用的可信模型服务,涵盖Tokenizer适配、精度声明与后处理集成,大幅降

weixin_30897079的博客 433

云GPU部署深度学习模型全攻略:从选型到跑通实践

云计算为深度学习提供了弹性算力,而GPU作为加速核心,其云端部署已成为AI工程化落地的关键环节。理解GPU服务器与托管式AI平台的差异,掌握驱动、CUDA与PyTorch的环境匹配原理,是避免部署陷阱的基础。通过合理选型,如AutoDL或RunPod,结合预置镜像与Docker容器化,能大幅缩短从下单到模型运行的时间。从SSH登录、版本验证、权重下载到推理服务封装,每一步都有标准化路径。本文从环境配置的通用方法切入,聚焦GPU云平台的实操链路,为开发者提供一份跨越选型、环境搭建、模型验证与API部署的完整参

weixin_33922672的博客 362

Qwen 3.8-Max Preview接入全链路:从环境部署到生产落地

在大模型应用开发中,模型部署与推理是工程落地的关键环节。无论是调用本地开源模型还是云上API,开发者都需要遵循从环境准备、模型加载、推理验证到服务封装的完整链路。本文以Qwen 3.8-Max Preview为例,梳理了预览版模型在Linux服务器上的部署要点,包括CUDA/PyTorch版本对齐、vLLM服务启动、OpenAI兼容接口调用,以及FastAPI封装和Java侧集成。同时,也讨论了基于LoRA的轻量化微调策略、向量库Milvus的接入方式和生产环境中的监控限流、灰度升级等工程问题。无论你是在做

weixin_30420305的博客 425

本地部署Llama-3中文微调全链路:从下载到生产集成

大语言模型本地化部署不是简单下载安装,而是涵盖模型加载、Tokenizer对齐、显存友好微调、环境确定性构建及生产服务封装的系统工程。核心在于解决中文语义适配不足、Git LFS大文件下载失效、CUDA与PyTorch版本隐式绑定、LoRA量化兼容性等底层技术卡点。本文聚焦Meta-Llama-3-8B-Instruct在消费级GPU上的中文能力重建,覆盖魔搭/HF双源下载校验、conda+Python 3.10环境锁死、LLaMA-Factory Web界面7层白屏排查、512长度截断与rank=16的显

weixin_34151004的博客 325

腾讯混元Hy3与GPT-5.6技术解析:从MoE架构到代码生成实战

混合专家(MoE)架构作为大语言模型的核心技术之一,通过将不同子任务分配给专门化的专家网络,实现了计算效率与模型性能的平衡。其技术原理基于稀疏激活机制,在保持庞大参数规模的同时显著降低推理成本。这种架构在代码生成、文档处理等场景展现出巨大技术价值,能够精准理解编程语法和复杂业务逻辑。以腾讯混元Hy3为代表的MoE模型采用2950亿参数设计,支持256K上下文长度,在软件开发、金融建模等生产力任务上表现突出。结合GPT-5.6的代码优化能力,开发者可通过量化技术和API集成实现高效部署,为AI应用开发提供新的

weixin_33843409的博客 390

使用modelscope加载报错:ImportError: cannot import name ‘AutoTokenizer’ from ‘modelscope’...如何解决?| 提供多种解决方案

🏆本文收录于 《全栈Bug调优(实战版)》 专栏,该专栏专注于分享我在真实项目开发中遇到的各类疑难Bug及其深层成因,并系统提供高效、可复现的解决思路和实操方案。无论你是刚入行的新手开发者,还是拥有多年项目经验的资深工程师,本专栏都将为你提供一条系统化、高质量的问题排查与优化路径,助力你加速成长,攻克技术壁垒,迈向技术价值最大化与职业发展的更高峰🚀!

**My Coding Family** 1245

天气查询 Agent 进阶教程

本文是本地Qwen3-4B天气查询Agent进阶教程,分模型下载、API服务、LangGraph智能体三脚本搭建完整链路,遵循循序渐进学习路径。文档讲解软硬件环境配置、Python基础、FastAPI接口、大模型推理与Agent工具循环逻辑,提供全套代码、运行步骤与排错方案,搭建兼容OpenAI标准、可自主调用天气API的本地AI问答程序。

桃李不言下自成蹊 474

奔图M6700-M6800-M7100-M7200 系列打印机拆解教程?

奔图M6700-M6800-M7100-M7200 系列打印机拆解教程?

m0_58098052的博客 1627

碳酸钙岩石酸蚀酸溶COMSOL建模:非均质对酸蚀通道的影响

多孔介质中的流动与化学反应耦合是石油工程和地下资源开发中的核心问题,酸液与岩石矿物的溶蚀过程直接关系到酸化增产效果。在碳酸盐岩储层中,盐酸与方解石的反应速率极快,酸液会优先沿高渗透区域推进,形成指状酸蚀通道,即wormhole。传统均质模型难以描述这种局部溶蚀行为,而数值模拟工具COMSOL通过耦合达西定律、稀物质传递与孔隙度演化方程,能够定量刻画酸蚀路径与渗透率的变化规律。工程实践中,模拟结果可用于预测酸液突破体积、优化注入排量,并为基质酸化方案设计提供依据。本文围绕碳酸钙岩石酸蚀酸溶COMSOL模型,探

weixin_29009401的博客 331

IEEE ACCESS Please note that all author names should be listed in English.(所有作者名需用英文名列出)

很奇怪哈,我明明手稿和提交页面作者都是用的英文,但是为什么还是会提示我没用英文呢?后来给编辑发消息,回的很快,他给我发了一个截图,确实是出现中文,但是我还是不知道为啥会出现中文。直到晚上回寝室洗澡的时候忽然想起来了是不是orcid的原因,因为它会强制作者绑定一个orcid账号,而我的orcid账号的名字刚好是中文的。当然这个只是我的一个猜想,但是我觉得可能性很大。我的第二篇论文已经投稿了快三个月了,效果非常的不好,所以我打算转投IEEE ACCESS了,希望这里可以给我一点好的建议。

kuyecsl的博客 3317

LingBot-Depth 2.0:突破机器人视觉瓶颈的深度估计技术解析

深度估计作为计算机视觉的核心技术,旨在从二维图像中恢复三维空间信息,其原理基于立体匹配、结构光等几何计算方法。这项技术的价值在于为机器人、自动驾驶等系统提供精确的环境感知能力,解决传统深度相机在透明物体、镜面反射等复杂场景下的失效问题。通过大规模数据训练和创新的视觉基座模型,深度估计技术在边缘清晰度、细小物体识别等方面实现突破,广泛应用于机器人导航、工业质检等场景。蚂蚁集团灵波科技发布的LingBot-Depth 2.0模型,将训练数据规模从300万扩展至1.5亿,在深度补全精度和复杂场景鲁棒性上显著提升,

weixin_31100517的博客 249

基于Matlab的MIMO通信系统仿真_Simulink实现

瑞利衰落信道中使用空时分组码的BPSK调制的BER 1、2发1收 参数设置: 双极性信号元+1和-1,每符号含1bit; 采样时间=符号时间=1s; 采用基于数据帧的仿真计算模式,每帧中有2个采样值; 仿真时间=出现100个误码后停止仿真; 随机整数种子=22; Jakes衰落模型中每个信道上的多普勒频移=0.01Hz; 输人信号功率=2W; Alamouti码:两根发送天线,一根接收天线(分集阶= 2); 平均信道信噪比= 18dB; 仿真得出的误码率统计BER =0. 00017. 2、2发

太阳帅帅的博客 9692

FairyGUI深度解析:Unity复杂UI开发的高效解决方案与性能优化

在Unity游戏和应用开发中,UI系统的性能与开发效率是核心挑战。原生UGUI的组件化模型在应对复杂、动态界面时,常面临Draw Call过高、层级管理臃肿的问题。其原理在于,每个UI元素对应一个GameObject,渲染合批受限于Transform层级与材质状态,易导致性能瓶颈。FairyGUI(FGUI)作为一种专业的第三方UI解决方案,其技术价值在于采用了截然不同的“舞台-显示对象”渲染模型。该模型通过内部轻量级对象管理与自主合批系统,实现了极高的运行时效率与Draw Call优化。在应用场景上,FG

weixin_31315567的博客 352

【比较器仿真】

比较器tran noise、pnoise仿真、噪声仿真、MC失调仿真

pickweb的博客 1万+

破晓之光:GTK#框架让C# WinForm程序跨平台运行的终极指南

GTK#框架的出现,彻底打破了C# WinForm只能在Windows上运行的桎梏。

墨夶的博客 605

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

上一篇: safetensors_rust.SafetensorError: Error while deserializing header: MetadataIncompleteBuffer解决方案
下一篇: AIGC实战之如何构建出更好的大模型RAG系统
爱编程的喵喵
爱编程的喵喵 优质创作者: 人工智能技术领域 优质创作者: 人工智能技术领域 领域专家: 编程框架技术领域 领域专家: 编程框架技术领域
博客等级 码龄8年 3万+粉丝 1102原创
评论 21
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

爱编程的喵喵

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址