在摩尔线程 MTT S80 上使用 Ollama 进行 DeepSeek R1 蒸馏版模型推理

AI摘要

本文介绍了 Ollama 工具,它可简化和优化大语言模型的管理与部署。详细说明了在 x86 架构的 Ubuntu 系统上,使用 Ollama 在摩尔线程 MTT S80 上进行 DeepSeek R1 蒸馏版模型推理的步骤,包括配置容器运行时、拉取镜像并运行容器、监测 GPU 状态以及打开 WebUI 界面。

什么是 Ollama?​

Ollama 是一个工具和平台,专注于简化和优化大语言模型( LLM )的管理和部署。它主要提供了一种方便的方式,在本地或边缘设备上运行、管理和调用大型语言模型,同时通过其特有的 Docker 集成和 API 接口,使得 LLM 的使用更加灵活、轻量且安全。

Ollama 因为其本地化、轻量级和灵活性,成为一种在多个环境中管理和部署 LLM 的理想工具。

使用 Ollama 进行 Deepseek R1 蒸馏版模型推理​

以下代码运行在 x86 架构的 Ubuntu 20.04/22.04 系统。

配置容器运行时​

请参考

相关推荐

摩尔线程官方开发者论坛上线公告

新论坛旨在提升开发者获取资源与反馈问题的体验。在摩尔线程开发者社区内,即可获取资源、阅读文档、反馈问题,无需跨站点跳转。论坛采用统一的摩尔线程账号(MTID)登录。后续问题反馈与技术交流,请移步新论坛发帖,官方技术人员将在此答疑;CSDN 专区的历史帖子仍可查阅。新论坛刚上线,难免仍有不足,欢迎在论坛内反馈。摩尔线程开发者社区 2026 年 9 月。

摩尔线程blog中心 150

Day-0支持|摩尔线程率先完成腾讯Hy4系列大模型适配

在推理性能层面,摩尔线程围绕Hy4系列的残差连接、注意力计算、量化与MoE路由热点,将原本分散的逐算子实现收敛为可捕获、可复用的融合算子,大幅削减中间张量读写与内核启动开销。摩尔线程旗舰级AI训推一体智算卡MTT S5000已完成两款模型的Day-0极速适配与高效运行,既体现了摩尔线程MUSA软件栈对前沿大模型演进的敏捷响应能力,也验证了国产全功能GPU承载超大参数、超长上下文前沿模型的工程实力。未来,摩尔线程将持续深耕MUSA软件生态,紧跟前沿大模型迭代节奏,让新模型“发布即适配”成为常态。

摩尔线程blog中心 285

摩尔线程创新接入方法,强化学习框架支持进入上游生态

实测显示,在MUSA环境下,slime可稳定跑通Qwen3-30B-A3B-Instruct-2507级别MoE架构模型的后训练全流程,流畅支撑样本生成(Rollout)、策略训练、权重实时热更新与周期性评估等关键环节。以“硬件加速统一抽象”这一创新接入方法为起点,摩尔线程将继续与社区深度协作,把国产算力在强化学习后训练中的工程经验不断回馈社区,推动更多框架与场景接入,并与开发者保持开放互动,让开发者无需关心底层差异,专注于模型与算法的创新。新增硬件后端时,只需在抽象层下实现对应后端,无需改动框架主干。

摩尔线程blog中心 312

Day-0支持|摩尔线程完成商汤日日新SenseNova Loop-9B模型适配

摩尔线程此前已完成多款主流开源模型在核心算子、缓存、通信和运行时等方面的基础设施建设,结合整体适配优化经验,面对SenseNova Loop-9B的诸多特点,如共享循环模块、循环计算中引入的mHC信息传递机制、混合注意力机制,团队复用SGLang、Triton-MUSA、MATE、MCCL等成熟能力,快速完成适配。依托全功能GPU算力底座,充分释放硬件潜能,携手商汤共同挖掘参数共享的更多潜能,以更灵活的计算方式、更高的参数效率,持续突破模型能力与推理效率的边界。

摩尔线程blog中心 180

MUSA SDK v4.3.10版本发布

v4.3.10是4.3.x分支上的重要迭代版本,用于持续支撑大规模AI推理及训练业务,面向仍在4.3.x线上运行的开发者提供持续维护。摩尔线程正式发布MUSA SDK v4.3.10,该版本聚焦驱动稳定性、运维可观测性与算子正确性,并同步更新Runtime、通信库及生态配套组件,建议开发者成套升级以避免组件错配。本版本提升了PCIe热移除、掉卡恢复及rmmod mtgpu等场景下的驱动稳定性,并优化用户容器退出后的GPU显存自动释放机制,进一步提升长时间运行与热插拔场景下的可靠性。

摩尔线程blog中心 244

精英训练营丨第三期:从零构建大模型API服务,vLLM多模态部署与调度实战

摩尔线程blog中心 250

摩尔线程完成Kimi K3.1 Pro训练适配,打通万亿级多模态大模型训练链路

训练方案保留 NeMo AutoModel 原生训练流程,通过 FSDP2 把参数、梯度与优化器状态按 rank 均匀切分:前向与反向在进入分片单元时按需汇聚完整参数,计算后释放,梯度归约后按分片留在各卡上,优化器仅更新本地分片,使单卡承载的参数与优化器状态占用随数据并行度下降。通过统一模型配置、数据准备、启动入口和训练观测,摩尔线程持续沉淀可复用的适配能力,将一次性的模型移植过程整理成有固定步骤的工程流程,帮助开发者更快搭建实验,把精力集中于模型、数据与训练策略。

摩尔线程blog中心 425

MUSA开发者大赛丨算子挑战赛S3赛季正式开启!

TileLang是一款基于张量分块(Tiling)抽象的高性能算子编程语言,可用类Python语法以接近数学公式的方式描述计算意图,Layout推导、流水线排布等底层优化由编译器自动完成,DeepSeek的研发已用它进行算子原型设计与性能验证。稀疏注意力与MoE已成为当前主流大模型的两条主干技术路径:前者负责为每条输入筛选出真正需要参与计算的历史信息,并把结果换算成可以直接访问的显存地址,决定了稀疏化到底能省下多少计算;后者负责为每条输入挑选合适的专家并完成计算,是MoE模型推理算力开销的主要来源。

摩尔线程blog中心 232

Day-0支持|摩尔线程率先完成MiniMax H3-Image图像生成模型适配

此次面对MiniMax H3-Image,团队结合丰富的视觉生成模型优化经验,高效复用SGLang、MATE、MCCL等成熟组件能力,极速完成适配,同时也为后续更多生图、生视频模型的Day-0适配奠定了基础。MiniMax H3-Image是一款衍生自H3的图像生成模型,具备文本生成图像、图像参考和图像编辑能力。同日,摩尔线程基于AI训推一体智算卡MTT S5000及MUSA软件栈,率先完成对该模型的极速适配,再次验证全功能GPU配合MUSA软件生态,对各类前沿模态模型的快速响应与稳定支撑能力。

摩尔线程blog中心 203

定档12.29-30!2026摩尔线程MUSA开发者大会来了

摩尔线程blog中心 24

Day-0支持|摩尔线程完成3万亿级参数Kimi-K3.1 Pro适配,支持文本与图片推理

团队基于SGLang-MUSA承接上游模型实现,并通过MATE算子库、Triton-MUSA、TileLang-MUSA及MTCC编译器,完成新架构关键计算路径的迁移与接入,将社区模型代码转化为MTT S5000上的实际推理服务。后续,摩尔线程将持续推进Kimi-K3.1 Pro在MTT S5000上的性能优化,并围绕核心算子、显存管理与多机通信持续开展优化,进一步提升模型运行效率与稳定性,为开发者提供更具性价比的Token服务,推动前沿模型在国产GPU的部署与应用。

摩尔线程blog中心 261

未来科学家论坛:摩尔线程开发者计划加速科研创新

TaiFold-HT复用同一靶点的计算结果,提高批量候选的筛选效率,实测显示,端到端加速2到4倍,在56个评测靶点上,其预测结果与当前主流开源工具Boltz-2的虚拟筛选结果AUROC皮尔逊相关系数达到0.944,一致性表现优异。讲授人工智能课已经十年。ProtCell用于在计算机中提取细胞状态,预测蛋白质的表达强度,汇集约3.8亿个细胞、98个数据集用于预训练与评估,可将不同实验中部分重叠的蛋白测量映射到同一表示空间,推断未测蛋白表达水平与细胞精准分类,为药物研发、临床应用提供基础支撑。

摩尔线程blog中心 244

摩尔线程携手众智FlagOS社区完成对MiniCPM系列新模型的极速适配,精度对齐国际主流GPU

是MiniCPM家族首个专用OCR系列模型,包含两个模型:MiniCPM-OCR 1.0(1.3B)面向扫描、拍照、弯曲、倾斜和翻拍等真实文档场景,支持文字、公式、复杂表格解析与关键信息抽取,输出结构化Markdown;近日,依托众智FlagOS社区,摩尔线程旗舰级AI训推一体智算卡MTT S5000完成对面壁智能MiniCPM系列新模型的极速适配,覆盖MiniCPM-V4.7(35B-A3B与1B)、MiniCPM-OCR 1.0(1.3B)及MiniCPM-OCR Jev(2B)。

摩尔线程blog中心 353

精英训练营丨第二期:本地文生图推理,基于GGML的stable-diffusion.cpp实践

摩尔线程blog中心 234

MTT AIOS丨1.6.1系统更新

本次更新涉及系统基础能力与桌面交互、系统配套能力与工具命令、核心组件、应用扩展,进一步提升系统易用性与应用丰富性,适用于MTT AIBOOK与MTT AICUBE。• 游戏:OpenRA-RedAlert、SuperTuxKart、0 A.D.、Warzone 2100、韦诺之战、Xonotic。• AiMail、Chrome、微信、MUSACODE、安卓容器等核心配套组件同步完成版本更新,修复已知问题,提升稳定性与兼容性。• 金融:同花顺、Wind 金融终端、大智慧投资、东方财富。• 支持在线更新壁纸。

摩尔线程blog中心 193

中国科学院大学中丹学院师生走进摩尔线程,探讨AI时代的算力产业与创新生态

丹麦奥胡斯大学Torben Andersen副教授谈到,丹麦不少大企业的企业学院以内部培训为主,而摩尔学院面向开发者、高校和科研团队开放,这为他的研究提供了新的观察视角。杨朦晰副教授介绍,中丹学院创新管理项目设有企业挑战课题,由中外学生组成跨文化小组,研究企业提出的真实问题,并在期末进行路演。他表示,中国AI的发展和摩尔线程的生态是同学们关注的方向,后续可围绕相关议题继续交流。摩尔学院将以本次访学为契机,与中丹学院建立合作关系,推动产业一线的真实问题走进课堂,在产教融合中培养面向AI时代的国际化创新人才。

摩尔线程blog中心 238

万卡万亿参数模型训练底座:摩尔线程开源Megatron-MUSA-Titan

依托Torch-MUSA对PyTorch的集成与MUSA软件栈的兼容能力,开发者可结合Megatron-LM、slime、miles官方仓库开展训练,复用社区已有的模型实现、训练流程与配置选项,官方代码无需修改即可在摩尔线程全功能GPU上运行,获得一致的开发体验。训练能力的持续供给,离不开与开源生态的协同演进。未来,摩尔线程将持续完善MUSA平台的大模型训练能力,加强与训练框架、强化学习框架和开源社区的协同演进,携手开发者、合作伙伴和开源社区,共同推进国产全功能GPU大模型训练生态的繁荣发展。

摩尔线程blog中心 354

Day-0支持|摩尔线程率先完成MiniMax M3.1 Flash大模型适配

作为新一代Flash模型,M3.1 Flash在Agentic任务、编程、Computer Use及网络安全能力等方面实现了显著的代际提升,同时线上推理速度提升了近3倍,日常使用场景下的输出速度可达200+TPS,并降低了Agentic任务的综合使用成本达70%。后续,摩尔线程将持续推进MiniMax M3.1 Flash在MTT S5000上的性能优化,为开发者提供更快响应、更稳运行、更低成本的Token服务。10月23日,MiniMax开源新一代原生多模态大模型。

摩尔线程blog中心 248

报名开启|2026 GAI+C「未来科学家」论坛,邀你共探国产算力驱动下的科研新未来

摩尔线程blog中心 238

摩尔线程开源四大通信库 构建完整MUSA通信栈

MCCL是面向单机及跨节点多GPU场景的高性能通信库,提供集合通信、点对点通信与远程内存访问能力,结合拓扑感知、通信路径优化和计算通信重叠,为分布式训练、推理及高性能计算提供高效通信支撑。MTSHMEM面向多进程、多节点GPU作业,提供基于PGAS模型的单边通信、同步、原子操作和集合通信能力。未来,摩尔线程将持续完善MUSA平台的通信能力,加强与编译器、运行时、分布式框架和AI应用的协同演进,携手开发者、合作伙伴和开源社区,共同推进MUSA通信生态的繁荣发展。,形成覆盖底层访问到专家并行的完整通信栈。

摩尔线程blog中心 338

摩尔线程 2027 届全球校园招聘「浙江大学站」

摩尔线程blog中心 56

斩获AI顶会NeurIPS 2026!摩尔线程前沿成果ReorgGS:以极小工程改动,提升3DGS渲染画质与效率

整个过程不改动渲染器与损失函数,也不引入新的神经网络模块,开发者可以保留已经搭建的渲染与训练组件,无需为此重新设计整套系统。方法将已训练模型视为描述场景的概率分布,从中重新采样高斯中心,再利用局部近邻估计形状与方向,以较低不透明度初始化。已有模型学到的场景信息由此成为重组的依据,而高斯之间的遮挡与重叠关系得到重建,相当于为同一场景换一套更利于优化的参数坐标。作为计算机图形学与三维视觉领域当前最受瞩目的前沿方向之一,3DGS虽能实现高质量实时渲染,但其训练后期的参数优化瓶颈一直是业界面临的技术难题。

摩尔线程blog中心 427

精英训练营丨第一期:从零跑通本地大模型,Ollama与llama.cpp实操

摩尔线程blog中心 218

国芯国模丨EvoPhys-World x MTT S5000原生全流程训练实践白皮书发布

MiniMax-H3的推理、SFT训练与多机扩展在MTT S5000上的稳定运行,意味着新一代世界模型基座可以在国产算力平台上完成评估与定制训练,世界模型升级基座时,训练也能继续在同一平台上进行。世界模型常以视频生成模型为基座,基座模型提供通用的画面与时序生成能力,世界模型在此基础上结合动作与交互数据继续训练,学习动作如何改变场景。本次实践以TI2V-5B为基础,在MTT S5000与MUSA软件栈上完成模型计算迁移与多机训练,为视频生成模型的定制训练、以及以其为基座的世界模型训练提供实践参考。

摩尔线程blog中心 202

Day-0支持|摩尔线程率先完成阶跃星辰Step 5 Preview大模型适配

针对 Step 5 Preview的混合注意力结构(3层512-token滑窗+1层全注意力),在SGLang-MUSA上完成了模型与稀疏注意力后端适配。同日,摩尔线程旗舰级AI训推一体智算卡MTT S5000及MUSA软件栈完成对该模型的Day-0极速适配与高效运行,充分体现了摩尔线程紧跟前沿大模型迭代的敏捷适配能力,也再次印证了国产全功能GPU能够为超长上下文的Agentic模型提供可靠的算力底座。未来,摩尔线程将持续深耕MUSA软件生态,紧跟前沿大模型迭代节奏,让新模型“发布即适配”成为常态。

摩尔线程blog中心 412

MTT AIOS 1.6.0发布|内核更新、推理更快、AI更好用

针对Qwen3-30B-A3B、Qwen3.6-35B-A3B多款主流模型的实测数据显示,长文本场景下TTFT(首token生成时延)显著降低,Decode(解码吞吐)获得提升,尤其30B、35B参数模型长上下文解码性能改善显著,进一步提升端侧本地大模型的推理效率。AIMail预置了云端大模型API,用户无需配置即可使用DeepSeek-V4-Flash,全面支持AI邮件总结、AI智能回复、AI会议提取等多种实用能力,让邮件与会议处理更加高效。,用户可自定义合盖执行睡眠或熄屏模式,适配外接显示器办公场景;

摩尔线程blog中心 273

全面兼容!摩尔线程打通主流视频编解码生态,加速国产GPU多媒体应用落地

除编解码功能外,FFmpeg的MUSA后端还支持图像缩放、画面叠加、填充、色彩空间转换、缩略图生成和去隔行等视频滤镜操作,可广泛用于视频转码、帧抽取、视频分析和视觉AI预处理等场景,为多媒体应用提供编解码与帧处理工具。基于广泛的接口兼容与生态工具,开发者可沿用熟悉的视频处理接口和开发方式,在摩尔线程全功能GPU平台上继续使用原有的多媒体与AI应用,降低应用迁移成本,进一步拓展国产GPU在视频全产业链中的实际应用场景。相关能力覆盖视频编码、视频解码、硬件加速和转码处理等核心环节,为。

摩尔线程blog中心 360

获奖公告丨算子挑战赛S2赛季圆满收官

本次挑战赛围绕固定大规模矩阵乘法算例展开,参赛者在统一MUSA环境与Gitee提交流程下完成代码提交、编译、正确性验证与性能测试,并通过自定义kernel、矩阵分块、向量化访存、共享内存、流水化调度及底层汇编指令等方式,将算法层面的优化构想落地为真实硬件上的高性能实现,持续挑战MTT S5000的性能边界。本赛季聚焦摩尔线程旗舰级训推一体智算卡MTT S5000上的FP16 GEMM优化,吸引了来自高校、企业及技术社区的众多开发者积极参与,历经近一个月的激烈角逐,涌现出一批高质量的GEMM优化作品。

摩尔线程blog中心 285

摩尔线程打通Protenix-v2推理全链路 筑牢AI4S国产算力底座

针对Protenix-v2复杂的PairFormer、扩散采样、MSA预处理等计算链路,摩尔线程基于MUSA软件栈完成算子兼容与性能调优,解决科学计算场景下数值稳定性、访存密集计算等技术难点,打通从MSA输入、模型前向推理到pLDDT/PAE结果后处理的完整业务链路。来自北京大学/昌平实验室的曹云龙-简繁冲团队,根据科研任务场景独立测试了该优化版Protenix-v2,证实其相比在MTT S5000上直接开箱推理,推理速度提升100%以上,整体性能、精度与国际主流GPU相当。

摩尔线程blog中心 403

RLinf官方CI接入国产GPU:摩尔线程S5000具身RL训练曲线对齐国际主流GPU

围绕这一体系,摩尔线程向上依托夸娥智算集群与整合物理、渲染、AI三大引擎的MT Lambda仿真平台,向下协同端侧SoC芯片与开发者套件,形成云边端全栈布局,跑通从合成数据、训练到真机部署的工业闭环,并在四足机器狗与双足人形机器人上完成Sim2Real实测验证。模型落地后,真正的硬仗在真机控制端。未来,摩尔线程将持续携手RLinf框架与产业生态伙伴,以软硬协同推动国产算力与具身智能的深度融合,与开发者一起,把这条路走通、走宽、走实。——既需要训练“大脑”的AI算力,也离不开构建虚拟世界的渲染与仿真算力。

摩尔线程blog中心 314
上一篇: MTVerseXR云端异步渲染
下一篇: 摩尔线程 Round Attention:以轮次块稀疏性开辟多轮对话优化新范式
摩尔线程开发者
摩尔线程开发者 摩尔线程 官方账号 摩尔线程 官方账号
博客等级 码龄6年 5631粉丝 131原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址