摘要:把一份静态 PPT 变成带配音、带字幕、且"讲到哪指到哪"的讲解视频,难点从来不是让元素动起来,而是让"这一刻该动谁"这件事可编辑、可复现、可验证、可降级。本文拆解 ppts 的动效体系:它以用户 PPT 栅格图为画面事实源、以音频为唯一时钟、以结构化 IR 为契约,经历了"入场 → 注视 → 按旁白切拍"三次语义重定义,而地基始终未动。
引言:一个"全绿但不对"的时刻
有一次质量门禁全部通过:帧率对、音画同步对、元素在正确时刻出现、没有越界、没有空外链。把片子给人看,反馈是"看着不对"——第一张卡片讲完了,画面上的高亮框还停在第一张;页脚的页码被当成了第 7 个讲解对象;有两秒画面半边空着,旁白却在讲右边的表格。
这件事定义了 ppts 动效设计的整个方向:问"元素什么时候动"的门禁,回答不了"这一刻画面在讲什么"。后来补的 27 项观感判据,以及整套 BeatSheet 语义层,都从这次失败里长出来。
一、解决的问题
1.1 长旁白吃掉了动效
最初的做法是给 PPT 元素加入场动画:淡入、滑入、弹出、生长。技术上没问题,观感上失效——一页配 80 秒旁白,400ms 的淡入被摊到整页时长里,任意一秒的透明度变化不到 1%。用户看不到动画,只看到"会动的 PPT",而且是很慢的那种。
更糟的是当时的"挖洞"实现:为了突出元素,从整页底图里抠出该区域,再叠一层图层。在版式复杂的底图上,抠图留下马赛克色块、截断字形,画面已经破损,却难以自动检测。
1.2 “会动"不等于"在讲”
即便动效可见,语义也是错的。淡入只说明"这个元素出现了",不说明"旁白正在讲它"。真正有用的动效是注视的迁移:讲到"智能办公"时,高亮框应该在写着智能办公的那张卡上,而不是三秒前那张。
这要求系统理解旁白的句读、词级时间点和画面的语义对应关系——不是渲染问题,是语义规划问题。
1.3 双目标一致性与渲染成本
同一份规格要同时产出 MP4 和自包含 HTML 分享页,两者关键帧必须同帧。历史上出现过真实漂移:一个"只有焦点、零图层"的页面,MP4 里高亮框在正确位置,网页版却整页全亮——三处渲染路径各自写了 if (layers.length === 0) return 提前退出。接口 200、日志干净,只有逐帧比对才看得见。
成本同样现实:教学页按 Chrome 逐帧渲染,5 个注视点也要画 80 秒 × 30fps;24 分钟片子墙钟渲染 24–28 分钟。而主机只有 4 vCPU / ~3.6 GiB,页并发超过 1 就会 OOM。
1.4 AI 生成视频的边界
让大模型直接生成动画代码、CSS、ffmpeg 滤镜或资源地址,短期表现力强,长期代价是:不可审计、不可复现、无法在隐私模式下本地化、输出随时漂移。ppts 的选择是画一条硬红线——模型可以决定"谁在什么时候被看见",但不能决定"画面长什么样、怎么渲染"。
二、技术原理
2.1 边界:B + 薄 C
ppts 与"AI 生成动画视频"产品的根本分界:画面事实源是用户上传的 PPT 栅格图,系统不重建画面。它做的是"B + 薄 C 叠加":
- B:每页一张完整静图 PNG,文字与版式原样保留;
- 薄 C:在静图上叠一层由讲稿/旁白驱动的标注——白纱压暗、圈选、词级下划线、特写裁切;
- 明确不做:重建整页矢量图、回放源 PPT 的原生
p:timing、数字人 / 粒子 / BGM 卡点。
2.2 三条贯穿始终的不变量
| 不变量 | 内容 |
|---|---|
| 单一时间轴 | 页时长只来自音频:D_page = lead_in + Σ(段音频 + gap) + tail_hold,动画不得延长或缩短页 |
| 单一事实源 | 规格是 AnimationSpec,派生物是片段与成片;同一份 IR 同时驱动 MP4 与 HTML |
| 失败必降级 | 渲染服务不可用、单页超时、字体缺失、规格非法 → 静态图,不产生失败任务 |
第三条是产品承诺:动画是增强,不是前置条件。用户最差也能拿到一份带配音字幕的静态讲解视频。
2.3 分层架构
依赖方向是单向的:Go 核心不依赖媒体处理与应用层,也不认识任何 Node 概念;渲染器只认 IR,不认 PPT 与讲稿。渲染服务独立容器,不进 API 进程。
2.4 规格层:白名单而非自由创作
AnimationSpec 按 (租户, 项目, 源版本, 页, 语言) 隔离,内部是 Revision → Tracks[] → Clips[] 三层,带乐观锁与 draft → approved → locked 状态机。
catalog.json 是唯一动效来源,当前 9 种:入场 fadeIn / slideIn / pop / grow,强调 highlight / spotlight / bob / tilt,退场 fadeOut,另有 4 套预设。属性白名单只有 opacity / translateX / translateY / scale / scaleX / scaleY(V2.1 加 rotate)。缓动不以名称传递,而是烘焙成 CubicBezier 四个控制点数值——两端各自把"easeOut"映射到不同曲线,是双端漂移的经典来源。
Motion.Effect 只作审计留痕,渲染器绝不读它决定行为。新增动效的改动面被压缩到"catalog 一项 + 渲染组件一个 + 一条快照测试",核心链路零改动。
2.5 字级时钟与 BeatSheet
字级对齐数据(TTS 供应商时间戳、强制对齐、estimated VAD)其实早就在链路里,最初只服务字幕。节拍表把它接进了注视时钟:
TTS 时间戳 → 字级 cue(全局微秒)
├── 字幕逐行 cue(SRT / VTT / ASS)
└── BeatSheet 切拍(页内毫秒)→ 注视 / 词级下划线 / 逐字高亮
BeatSheet 是编译期内部 IR,不落库,不是第二套时间轴。落库会变成第二时钟,配音重对齐后必然失效。一"拍"只是音频钟上的注解:StartMs 必须落在页时长内,不得改页时长。
阶段 1 是纯函数生产者:按句读 。!?; 或相邻字符间 ≥400ms 的空隙切拍,用 Dice + LCS + token 混合打分把每一拍匹配到一个 PPT 元素,再按命名规则剔除页码、页脚、页眉等"伪讲解对象";可用注视不足两个时回退到均分,不硬造高亮框。
阶段 2 是 LLM 导演:阶段 1 判定无效时才介入,输出严格约束的 JSON——不许新造 id,不许输出代码、CSS、JS、ffmpeg 滤镜或资源地址,shot 只能取 gaze | hold,至少两个互异注视对象,超时 12 秒。导演永远不能让导出失败:无模型、超时、JSON 非法、校验拒绝,一律闭合回阶段 1。且它只在导出路径注入,打开编辑器预览时完全不跑模型——不把不确定性塞进交互路径。
2.6 编译层:为什么不做 Scene 模型
CompiledTimeline v1 描述整条片子:Timeline → Page[] → Layer / Focus / Shot / Annotation。页首尾相接不重叠,转场挂在后页开头并只占其开头。
一页内多次元素运动,今天由 Layers × Clips 就能表达;真正做不出来的只有"页内换底图",于是用 Shots 单独解决。引入 Scene 模型会同时解耦内容单元、时间单元、渲染单元与交互单元,牵动片段缓存、清单游标校验和按页取样——收益有限,代价是增量重渲体系返工。所以 Scene / Camera / Asset 的 schema v2 至今仍是规划,不是现状。
2.7 渲染:三桶分流与双端同帧
渲染按页分三桶,这是最大的工程改动:
| 桶 | 条件 | 方式 |
|---|---|---|
gaze | 教学注视页:无入场层、fade 转场、无 shots | 每个注视点渲一帧,一页一次 ffmpeg 拼接 + hold + 硬切,不进 Chrome |
still | 无运动静页 | 单张底图铺满 |
chrome | 有入场层 / shots / tilt / 逐柱生长 | 按页时长逐帧渲染 |
5 个注视点 ≈ 5 帧,而不是 80s × 30fps。Chrome 占比被做成可观测指标,教学导出中持续超过 20% 即告警。
shared/motion.ts 的求值与遮罩逻辑被三处共用:Remotion(导出)、编辑器预览、HTML 分享页。同规格下 HTML 关键帧与 MP4 的 SSIM 必须 ≥ 0.95——这条门禁抓到过上面提到的"零图层页全亮"漂移,修法是统一"是否需要图层舞台"的判定,而不是在三个入口各补一个 if。
2.8 门禁:机器指标 + 观感判据
四套体系各管各的:规格校验(动效白名单、锚点、时间边界、重叠)、IR 校验(帧率、画布、页时长、焦点矩形必带)、成品包门禁(同帧 SSIM、零外链、体积预算、可播放性、降级矩阵、页缝延续、埋点)、以及观感判据。
观感判据是被"门禁全绿、人看着不对"逼出来的。最初 14 项全在问"元素什么时候动",没有一组问"这一刻画面上有多少东西"。实测发现某页连续 9 秒空框、另一页右半边空 3.6 秒,补上内容覆盖与空框悬挂判据后,同一条片子从 14/14 全绿变成 3 项红。之后逐层扩到 27 项,其中两次连人眼都容易漏——四根柱子只讲了两根、两根柱同时满墨。
结论也写进了判据手册:审美、元素内部结构、元素间语义这三件事,打分表注定失效,只能靠视觉模型逐帧看或人并排评审。
三、动画效果
3.1 三次语义重定义
整套演进,本质是把"动"重新定义了三遍。每一次都由一次"不报错但结果不对"触发。
| 阶段 | "动"的定义 | 推翻它的证据 | 新约束 |
|---|---|---|---|
| V1.0 | 元素入场:淡入/滑入/弹出/生长 + 底图挖洞 | 复杂底图挖洞留马赛克与截断字;80s 旁白下 400ms 淡入每秒变化 <1% | 去残影底板;但默认词汇仍错 |
| 注视 V2.0 | 注视在旁白时钟上迁移:整页静图 + 矩形白纱 + 圈选 | 入场不是 bug,是默认词汇与旁白时钟不匹配;逐帧画 Chrome 吃掉尾段 | 默认改为注视模式、不挖洞、教学页走 look 链;已保存的入场规格再导出仍走入场 |
| 节拍表 V1.0 / V2.1 | 按旁白句读与词级时钟切拍 | 注视点均分导致"讲第三张卡,孔停在第一张";页码被当成第 7 个注视对象 | BeatSheet 编译期 IR;禁止按坐标重排时间;按命名规则剔除页码页眉;词级下划线、逐柱生长、表格逐行 |
三次修订没有动地基:规格层、IR 结构、渲染、合成、同帧门禁全部沿用,替换的只是"谁决定这一刻该看哪里"的生产者。语义可换,契约不动——这是这套设计最值得保留的性质。
3.2 具体呈现
- 注视白纱与圈选:非当前讲解对象被半透明压暗,当前对象保留亮度并有黄框;
- 词级下划线:旁白念到哪几个字,黄条跟到形状原文对应那一截;
- 逐柱生长 / 表格逐行:柱子从基线长出而不是从中心冒出,表格随旁白逐行揭示;
- LookCrop 特写:需要看清局部时切换归一化相机关键帧,只在带裁切的特写上运动,不做整页 Ken Burns;
- tilt 与跨页延续:
tilt是 0→8° 的强调倾斜(±20° 封顶),带 rotate 的页离开 look 链走逐帧渲染;同一元素跨页的动效由IsContinuation保持连续,盒位置变化时补一段静态Carry做过渡; - 注视间硬切:look 之间从交叉淡化改为硬切,避免"先切新框再闪回旧框"。
3.3 一个诚实的边界
逐段抽帧对标参考片后的差距构成:资产约 35% + 版式 20% + 镜头 15% + 运动质感 15% + 音频节奏 10% + 渲染引擎本身仅 5%。
换句话说,当前方案把主要精力放在了占比 5% 的渲染通道上,70% 的观感差距在资产、版式、镜头与节奏。即便补齐规划中的全部条目,模板化生成的上限也是"模板化精品",到不了设计师逐帧打磨的水准。因此 ppts 对外不称"AI 生成动画",而称"结构化模板 + 可编辑轨道 + 程序化渲染"。
四、后续改进
近期(已具备技术基础,按月推进):
- L3 矢量重绘:需要解析器输出字体、字号、颜色与对齐信息,才能把 PPT 元素变成可独立运动的矢量"演员";当前
vector-text资产模式尚未落地。 - Scene / Camera / Asset(schema v2):在隔离片段缓存与按页取样前提下,支持页内换底图和更自由的镜头语言。
- 分镜规划 Agent:
docs/PPT自动讲解工具-技术方案-V4.0.md§17 规划了"分镜规划 → SVG 资产 → Remotion"路线,目前仍停在文档层;落地时必须保留"模型只填受限 DSL、不产代码"的红线。 - 多轨音频:BGM、音效、ducking 与 beat grid,目前音频只有单一讲解轨。
- 观感自动化:把 27 项判据中可由视觉模型判断的部分自动化,降低并排人工评审成本。
重估条件(满足其一才启动对应大改):渲染吞吐提升到 3× 实时或预览支持"只渲改变点附近时间窗"时,重估"全片预览不做";解析器能提供完整排版属性时,重估 L3;出现更强且可控的端到端视频生成模型、或用户明确要求逐帧保真源动画时,重估"画面事实源是用户 PPT 栅格图"这一根本边界。
明确不做:回放源 PPT 原生 p:timing、数字人 / 3D / 粒子、LLM 产出任意代码或样式、拍表落库、第二套时间轴、把 CRF / preset / fps / 页并发做成配置项(4 vCPU 主机上并发超过 1 会 OOM,画质参数配置化等于给运维一把打崩生产的钥匙)。
五、开源与交流
ppts 已在 GitHub 开源,欢迎 issue、讨论与 PR,尤其欢迎在"讲哪指哪"的观感判据、矢量资产体系、以及真实讲稿样本上的反馈。
- 开源地址:https://github.com/F31/ppts
- 联系方式:jinfeng105@126.com
359



被折叠的 条评论
为什么被折叠?



