1. 双路径设计
Slow(慢通道)
- 低帧率,采样稀疏(例如 τ=4 → 每隔 4 帧取 1 帧)。
- 输入帧数少(例如 T=16)。
- 网络通道数多(宽,算力开销大)。
- 主要捕捉 语义、背景、外观 等慢变化信息。
Fast(快通道)
- 高帧率,采样密集(stride=1 → 每帧都取)。
- 输入帧数多(T_fast = α × T,例如 α=8 → 128 帧)。
- 网络通道数少(一般是 Slow 的 1/β,比如 β=8)。
- 主要捕捉 动作细节、快速运动 等快变化信息。
关键参数
-
τ (tau):Slow 的采样间隔(stride),如 τ=4 → 每隔 4 帧取 1。
-
T:Slow 输入的帧数,如 T=16 → Slow 输入 16 帧。
-
α (alpha):速度比,Fast 输入帧数 = α × T。
-
α 越大 → Fast 越“密集”,对动作捕捉更强,但计算量更大。
-
α 越小 → 更轻量,但动作捕捉能力减弱。
-
-
β (beta):通道比,Fast 的通道数 = Slow 的 1/β。
- 一般 β=8,即 Fast 的通道数只有 Slow 的 1/8。
时间跨度 (Temporal span)
-
Slow 和 Fast 覆盖同一个时间窗口(例如 64 帧):
-
Slow:从 64 帧里抽取 16 帧(stride=4)。
-
Fast:从同样的 64 帧里密集取帧(stride=1),并扩展成 128 帧输入。
5844



被折叠的 条评论
为什么被折叠?



