基础篇:UNet中的基础注意力机制
1. 时序注意力(Temporal Attention)
时序注意力专为视频分割和时间序列数据设计,通过计算帧间或时间步间的相关性来捕捉动态信息。在UNet中实现时,通常在跳跃连接处加入时序注意力模块:
class TemporalAttention(nn.Module):
def __init__(self, channels):
super().__init__()
self.temp_conv = nn.Conv3d(channels, channels, kernel_size=(3,1,1), padding=(1,0,0))
self.softmax = nn.Softmax(dim=2)
def forward(self, x):
# x shape: [B, C, T, H, W]
temp_feat = self.temp_conv(x) # 时间维度的卷积
attention = self.softmax(temp_feat)
return x * attention
实验表明,在心脏MRI视频分割任务中,引入时序注意力的UNet相较于基准模型在Dice系数上提升了2.3

订阅专栏 解锁全文
224



被折叠的 条评论
为什么被折叠?



