PyTorch天气识别实战:图像分类的数据分层、迁移学习与评估

本文详述基于PyTorch的天气图像分类全流程,涵盖数据分层采样、类别合并策略、Dataset/ DataLoader定制化实现、迁移学习骨干选型(ResNet18/MobileNetV3/EfficientNet-B0)、冻结微调三阶段策略、warmup+余弦退火、类别加权交叉熵、宏平均F1与混淆矩阵分析、TTA边界、预处理一致性保障及ONNX导出校验等关键技术点,聚焦真实场景落地中的数据偏差、域泛化与评估陷阱。

做天气识别的项目,我前后折腾了差不多两个月才把整套流程跑顺。第一次接到需求时,我脑子里想的其实很简单:拿 PyTorch 训一个图像分类模型,把晴天、多云、阴天、雨天、雪天这几类分开不就完了。真正动手之后才发现,麻烦根本不在网络结构上,而在两件更基础的事上——一是天气类别本身的视觉边界模糊得离谱,二是数据来源五花八门导致模型学到的其实是"拍摄风格"而不是"天气"。这篇文章就把我从数据整理、Dataset 编写、迁移学习选型、训练配置、指标评估到最终推理落地的完整链路拆开讲,中间会给出可以直接抄的代码片段和我自己返工过的坑。适合刚接触 PyTorch 图像分类、想拿一个真实场景练手的朋友,也适合已经在做分类任务但被"准确率很高却不能用"困扰的同学。

1. 天气识别最先撞上的墙:类别之间的边界

1.1 晴天、多云、阴天三类的像素重叠区

如果只做"雨天 vs 晴天"这种二元判断,任务其实不难,天空的颜色饱和度和整体亮度分布差异非常明显。真正难的是多类细分。我最初定义了五类:晴、多云、阴、雨、雪。跑完第一版模型,混淆矩阵里最刺眼的一组是"多云"和"阴天"互相错分,比例高得离谱。

原因很直白:这两类天气在单张静态图片里,视觉特征几乎就是同一片灰白色天空,只有云层的厚度和透光程度有细微差别。人类判断这两类往往还依赖时间、季节、地理位置这些上下文信息,而模型只看一张图。所以做类别设计时,一定要先想清楚业务侧到底需要多细的粒度。如果下游只是要判断"要不要开补光灯""要不要启动除雾",那把多云和阴天合并成一类"非直射光"是完全合理的,能省掉大量标注和调参成本。

我的做法是先把原始五类做一个合并实验:把多云和阴天合成"阴"一类,模型准确率直接从 0.78 左右跳到 0.89 上下,而下游业务指标几乎没有损失。这个实验非常值得先做,它比换任何 backbone 都有效。

1.2 数据集从哪来:公开数据和自采数据的偏差

第二个让我返工的问题是数据来源偏差。一开始我用的是网上收集的公开天气图片,加上一部分自己拍的。训练集准确率很快冲到 0.95 以上,但拿到实际场景一去测,掉到 0.6 都不到。排查下来,问题出在"来源域"上:公开图片大多是风景摄影,构图讲究、天空占比大、色彩饱和度高;而实际场景的图是固定机位拍的,天空只占画面上方三分之一,还经常有建筑、车辆、反光干扰。

模型学的其实是"这张图像不像网上的风景照",而不是天气特征。解决办法有两个,我两个都用了:

  • 按来源分层采样 ,保证训练集、验证集、测试集里,每个来源的图片都按相同比例出现,而不是随机划分。随机划分会让同一批拍摄的连拍图同时出现在训练和验证里,造成严重的泄漏。
  • 主动构造困难样本 ,把实际机位拍的低质量图、逆光图、夜间图单独抽一部分放进训练集,哪怕数量少,也能明显拉低模型的"摄影风格偏好"。

这里有个容易被忽略的细节:同一场景连续拍摄的多张图,几乎可以看作近似重复样本。划分数据集时必须按"拍摄批次"或"场景 ID"做分组划分,而不是按单张图片随机划分。我用的做法是给每张图打一个 group 标签,然后用分组划分的方式切分,这个细节能让验证集指标真实很多。

2. 数据管线:Dataset 和 DataLoader 的落地写法

2.1 目录组织与分层划分的实现

我不太喜欢把类别直接塞进文件夹名再靠 ImageFolder 去读,因为一旦需要分组划分、需要给不同来源加权,ImageFolder 就不够用了。我的做法是维护一个 CSV 索引文件,每行记录图片路径、类别、来源分组,然后自己写 Dataset。这样后续做任何采样策略都灵活。

import pandas as pd
from sklearn.model_selection import GroupShuffleSplit

df = pd.read_csv("index.csv")  # columns: path, label, group_id, source
gss = GroupShuffleSplit(n_splits=1, test_size=0.2, random_state=42)
train_idx, val_idx = next(gss.split(df, df["label"], groups=df["group_id"]))

train_df = df.iloc[train_idx].reset_index(drop=True)
val_df   = df.iloc[val_idx].reset_index(drop=True)

注意 groups=df["group_id"] 这个参数,它是防止数据泄漏的关键。如果不带分组,同一批次拍摄的图片会被随机分到两边,验证指标会虚高一大截。我第一版就是因为漏了这个参数,验证集准确率比真实水平高了将近 15 个百分点,白高兴了一场。

Dataset 本体写起来很朴素:

import torch
from torch.utils.data import Dataset
from PIL import Image

class WeatherDataset(Dataset):
    def __init__(self, df, transform=None):
        self.df = df.reset_index(drop=True)
        self.transform = transform
        self.label_map = {name: i for i, name in enumerate(sorted(df["label"].unique()))}

    def __len__(self):
        return len(self.df)

    def __getitem__(self, idx):
        row = self.df.iloc[idx]
        img = Image.open(row["path"]).convert("RGB")
        if self.transform:
            img = self.transform(img)
        return img, self.label_map[row["label"]]

convert("RGB") 这行别省。实际数据里经常混进灰度图、带透明通道的 PNG,甚至 CMYK 模式的 JPEG,不统一转 RGB,后面 Normalize 会直接报错或者算出诡异的数值。

2.2 训练和验证必须用两套 transform

天气识别这个任务上,数据增强的选择和通用图像分类不太一样,得挑着用。我的配置如下表:

增强手段 训练集 验证集 说明
RandomResizedCrop 使用,scale 0.7~1.0 不用 提升对构图差异的鲁棒性
RandomHorizontalFlip 使用 不用 天空纹理无方向性,安全
ColorJitter 小幅使用 不用 亮度对比度抖动模拟不同曝光,但幅度不能大
RandomRotation 不用 不用 机位基本水平,旋转会引入不合理样本
RandomErasing 使用,概率 0.25 不用 模拟遮挡
Resize + CenterCrop 不用 使用 保证验证可复现

这里重点说 ColorJitter。天气识别的核心线索之一就是亮度分布,如果亮度抖动幅度开太大(比如 brightness=0.5),模型会学到"亮就是晴天"这种脆弱映射,遇到阴天但曝光过度的图就崩。我的经验是 brightness 和 contrast 都控制在 0.2~0.3,saturation 0.2,hue 基本不动(0.02 以内)。hue 抖动大了以后天空可能偏紫偏绿,反而干扰类别判断。

验证集则必须走确定性的 Resize + CenterCrop,保证同一个模型跑两次评估指标完全一致,否则调参时你根本分不清是模型变了还是数据变了。

2.3 坏图清理和尺寸统一

实际数据里一定会有打不开的文件、截断的图片、极小的缩略图。我的处理是在建索引阶段就做一遍体检:用 PIL 尝试打开并读取尺寸,打不开的直接剔除;宽或高小于 128 像素的剔除;长宽比超过 3:1 的也剔掉,这类极端长条图在随机裁剪下会失真严重。

尺寸统一上我没用固定 Resize 到正方形,而是先按短边缩放到 256,再随机裁剪到 224。这样做的好处是保持原始长宽比,避免"把天空拉扁"。如果下游机位是固定的,其实可以进一步把输入尺寸调到接近实际比例的矩形,比如 224×160,能省一部分算力,精度损失很小。这点我在后面第 6 节还会再提。

3. 迁移学习还是从零搭:这个任务上的实测取舍

3.1 样本量和参数量的匹配关系

我手上可用的有效样本大概在每类几百到一两千张的量级,总共不到八千张。这个规模下从零训一个 ResNet 级别的网络,基本是自找麻烦:参数量动辄上千万,样本量撑不起来,训练 loss 一路降而验证 loss 很早就开始回升。

这里有个粗略的经验比例可以作为参考:参数量和有效样本量的比值,控制在 1:10 到 1:50 之间比较舒服。也就是说如果模型有 1100 万参数(ResNet18 量级),最好有百万级的样本;样本只有几千张时,要么用更小的骨干,要么用预训练权重加冻结。天气识别任务和 ImageNet 的自然图像分布有交集(天空、云、地面都在 ImageNet 里大量出现),所以 ImageNet 预训练权重的迁移效果相当好,这是我最推荐的路子。

3.2 三个骨干的横向对比

我实际对比过三个骨干,都是在同一套数据、同一套增强、同样的训练轮数下跑的。下面的数据是多次运行的中位数,仅供量级参考:

骨干 参数量 输入尺寸 验证宏平均 F1 单张推理耗时(CPU) 备注
ResNet18 11.2M 224 0.89 约 60ms 稳定,容易调,适合作为基线
MobileNetV3-Small 2.5M 224 0.87 约 18ms 移动端友好,精度损失可接受
EfficientNet-B0 5.3M 224 0.90 约 35ms 精度最高但训练更敏感,小数据容易过拟合

结论是:如果没有端侧部署的硬约束,ResNet18 是最省心的选择,收敛稳定、超参不敏感、社区资料多。如果最终要跑在边缘设备上,MobileNetV3-Small 是更务实的方案,0.02 的 F1 差距在实际业务里往往被其他误差淹没了。EfficientNet-B0 精度上略微领先,但我在两组数据上都遇到过训练十几轮后验证 loss 反弹的情况,需要更细致地调 dropout 和增强强度,不太适合赶时间。

3.3 冻结策略和 BN 层的处理

迁移学习的冻结不是"全冻"或"全不冻"这么二选一,我一般分三个阶段走:

  1. 第一阶段 ,冻结除最后的分类头以外的所有层,只训分类头 3~5 个 epoch。这一步的目的是让随机初始化的新头先找准方向,避免一开始就用它的大梯度把预训练的卷积特征冲坏。
  2. 第二阶段 ,解冻最后一个 stage(比如 ResNet 的 layer4),学习率设为分类头的十分之一,再训 10~15 个 epoch。
  3. 第三阶段 ,全部解冻,学习率再降一档,用余弦退火收尾。

关于 BN 层,有个细节值得单独提:如果解冻后 BatchSize 比较小(比如 16 以下),BN 层的统计量会很不稳定,容易让训练指标抖动。我的做法是解冻阶段把 BN 层设为 eval 模式、冻结其 running stats,只更新可学习的 gamma/beta。这个操作在 PyTorch 里手动遍历一遍就能做到:

def freeze_bn(model):
    for m in model.modules():
        if isinstance(m, torch.nn.BatchNorm2d):
            m.eval()
            for p in m.parameters():
                p.requires_grad = False

这段要放在每个 epoch 训练开始之前调用,因为 model.train() 会把所有 BN 重新切回训练模式。这个坑我踩过一次:写了 freeze_bn 但在 epoch 循环里先调了 model.train(),等于白写,还得多花两天找原因。

4. 训练循环里真正影响收敛的几个设置

4.1 warmup 加上余弦退火的实际效果

小数据集上直接上大学习率,前几个 batch 的 loss 会剧烈震荡,甚至直接发散。warmup 的作用是让学习率从很小的值线性爬升到基准值,把这段不稳定期度过去。我用的基准配置是:warmup 占总轮数的 10%,之后余弦退火到接近 0。

def make_scheduler(optimizer, warmup_epochs, total_epochs, base_lr):
    def lr_lambda(epoch):
        if epoch < warmup_epochs:
            return (epoch + 1) / warmup_epochs
        progress = (epoch - warmup_epochs) / max(1, total_epochs - warmup_epochs)
        return 0.5 * (1 + math.cos(math.pi * progress))
    return torch.optim.lr_scheduler.LambdaLR(optimizer, lr_lambda)

实际跑下来,warmup 加上余弦的组合比固定学习率在验证指标上稳定提升 1~2 个百分点,而且训练曲线平滑得多,方便判断收敛。反过来说,如果你看到 loss 曲线前几轮就出现大尖峰,八成是没做 warmup 或者初始学习率设太高。

学习率的量级上,全量微调用 1e-4 到 3e-4 比较合适,只训分类头时可以用到 1e-3。我见过不少人直接照搬 ImageNet 训练的 0.1,那在微调场景下必然发散。

4.2 类别不平衡和损失函数的取舍

天气数据天然不平衡,晴天样本往往远多于雪天。我的数据里晴天占了一半以上,雪天不到一成。直接交叉熵训出来的模型会对多数类有强烈偏好,宏平均 F1 明显低于准确率。

我试过三种处理,对比如下:

方案 实现方式 效果 副作用
类别加权交叉熵 权重按类别频率倒数 少数类召回明显提升 多数类精度略降,整体准确率可能持平
重采样 WeightedRandomSampler 过采样少数类 提升幅度类似加权 少数类容易过拟合,需配合强增强
Focal Loss 降低易分样本权重 对极端不平衡有效 超参(gamma)敏感,调起来费时

我的最终选择是类别加权交叉熵,权重用频率倒数的平方根而不是直接取倒数。直接取倒数在极端不平衡时会过度补偿,导致多数类被压得太狠。平方根是个折中,实测比直接倒数稳。加权交叉熵在 PyTorch 里就是给 nn.CrossEntropyLoss 传 weight 参数,注意这个 weight 要放到对应 device 上,忘了 .to(device) 会报错。

另外提一句 label smoothing,把目标从 one-hot 软化到 0.1 左右,能缓解模型对单张图的过度自信,对混淆严重的类别有轻微帮助。我在多云/阴天合并实验里开过 0.1 的平滑,验证 loss 曲线顺滑了不少,但最终 F1 提升不到 1 个点,属于锦上添花。

4.3 AMP、梯度累积和显存控制

显存不够是最常见的现实约束。我手上只有一张 8G 的卡,BatchSize 上不去,而小 batch 对 BN 又不友好。三个手段组合起来用:

  • 混合精度训练 ,把大部分计算切到 fp16,显存占用大约能降三到四成,速度也有提升。PyTorch 里用 torch.cuda.amp.autocast 包住前向,用 GradScaler 处理梯度缩放。
  • 梯度累积 ,把一个大 batch 拆成几个小 batch 依次前向反向,累积够了再 step 一次。这样等效 batch 变大,但显存只按小 batch 算。
  • 梯度裁剪 , clip_grad_norm_ 限制在 1.0 左右,防止个别异常样本把梯度打爆。

这里有个组合使用的注意点:梯度累积时,损失要除以累积步数再反向传播,否则等效学习率会翻倍。很多人只改累积步数忘了除,结果模型训着训着就发散,还以为是学习率的问题。

scaler.scale(loss / accum_steps).backward()
if (step + 1) % accum_steps == 0:
    scaler.unscale_(optimizer)
    torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0)
    scaler.step(optimizer)
    scaler.update()
    optimizer.zero_grad()

另外 AMP 用的 fp16 在数值稳定性上偶尔会出问题,如果发现 loss 出现 NaN,先检查是不是某层输出溢出,必要时换成 bf16(如果硬件支持),它的动态范围更大,几乎不需要 GradScaler。

5. 准确率会骗人:评估阶段该看什么

5.1 宏平均和每类召回才是决策依据

天气识别是典型的不平衡分类,整体准确率很容易被多数类拉高。我见过一个模型整体准确率 0.93,但雪天召回只有 0.4 的情况,从业务角度看等于没用——真下雪的时候系统反而不认。

所以评估一定要看每类的 precision / recall / F1,以及宏平均(macro average)。宏平均对每个类一视同仁,能真实反映模型在少数类上的表现。我给自己的验收标准是:宏平均 F1 不低于 0.85,且每一类的召回不低于 0.75,任何一类不达标就回去补数据或者调阈值。

阈值这块也可以动。默认的分类是取最大概率对应的类别,但如果某一类特别重要(比如雨雪对安全影响大),可以在推理时给这些类别的 logits 加一个偏置,用"偏向召回"的策略。这个操作不需要重训模型,改推理层就行,非常适合快速调业务效果。

5.2 混淆矩阵怎么读才有信息

混淆矩阵不要只看对角线,关键是看非对角线上哪一对错得最多,以及错的方向是否对称。我一般会画归一化后的矩阵(每行和为 1),这样能直接看出"某一类被分到别类的比例"。

举一个我实际遇到的例子:晴天被分到多云的比例只有 5%,但多云被分到晴天的比例高达 30%。这种不对称说明模型对"云的存在"不敏感,而不是简单的类别边界问题。对应的改进方向就不是加数据,而是改增强策略——降低亮度抖动的幅度,因为亮度抖动会把多云的灰调往晴天方向推。

如果错分集中在"阴"和"雨"之间,那多半是雨的特征没学到。静态图片里雨的线索很弱,主要是地面反光、雨丝、路面湿润度。这时候要么把这类图的路面区域裁剪出来单独加强,要么干脆承认单帧图片分不出,引入连续帧或者外部数据。

5.3 TTA 的收益边界

测试时增强(TTA)在分类任务上是一个性价比很高的收尾手段。原理很简单:对同一张测试图做几种不改变语义的变换,各跑一次前向,把概率平均。常用组合是原图 + 水平翻转,两路平均一般能带来 0.5~1.5 个点的提升。

@torch.no_grad()
def tta_predict(model, imgs_tensor):
    logits = model(imgs_tensor)
    logits += model(torch.flip(imgs_tensor, dims=[3]))
    return (logits / 2).softmax(dim=1)

但收益是有边界的。我试过加多尺度 TTA(224 和 288 两个尺度),提升就非常有限,甚至在某些类别上变差,因为模型训练时只见过 224,尺度不一致引入了分布偏移。所以 TTA 的变换必须落在训练分布之内,翻转是安全的,多尺度要谨慎。另外 TTA 会让推理耗时翻倍甚至更多,端侧部署基本用不起,这时候就得权衡,别为了一个点的提升牺牲掉延迟指标。

6. 从权重文件到一次可用的推理

6.1 预处理一致性是最容易翻车的地方

训练完存了 state_dict ,写推理脚本时最容易犯的错就是预处理没对齐。验证集用的是 Resize 短边 256 加 CenterCrop 224,推理时如果直接用 Resize 到 224×224,图像会被拉伸变形,分布和训练时不一样,精度会莫名其妙掉几个点。

我的做法是把预处理封装成一个独立函数,训练和推理共用同一份代码,从源头上避免不一致:

def build_eval_transform(size=224):
    return transforms.Compose([
        transforms.Resize(int(size * 256 / 224)),
        transforms.CenterCrop(size),
        transforms.ToTensor(),
        transforms.Normalize(mean=[0.485, 0.456, 0.406],
                             std=[0.229, 0.224, 0.225]),
    ])

归一化的均值和方差必须和预训练权重配套。用了 ImageNet 预训练就得用 ImageNet 的统计量,自己算一套会让特征分布错位。这条我见过不止一个人踩,尤其是换骨干的时候忘了改。

推理时的另一个细节是 model.eval() 和 torch.no_grad() 。前者把 BN 切到推理模式用 running stats,后者关掉梯度计算省显存。两个都漏掉的话,推理结果不但慢,还可能和训练时对不上。

6.2 批量推理和延迟的权衡

如果只是离线批量处理图片,直接开大 batch 一次前向最省时间。但如果是在线服务,就得考虑单张延迟。我的经验是 batch size 从 1 加到 8 时吞吐提升明显,再往上边际收益就很小了,而单张延迟会随着排队增加。实际部署我一般把 batch 控制在 4~8 之间,用一个小的缓冲队列攒够再推。

导出格式上,如果目标是纯 PyTorch 环境,直接保存整个模型或者 state_dict 都行;如果要跨框架部署,导出 ONNX 更通用。导出时记得固定输入尺寸并做一次输出对齐校验:

torch.onnx.export(
    model, dummy_input, "weather.onnx",
    input_names=["input"], output_names=["logits"],
    opset_version=12, dynamic_axes=None,
)

导出后一定要拿几张图对比 ONNX 和原始 PyTorch 的输出,确认最大误差在 1e-4 以内。我遇到过一次 ONNX 输出整体偏移的情况,原因是模型里用了自适应池化而导出时尺寸没固定,排查花了整整半天。

7. 几个让我返工的实际问题

7.1 验证准确率卡在某个值死活不动

这个现象我遇到过两次,第一次怎么调学习率、换优化器都没用,验证指标就是在 0.78 附近打转。后来发现是训练集和验证集的来源分布不一致——训练集以风景照为主,验证集混了大量实际机位图。模型在训练分布上已经饱和,跨域泛化上不去,再怎么调参都是徒劳。

排查这类问题有一个很实用的小实验:从训练集里随机抽一批图做评估,如果指标远高于验证集,说明是分布差异而不是欠拟合。这个对比能帮你在十分钟内定位方向,比盲调超参高效得多。定位之后的对策就是前面说的按来源分层采样加困难样本补充。

第二次卡住的原因更有意思,是数据增强太强。RandomResizedCrop 的 scale 下限设到了 0.5,结果很多图裁得只剩一小块天空或者只剩地面,标签信息被裁没了,模型自然学不动。把下限调到 0.7 之后曲线立刻就通了。增强强度要服务于任务本身,不是越猛越好。

7.2 DataLoader 的 workers 和内存

num_workers 设太大不一定快。在容器环境里,worker 数超过 CPU 核数的一半往往就开始拖慢,还可能因为每个 worker 都复制一份数据索引导致内存暴涨。我的经验值是 num_workers = min(8, os.cpu_count() // 2) ,配合 persistent_workers=True 和 pin_memory=True ,能明显减少每个 epoch 启动的开销。

还有一个隐蔽问题:如果 Dataset 里持有大对象(比如整张索引表或者预加载的图片数组),每个 worker 都会复制一份,内存会成倍增长。把索引表改成按需读取、或者用内存映射文件,能有效缓解。我在一个十万级样本的项目里就是因为这个把内存跑爆过,最后改成 worker 只读路径、主进程统一加载索引才稳住。

7.3 训练完发现线上效果和离线差一截

这种情况十有八九是推理链路和训练链路不一致。我给自己定了一套上线前的检查清单,逐项核对:

  • 输入图像的颜色通道顺序是否一致(PIL 是 RGB,OpenCV 读出来默认是 BGR,这个错最常见)。
  • 归一化参数是否和训练时完全一致。
  • 输入尺寸和裁剪方式是否一致。
  • 是否调用了 model.eval() 。
  • 类别索引映射表是否和训练时的顺序一致,标签顺序错位会让所有预测都错得很平均。

最后一条尤其隐蔽,因为模型输出概率没问题,只是每个类被贴上了错误的名字。我在一个多分类项目里就因为重排了类别顺序忘了同步映射表,导致"晴"和"雪"完全对调,查了一整个下午。现在的习惯是把类别映射保存成 JSON,跟权重一起打包,推理时只从这份文件读,绝不手写。

这套流程走下来,天气识别从数据到上线的完整链路基本就稳了。我个人最深的体会是:这个任务上,数据分层、类别定义、预处理一致性这三件事的重要性,加起来远超网络选型和调参。真正的功夫花在把数据搞干净、把评估搞准,模型部分反而没那么玄。

评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址