做天气识别的项目,我前后折腾了差不多两个月才把整套流程跑顺。第一次接到需求时,我脑子里想的其实很简单:拿 PyTorch 训一个图像分类模型,把晴天、多云、阴天、雨天、雪天这几类分开不就完了。真正动手之后才发现,麻烦根本不在网络结构上,而在两件更基础的事上——一是天气类别本身的视觉边界模糊得离谱,二是数据来源五花八门导致模型学到的其实是"拍摄风格"而不是"天气"。这篇文章就把我从数据整理、Dataset 编写、迁移学习选型、训练配置、指标评估到最终推理落地的完整链路拆开讲,中间会给出可以直接抄的代码片段和我自己返工过的坑。适合刚接触 PyTorch 图像分类、想拿一个真实场景练手的朋友,也适合已经在做分类任务但被"准确率很高却不能用"困扰的同学。
1. 天气识别最先撞上的墙:类别之间的边界
1.1 晴天、多云、阴天三类的像素重叠区
如果只做"雨天 vs 晴天"这种二元判断,任务其实不难,天空的颜色饱和度和整体亮度分布差异非常明显。真正难的是多类细分。我最初定义了五类:晴、多云、阴、雨、雪。跑完第一版模型,混淆矩阵里最刺眼的一组是"多云"和"阴天"互相错分,比例高得离谱。
原因很直白:这两类天气在单张静态图片里,视觉特征几乎就是同一片灰白色天空,只有云层的厚度和透光程度有细微差别。人类判断这两类往往还依赖时间、季节、地理位置这些上下文信息,而模型只看一张图。所以做类别设计时,一定要先想清楚业务侧到底需要多细的粒度。如果下游只是要判断"要不要开补光灯""要不要启动除雾",那把多云和阴天合并成一类"非直射光"是完全合理的,能省掉大量标注和调参成本。
我的做法是先把原始五类做一个合并实验:把多云和阴天合成"阴"一类,模型准确率直接从 0.78 左右跳到 0.89 上下,而下游业务指标几乎没有损失。这个实验非常值得先做,它比换任何 backbone 都有效。
1.2 数据集从哪来:公开数据和自采数据的偏差
第二个让我返工的问题是数据来源偏差。一开始我用的是网上收集的公开天气图片,加上一部分自己拍的。训练集准确率很快冲到 0.95 以上,但拿到实际场景一去测,掉到 0.6 都不到。排查下来,问题出在"来源域"上:公开图片大多是风景摄影,构图讲究、天空占比大、色彩饱和度高;而实际场景的图是固定机位拍的,天空只占画面上方三分之一,还经常有建筑、车辆、反光干扰。
模型学的其实是"这张图像不像网上的风景照",而不是天气特征。解决办法有两个,我两个都用了:
- 按来源分层采样 ,保证训练集、验证集、测试集里,每个来源的图片都按相同比例出现,而不是随机划分。随机划分会让同一批拍摄的连拍图同时出现在训练和验证里,造成严重的泄漏。
- 主动构造困难样本 ,把实际机位拍的低质量图、逆光图、夜间图单独抽一部分放进训练集,哪怕数量少,也能明显拉低模型的"摄影风格偏好"。
这里有个容易被忽略的细节:同一场景连续拍摄的多张图,几乎可以看作近似重复样本。划分数据集时必须按"拍摄批次"或"场景 ID"做分组划分,而不是按单张图片随机划分。我用的做法是给每张图打一个 group 标签,然后用分组划分的方式切分,这个细节能让验证集指标真实很多。
2. 数据管线:Dataset 和 DataLoader 的落地写法
2.1 目录组织与分层划分的实现
我不太喜欢把类别直接塞进文件夹名再靠 ImageFolder 去读,因为一旦需要分组划分、需要给不同来源加权,ImageFolder 就不够用了。我的做法是维护一个 CSV 索引文件,每行记录图片路径、类别、来源分组,然后自己写 Dataset。这样后续做任何采样策略都灵活。
import pandas as pd
from sklearn.model_selection import GroupShuffleSplit
df = pd.read_csv("index.csv") # columns: path, label, group_id, source
gss = GroupShuffleSplit(n_splits=1, test_size=0.2, random_state=42)
train_idx, val_idx = next(gss.split(df, df["label"], groups=df["group_id"]))
train_df = df.iloc[train_idx].reset_index(drop=True)
val_df = df.iloc[val_idx].reset_index(drop=True)
注意
groups=df["group_id"]
这个参数,它是防止数据泄漏的关键。如果不带分组,同一批次拍摄的图片会被随机分到两边,验证指标会虚高一大截。我第一版就是因为漏了这个参数,验证集准确率比真实水平高了将近 15 个百分点,白高兴了一场。
Dataset 本体写起来很朴素:
import torch
from torch.utils.data import Dataset
from PIL import Image
class WeatherDataset(Dataset):
def __init__(self, df, transform=None):
self.df = df.reset_index(drop=True)
self.transform = transform
self.label_map = {name: i for i, name in enumerate(sorted(df["label"].unique()))}
def __len__(self):
return len(self.df)
def __getitem__(self, idx):
row = self.df.iloc[idx]
img = Image.open(row["path"]).convert("RGB")
if self.transform:
img = self.transform(img)
return img, self.label_map[row["label"]]
convert("RGB")
这行别省。实际数据里经常混进灰度图、带透明通道的 PNG,甚至 CMYK 模式的 JPEG,不统一转 RGB,后面 Normalize 会直接报错或者算出诡异的数值。
2.2 训练和验证必须用两套 transform
天气识别这个任务上,数据增强的选择和通用图像分类不太一样,得挑着用。我的配置如下表:
| 增强手段 | 训练集 | 验证集 | 说明 |
|---|---|---|---|
| RandomResizedCrop | 使用,scale 0.7~1.0 | 不用 | 提升对构图差异的鲁棒性 |
| RandomHorizontalFlip | 使用 | 不用 | 天空纹理无方向性,安全 |
| ColorJitter | 小幅使用 | 不用 | 亮度对比度抖动模拟不同曝光,但幅度不能大 |
| RandomRotation | 不用 | 不用 | 机位基本水平,旋转会引入不合理样本 |
| RandomErasing | 使用,概率 0.25 | 不用 | 模拟遮挡 |
| Resize + CenterCrop | 不用 | 使用 | 保证验证可复现 |
这里重点说 ColorJitter。天气识别的核心线索之一就是亮度分布,如果亮度抖动幅度开太大(比如 brightness=0.5),模型会学到"亮就是晴天"这种脆弱映射,遇到阴天但曝光过度的图就崩。我的经验是 brightness 和 contrast 都控制在 0.2~0.3,saturation 0.2,hue 基本不动(0.02 以内)。hue 抖动大了以后天空可能偏紫偏绿,反而干扰类别判断。
验证集则必须走确定性的 Resize + CenterCrop,保证同一个模型跑两次评估指标完全一致,否则调参时你根本分不清是模型变了还是数据变了。
2.3 坏图清理和尺寸统一
实际数据里一定会有打不开的文件、截断的图片、极小的缩略图。我的处理是在建索引阶段就做一遍体检:用 PIL 尝试打开并读取尺寸,打不开的直接剔除;宽或高小于 128 像素的剔除;长宽比超过 3:1 的也剔掉,这类极端长条图在随机裁剪下会失真严重。
尺寸统一上我没用固定 Resize 到正方形,而是先按短边缩放到 256,再随机裁剪到 224。这样做的好处是保持原始长宽比,避免"把天空拉扁"。如果下游机位是固定的,其实可以进一步把输入尺寸调到接近实际比例的矩形,比如 224×160,能省一部分算力,精度损失很小。这点我在后面第 6 节还会再提。
3. 迁移学习还是从零搭:这个任务上的实测取舍
3.1 样本量和参数量的匹配关系
我手上可用的有效样本大概在每类几百到一两千张的量级,总共不到八千张。这个规模下从零训一个 ResNet 级别的网络,基本是自找麻烦:参数量动辄上千万,样本量撑不起来,训练 loss 一路降而验证 loss 很早就开始回升。
这里有个粗略的经验比例可以作为参考:参数量和有效样本量的比值,控制在 1:10 到 1:50 之间比较舒服。也就是说如果模型有 1100 万参数(ResNet18 量级),最好有百万级的样本;样本只有几千张时,要么用更小的骨干,要么用预训练权重加冻结。天气识别任务和 ImageNet 的自然图像分布有交集(天空、云、地面都在 ImageNet 里大量出现),所以 ImageNet 预训练权重的迁移效果相当好,这是我最推荐的路子。
3.2 三个骨干的横向对比
我实际对比过三个骨干,都是在同一套数据、同一套增强、同样的训练轮数下跑的。下面的数据是多次运行的中位数,仅供量级参考:
| 骨干 | 参数量 | 输入尺寸 | 验证宏平均 F1 | 单张推理耗时(CPU) | 备注 |
|---|---|---|---|---|---|
| ResNet18 | 11.2M | 224 | 0.89 | 约 60ms | 稳定,容易调,适合作为基线 |
| MobileNetV3-Small | 2.5M | 224 | 0.87 | 约 18ms | 移动端友好,精度损失可接受 |
| EfficientNet-B0 | 5.3M | 224 | 0.90 | 约 35ms | 精度最高但训练更敏感,小数据容易过拟合 |
结论是:如果没有端侧部署的硬约束,ResNet18 是最省心的选择,收敛稳定、超参不敏感、社区资料多。如果最终要跑在边缘设备上,MobileNetV3-Small 是更务实的方案,0.02 的 F1 差距在实际业务里往往被其他误差淹没了。EfficientNet-B0 精度上略微领先,但我在两组数据上都遇到过训练十几轮后验证 loss 反弹的情况,需要更细致地调 dropout 和增强强度,不太适合赶时间。
3.3 冻结策略和 BN 层的处理
迁移学习的冻结不是"全冻"或"全不冻"这么二选一,我一般分三个阶段走:
- 第一阶段 ,冻结除最后的分类头以外的所有层,只训分类头 3~5 个 epoch。这一步的目的是让随机初始化的新头先找准方向,避免一开始就用它的大梯度把预训练的卷积特征冲坏。
- 第二阶段 ,解冻最后一个 stage(比如 ResNet 的 layer4),学习率设为分类头的十分之一,再训 10~15 个 epoch。
- 第三阶段 ,全部解冻,学习率再降一档,用余弦退火收尾。
关于 BN 层,有个细节值得单独提:如果解冻后 BatchSize 比较小(比如 16 以下),BN 层的统计量会很不稳定,容易让训练指标抖动。我的做法是解冻阶段把 BN 层设为 eval 模式、冻结其 running stats,只更新可学习的 gamma/beta。这个操作在 PyTorch 里手动遍历一遍就能做到:
def freeze_bn(model):
for m in model.modules():
if isinstance(m, torch.nn.BatchNorm2d):
m.eval()
for p in m.parameters():
p.requires_grad = False
这段要放在每个 epoch 训练开始之前调用,因为
model.train()
会把所有 BN 重新切回训练模式。这个坑我踩过一次:写了 freeze_bn 但在 epoch 循环里先调了 model.train(),等于白写,还得多花两天找原因。
4. 训练循环里真正影响收敛的几个设置
4.1 warmup 加上余弦退火的实际效果
小数据集上直接上大学习率,前几个 batch 的 loss 会剧烈震荡,甚至直接发散。warmup 的作用是让学习率从很小的值线性爬升到基准值,把这段不稳定期度过去。我用的基准配置是:warmup 占总轮数的 10%,之后余弦退火到接近 0。
def make_scheduler(optimizer, warmup_epochs, total_epochs, base_lr):
def lr_lambda(epoch):
if epoch < warmup_epochs:
return (epoch + 1) / warmup_epochs
progress = (epoch - warmup_epochs) / max(1, total_epochs - warmup_epochs)
return 0.5 * (1 + math.cos(math.pi * progress))
return torch.optim.lr_scheduler.LambdaLR(optimizer, lr_lambda)
实际跑下来,warmup 加上余弦的组合比固定学习率在验证指标上稳定提升 1~2 个百分点,而且训练曲线平滑得多,方便判断收敛。反过来说,如果你看到 loss 曲线前几轮就出现大尖峰,八成是没做 warmup 或者初始学习率设太高。
学习率的量级上,全量微调用 1e-4 到 3e-4 比较合适,只训分类头时可以用到 1e-3。我见过不少人直接照搬 ImageNet 训练的 0.1,那在微调场景下必然发散。
4.2 类别不平衡和损失函数的取舍
天气数据天然不平衡,晴天样本往往远多于雪天。我的数据里晴天占了一半以上,雪天不到一成。直接交叉熵训出来的模型会对多数类有强烈偏好,宏平均 F1 明显低于准确率。
我试过三种处理,对比如下:
| 方案 | 实现方式 | 效果 | 副作用 |
|---|---|---|---|
| 类别加权交叉熵 | 权重按类别频率倒数 | 少数类召回明显提升 | 多数类精度略降,整体准确率可能持平 |
| 重采样 | WeightedRandomSampler 过采样少数类 | 提升幅度类似加权 | 少数类容易过拟合,需配合强增强 |
| Focal Loss | 降低易分样本权重 | 对极端不平衡有效 | 超参(gamma)敏感,调起来费时 |
我的最终选择是类别加权交叉熵,权重用频率倒数的平方根而不是直接取倒数。直接取倒数在极端不平衡时会过度补偿,导致多数类被压得太狠。平方根是个折中,实测比直接倒数稳。加权交叉熵在 PyTorch 里就是给
nn.CrossEntropyLoss
传
weight
参数,注意这个 weight 要放到对应 device 上,忘了
.to(device)
会报错。
另外提一句 label smoothing,把目标从 one-hot 软化到 0.1 左右,能缓解模型对单张图的过度自信,对混淆严重的类别有轻微帮助。我在多云/阴天合并实验里开过 0.1 的平滑,验证 loss 曲线顺滑了不少,但最终 F1 提升不到 1 个点,属于锦上添花。
4.3 AMP、梯度累积和显存控制
显存不够是最常见的现实约束。我手上只有一张 8G 的卡,BatchSize 上不去,而小 batch 对 BN 又不友好。三个手段组合起来用:
-
混合精度训练
,把大部分计算切到 fp16,显存占用大约能降三到四成,速度也有提升。PyTorch 里用
torch.cuda.amp.autocast包住前向,用GradScaler处理梯度缩放。 - 梯度累积 ,把一个大 batch 拆成几个小 batch 依次前向反向,累积够了再 step 一次。这样等效 batch 变大,但显存只按小 batch 算。
-
梯度裁剪
,
clip_grad_norm_限制在 1.0 左右,防止个别异常样本把梯度打爆。
这里有个组合使用的注意点:梯度累积时,损失要除以累积步数再反向传播,否则等效学习率会翻倍。很多人只改累积步数忘了除,结果模型训着训着就发散,还以为是学习率的问题。
scaler.scale(loss / accum_steps).backward()
if (step + 1) % accum_steps == 0:
scaler.unscale_(optimizer)
torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0)
scaler.step(optimizer)
scaler.update()
optimizer.zero_grad()
另外 AMP 用的 fp16 在数值稳定性上偶尔会出问题,如果发现 loss 出现 NaN,先检查是不是某层输出溢出,必要时换成 bf16(如果硬件支持),它的动态范围更大,几乎不需要 GradScaler。
5. 准确率会骗人:评估阶段该看什么
5.1 宏平均和每类召回才是决策依据
天气识别是典型的不平衡分类,整体准确率很容易被多数类拉高。我见过一个模型整体准确率 0.93,但雪天召回只有 0.4 的情况,从业务角度看等于没用——真下雪的时候系统反而不认。
所以评估一定要看每类的 precision / recall / F1,以及宏平均(macro average)。宏平均对每个类一视同仁,能真实反映模型在少数类上的表现。我给自己的验收标准是:宏平均 F1 不低于 0.85,且每一类的召回不低于 0.75,任何一类不达标就回去补数据或者调阈值。
阈值这块也可以动。默认的分类是取最大概率对应的类别,但如果某一类特别重要(比如雨雪对安全影响大),可以在推理时给这些类别的 logits 加一个偏置,用"偏向召回"的策略。这个操作不需要重训模型,改推理层就行,非常适合快速调业务效果。
5.2 混淆矩阵怎么读才有信息
混淆矩阵不要只看对角线,关键是看非对角线上哪一对错得最多,以及错的方向是否对称。我一般会画归一化后的矩阵(每行和为 1),这样能直接看出"某一类被分到别类的比例"。
举一个我实际遇到的例子:晴天被分到多云的比例只有 5%,但多云被分到晴天的比例高达 30%。这种不对称说明模型对"云的存在"不敏感,而不是简单的类别边界问题。对应的改进方向就不是加数据,而是改增强策略——降低亮度抖动的幅度,因为亮度抖动会把多云的灰调往晴天方向推。
如果错分集中在"阴"和"雨"之间,那多半是雨的特征没学到。静态图片里雨的线索很弱,主要是地面反光、雨丝、路面湿润度。这时候要么把这类图的路面区域裁剪出来单独加强,要么干脆承认单帧图片分不出,引入连续帧或者外部数据。
5.3 TTA 的收益边界
测试时增强(TTA)在分类任务上是一个性价比很高的收尾手段。原理很简单:对同一张测试图做几种不改变语义的变换,各跑一次前向,把概率平均。常用组合是原图 + 水平翻转,两路平均一般能带来 0.5~1.5 个点的提升。
@torch.no_grad()
def tta_predict(model, imgs_tensor):
logits = model(imgs_tensor)
logits += model(torch.flip(imgs_tensor, dims=[3]))
return (logits / 2).softmax(dim=1)
但收益是有边界的。我试过加多尺度 TTA(224 和 288 两个尺度),提升就非常有限,甚至在某些类别上变差,因为模型训练时只见过 224,尺度不一致引入了分布偏移。所以 TTA 的变换必须落在训练分布之内,翻转是安全的,多尺度要谨慎。另外 TTA 会让推理耗时翻倍甚至更多,端侧部署基本用不起,这时候就得权衡,别为了一个点的提升牺牲掉延迟指标。
6. 从权重文件到一次可用的推理
6.1 预处理一致性是最容易翻车的地方
训练完存了
state_dict
,写推理脚本时最容易犯的错就是预处理没对齐。验证集用的是 Resize 短边 256 加 CenterCrop 224,推理时如果直接用 Resize 到 224×224,图像会被拉伸变形,分布和训练时不一样,精度会莫名其妙掉几个点。
我的做法是把预处理封装成一个独立函数,训练和推理共用同一份代码,从源头上避免不一致:
def build_eval_transform(size=224):
return transforms.Compose([
transforms.Resize(int(size * 256 / 224)),
transforms.CenterCrop(size),
transforms.ToTensor(),
transforms.Normalize(mean=[0.485, 0.456, 0.406],
std=[0.229, 0.224, 0.225]),
])
归一化的均值和方差必须和预训练权重配套。用了 ImageNet 预训练就得用 ImageNet 的统计量,自己算一套会让特征分布错位。这条我见过不止一个人踩,尤其是换骨干的时候忘了改。
推理时的另一个细节是
model.eval()
和
torch.no_grad()
。前者把 BN 切到推理模式用 running stats,后者关掉梯度计算省显存。两个都漏掉的话,推理结果不但慢,还可能和训练时对不上。
6.2 批量推理和延迟的权衡
如果只是离线批量处理图片,直接开大 batch 一次前向最省时间。但如果是在线服务,就得考虑单张延迟。我的经验是 batch size 从 1 加到 8 时吞吐提升明显,再往上边际收益就很小了,而单张延迟会随着排队增加。实际部署我一般把 batch 控制在 4~8 之间,用一个小的缓冲队列攒够再推。
导出格式上,如果目标是纯 PyTorch 环境,直接保存整个模型或者
state_dict
都行;如果要跨框架部署,导出 ONNX 更通用。导出时记得固定输入尺寸并做一次输出对齐校验:
torch.onnx.export(
model, dummy_input, "weather.onnx",
input_names=["input"], output_names=["logits"],
opset_version=12, dynamic_axes=None,
)
导出后一定要拿几张图对比 ONNX 和原始 PyTorch 的输出,确认最大误差在 1e-4 以内。我遇到过一次 ONNX 输出整体偏移的情况,原因是模型里用了自适应池化而导出时尺寸没固定,排查花了整整半天。
7. 几个让我返工的实际问题
7.1 验证准确率卡在某个值死活不动
这个现象我遇到过两次,第一次怎么调学习率、换优化器都没用,验证指标就是在 0.78 附近打转。后来发现是训练集和验证集的来源分布不一致——训练集以风景照为主,验证集混了大量实际机位图。模型在训练分布上已经饱和,跨域泛化上不去,再怎么调参都是徒劳。
排查这类问题有一个很实用的小实验:从训练集里随机抽一批图做评估,如果指标远高于验证集,说明是分布差异而不是欠拟合。这个对比能帮你在十分钟内定位方向,比盲调超参高效得多。定位之后的对策就是前面说的按来源分层采样加困难样本补充。
第二次卡住的原因更有意思,是数据增强太强。RandomResizedCrop 的 scale 下限设到了 0.5,结果很多图裁得只剩一小块天空或者只剩地面,标签信息被裁没了,模型自然学不动。把下限调到 0.7 之后曲线立刻就通了。增强强度要服务于任务本身,不是越猛越好。
7.2 DataLoader 的 workers 和内存
num_workers
设太大不一定快。在容器环境里,worker 数超过 CPU 核数的一半往往就开始拖慢,还可能因为每个 worker 都复制一份数据索引导致内存暴涨。我的经验值是
num_workers = min(8, os.cpu_count() // 2)
,配合
persistent_workers=True
和
pin_memory=True
,能明显减少每个 epoch 启动的开销。
还有一个隐蔽问题:如果 Dataset 里持有大对象(比如整张索引表或者预加载的图片数组),每个 worker 都会复制一份,内存会成倍增长。把索引表改成按需读取、或者用内存映射文件,能有效缓解。我在一个十万级样本的项目里就是因为这个把内存跑爆过,最后改成 worker 只读路径、主进程统一加载索引才稳住。
7.3 训练完发现线上效果和离线差一截
这种情况十有八九是推理链路和训练链路不一致。我给自己定了一套上线前的检查清单,逐项核对:
- 输入图像的颜色通道顺序是否一致(PIL 是 RGB,OpenCV 读出来默认是 BGR,这个错最常见)。
- 归一化参数是否和训练时完全一致。
- 输入尺寸和裁剪方式是否一致。
-
是否调用了
model.eval()。 - 类别索引映射表是否和训练时的顺序一致,标签顺序错位会让所有预测都错得很平均。
最后一条尤其隐蔽,因为模型输出概率没问题,只是每个类被贴上了错误的名字。我在一个多分类项目里就因为重排了类别顺序忘了同步映射表,导致"晴"和"雪"完全对调,查了一整个下午。现在的习惯是把类别映射保存成 JSON,跟权重一起打包,推理时只从这份文件读,绝不手写。
这套流程走下来,天气识别从数据到上线的完整链路基本就稳了。我个人最深的体会是:这个任务上,数据分层、类别定义、预处理一致性这三件事的重要性,加起来远超网络选型和调参。真正的功夫花在把数据搞干净、把评估搞准,模型部分反而没那么玄。
本文详述基于PyTorch的天气图像分类全流程,涵盖数据分层采样、类别合并策略、Dataset/ DataLoader定制化实现、迁移学习骨干选型(ResNet18/MobileNetV3/EfficientNet-B0)、冻结微调三阶段策略、warmup+余弦退火、类别加权交叉熵、宏平均F1与混淆矩阵分析、TTA边界、预处理一致性保障及ONNX导出校验等关键技术点,聚焦真实场景落地中的数据偏差、域泛化与评估陷阱。
530

被折叠的 条评论
为什么被折叠?



