
🚀 动手学深度学习 - 机器视觉 - 14.13 Kaggle 上的图像分类(CIFAR-10)
在本节中,我们将带你完整走一遍如何从零开始参加一次真实的Kaggle图像分类比赛:CIFAR-10 图像识别挑战,并用深度学习框架 PyTorch 实现训练、验证、推理与提交的全过程。
📦 14.13.1 获取和组织 Dataset
🔗 下载数据集
CIFAR-10 数据集共有 50000 张训练图像和 300000 张测试图像,每张图片大小为 32x32 像素。通过 trainLabels.csv 提供的标签信息,我们能为每张训练图像打上 10 个类别中的一个(如 plane, car, dog 等)。
为了快速测试,我们提供了一个 cifar10_tiny 的小样本数据集,便于初学者快速跑通流程。
📁 组织数据集结构
我们通过以下结构重新组织图像文件:
train_valid_test/
├── train/
├── valid/
├── train_valid/
└── test/
其中每个类的图像都放在独立子目录下,以便 torchvision.datasets.ImageFolder 正确读取。
理论理解:
数据集是深度学习的燃料。这里介绍了如何从原始图像(如 PNG 文件)出发,配合 CSV 标签构建成适合 ImageFolder 格式读取的数据集结构,便于自动分类加载和后续训练。
实战理解:
在字节跳动和百度等公司中,图像数据管理平台是常见模块。工程师会基于自动 pipeline 将用户上传的图像数据转成标准数据结构(如 COCO、ImageNet 格式),并存入数据湖或对象存储(如 MinIO、OSS、GCS)。Kaggle 比赛中的结构构建,正是这类数据清洗的 mini 实践。
💡 14.13.2 图像增广
🧪 14.13.2 图像增广
为了提升模型泛化能力,我们在训练过程中采用了图像增广策略,包括:
-
Resize + RandomResizedCrop
-
RandomHorizontalFlip
-
Normalize(标准化 RGB 通道)
而测试和验证阶段,仅使用 Normalize 处理,确保结果的稳定性。
理论理解:
图像增广(Data Augmentation)是防止过拟合的重要手段。通过剪裁、翻转、缩放等操作,可以增强模型对变化的鲁棒性。
实战理解:
在腾讯优图、商汤、Google Research 等图像团队中,数据增强策略往往被自动搜索(AutoAugment)或通过经验调优得到。比如 ImageNet 预训练阶段使用强增强策略,而下游任务使用微调增强。甚至在 NVIDIA 的自动驾驶中,还会基于物理模拟器生成多样视角和光照条件下的图像作为增强。
🗂 14.13.3 读取数据集
借助 torchvision.datasets.ImageFolder 配合 DataLoader,我们分别加载训练、验证、测试数据集,并设置批量大小。
batch_size = 32 # 如果是完整数据集可设为128
理论理解:
使用 ImageFolder 和 DataLoader 是 PyTorch 生态中最通用的读取方式,适合结构清晰的数据集。
实战理解:
在工业界(如阿里 PAI Studio),数据管道会被封装为分布式数据读取组件(如 PyTorch DDP 中的 DistributedSampler),并结合 Prefetch、AsyncIO、TFRecord 实现大规模数据加载性能优化。在大模型训练中,如 OpenAI 的 DALL·E,就需高吞吐 IO 以支撑亿级图片训练。
🏗 14.13.4 定义模型
我们使用经典的 ResNet-18 模型结构进行图像分类任务,并设置最终的输出通道为10类。
理论理解:
采用 ResNet-18 作为基础分类网络是一个典型做法,结构平衡、速度快、精度适中,适合小图(如 32×32 CIFAR 图像)。
实战理解:
在 Google Vision API、字节的图像智能打标系统中,工程上会根据任务选择轻量或高性能网络结构(如 MobileNet、EfficientNet、ConvNeXt)。而模型往往不是一次性构建,而是以模块组合方式(Plugin Block)持续演进。
⚙️ 14.13.5 定义训练函数
我们自定义训练函数,支持:
-
学习率调度(StepLR)
-
多 GPU 训练
-
动态绘制训练与验证准确率、损失
理论理解:
定义一个通用训练函数支持多 GPU、多阶段学习率调度(如 StepLR),是提高模型性能与训练效率的关键。
实战理解:
在百度飞桨、DeepSeek AI 等工业实践中,会集成更加复杂的优化器(如 LAMB、AdamW with LookAhead),并搭配自动调参系统(如 Ray Tune)。同时训练日志会接入 TensorBoard、Weights&Biases、企业级监控平台,用于 精细化 A/B 实验对比。
🧠 14.13.6 训练和验证模型
通过设置如下超参数:
num_epochs = 20
lr = 2e-4
wd = 5e-4
lr_period = 4
lr_decay = 0.9
我们对模型进行训练与验证,并通过验证集评估模型性能。训练后模型可达:
train acc ≈ 0.789
valid acc ≈ 0.438
理论理解:
训练过程需同时监控 train_loss, train_acc, valid_acc,并利用验证集进行调参和早停策略。
实战理解:
大厂如字节的 AutoML 平台会将这一步模块化处理,一键搜索最佳 epoch、最优学习率和 batch_size。在 Google JAX+TPU 架构中,模型训练过程甚至能动态调整 batch size 以最大化加速比。
📤 14.13.7 在 Kaggle 上提交结果
我们重新加载所有标注样本训练模型,然后对测试集进行预测。最终生成 submission.csv 并提交至 Kaggle。
示例 CSV 结构:
id,label
1,dog
2,cat
...
提交后即可看到自己的排名!
理论理解:
模型输出预测后,应根据官方 CSV 格式整理提交文件,并用 .argmax() 提取每张图像的预测类别。
实战理解:
在工业界,如阿里云视觉 API 或腾讯云图像识别服务上线前,也会进行类似的“伪生产验证流程”:通过离线推理模拟真实流量、打分、提交、排查异常样本。例如 NVIDIA 会使用内部的评估服务器批量运行多个提交模型打榜,确认哪个模型更稳。
🧾 14.13.8 小结
-
学习了如何将原始图像组织成可用的 PyTorch 数据集格式。
-
应用了数据增强技术优化模型。
-
使用 ResNet-18 实现图像分类并参与 Kaggle 比赛。
-
完成了从数据下载、训练验证到提交预测结果的闭环流程。
理论理解:
本节从图像读取、增广、模型定义到推理全流程覆盖了图像分类的核心闭环,具备了从零开始实战的能力。
实战理解:
这就是大厂中的 “图像模型研发链” 缩影:
-
数据准备(文件格式/目录结构标准化)
-
模型构建(基于预训练)
-
训练调优(混合精度、分布式训练)
-
推理与上线(Batch推理 + 预测结果存储 + CI/CD)
而你,在这节之后,已经完成了这一条完整路径的初阶实践。
🧪 14.13.9 练习
-
使用完整数据集训练模型(
batch_size=128,num_epochs=100,lr=0.1),尝试打榜。 -
去掉图像增广,比较准确率变化。
-
使用更深层网络如 ResNet-50,提升排名。
-
尝试集成多个模型结果提升最终得分。

662



被折叠的 条评论
为什么被折叠?



