动手学深度学习 - 机器视觉 - 14.13 Kaggle 上的图像分类(CIFAR-10)

CIFAR-10整体解析与评价 1. 综述 Cifar-10 是由 Hinton 的两个大弟子 Alex Krizhevsky、Ilya Sutskever 收集的一个用于普适物体识别的数据集。Cifar 是加拿大政府牵头投资的一个先进科学项目研究所。Hinton、Bengio和他的学生在2004年拿到了 Cifar 投资的少量资金,建立了神经计算和自适应感知项目。这个项目结集了不少计算机科学家、生物学家、电气工程师、神经 阅读详情


🚀 动手学深度学习 - 机器视觉 - 14.13 Kaggle 上的图像分类(CIFAR-10)

在本节中,我们将带你完整走一遍如何从零开始参加一次真实的Kaggle图像分类比赛:CIFAR-10 图像识别挑战,并用深度学习框架 PyTorch 实现训练、验证、推理与提交的全过程。


📦 14.13.1 获取和组织 Dataset

🔗 下载数据集

CIFAR-10 数据集共有 50000 张训练图像和 300000 张测试图像,每张图片大小为 32x32 像素。通过 trainLabels.csv 提供的标签信息,我们能为每张训练图像打上 10 个类别中的一个(如 plane, car, dog 等)。

为了快速测试,我们提供了一个 cifar10_tiny 的小样本数据集,便于初学者快速跑通流程。

📁 组织数据集结构

我们通过以下结构重新组织图像文件:

train_valid_test/
    ├── train/
    ├── valid/
    ├── train_valid/
    └── test/

其中每个类的图像都放在独立子目录下,以便 torchvision.datasets.ImageFolder 正确读取。

理论理解:

数据集是深度学习的燃料。这里介绍了如何从原始图像(如 PNG 文件)出发,配合 CSV 标签构建成适合 ImageFolder 格式读取的数据集结构,便于自动分类加载和后续训练。

实战理解:

在字节跳动和百度等公司中,图像数据管理平台是常见模块。工程师会基于自动 pipeline 将用户上传的图像数据转成标准数据结构(如 COCO、ImageNet 格式),并存入数据湖或对象存储(如 MinIO、OSS、GCS)。Kaggle 比赛中的结构构建,正是这类数据清洗的 mini 实践。


💡 14.13.2 图像增广

 


🧪 14.13.2 图像增广

为了提升模型泛化能力,我们在训练过程中采用了图像增广策略,包括:

  • Resize + RandomResizedCrop

  • RandomHorizontalFlip

  • Normalize(标准化 RGB 通道)

而测试和验证阶段,仅使用 Normalize 处理,确保结果的稳定性。

理论理解:

图像增广(Data Augmentation)是防止过拟合的重要手段。通过剪裁、翻转、缩放等操作,可以增强模型对变化的鲁棒性。

实战理解:

在腾讯优图、商汤、Google Research 等图像团队中,数据增强策略往往被自动搜索(AutoAugment)或通过经验调优得到。比如 ImageNet 预训练阶段使用强增强策略,而下游任务使用微调增强。甚至在 NVIDIA 的自动驾驶中,还会基于物理模拟器生成多样视角和光照条件下的图像作为增强。

 


🗂 14.13.3 读取数据集

借助 torchvision.datasets.ImageFolder 配合 DataLoader,我们分别加载训练、验证、测试数据集,并设置批量大小。

batch_size = 32  # 如果是完整数据集可设为128

理论理解:

使用 ImageFolder 和 DataLoader 是 PyTorch 生态中最通用的读取方式,适合结构清晰的数据集。

实战理解:

在工业界(如阿里 PAI Studio),数据管道会被封装为分布式数据读取组件(如 PyTorch DDP 中的 DistributedSampler),并结合 Prefetch、AsyncIO、TFRecord 实现大规模数据加载性能优化。在大模型训练中,如 OpenAI 的 DALL·E,就需高吞吐 IO 以支撑亿级图片训练。

 


🏗 14.13.4 定义模型

我们使用经典的 ResNet-18 模型结构进行图像分类任务,并设置最终的输出通道为10类。

理论理解:

采用 ResNet-18 作为基础分类网络是一个典型做法,结构平衡、速度快、精度适中,适合小图(如 32×32 CIFAR 图像)。

实战理解:

在 Google Vision API、字节的图像智能打标系统中,工程上会根据任务选择轻量或高性能网络结构(如 MobileNet、EfficientNet、ConvNeXt)。而模型往往不是一次性构建,而是以模块组合方式(Plugin Block)持续演进。

 


⚙️ 14.13.5 定义训练函数

我们自定义训练函数,支持:

  • 学习率调度(StepLR)

  • 多 GPU 训练

  • 动态绘制训练与验证准确率、损失

理论理解:

定义一个通用训练函数支持多 GPU、多阶段学习率调度(如 StepLR),是提高模型性能与训练效率的关键。

实战理解:

在百度飞桨、DeepSeek AI 等工业实践中,会集成更加复杂的优化器(如 LAMB、AdamW with LookAhead),并搭配自动调参系统(如 Ray Tune)。同时训练日志会接入 TensorBoard、Weights&Biases、企业级监控平台,用于 精细化 A/B 实验对比。

 


🧠 14.13.6 训练和验证模型

通过设置如下超参数:

num_epochs = 20
lr = 2e-4
wd = 5e-4
lr_period = 4
lr_decay = 0.9

我们对模型进行训练与验证,并通过验证集评估模型性能。训练后模型可达:

train acc ≈ 0.789
valid acc ≈ 0.438

理论理解:

训练过程需同时监控 train_loss, train_acc, valid_acc,并利用验证集进行调参和早停策略。

实战理解:

大厂如字节的 AutoML 平台会将这一步模块化处理,一键搜索最佳 epoch、最优学习率和 batch_size。在 Google JAX+TPU 架构中,模型训练过程甚至能动态调整 batch size 以最大化加速比。

 


📤 14.13.7 在 Kaggle 上提交结果

我们重新加载所有标注样本训练模型,然后对测试集进行预测。最终生成 submission.csv 并提交至 Kaggle。

示例 CSV 结构:

id,label
1,dog
2,cat
...

提交后即可看到自己的排名!

理论理解:

模型输出预测后,应根据官方 CSV 格式整理提交文件,并用 .argmax() 提取每张图像的预测类别。

实战理解:

在工业界,如阿里云视觉 API 或腾讯云图像识别服务上线前,也会进行类似的“伪生产验证流程”:通过离线推理模拟真实流量、打分、提交、排查异常样本。例如 NVIDIA 会使用内部的评估服务器批量运行多个提交模型打榜,确认哪个模型更稳。

 


🧾 14.13.8 小结

  • 学习了如何将原始图像组织成可用的 PyTorch 数据集格式。

  • 应用了数据增强技术优化模型。

  • 使用 ResNet-18 实现图像分类并参与 Kaggle 比赛。

  • 完成了从数据下载、训练验证到提交预测结果的闭环流程。

理论理解:

本节从图像读取、增广、模型定义到推理全流程覆盖了图像分类的核心闭环,具备了从零开始实战的能力。

实战理解:

这就是大厂中的 “图像模型研发链” 缩影:

  • 数据准备(文件格式/目录结构标准化)

  • 模型构建(基于预训练)

  • 训练调优(混合精度、分布式训练)

  • 推理与上线(Batch推理 + 预测结果存储 + CI/CD)

而你,在这节之后,已经完成了这一条完整路径的初阶实践。

 


🧪 14.13.9 练习

  1. 使用完整数据集训练模型(batch_size=128, num_epochs=100, lr=0.1),尝试打榜。

  2. 去掉图像增广,比较准确率变化。

  3. 使用更深层网络如 ResNet-50,提升排名。

  4. 尝试集成多个模型结果提升最终得分。

PyTorch项目笔记(二)CIFAR-10图像分类 本文将在CIFAR10的基础上介绍如何处理数据、图像分类以及使用GPU加速模型训练。 阅读详情

相关推荐

从零配置到批量处理:FaceFusion 3.1完整使用指南(含hififace_256模型测试)

本文详细介绍了FaceFusion 3.1的完整使用指南,包括环境配置、模型选择(特别是hififace_256模型的深度测试)以及批量处理技巧。通过AI驱动的脸部替换技术,帮助用户高效实现高质量的面部处理,适用于影视制作、广告设计等多种场景。

weixin_29056865的博客 662

【神经网络与深度学习】CIFAR10数据集介绍,并使用卷积神经网络训练图像分类模型——[附完整训练代码]

【神经网络与深度学习】CIFAR10数据集介绍,并使用卷积神经网络训练图像分类模型——[附完整训练代码]一、CIFAR10数据集介绍1.1 CIFAR10数据集的内容1.2 CIFAR10数据集的结构组成1.3 CIFAR10数据集与MNIST数据集对比二、卷积神经网络2.1卷积神经网络函数介绍三、模型训练思路四、代码实现——直接用五、训练好的模型文件——直接用 一、CIFAR10数据集介绍 1.1 CIFAR10数据集的内容 CIFAR10数据集共有60000个样本,每个样本都

weixin_45954454的博客 10万+

Excel VBA--按某一列拆分数据到多个文件

首先,将需要拆分的sheet命名为“明细”,接下来运行此代码,按提示操作即可。 在这里插入代码片 Sub chaifen() '定义变量类型 Dim sht, sh1, sh2 As Worksheet Dim k, i, j As Integer Dim irow As Integer Dim col As Integer Dim str As String '程序开始是要求输入按哪一列拆分数...

weixin_43650026的博客 5876

CIFAR-10数据集简介

CIFAR-10数据集简介 文章目录**CIFAR-10数据集简介**1、CIFAR-10数据介绍2、CIFAR-10官方测试代码3、tensorboard的使用1、tf.summary.scalar6+\72、tf.summary.histogram3、tf.summary.distribution4、tf.summary.text5、tf.summary.image6、tf.summary.a...

JMU-HSF 3万+

23、工业物流中的多智能体路径规划与碰撞处理策略

本文探讨了工业4.0背景下工业物流中的多智能体路径规划(MAPF)与碰撞处理策略。分析了自动导引车(AGV)等移动资源的应用现状,综述了主流路径规划算法如A*、D*Lite、M*等,以及集中式与分布式碰撞检测方法。重点比较了五种碰撞避免策略:路径交叉、优先级、起始时间调整、无交叉路径和速度调整,提出了基于环境条件的策略选择流程,并通过流程图展示了评估、组合、测试与优化的全过程。文章强调应根据订单不确定性、时间约束、优先级和生产组织等因素综合选择或组合策略,以提升物流效率与系统可靠性。

mac99的博客 129

控制算法研发工程师(博士)职位深度解析与面试指南

摘要:广东万和新电气股份有限公司招聘控制算法研发工程师(博士),工作地点佛山顺德。职位要求2026届博士学历,电子信息工程或控制科学与工程专业。主要职责包括:1)燃气热水、热泵等系统的电控软件设计与优化;2)开发PID、模糊控制、ADRC、MPC等智能算法,应用于恒温控制、变频调节等场景。重点考察算法研发能力、系统稳定性优化及嵌入式实现经验。该职位提供三年资深工程师培养计划,需具备扎实的控制理论基础和工程实践能力,能够处理非线性系统、多工况自适应等复杂控制问题。

郑伟强dev的专栏 148

CIFAR-10 数据集简介

CIFAR-10 数据集简介 CIFAR-10 是由 Hinton 的学生 Alex Krizhevsky 和 Ilya Sutskever 整理的一个用于识别普适物体的小型数据集。一共包含 10 个类别的 RGB 彩色图 片:飞机( a叩lane )、汽车( automobile )、鸟类( bird )、猫( cat )、鹿( deer )、狗( dog )、蛙类( frog )、马( horse )、船( ship )和卡车( truck )。图片的尺寸为 32×32 ,数据集中一共有 50000 张

qq_46834466的博客 3万+

基于DRU-HVDC的构网型海上风电场环流机理仿真复现

本文介绍了基于DRU-HVDC的构网型海上风电场环流机理仿真模型的构建方法。主要内容包括: 完整的Simulink模型结构,包含主模型文件GFM_DRU_Main.slx和配置脚本GFM_DRU_Setup.m 系统参数设置,包括基础频率(20Hz)、电压基准值(690V)、功率基准值(2MVA)等 四种仿真场景配置:电压不平衡、相位不平衡、阻抗不平衡和频率不平衡 风力发电机(WT)子系统的详细构建步骤,包含电压源、输出阻抗和测量模块 变压器和DRU整流器的参数设置 该模型可用于研究构网型风电场的环流机理。

huanghm88的专栏 265

深度学习(八)-CIFAR-10分类

  CIFAR−10CIFAR-10CIFAR−10 数据集也是神经网络中一个非常经典的数据集,该数据集共有 60000 张彩色图像,这些图像是32*32,分为10个类 [′airplane′,′automobile′,′bird′,′cat′,′deer′,′dog′,′frog′,′horse′,′ship′,′truck′]['airplane', &am...

未名湖畔的落叶 1万+

【YOLO26实战全攻略】09——YOLO26多目标跟踪实战宝典:从原理到智慧园区人流统计全流程

多目标跟踪(MOT)是视频分析的核心技术,解决了单帧检测无法关联目标身份的痛点。本文基于YOLO26轻量化检测模型与ByteTrack跟踪算法,从新手视角出发,系统讲解多目标跟踪的核心原理、环境搭建、实操步骤与工程落地。内容涵盖ByteTrack分层关联策略解析、YOLO26集成跟踪的一行代码实现、配置参数调优、区域计数、轨迹数据提取与热力图可视化,最终通过智慧园区人车流量统计虚拟案例,完整呈现从技术原理到实际应用的全流程。本文注重实用价值,所有代码可直接复现,参数配置附带场景化建议,帮助新手快速上手。

专注于人工智能、软件开发、工控自动化、工厂数字化及智能化等领域,希望和大家共同进步! 363

SAP 系统中的数字签名解决方案及应用案例分析

在当前企业信息化及数字化转型的大背景下,数据安全与身份认证显得尤为重要。数字签名技术作为保障数据真实性和完整性的重要手段,在 SAP 系统中得到了广泛应用。本文将详细探讨 SAP 系统中部分应用场景如何利用数字签名技术满足业务需求,涵盖 SAP Single Sign-On、质量管理、过程工业生产计划以及 SAP ArchiveLink 内容服务器等方面,力求通过深入解读,帮助读者更好地理解和应用这一关键技术。

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 531

Dataset之CIFAR-10:CIFAR-10数据集的简介、下载、使用方法之详细攻略

Dataset之CIFAR-10:CIFAR-10数据集的简介、下载、使用方法之详细攻略目录CIFAR-10的简介1、与MNIST 数据集中目比, CIFAR-10 真高以下不同点2、TensorFlow 官方示例的CIFAR-10 代码文件3、CIFAR-10 数据集的数据文件名及用途4、基于CIFAR-10数据集最新算法预测准确率对比CIFAR-10的下载1、下载CIFAR-10 数据集的全部数据CIFAR-10使用方法1、使用TF读取CIFAR-10 数据官网链接:The CIFAR-10 datas

头部AI社区如有邀博主AI主题演讲请私信—心比天高,仗剑走天涯,保持热爱,奔赴向梦想!低调,专注,谦虚,自律,反思,成长,还算比较正能量的博主,公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然,有点小情怀,也有点使命感呀 24万+

DTI-ALPS 指标计算(附代码),评估脑类淋巴系统功能

DTI-ALPS 指标计算(附代码),评估脑类淋巴系统功能

xxx 1056

CIFAR-10数据集(介绍、下载读取、可视化显示、另存为图片)

常用cv2、numpy函数复习,了解CIFAR-10数据集底层并测试

qq_40755283的博客 5万+

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

Python深度学习实例--CIFAR-10图像数据分类

CIFAR-10由60000张32*32的RGB图像组成,共有10类,分别是,飞机(0)、汽车(1)、鸟(2)、猫(3)、鹿(4)、狗(5)、青蛙(6)、马(7)、船(8)和卡车(9)。下图展示了CIFAR-10图像数据集。

m0_61856412的博客 6261

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

[ 数据集 ] CIFAR-10 数据集介绍

[ 数据集 ] CIFAR-10数据集介绍 Size: 32×32 RGB图像 Num: 训练集 50000 和 测试集 10000,一共60000张图片 Classes: plane(飞机), car(汽车),bird(鸟),cat(猫),deer(鹿),dog(狗),frog(蛙类),horse(马),ship(船),truck(卡车) 以及数据集的介绍与图片的读取操作。...

A_John 的博客 1万+

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

TensorFlow入门教程(9)CIFAR-10图像识别

# #作者:韦访 #博客:https://blog.csdn.net/rookie_wei #微信:1007895847 #添加微信的备注一下是CSDN的 #欢迎大家一起学习 # 1、CIFAR-10数据集简介 CIFAR-10数据集包含10个类别的RGB彩色图片。图片尺寸为32×32,这十个类别包括:飞机、汽车、鸟、猫、鹿、狗、蛙、马、船、卡车。一共有50000张训练图片和10000张测试图...

韦访的专栏 1万+

CIFAR-10数据集详析:使用卷积神经网络训练图像分类模型

CIFAR-10 数据集由 10 个类的彩色图像组成,每类6000张图像。有50000张训练图像和10000张测试图像。数据集分为5个训练批次和1个测试批次,每个批次有10000张图像。测试批次正好包含从每个类中随机选择的 1000 张图像。训练批次以随机顺序包含剩余的图像,但某些训练批次可能包含来自一个类的图像多于另一个类的图像。在它们之间,训练批次正好包含来自每个类的 5000 张图像。32×32 RGB图像 ,数据集本身是 BGR 通道。

拥有百余位万粉技术博主、200余位可合作代发博主,私域技术社群规模达千人,商务合作私信 5035

cifar10数据集pytorch

cifar10数据集pytorch

m0_69631006的博客 4987

CIFAR10数据集

CIFAR10数据集简介

Qy_sfsh的博客 4239

深度学习项目:CIFAR-10图像分类(附完整代码)

CIFAR-10图像分类

全栈川川 6331

CIFAR-10图像分类(基于PyTorch)

数据集介绍 CIFAR-10是一个常用的彩色图片数据集,它有10个类别: ‘airplane’, ‘automobile’, ‘bird’, ‘cat’, ‘deer’, ‘dog’, ‘frog’, ‘horse’, ‘ship’, ‘truck’。每张图片都是3×32×323\times32\times323×32×32,也即3-通道彩色图片,分辨率为32×3232\times3232×32。...

aift的专栏 2万+

深度学习——图像分类(CIFAR-10)

本章主要是对一个常见的图像数据集:CIFAR-10,用Resnet18模型来进行图像分类,然后形成一个桌面小程序用来更好的交互和展示。其中最重要的还是模型的建立,通过对不同模型的测试以及超参数的调整来找到”最优解“。 明日复明日,明日何其多,我生待明日,万事成蹉跎。 --2023-10-24 进阶篇

2301_78630677的博客 3387

基于 PyTorch 的 cifar-10 图像分类

本文的主要内容是基于 PyTorch 的 cifar-10 图像分类,文中包括 cifar-10 数据集介绍、环境配置、实验代码、运行结果以及遇到的问题这几个部分,本实验采用了基本网络和VGG加深网络模型,其中VGG加深网络模型的识别准确率是要优于基本网络模型的。......

西岸贤 2万+
上一篇: 动手学深度学习 - 机器视觉 - 14.12 神经风格迁移(Neural Style Transfer)
下一篇: 动手学深度学习 - 机器视觉 - 14.14. Kaggle 上的狗品种识别(ImageNet Dogs)
夏驰和徐策
博客等级 码龄5年 2万+粉丝 1923原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

夏驰和徐策

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址