深度学习项目:CIFAR-10图像分类(附完整代码)

CIFAR-10整体解析与评价 1. 综述 Cifar-10 是由 Hinton 的两个大弟子 Alex Krizhevsky、Ilya Sutskever 收集的一个用于普适物体识别的数据集。Cifar 是加拿大政府牵头投资的一个先进科学项目研究所。Hinton、Bengio和他的学生在2004年拿到了 Cifar 投资的少量资金,建立了神经计算和自适应感知项目。这个项目结集了不少计算机科学家、生物学家、电气工程师、神经 阅读详情
AI摘要

本文详细介绍了如何使用TensorFlow和KerasAPI构建一个基于卷积神经网络的图像分类器,包括数据预处理、模型架构、训练过程以及数据增强提升模型性能。

先决条件:

  • 图像分类
  • 卷积神经网络,包括基本的池化、带有神经网络中的归一化的卷积层和dropout。
  • 数据增强。
  • 神经网络。
  • Numpy数组。

在这篇文章中,我们将讨论如何使用TensorFlow对图像进行分类。图像分类是一种将图像分类到其相应的类别类中的方法。CIFAR-10数据集如其名称所示,其中包含10种不同类别的图像。总共有60000张10个不同类别的图像,分别是飞机、汽车、鸟、猫、鹿、狗、青蛙、马、船、卡车。所有的图像大小都是32×32。总共有50000张训练图像和10000张测试图像。

为了构建一个图像分类器,我们使用tensorflow的keras API来构建我们的模型。为了构建一个模型,建议有GPU支持,或者你也可以使用Google colab笔记本。

Python实现

首先,我们需要导入所有必需的库和模块。这包括导入tensorflow和其他模块,如numpy。如果模块不存在,你可以在命令提示符上使用pip install tensorflow来下载它,或者如果你使用的是jupyter笔记本,只需在单元格中输入!pip install tensorflow并运行它,以下载模块。其他模块也可以类似地导入。

import tensorflow as tf
print(tf.__version__)
import numpy as np
import matplotlib.pyplot as plt
from tensorflow.keras.layers import Input, Conv2D, Dense, Flatten, Dropout
from tensorflow.keras.layers import GlobalMaxPooling2D, MaxPooling2D
from tensorflow.keras.layers import BatchNormalization
from tensorflow.keras.models import Model

如下:
在这里插入图片描述

现在我们已经有了所需的模块支持,让我们加载我们的数据。CIFAR-10的数据集可以在tensorflow keras API上找到,我们可以使用tensorflow.keras.datasets.cifar10在我们的本地机器上下载它,然后使用load_data()函数将其分配给训练和测试集。

cifar10 = tf.keras.datasets.cifar10
(x_train, y_train), (x_test, y_test) = cifar10.load_data()
print(x_train.shape, y_train.shape, x_test.shape, y_test.shape)

如下所示:在这里插入图片描述
到目前为止,我们已经有了数据。但是,我们还不能直接将其发送到我们的神经网络。我们需要处理数据,然后再发送给网络。首先,我们需要减少像素值。目前,所有的图像像素都在1-256的范围内,我们需要将这些值减少到0和1之间的值。这使得我们的模型更容易跟踪趋势和有效的训练。我们可以简单地通过将所有像素值除以255.0来实现这一点。

我们还想使用flatten()函数将标签值展平(简单地说,将它们重新排列成一行的形式)。

x_train, x_test = x_train / 255.0, x_test / 255.0
y_train, y_test = y_train.flatten(), y_test.flatten()

现在是查看我们数据集中的几张图像的好时机。我们可以使用matplotlib的subplot()函数在子图网格形式中进行可视化,并循环遍历我们的训练数据集部分的前25张图像。

fig, ax = plt.subplots(5, 5)
k = 0
for i in range(5):
    for j in range(5):
        ax[i][j].imshow(x_train[k], aspect='auto')
        k += 1
plt.show()

如下所示:
在这里插入图片描述
完成所有步骤后,现在是构建我们的模型的时候了。我们将使用卷积神经网络或CNN来训练我们的模型。这包括使用卷积层,这是Conv2d层,以及池化和归一化方法。最后,我们将其传递到一个密集层和最后的密集层,这是我们的输出层。我们使用’relu’激活函数。输出层使用“softmax”函数。

K = len(set(y_train))
print("number of classes:", K)
i = Input(shape=x_train[0].shape)
x = Conv2D(32, (3, 3), activation='relu', padding='same')(i)
x = BatchNormalization()(x)
x = Conv2D(32, (3, 3), activation='relu', padding='same')(x)
x = BatchNormalization()(x)
x = MaxPooling2D((2, 2))(x)
x = Conv2D(64, (3, 3), activation='relu', padding='same')(x)
x = BatchNormalization()(x)
x = Conv2D(64, (3, 3), activation='relu', padding='same')(x)
x = BatchNormalization()(x)
x = MaxPooling2D((2, 2))(x)
x = Conv2D(128, (3, 3), activation='relu', padding='same')(x)
x = BatchNormalization()(x)
x = Conv2D(128, (3, 3), activation='relu', padding='same')(x)
x = BatchNormalization()(x)
x = MaxPooling2D((2, 2))(x)
x = Flatten()(x)
x = Dropout(0.2)(x)
x = Dense(1024, activation='relu')(x)
x = Dropout(0.2)(x)
x = Dense(K, activation='softmax')(x)
model = Model(i, x)
model.summary()

输出如下所示:
在这里插入图片描述
我们的模型现在已经准备好了,现在是编译它的时候了。我们使用model.compile()函数来编译我们的模型。对于参数,我们使用:

  • adam优化器
  • sparse_categorical_crossentropy作为损失函数
  • metrics=[‘accuracy’]
model.compile(optimizer='adam',
              loss='sparse_categorical_crossentropy',
              metrics=['accuracy'])

现在让我们使用model.fit()来拟合我们的模型,将所有的数据传递给它。我们将训练我们的模型直到50个时代,这给了我们一个公平的结果,尽管你可以调整它。

r = model.fit(
  x_train, y_train, validation_data=(x_test, y_test), epochs=50)

如下所示:
在这里插入图片描述
此后,我们的模型已经训练好了。尽管它工作得很好,但为了使我们的模型更加准确,我们可以在我们的数据上添加数据增强,然后再次训练它。再次调用model.fit()将从之前的地方继续训练。我们将使用32的批量大小,并将宽度和高度的范围移动0.1,并水平翻转图像。然后再次调用model.fit,进行50个迭代。

batch_size = 32
data_generator = tf.keras.preprocessing.image.ImageDataGenerator(
  width_shift_range=0.1, height_shift_range=0.1, horizontal_flip=True)
train_generator = data_generator.flow(x_train, y_train, batch_size)
steps_per_epoch = x_train.shape[0] // batch_size
r = model.fit(train_generator, validation_data=(x_test, y_test),
              steps_per_epoch=steps_per_epoch, epochs=50)

如下所示:
在这里插入图片描述
现在我们已经训练了我们的模型,在使用model.predict()函数从中进行任何预测之前,让我们为了更好地分析模型,可视化每次迭代的准确性。尽管还有其他方法,包括混淆矩阵,用于更好地分析模型。

plt.plot(r.history['accuracy'], label='acc', color='red')
plt.plot(r.history['val_accuracy'], label='val_acc', color='green')
plt.legend()

如下所示:
在这里插入图片描述

让我们使用model.predict()函数对我们的模型进行一次预测。在将图像发送到我们的模型之前,我们需要再次减少像素值在0和1之间,并将其形状改为(1,32,32,3),因为我们的模型只期望输入是这种形式的。为了简化,让我们从数据集中选择一张图像。它已经是减少像素格式的,但我们仍然需要使用reshape()函数将其重塑为(1,32,32,3)。因为我们使用的是数据集中的数据,所以我们可以比较预测的输出和原始的输出。

labels = '''airplane automobile bird cat deerdog frog horseship truck'''.split()
image_number = 0
plt.imshow(x_test[image_number])
n = np.array(x_test[image_number])
p = n.reshape(1, 32, 32, 3)
predicted_label = labels[model.predict(p).argmax()]
original_label = labels[y_test[image_number]]
print("Original label is {} and predicted label is {}".format(
    original_label, predicted_label))

如下所示:
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

最后,让我们使用model.save()函数将我们的模型保存为h5文件。如果你使用的是Google colab,你可以从文件部分下载你的模型。

model.save('geeksforgeeks.h5')
PyTorch项目笔记(二)CIFAR-10图像分类 本文将在CIFAR10的基础上介绍如何处理数据、图像分类以及使用GPU加速模型训练。 阅读详情

相关推荐

【深度学习】pytorch——实现CIFAR-10数据集的分类

CIFAR-10是一个常用的图像分类数据集,每张图片都是 3×32×32,3通道彩色图片,分辨率为 32×32。 它包含了10个不同类别,每个类别有6000张图像,其中5000张用于训练,1000张用于测试。这10个类别分别为:飞机、汽车、鸟类、猫、鹿、狗、青蛙、马、船和卡车。

urge的博客 1万+

CIFAR-10数据集简介

CIFAR-10数据集简介

qq_30150579的博客 2万+

从头到尾实现CIFAR-10图像分类:数据预处理到模型优化

在深度学习领域,图像分类任务是基础也是极其重要的一部分,CIFAR-10数据集是这类问题的经典数据集之一。本文将详细介绍如何加载和预处理CIFAR-10数据集,构建简单和复杂的神经网络模型,以及通过改进模型结构来优化分类性能。一、处理CIFAR-10数据集:数据加载与预处理详解。

chosenbucher的博客 4623

【神经网络与深度学习】CIFAR10数据集介绍,并使用卷积神经网络训练图像分类模型——[附完整训练代码]

【神经网络与深度学习】CIFAR10数据集介绍,并使用卷积神经网络训练图像分类模型——[附完整训练代码]一、CIFAR10数据集介绍1.1 CIFAR10数据集的内容1.2 CIFAR10数据集的结构组成1.3 CIFAR10数据集与MNIST数据集对比二、卷积神经网络2.1卷积神经网络函数介绍三、模型训练思路四、代码实现——直接用五、训练好的模型文件——直接用 一、CIFAR10数据集介绍 1.1 CIFAR10数据集的内容 CIFAR10数据集共有60000个样本,每个样本都

weixin_45954454的博客 10万+

Pytorch CIFAR10 图像分类篇 汇总

Pytorch CIFAR10 图像分类篇 汇总 接下来我会分别利用深度学习的方法,用Pytorch实现我们的CIFAR10的图像分类 大概预计的模型有LeNet,AlexNet,VGG,GoogLeNet,ResNet,DenseNet等,除此之外也会陆续补充 希望这能够帮助初学机器学习的同学一个入门Pytorch的项目和在这之中更加了解Pytorch和各个图像分类的模型。 Pytorch CIFAR10图像分类 数据加载篇 Pytorch CIFAR10图像分类 自定义网络篇 Pytorc

风信子的猫Redamancy的快乐星球 9330

Pytorch CIFAR10图像分类 ResNet篇

Pytorch CIFAR10图像分类 ResNet篇 文章目录Pytorch CIFAR10图像分类 ResNet篇4.定义网络(ResNet)残差结构ResNet18/34 的Residual结构ResNet50/101/152的Bottleneck结构ResNet网络结构配置BasicBlockBottleneck BlockResNet5. 定义损失函数和优化器6. 训练损失函数曲线准确率曲线学习率曲线7.测试查看准确率查看每一类的准确率抽样测试并可视化一部分结果8. 保存模型9. 预测读取本地图片

风信子的猫Redamancy的快乐星球 9206

关于CIFAR-10图像分类总结

之前一段时间学习深度学习在CIFAR-10数据集上图像分类问题,在此做一点点总结,关于这个问题,网络上已经有很多优秀的资源了,因此,主要是汇总一些博客等资料。 关于图像分类算法的总结 很多网站都转载了这篇文章,文章比较了五种图像分类算法,传统机器学习以及深度学习的方法都有涉及,了解图像分类可以看一看 原文:Image Classification in 5 Methods 翻译等可见:图像分类 |...

MirrorN的博客 1万+

深度学习项目实战:ResNet在CIFAR10图像分类上的应用

CIFAR-10数据集是一个常用的用于机器学习和计算机视觉研究的基准数据集,由10个不同的类别的60000张32x32彩色图像组成。这些类别的分布均匀,每个类别有6000张图像。数据集分为训练集和测试集,分别包含50000张和10000张图像。CIFAR-10所包含的10个类别分别是:飞机、汽车、鸟、猫、鹿、狗、青蛙、马、船和卡车,图像中的对象是具有多变和复杂的背景。深度学习在计算机视觉领域取得了巨大成功,但随着网络深度的增加,也遇到了一些难以克服的挑战。

weixin_42601702的博客 1218

【深度学习】Pytorch实现CIFAR10图像分类任务测试集准确率达95%

文章目录前言CIFAR10简介Backbone选择训练+测试训练环境及超参设置完整代码部分测试结果完整工程文件Reference 前言 分享一下本人去年入门深度学习时,在CIFAR10数据集上做的图像分类任务,使用了多个主流的backbone网络,希望可以为同样想入门深度学习的同志们,提供一个方便上手、容易理解的参考教程。   CIFAR10简介 CIFAR-10数据集是图像分类领域经典的数据集,由 Hinton 的学生 Alex Krizhevsky 和 Ilya Sutskever 整理得到,

weixin_43799388的博客 2万+

深度学习实战:基于 CIFAR-10 的 CNN 图像分类实验

本文介绍了基于PyTorch深度学习框架在CIFAR-10数据集上进行图像分类的实践。CIFAR-10数据集包含10个类别的60000张32x32彩色图像,适合用于图像分类算法的研究和实践。文章从简单的卷积神经网络(SimpleCNN)逐步过渡到较为复杂的残差网络(ResNet18),详细阐述了环境准备、数据加载、模型构建、训练和测试的步骤。通过实验,SimpleCNN在测试集上的准确率为58.7%,而ResNet18的准确率达到了89.4%。文章还提供了训练过程的可视化工具,帮助分析模型性能。最终结论指出

weixin_74830720的博客 2002

用4690张图片搞定物流仓储难题:手把手教你训练YOLOv8纸箱检测模型(附完整源码)

本文详细介绍了如何利用YOLOv8目标检测技术解决物流仓储中的纸箱识别难题。通过4690张图片构建高质量数据集,提供完整的训练教程和源码,实现98.7%的mAP@0.5准确率。文章涵盖数据采集、模型训练、调参技巧到边缘计算部署的全流程,帮助读者快速构建智能仓储检测系统。

weixin_28717939的博客 381

【深度学习】CIFAR10图像分类

使用PyTorch分别实现多层感知机(MLP)和卷积网络(ConvNet),并完成CIFAR10数据集(http://www.cs.toronto.edu/~kriz/cifar.html)分类。本案例不提供初始代码,请自行配置网络和选取超参数,包括层数、卷积核数目、激活函数类型、损失函数类型、优化器等方面。至少从三个方面。

你一定能够成为你想要去成为的人。 3150

CANoe基础讲解01:从零开始使用CANoe轻松搭建你的第一个CAN网络

本文是一篇CANoe软件入门实操指南,逐步演示了如何从零创建并运行一个CAN FD仿真工程。内容包括:启动软件、配置硬件通道与网络、加载DBC数据库、使用CAPL编写仿真节点发送CAN报文,最终启动测量并在Trace窗口中查看通信结果。通过七个清晰步骤,帮助初学者快速掌握CANoe基本操作,完成首个可运行的仿真网络搭建

车载网络小D的博客 1579

【深度学习实战—2】:基于Keras的cifar10图像分类(非常详细、代码开源)

  深度学习的”hello world“(【深度学习实战1】:基于Keras的手写数字识别(非常详细、代码开源))已经更新完了,会了手写数字识别就说明一只脚已经踏进了深度学习的大门!   今天博主带来第二个实战内容:基于Keras的cifar10图像分类。全是干货,文末附完整代码! 一、准备工作 设备\库 型号\版本 显卡 GTX1650 驱动程序版本 457.49 tensorflow-gpu版本 2.4.0 keras版本 2.4.3 Python版本 3.7.3 二

王乐予的博客 1万+

Pluribus cfr博弈论实战德州 (3) Solver Libratus Deepstack Rebel

pbs是自己拿所有牌的情况,s是信息集合是自己拿固定一套牌,因为我们的value net,是用cfr训练出的,cfr使用的是信息集,而我们用类似alphazero搜索时需要pbs的梯度,论文这里说他们是可以相互转化。在deep stack时我们介绍了,他的网络是随机生成range 训练的,rebel的区别主要是修改了规则游戏中玩家并不知道自己具体是什么牌,而是返回所有牌的策略,这样将非完美信息博弈转化为完美信息博弈,然后就可以使用类似alphazero的方式,抽样有价值的子节点进行搜索。

spacetrotter1的博客 2543

秦时明月6.2魔改版_从零到一部署指南_含安卓客户端配置与GM后台直通

本文提供《秦时明月》6.2魔改版从零开始的完整部署指南。详细讲解CentOS服务器环境准备、服务端文件部署与安装、关键端口开放及进程验证。重点涵盖安卓客户端APK的IP修改与重签名方法,并介绍了GM后台工具的访问与使用,助你快速搭建并管理专属游戏服务器。

garlic的博客 318

【深度学习计算机视觉】13:实战Kaggle比赛:图像分类 (CIFAR-10)

本文讲解实战Kaggle比赛:图像分类。如何参与CIFAR-10图像分类Kaggle竞赛,包括数据获取、预处理、模型训练及验证,最终生成submission.csv文件并提交结果至Kaggle。

Morse_Chen的博客 3622

高光谱目标检测论文学习(1)—— Hyperspectral Target Detection:Hypothesis Testing,SNR and SA Theories

前言 从这篇开始,将会学习一些高光谱目标检测的论文,我仍然把这篇文章放到了读论文专栏里,但是不对其进行顺序编号了,因为这个方向是比较小众的。今天来学习这篇TGRS2021的最新论文,讲的比较详细,相对比较适合初学者入门。我之前也写过一些有关目标检测的论文,但是高光谱目标检测(HTD)和之前的我们学的目标检测是不同的,因为其检测的对象不是普通摄像头得来的数字图像,而是高光谱遥感图像。其包含了很多光谱信息,而光谱信息本身经过处理后就可以作为特征,因此很多情况下就无需使用广义的目标检测问题中的卷积神经网络等方式去

MrBamboo2000的博客 7495

深度学习实战(一):LeNet实现CIFAR-10图像分类

构建模型: import torch.nn as nn import torch.nn.functional as F class LeNet(nn.Module): def __init__(self): super(LeNet, self).__init__() self.conv1 = nn.Conv2d(3, 16, 5)#Convd(输入层的channel,卷积核个数,卷积核大小) self.pool1 = nn.MaxPool2d(2,

与君共勉,一起学习 5641

抖音短连接v.douyin.com/xxx 如何生成?

最近公司有个需求,在抖音里如何宣传自己的网站,并且不要有拦截域名的提示,截图如下。 通过ida反编译抖音的app后,将下载后的ipa文件用解压缩软件(如7zip等)解压,从解压后的目录Payload/Aweme.app/找到Aweme可执行文件,拖入ida进行反编译,ida可以检测objective-c语法。 然后进入主题,既然是聊天发消息,就尝试在ida里搜索"message",看看能否找到对...

kakuapi的博客 3万+

2023年数学建模国赛三大赛题核心建模思路与实战代码全解

本文全面解析2023年数学建模国赛三大赛题的核心建模思路与实战代码,涵盖塔式太阳能光热发电系统优化、多波束测深系统动态规划及蔬菜商品化策略建模。通过Python代码示例和优化算法(如遗传算法、NSGA2)展示,帮助参赛者掌握数学建模的关键技术与实战技巧,提升竞赛成绩。

weixin_33713350的博客 337

基于深度学习的CIFAR10图像分类实现

基于深度学习的CIFAR10图像分类 摘要:近年来,随着深度学习的迅速发展和崛起,尤其在图像分类方向取得了巨大的成就。本文实验基于Windows10系统,仿真软件用的是Anaconda下基于python编程的JupyterNotebook编辑器。通过利用Google的深度学习框架Tensorflow,搭建新的卷积网络结构,提出了基于卷积神经网络的CIFAR10图像分类识别算法,主要参照经典...

像风一样自由的博客 1万+

逻辑回归:利用Python实现二分类算法

通过使用Python编写的代码,我们可以训练逻辑回归模型并进行预测。接下来,我们将实现逻辑回归算法的训练函数。训练函数将接受训练数据集X和对应的标签y,以及学习率alpha和迭代次数num_iterations。训练完成后,我们可以使用训练得到的参数theta来进行预测。在这个例子中,我们有一个包含4个样本的训练数据集X,每个样本有两个特征。在这个例子中,如果预测概率大于等于0.5,则预测为类别1,否则预测为类别0。现在,我们可以使用训练函数来训练模型。根据给定的样本x_new,预测函数将返回相应的类别。

XlltEditor的博客 327

快速入门构建CIFAR10 图像分类项目(内附完整代码)

本项目旨在基于 PyTorch 框架构建一个 CIFAR10 图像分类模型,并利用 Swanlab 平台对模型训练过程进行实时跟踪与可视化,帮助开发者快速掌握图像分类任务的实现流程,以及如何通过可视化工具优化模型性能。

Hao_Eric_的博客 1122

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

深度学习——图像分类(CIFAR-10)

本章主要是对一个常见的图像数据集:CIFAR-10,用Resnet18模型来进行图像分类,然后形成一个桌面小程序用来更好的交互和展示。其中最重要的还是模型的建立,通过对不同模型的测试以及超参数的调整来找到”最优解“。 明日复明日,明日何其多,我生待明日,万事成蹉跎。 --2023-10-24 进阶篇

2301_78630677的博客 3387

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

【PyTorch实战演练】使用Cifar10数据集训练LeNet5网络并实现图像分类(附代码)

LeNet5的保姆级实战教程

使者大牙ℂypher的博客 4172

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

上一篇: 机器学习(四十九):高斯混合模型
下一篇: 机器学习案例(十三):基于Python的电影推荐系统
川川菜鸟
川川菜鸟 优质创作者: 编程框架技术领域 优质创作者: 编程框架技术领域
博客等级 码龄7年 23万+粉丝 1282原创
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

川川菜鸟

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址