🍨 本文为🔗365天深度学习训练营 中的学习记录博客
🍖 原作者:K同学啊 | 接辅导、项目定制
minist手写数字的识别代码复现
一、前言
二、我的环境
电脑系统:Windows 10
语言环境:Python 3.8.18
编译器:jupyter notebook
深度学习环境:torch == 1.13.1+cu116
torchvision==0.14.1+cu116
TensorFlow 2.13.1
显卡及显存: Tesla V100-PCIE-32GB
三、准备阶段
1.设置计算的工具
设置是否使用GPU进行计算以及导入深度学习计算相关的包和依赖。
import torch
import torch.nn as nn
import matplotlib.pyplot as plt
import torchvision
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
device
运行结果:

2.导入数据
导入数据,并划分好训练集和测试集。
#、从官网下载数据集,并将训练集存储在变量train_ds、测试集存储在变量test_ds中,并将其数据类型转化成张量
train_ds = torchvision.datasets.MNIST('data',
train=True,
transform=torchvision.transforms.ToTensor(), # 将数据类型转化为Tensor
download=True)
test_ds = torchvision.datasets.MNIST('data',
train=False,
transform=torchvision.transforms.ToTensor(), # 将数据类型转化为Tensor
download=True)
下面是对深度学习中torchvision.datasets()函数使用方法的小结:
torchvision.datasets 模块提供了用于加载和处理常见视觉数据集的功能。这些数据集通常用于训练和测试计算机视觉模型。下面torchvision.datasets 函数的详细使用方法:
导入必要的库:
python
import torchvision.datasets as datasets
常用数据集:
datasets.ImageFolder(root, transform=None, target_transform=None):从文件夹中加载图像数据集,每个子文件夹代表一个类别。
datasets.CIFAR10(root, train=True, transform=None, target_transform=None, download=False):加载 CIFAR-10 数据集。
datasets.CIFAR100(root, train=True, transform=None, target_transform=None, download=False):加载 CIFAR-100 数据集。
datasets.MNIST(root, train=True, transform=None, target_transform=None, download=False):加载 MNIST 数据集。
其他数据集如 FashionMNIST、Coco等。
参数说明:
root:数据集存储的根目录。
train:True 表示加载训练集,False 表示加载测试集。
transform:对数据进行转换的函数。
target_transform:对标签进行转换的函数。
download:是否下载数据集(仅在第一次运行时需要)。
使用示例:
python
#导入必要的库
import torchvision.datasets as datasets
import torchvision.transforms as transforms
#定义数据转换
transform = transforms.Compose([
transforms.ToTensor(), # 将图像转为 Tensor 格式
transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5)) # 标准化图像数据
])
#加载 CIFAR-10 训练集
train_dataset = datasets.CIFAR10(root=‘./data’, train=True, transform=transform, download=True)
#加载 CIFAR-10 测试集
test_dataset = datasets.CIFAR10(root=‘./data’, train=False, transform=transform, download=True)
torch.utils.data.DataLoader 函数是 PyTorch 提供的用于批量加载数据的工具,主要用于训练神经网络时对数据集进行加载和处理。以下是 torch.utils.data.DataLoader 函数的详细参数说明:
dataset (Dataset):要从中加载数据的数据集。该数据集需要实现 len 方法以及 getitem 方法。
batch_size (int, optional):每个批次中包含的样本数量,默认为 1。
shuffle (bool, optional):是否在每个 epoch 重新打乱数据顺序,默认为 False。设置为 True 可以在每个 epoch 开始时打乱数据,有助于增加模型的泛化能力。
sampler (Sampler, optional):定义从数据集中提取样本的策略。如果指定此参数,则忽略 shuffle 参数。
batch_sampler (Sampler, optional):类似于 sampler,但返回一个批次的索引列表。
num_workers (int, optional):用于数据加载的子进程数。默认值为 0,表示数据将在主进程中加载。通常可以设置为大于 0 的值来加速数据加载,特别是在数据预处理较耗时时。
collate_fn (callable, optional):用于将单个样本的数据合并成一个批次的函数。默认情况下使用 default_collate 函数。
pin_memory (bool, optional):如果为 True,则将数据加载到 CUDA 固定内存中,可以加速数据传输。
drop_last (bool, optional):如果数据集的大小不能被 batch_size 整除,是否丢弃最后一个不完整的批次,默认为 False。
timeout (numeric, optional):数据加载超时时间,默认为 0。
worker_init_fn (callable, optional):每个 worker 初始化时会调用此函数。
multiprocessing_context (Context, optional):指定 multiprocessing 上下文来启动子进程,默认为 None。
batch_size = 32
train_dl = torch.utils.data.DataLoader(train_ds,
batch_size=batch_size,
shuffle=True)
test_dl = torch.utils.data.DataLoader(test_ds,
batch_size=batch_size)
#2、查看每个批次数据格式和形状
# 取一个批次查看数据格式
# 数据的shape为:[batch_size, channel, height, weight]
# 其中batch_size为自己设定,channel,height和weight分别是图片的通道数,高度和宽度。
imgs, labels = next(iter(train_dl))
imgs.shape
可以看出,运行的结果,通过上面两个函数,图片数据显示为每批32张,单通道,高和宽为28*28大小。
3.查看数据
import numpy as np
# 指定图片大小,图像大小为20宽、5高的绘图(单位为英寸inch)
plt.figure
1289



被折叠的 条评论
为什么被折叠?



