基于图像分割的LIDC-IDRI 数据集预处理之数据下载篇

VIP基于图像分割的LIDC-IDRI 数据集预处理之数据下载篇
近期接触到了一个关于图像分割实验项目,关于数据预处理部分在此予以记录,和大家分享。
开通可读全文 ·1.9k 人阅读
最低0.47元/天 解锁文章

引言

近期接触到了一个关于图像分割实验项目,关于数据预处理部分在此予以记录,和大家分享

数据下载

关于数据的获取,首先,大家需要去 LIDC-IDRI 官网下载开源数据集,其中下载的数据中包含每个患者的 DICOM 文件。点击上述数据名称可访问网站并单击搜索按钮。

 可根据选择对应的项目需求进行影像选择,我这里只需要 CT 图像进行训练。整个数据由 1010 名患者组成,总共占用 125 GB 的内存。当然这对于我目前的设备而言有心无力,所以我先选择了两个并仍的数据进行下载。当然大家也可以根据自己的需求进行实际选择。

注意,从该网站下载对应的数据时,选择相应的病人文件夹后,点击“DownLoad”中的最后一项,因为下载还需要借助一个官方的辅助工具“NBIA Data Retriever ”,所以大家先要下载这个辅助工具才能正确打开。

 

VIP 基于图像分割的LIDC-IDRI 数据集预处理之实战预处理篇 上一篇《基于图像分割的LIDC-IDRI 数据集预处理之数据下载篇》介绍了关于lidc的数据下载,本篇将针对数据集进行具体的处理,包括肺实质分割,结节标注,数据集划分等,针对数据集预处理所用到的有关技术参考了博主小河梦《深度学习】肺结节分割项目实战一:处理数据集》,本篇现已经成功运行并运用,并针对运行过程出现的问题与诸君共享。在这里针对文章《深度学习】肺结节分割项目实战一:处理数据集》中部分浏览者所出现的问题进行解答。 开通可读全文·3.4k 阅读·25 点赞·42 收藏 阅读全文

相关推荐

基于LIDC-IDRI肺结节肺癌数据集的放射组学机器学习分类良性和恶性肺癌(Python 全代码)全流程解析 (一)

LIDC-IDRI数据集是用于医学影像分析的公开数据集,包含1010例低剂量CT扫描和人工标注的肺部结节信息。这些数据对于肺癌早期检测和算法开发至关重要。由美国国立卫生研究院(NIH)资助,该数据集为研究人员提供了宝贵资源,促进了医学影像处理和人工智能在肺部疾病诊断方面的进展。数据集下载地址如下:*https://www.cancerimagingarchive.net/collection/lidc-idri/*该数据集大小为133GB,数据集的下载需要下载器和稳定的网络,否则可能失败。

2401_83641360的博客 2233

医学影像数据集汇总:150个临床级数据资产导航系统

医学影像数据集是AI辅助诊断落地的核心基础设施,其本质是连接算法研发与临床验证的关键桥梁。理解数据集需从模态特异性(CT/MRI/超声)、标注可信度(医生标注vs算法生成)和合规安全性(GDPR/HIPAA/《个人信息保护法》)三大原理出发,技术价值在于降低数据获取成本、规避法律风险、提升模型泛化能力。典型应用场景包括肺结节检测、肝脏肿瘤分割、糖尿病视网膜病变分级及多模态手术理解等。本文聚焦‘医学影像’与‘数据集’两大核心热词,提供一套可工程化检索、临床校验、动态更新的结构化资源体系,助力科研与NMPA/C

weixin_30680385的博客 394

医学影像AI研发实战指南:数据集选择、合规与Pipeline适配

医学影像AI不是自然图像的简单迁移,其核心在于理解数据背后的临床语义与技术约束。从DICOM标准、HU值校准到多模态空间对齐,每一步都需兼顾放射学原理与深度学习工程实践。高质量标注协议、设备级元数据解析、许可证合规性(如TCIA/CC-BY条款)共同构成模型落地的三大基石。尤其在小样本场景下,解剖先验注入与临床感知增强比盲目堆数据更有效。本文聚焦真实项目中高频出现的DICOM解析断点、PACS部署水土不服、标注噪声建模等关键问题,结合LIDC-IDRI、MSD、IDRiD等典型数据集,提供可复用的技术路径与

weixin_31971181的博客 366

AI+医疗工程实战:U-Net做肺部CT分割(损失函数推导、训练细节与部署)

给定CT切片 x,输出像素级掩码 y(0/1)。MSD Lung、LIDC-IDRI(需统一预处理与标注策略)。HU截断:[-1000, 400]归一化到[0,1]重采样到统一spacing(如1.0mm)2D训练时取关键切片,3D训练按patch采样。

weixin_44369324的博客 734

PyTorch医学图像多任务实战:ResNet/UNet/DeepLabV3+/YOLOv5基线

深度学习在医学影像分析中已成为核心工具,主要涵盖图像分类、语义分割与目标检测三类任务。PyTorch作为主流深度学习框架,提供了从模型定义到训练部署的完整生态。本文以医学图像多任务实验为背景,梳理了ResNet、UNet、DeepLabV3+与YOLOv5四种经典网络的结构原理与适用场景,并讲解了利用PyTorch进行数据准备、环境配置、模型微调与性能评估的完整流程。无论是肺炎X光分类、CT器官分割还是肺结节检测,这套基线方案都能快速搭建并产出可对比的实验结果。文章还强调了医学数据合规、显存优化及实验结果整

weixin_33971977的博客 447

医学图像数据集编程——构建与应用

c) 在线数据集搜索引擎:使用专门的医学图像数据集搜索引擎,如Google Dataset Search、Kaggle等,可以搜索和获取各种公开的医学图像数据集。b) 医学图像分割:利用医学图像数据集,可以构建图像分割模型,实现对感兴趣区域(ROI)的提取和分割。c) 医学图像生成:通过对医学图像数据集进行训练,可以生成新的医学图像,从而用于医学研究和教学。c) 数据增强:通过应用一系列变换操作,如镜像翻转、旋转、噪声添加等,增加数据集的多样性和数量,从而提高训练模型的效果。

2301_79325339的博客 547

LIDC-IDRI.rar

LIDC-IDRI数据集由胸部医学图像文件(如CT、X光片)和对应的诊断结果病变标注组成。该数据是由美国国家癌症研究所(National Cancer Institute)发起收集,该数据集中,共收录了1018个研究实例。对于每个实例中的图像,都由4位经验丰富的胸部放射科医师进行两阶段的诊断标注。 本次提供的压缩包包含标注文件以及图像数据的下载方式,鉴于TCIA网站提供的下载方式过于繁琐,给出一个更快速和简便的网址用于下载图像数据,支持普通下载工具

LIDC-IDRI数据集

img和对应的mask:png格式 13218张图片,大小64*64(只包含肺结节区域) LIDC-IDRI原数据集处理太麻烦了,下载感觉都比较费劲;(github有个代码可以处理获得比较精确的mask,但是本身LIDC-IDRI原数据集就很大,下载感觉有些费事,所以也就没去尝试) LUNA16数据集我根据网上DSB tutorial以及参考这个的处理方法最终得到的图片训练得到的dice才为0.3左右,而且LUNA16数据集的mask都是圆形(我觉得这样用于语义分割不太准确吧,毕竟是像素级分类) 找了很久,忘记在哪里下载的了,找到这个数据集,使用U-net训练,得到的dice是0.8816. 如果有大佬可以分享一下512*512的图片,不胜感激。 侵,则删~

LIDC相关数据说明和标签

LIDC相关数据说明和标签

胸部医学图像数据集 lidc.txt

LIDC-IDRI (The Lung Image Database Consortium),该数据集由胸部医学图像文件 (如CT、X光片)和对应的诊断结果病变标注组成。 该数据是由美国国家癌症研究所 (National Cancer Institute)发起收集的,目的是为了研究高危人群早期癌症检测。 该数据集中,共收录了1018个研究实例。里面包涵dicom 和 xml 文件

LIDC-IDRI数据集分享[源码]

本文提供了LIDC-IDRI肺结节公开数据集的百度网盘下载链接及提取码(uoxz),并推荐了相关参考文章《LIDC-IDRI肺结节公开数据集Dicom和XML标注详解》。该数据集是医学影像分析领域的重要资源,包含肺部CT扫描图像及专家标注的结节信息,适用于肺癌早期检测、计算机辅助诊断等研究。通过分享网盘链接,方便研究人员快速获取数据,而参考文章则详细解析了数据集DICOM格式与XML标注文件的结构与使用方法。

LIDC_IDRI下载教程[代码]

本文提供了两种下载LIDC_IDRI数据集的方法。第一种是通过官方网站下载,需要安装NBIA软件,并详细介绍了从加入购物车到下载.tcia文件的步骤,但由于网络问题可能无法调用软件。第二种方法是通过百度网盘链接直接下载,更为简单直接。官方还提供了视频操作教学链接供参考。

lammps建模(电解液)opls-aa力场的基本流程

lammps建模(电解液)opls-aa力场的基本流程

syj0922的博客 2138

某讯天御滑块验证码逆向实战:从参数解析到环境对抗

本文详细解析了某讯天御滑块验证码的逆向工程实战技巧,从关键参数解析到浏览器环境模拟对抗。重点介绍了collect、eks等参数的逆向思路,以及如何通过puppeteer等工具补全环境检测,帮助开发者有效突破验证码防护。文章还提供了常见错误解决方案和性能优化建议,是验证码逆向领域的实用指南。

weixin_29325007的博客 446

C#实战:5分钟搞定西门子S7-1200 PLC数据读写(S7netplus保姆级教程)

本文详细介绍了如何使用C#和S7netplus库快速实现与西门子S7-1200 PLC的数据读写。从环境准备、连接管理到数据读写高级技巧,提供了保姆级教程和实战方案,帮助开发者绕过常见陷阱,提升工业自动化项目的开发效率。

weixin_28432777的博客 290

银河麒麟v10-arm版离线安装Portainer

银河麒麟v10-arm版离线安装Portainer

q_hsolucky的博客 3056

ResNet改进(51):基于轴向注意力机制的改进ResNet模型

本文介绍了一种结合轴向注意力机制的改进ResNet模型。 通过在传统CNN中引入轴向注意力,我们能够在保持计算效率的同时,增强模型对图像全局上下文的理解能力。这种混合架构结合了CNN的局部特征提取优势和注意力机制的全局建模能力,在图像识别任务中表现出色。 轴向注意力机制的应用不仅限于ResNet,也可以灵活地集成到其他CNN架构中。 未来可以探索更多注意力变体,或将其应用于特定领域任务,如医学图像分析、自动驾驶等需要精确空间理解的场景。 希望本文能帮助你理解如何将注意力机制与传统CNN结合,为你的计

2401_82355416的博客 363

基于simulink的智能驾驶领域--智能车道保持辅助系统仿真

LKAS通过摄像头等传感器检测车辆相对于车道线的位置,并自动调整转向,以帮助驾驶员保持在车道内行驶。将摄像头传感器模块的输出连接到车道线检测模块的输入端口,再将车道线检测模块的输出连接到转向控制器模块的输入端口,最后将转向控制器模块的输出连接到车辆动力学模型的转向输入端口,形成闭环控制系统。上升时间是指系统从初始转向角上升到目标转向角所需的时间,调节时间是指系统进入并保持在目标转向角一定范围内的所需时间。该控制器将根据摄像头传感器的数据调整车辆的转向角,以保持车辆在车道内行驶。

xiaoheshang_123的博客 164

基于卷积神经网络的球罐结构损伤识别

球罐结构损伤识别方法研究 摘要:本研究针对球形储罐(球罐)结构健康监测需求,提出基于卷积神经网络(CNN)的损伤识别方法。通过ANSYS有限元仿真构建包含5种裂纹深度的500组振动信号数据集,设计包含卷积层、池化层和全连接层的CNN网络架构。实验结果表明,该方法在训练集和测试集上分别达到98.4%和96.0%的准确率,验证了其在球罐焊缝损伤识别中的有效性。研究提供了完整的MATLAB实现代码,为球罐结构智能化监测提供了技术参考。 关键词:球罐结构;卷积神经网络;损伤识别;振动信号;深度学习

AI的内部世界的博客 122

使用 MATLAB/Simulink 构建一个基于PID控制的直流电机速度调节系统模型

直流电机(DC Motor)因其结构简单、成本低廉、易于控制等特点,广泛应用于各种工业自动化和家用电器中。PID控制器作为最常用的控制策略之一,在直流电机的速度调节系统中具有重要应用价值。通过合理调整比例(P)、积分(I)、微分(D)三个参数,可以实现对电机速度的精确控制。本教程将带你使用构建一个基于PID控制的直流电机速度调节系统模型,涵盖电机模型构建、PID控制器设计、系统仿真与调试等多个方面。本文介绍了如何使用构建一个基于PID控制的直流电机速度调节系统模型。

amy_mhd的博客 218

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

全球国家地区城市数据

MySQL全球国家地区城市数据报。。。。。。。。。。。。

vb 6.0并口开发操作实例

vb6并口开发,简体中文,试例内有inpout32.dll动态链接库

上一篇: 基于PyTorch框架实现深度学习之numpy基础
下一篇: 基于图像分割的LIDC-IDRI 数据集预处理之实战预处理篇
折柳_
博客等级 码龄5年 97粉丝 7原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址