NUS-WIDE-10K数据集制作

VIPNUS-WIDE-10K数据集制作
NUS-WIDE是一个多标签数据集,数据集中一共包含26,9648个样本,可以分为81个类。最近在做跨模态检索项目,发现有很多论文里面都用到了NUS-WIDE-10K数据集,但是在网上也没有搜索到相关的数据集下载链接或者是数据集制作代码,所以自己动手写了一个NUS-WIDE-10K数据集的制作代码。1.介绍我在网上找到的最早关于NUS-WIDE-10K数据集描述的论文是:Cross-modal Retrieval with Correspondence Autoencoder。描述如下:作者选择了N
开通可读全文 ·4.2k 人阅读
最低0.47元/天 解锁文章

NUS-WIDE是一个多标签数据集,数据集中一共包含26,9648个样本,可以分为81个类。最近在做跨模态检索项目,发现有很多论文里面都用到了NUS-WIDE-10K数据集,但是在网上也没有搜索到相关的数据集下载链接或者是数据集制作代码,所以自己动手写了一个NUS-WIDE-10K数据集的制作代码。

更新

 评论区有人提醒NUS-WIDE-10K的10个最大的类是通过统计该类单标签图片个数来排序得出的,但是在随机抽取样本时是没有区分多标签图片和单标签图片,有可能并不符合原文中的描述。我一开始写代码的时候考虑到如果只选择单标签图片可能某一类图片的总数无法到达1000张,但是今天重新尝试了一下发现是可以的。因此我重新修改了一下提取部分的代码以满足原文要求。

1.介绍

我在网上找到的最早关于NUS-WIDE-10K数据集描述的论文是:Cross-modal Retrieval with Correspondence Autoencoder。描述如下:作者选择了NUS-WIDE数据集中最大的10个类:animal、clouds、flowers、food、grass、person、sky、toy、water 和 window,并从每个类中选取1000张单标签图片(总共10000张)作为NUS-WIDE-10K数据集。NUS-WIDE-10K被随机分为3个子集:训练集、验证集和测试集,每个集合样本数分别为:8000、1000和1000。

2. 数据集分析

 我们再来看一下NUS-WIDE数据集的主要结构

  •  Flickr文件夹:Flickr文件夹包含了NUS-WIDE数据集的所有图片,里面有704个文件夹,每个文件夹代表一类图片(还记得NUS-WIDE是一个多标签数据集吗?对因此每个图片都有两个标签)
  • Groundtruth文件夹:解压后有 AllLabels/ 和 TrainTestLabels/ 两个目录,AllLabels/ 中一共有81个.txt文件,每个文件中包含的都是26,9648 行的 0/1 数据,代表该数据是否属于该类别。
  • ImageList文件夹:该文件夹中有Imagelist.txt、TestImagelist.txt、TrainImagelist.txt三个文件,我们只用到Imagelist.txt,该文件按序排放了数据集所有图片的存放地址。
  • NUS_WID_Tags文件夹:文件夹有多个文件,但是我们只用到All_Tags.txt,该文件按序存储了所有图片的文本描述。
  • Concepts81.txt:包含81个类别的类名。

 3.代码

提取

  • 提取animal、clouds、flowers、food、grass、person、sky、toy、water 和 window每个类别样本的id值。
  • 从每个类别中随机抽取1000个样本。
import os
import numpy as np
import random
from tqdm import tqdm
import shutil
import sys

N_SAMPLE = 269648
label_dir = "Groundtruth/AllLabels"
image_dir = 'ImageList/ImageList.txt'
txt_dir = 'NUS_WID_Tags/All_Tags.txt'
output_dir = 'NUS_W
VIP 从原始数据自制NUS-WIDE-10K子集:多模态数据集制作全流程指南 多模态数据是连接图像、文本与语义的桥梁,在跨模态检索、图文匹配等任务中扮演关键角色。NUS-WIDE作为经典的多模态基准数据集,包含近27万张图像、81类语义标签及多类型文本标签,被广泛用于学术研究与工程验证。然而,完整数据集体量庞大、官方手工特征表达力有限,市面流传的10K子集又往往存在标签错位、特征老旧等问题。本文从实际工程视角出发,系统梳理了从原始图片下载、三值标签解析、基于类别覆盖与长尾分布的样本筛选,到采用预训练ResNet-50提取深度特征,再到HDF5统一封装的全流程。同时针对编码异常、特征对 开通可读全文·269 阅读·3 点赞·2 收藏 阅读全文

相关推荐

多模态检索实战:如何为NUS-WIDE数据集构建TC-21/TC-10干净子集(附完整代码)

本文详细解析了如何为NUS-WIDE数据集构建TC-21/TC-10干净子集,这是跨模态检索领域的重要预处理步骤。通过标签数据处理、文本特征处理方案对比及数据清洗标准等关键技术,帮助研究者高效构建高质量子集,确保复现经典论文结果的准确性。文章还提供了完整的代码实现和工程实践中的关键问题解决方案。

weixin_33708432的博客 600

NUS-WIDE数据集实战:从原始文件到多模态数据矩阵的完整预处理指南

本文提供了NUS-WIDE数据集从原始文件到标准化数据矩阵的完整预处理实战指南。详细拆解了数据文件结构,解决了标签Bug、重复图片、脏数据等常见问题,并对比了文本特征构建的两种方法。最终指导读者生成可直接用于多模态学习模型(如跨模态哈希)的干净数据矩阵,包括TC-21和TC-10常用子集,确保数据处理的准确性与可复现性。

weixin_29098391的博客 254

NUS-WIDE数据集预处理实战:从原始文件到多模态检索的干净数据

本文详细介绍了NUS-WIDE数据集的预处理流程,从原始文件下载到多模态检索数据的完整处理步骤。内容包括数据下载指南、环境准备、标签矩阵构建、图像处理与组织、文本标签处理以及数据清洗策略,最终生成干净整齐的多模态数据,适用于多标签图像分类和跨模态检索任务。

weixin_30776545的博客 466

NUS-WIDE数据划分真相:四种策略原理与工程选型指南

多标签图像数据集是计算机视觉任务的基础载体,其划分方式直接影响模型评估的公平性与泛化性。NUS-WIDE作为经典基准,却从未提供官方训练/测试划分,导致复现困难、指标失真。理解其标签矩阵稀疏性、语义层级结构和原始采集特性,是构建可靠实验的前提。本文从多标签学习本质出发,解析标签覆盖率平衡、语义解耦、哈希约束与时间增量四类主流划分策略的技术动因,阐明每种方案在分类、零样本、哈希检索与业务部署等场景下的不可替代价值,并结合标签稀疏性处理与噪声建模等关键预处理环节,为研究者提供可复现、可验证、可演进的数据治理路径

weixin_34034670的博客 459

避坑指南:NUS-WIDE数据集预处理中那些官方没说的坑(图片损坏、标签不一致、重复样本)

本文详细解析了NUS-WIDE数据集预处理中的常见问题,包括图片损坏、标签不一致和重复样本等官方文档未提及的陷阱。通过实战代码示例和系统化解决方案,帮助研究者高效完成数据清洗,提升多模态学习实验的稳定性和复现率。特别针对图片损坏问题提供了检测脚本和修复方案。

weixin_30333885的博客 629

NUS-WIDE数据集TC-21/TC-10子集制作全流程:与DCMH、SSAH论文数据对齐实战

本文详细解析了NUS-WIDE数据集TC-21/TC-10子集的构建流程,确保与DCMH、SSAH等经典论文的数据统计特性对齐。从原始数据获取、标签矩阵构建到文本特征处理,提供了完整的预处理方案和验证方法,帮助研究者高效复现跨模态哈希算法实验。

weixin_42624889的博客 304

NUS-WIDE 网络标签图像数据集

NUS-WIDE 是一个带有网络标签标注的图像数据,包含来自网站的 269648张 图像,5018类 不同的标签。

NUS-WIDE多标签分类数据集整理

博客地址为:https://blog.csdn.net/w5688414/article/details/84593705 用keras进行多标签分类的图片数据集,图片取自于NUS-WIDE数据集

gmsv源代码c语言,石器时代ABLua的原理、简介、过程、运用、收发

操作原理(一)服务端:服务器源文件客户端:客户所操作的程序(既是游戏客户端)接口:既是某项功能(例如:鼠标点击,文字发送,战斗,观战,人物动作等)返回的值ABlua:在源代码中添加的整套引擎作为回调接口--lua所实现的功能是基于服务端源码添加的接口由该接口与客户端发送封包实现功能源码里是否有ABlua回调接口?例如:源码里的gmsv/battle.c文件(既是战斗回调文件)以下为简单描述C给予l...

weixin_35223575的博客 2415

BIDS数据存储格式介绍与dcm2bids安装与使用

BIDS格式&dcm2bids安装与使用

machinelearning_er的博客 7333

从零到一:DETR模型在自定义数据集上的实战部署与调优

本文详细介绍了DETR模型在自定义数据集上的实战部署与调优过程,包括环境准备、数据转换、模型配置、训练技巧及问题排查。通过具体代码示例和实用建议,帮助开发者高效完成从零到一的DETR模型部署,特别适合目标检测领域的实践应用。

weixin_42524100的博客 466

Ubuntu 20.04 server 安装

Ubuntu 20.04 server 安装 前面我们介绍了 Ubuntu Desktop 版本的安装,今天我们来看看 Ubuntu server 版本的安装。Ubuntu Server 版本的安装和 Desktop 有很大的区别,并且全程不能使用鼠标,只能通过键盘。 从光盘或 U 盘启动到 Welcome 界面,选择语言,一般都是使用 English,所以保保持默认,直接按回车即可; 系统检测到了新的版本,问你是否是否更新,这里我们不需要安装新的版本,所以选项 Continue without upda

as900的博客 1万+

手把手教你用U盘给海信IP501H刷机:GK6323V100C芯片的4.4.2和9.0固件实战

本文详细介绍了海信IP501H电视盒子基于GK6323V100C芯片的刷机实战指南,涵盖Android 4.4.2强刷和Android 9.0免拆刷机两种方案。从工具准备、短接操作到ADB调试,提供全流程解析和常见问题解决方案,帮助用户安全高效地完成刷机操作。

lemon的博客 1474

脉冲变压器电感选型参数,结构原理,工艺与注意问题总结

脉冲变压器电感简称脉冲变压器,是一种特殊类型的变压器,主要用于处理脉冲信号。它的主要特性是能够在短时间内承受高电压和大电流。脉冲变压器主要用于开关电源、脉冲功率放大、雷达脉冲调制等领域。本文对脉冲变压器的工作原理,结构特点,工艺流程,选型参数及设计注意事项进行总结。

fydar的博客 1352

【RT-DETR有效改进】利用MobileNetV3替换Backbone(轻量化网络结构,提点)

本文给大家带来的改进机制是,其主要改进思想集中在结合硬件感知的网络架构搜索(NAS)和NetAdapt算法,以优化移动设备CPU上的性能。它采用了新颖的架构设计,包括反转残差结构和线性瓶颈层,以及新的高效分割解码器Lite Reduced Atrous Spatial Pyramid Pooling(LR-ASPP),以提升在移动分类、检测和分割任务上的表现。实验表明,MobileNets在资源和准确性的权衡方面表现出色,并在多种应用(如对象检测、细粒度分类、面部属性识别和大规模地理定位)中展现了其有效性。

Snu77的博客 2753

uniapp - 获取设备麦克风权限+麦克风设备列表,用户可选择切换麦克风设备功能,选择麦克风采集设备后点击录制音频外部声音+可随时暂停/继续录音+记录音频录制时长(支持在线播放试听或下载MP3文件)

uniapp获取麦克风设备列表,uniapp录制声音,Uniapp获取麦克风权限,uniapp苹果ios安卓app获取麦克风设备列表,Uniapp H5获取浏览器麦克风并实现录音,Uniapp实现麦克风权限管理与音频录制全流程,uni-app实战案例:实现H5页面麦克风权限获取与录音功能,uni-app音频录制,uniapp麦克风授权窗口,uniapp获取iOS麦克风权限,实现前端录音并播放,把音频传给后端接口处理,获取麦克风并实现录音功能,前端获取/切换麦克风播放采集音频和采集音量大小,前端调用麦克风实现

🏆 前端领域优质创作者 2996

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

上一篇: 解决报错ImportError: unique_cuda.cpython-37m-x86_64-linux-gnu.so: undefined symbol: _ZN6caffe28T
雨•人
博客等级 码龄8年 19粉丝 17原创
评论 14
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址