NUS-WIDE是一个多标签数据集,数据集中一共包含26,9648个样本,可以分为81个类。最近在做跨模态检索项目,发现有很多论文里面都用到了NUS-WIDE-10K数据集,但是在网上也没有搜索到相关的数据集下载链接或者是数据集制作代码,所以自己动手写了一个NUS-WIDE-10K数据集的制作代码。
更新
评论区有人提醒NUS-WIDE-10K的10个最大的类是通过统计该类单标签图片个数来排序得出的,但是在随机抽取样本时是没有区分多标签图片和单标签图片,有可能并不符合原文中的描述。我一开始写代码的时候考虑到如果只选择单标签图片可能某一类图片的总数无法到达1000张,但是今天重新尝试了一下发现是可以的。因此我重新修改了一下提取部分的代码以满足原文要求。
1.介绍
我在网上找到的最早关于NUS-WIDE-10K数据集描述的论文是:Cross-modal Retrieval with Correspondence Autoencoder。描述如下:作者选择了NUS-WIDE数据集中最大的10个类:animal、clouds、flowers、food、grass、person、sky、toy、water 和 window,并从每个类中选取1000张单标签图片(总共10000张)作为NUS-WIDE-10K数据集。NUS-WIDE-10K被随机分为3个子集:训练集、验证集和测试集,每个集合样本数分别为:8000、1000和1000。

2. 数据集分析
我们再来看一下NUS-WIDE数据集的主要结构

- Flickr文件夹:Flickr文件夹包含了NUS-WIDE数据集的所有图片,里面有704个文件夹,每个文件夹代表一类图片(还记得NUS-WIDE是一个多标签数据集吗?对因此每个图片都有两个标签)
- Groundtruth文件夹:解压后有 AllLabels/ 和 TrainTestLabels/ 两个目录,AllLabels/ 中一共有81个.txt文件,每个文件中包含的都是26,9648 行的 0/1 数据,代表该数据是否属于该类别。
- ImageList文件夹:该文件夹中有Imagelist.txt、TestImagelist.txt、TrainImagelist.txt三个文件,我们只用到Imagelist.txt,该文件按序排放了数据集所有图片的存放地址。
- NUS_WID_Tags文件夹:文件夹有多个文件,但是我们只用到All_Tags.txt,该文件按序存储了所有图片的文本描述。
- Concepts81.txt:包含81个类别的类名。
3.代码
提取
- 提取animal、clouds、flowers、food、grass、person、sky、toy、water 和 window每个类别样本的id值。
- 从每个类别中随机抽取1000个样本。
import os
import numpy as np
import random
from tqdm import tqdm
import shutil
import sys
N_SAMPLE = 269648
label_dir = "Groundtruth/AllLabels"
image_dir = 'ImageList/ImageList.txt'
txt_dir = 'NUS_WID_Tags/All_Tags.txt'
output_dir = 'NUS_W
600



被折叠的 条评论
为什么被折叠?



