博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
目标检测与分类识别之数据集分类
阅读量:602 次
发布时间:2019-03-12

本文共 4571 字,大约阅读时间需要 15 分钟。

摘要:在拿到数据集之后,需要对数据集进行分析,首先要知道数据集的种类,每个种类的数据情况如何,简单的说就是要看看图片长什么样,有什么特征,归类后有利于我们对数据的分析,以下以“华为云杯”2020深圳开发数据应用创新大赛-生活垃圾图片分类的数据集为例,进行演示

获取后的数据集的数据结构是标准的VOC数据集

在这里插入图片描述一共有14964张图片和44个类别
在这里插入图片描述
那么我们将类别分开,为了防止读取文件的时候报编码格式出错,所以已经把类别写入程序,当然在能处理好文件编码问题,直接读取train_classes.txt读取类别名称也是可以的,考虑到不同系统可能会导致文件编码问题,所以本文还是将类别名称写到程序内了,可能会显得程序有点笨重了。代码如下:

import osimport xml.dom.minidomfrom PIL import Image#-------------------提前创建文件夹,用于存放图片类别---------------------#class_names = ['一次性快餐盒', '书籍纸张', '充电宝', '剩饭剩菜', '包', '垃圾桶', '塑料器皿', '塑料玩具', '塑料衣架', '大骨头', '干电池', '快递纸袋', '插头电线', '旧衣服', '易拉罐', '枕头', '果皮果肉', '毛绒玩具', '污损塑料', '污损用纸', '洗护用品', '烟蒂', '牙签', '玻璃器皿', '砧板', '筷子', '纸盒纸箱', '花盆', '茶叶渣', '菜帮菜叶', '蛋壳', '调料瓶', '软膏', '过期药物', '酒瓶', '金属厨具', '金属器皿', '金属食品罐', '锅', '陶瓷器皿', '鞋', '食用油桶', '饮料瓶', '鱼骨']root_dir = os.path.dirname(__file__)images_path = os.path.join(root_dir, 'images')for class_name in class_names:    class_dir = os.path.join(images_path, class_name)    if  not os.path.exists(class_dir):        os.makedirs(class_dir)#-------------------------------------------------------------------------#AnnoPath = r'./VOCdevkit/VOC2007/Annotations/' #标签文件路径imgPath = r'./VOCdevkit/VOC2007/JPEGImages/'  #图片文件路径Annolist = os.listdir(AnnoPath)rate = {
} # 创建一个字典用于存放标签名和对应的出现次数total = 0for annotation in Annolist: fullname = AnnoPath + annotation print(fullname,annotation) image_name = annotation.split('.')[0] dom = xml.dom.minidom.parse(fullname) # 打开XML文件 # print(fullname,annotation) print('---------------', total) collection = dom.documentElement # 获取元素对象 objectlist = collection.getElementsByTagName('object') # 获取标签名为object的信息 for object in objectlist: namelist = object.getElementsByTagName('name') # 获取子标签name的信息 objectname = namelist[0].childNodes[0].data # 取到name具体的值 if objectname not in rate: # 判断字典里有没有标签,如无添加相应字段 rate[objectname] = 0#----------------------拷贝图片到对应目录------------------------# image_path = imgPath + image_name+".jpg" if os.path.exists(image_path): image = Image.open(image_path) image.save(os.path.join(images_path, objectname) +'/'+image_name+".jpg")#----------------------------------------------------------------# rate[objectname] += 1 total += 1print(rate)print(total)

将代码写为depart_classes.py, 执行脚本后就可以将类别分开了。

在这里插入图片描述

这样我们就可以更有针对性的去观察不同类的特点,帮助我们对数据集进行分析。

在这里插入图片描述

玻璃器皿

在这里插入图片描述
饮料瓶
在这里插入图片描述
花盆
在这里插入图片描述
类别太多就不一一放图了,我们可以将ap得分比较低的类单独拿出来分析,通过分析出原因:
1、数据集相对单一(比如上图中的花盆,一个花盆摆了多个pose,本身训练集就比较少)
2、图片数量不够(比如垃圾桶就只有101张图,花盆只有157张图)
3、图片遮挡比较厉害(数据集中有很多遮挡的图片)
AP得分低的类都是有上面3个毛病,所有还是需要多数据集进行适当扩充,有助于提升模型的泛化。

除了分开类别之外,我们可以统计一下各个类别的数据有多少,代码如下:

import osimport xml.dom.minidomAnnoPath = r'G:/Annotations/'Annolist = os.listdir(AnnoPath)rate = {
} # 创建一个字典用于存放标签名和对应的出现次数total = 0for annotation in Annolist: fullname = AnnoPath + annotation print(fullname,annotation) dom = xml.dom.minidom.parse(fullname) # 打开XML文件 # print(fullname,annotation) print('---------------', total) collection = dom.documentElement # 获取元素对象 objectlist = collection.getElementsByTagName('object') # 获取标签名为object的信息 for object in objectlist: namelist = object.getElementsByTagName('name') # 获取子标签name的信息 objectname = namelist[0].childNodes[0].data # 取到name具体的值 if objectname not in rate: # 判断字典里有没有标签,如无添加相应字段 rate[objectname] = 0 rate[objectname] += 1 total += 1print(rate)print(total)f=open(r'G:\tiaozhansai\垃圾分类\VOCdevkit\count.txt','w',encoding='utf-8')keys=[]values=[]for key,value in rate.items(): f.write(key+':'+str(value)) keys.append(key) values.append(value)f.close()#画图import matplotlib.pyplot as plt# object = []# number = []# for key in rate:# object.append(key)# number.append(rate[key])# plt.figure()# #解决中文显示问题# plt.rcParams['font.sans-serif']=['SimHei']# plt.rcParams['axes.unicode_minus'] = False# plt.bar(object, number)# # plt.bar(number,object )## plt.title('result')# plt.show()#########################################plt.rcParams['font.sans-serif']=['SimHei']plt.rcParams['axes.unicode_minus'] = Falsefig, ax = plt.subplots()b = ax.barh(range(len(keys)), values, color='#6699CC')# 为横向水平的柱图右侧添加数据标签。for rect in b: w = rect.get_width() ax.text(w, rect.get_y() + rect.get_height() / 2, '%d' % int(w), ha='left', va='center')# 设置Y轴纵坐标上的刻度线标签。ax.set_yticks(range(len(keys)))ax.set_yticklabels(keys)# 不要X横坐标上的label标签。plt.xticks(())plt.title('水平横向的柱状图', loc='center', fontsize='25', fontweight='bold', color='red')plt.savefig(r'G:\tiaozhansai\垃圾分类\VOCdevkit\count.jpg')plt.show()

将代码写成脚本count_class.py后运行,可以得到以下效果:

在这里插入图片描述

转载地址:http://jshxz.baihongyu.com/

你可能感兴趣的文章