博客
关于我
caffe在ImageNet数据集上训练残差网络Resnet
阅读量:783 次
发布时间:2019-03-25

本文共 1192 字,大约阅读时间需要 3 分钟。

ImageNet数据集是图像分类领域的经典公开数据集,对深度学习的发展产生了深远影响。许多经典的网络模型都会在ImageNet上进行训练对比,ResNet18作为其中一员,本文从头训练了一个ResNet18模型,使用ILSVRC2012数据集。

由于硬件条件有限,只能使用RTX2060s单卡训练。相比Inception系列需要数十块GPU的训练,确实让人感到有些惋惜。

关于多卡训练,推荐阅读论文《Accurate, Large Minibatch SGD: Training ImageNet in 1 Hour》,其中提到的调参技巧颇为有用。其中包括batch size和learning rate的一些关系,以及常用的warm up策略,均在训练中发挥了重要作用。

尽管如此,本人仍选择使用单卡训练了5天时间,并取得了不错的实验结果。单片样面的验证错误率显示,Top-1为30.86%,Top-5为11.66%。相较于Facebook AI Research (FAIR)的实现,Top-1差异为0.43%,可以推测原因在于数据增强方案和迭代次数上。数据集的处理方面,本文主要使用了随机裁剪和水平翻转等方法。

下载的文件包含以下几个部分:ILSVRC2012_img_train.tar、ILSVRC2012_img_val.tar、ILSVRC2012_img_test.tar和ILSVRC2012_devkit_t12.gz。前三个压缩包分别对应train、val、test子集的图像数据,体积分别为147GB、6.7GB和13.6GB。ILSVRC2012_devkit_t12.gz则提供了数据集的详细说明和提交结果评价的代码。

数据集解压和处理过程相对复杂。ILSVRC2012_img_train.tar解出来后,需要对1000个tar文件进行二次解压。在train目录下运行unzip.sh文件,处理完成后将得到1000个分类文件夹。ILSVRC2012_img_val.tar则包含所有的验证集图片。

实训数据集处理时,本人主要采用Vertices ResNet框架,使用随机裁剪和水平翻转等方法进行数据增强。特别是在ResNet架构中加入SE Block对模型性能进行对比和提升。

训练过程整体图示显示,batch size设置为64。红色曲线表示验证集Top-1错误率,紫色曲线表示Top-5错误率,红色和紫色分别以不同的间隔呈现出训练和验证集的损失变化趋势。

此外,本人目前也在探索更多数据增强手段。从SE Block改进的ResNet对比结果也将纳入实验范围内。初步数据显示,只有单块模型经过5天训练即可实现验证集Top-1准确率为30.86%,Top-5准确率为11.66%。这些结果在简单数据增强和有限迭代次数下表现尚可,未来将继续优化训练策略。

转载地址:http://tfcuk.baihongyu.com/

你可能感兴趣的文章
multiprocessing.Manager 嵌套共享对象不适用于队列
查看>>
multiprocessing.pool.map 和带有两个参数的函数
查看>>
MYSQL CONCAT函数
查看>>
multiprocessing.Pool:map_async 和 imap 有什么区别?
查看>>
MySQL Connector/Net 句柄泄露
查看>>
multiprocessor(中)
查看>>
mysql CPU使用率过高的一次处理经历
查看>>
Multisim中555定时器使用技巧
查看>>
MySQL CRUD 数据表基础操作实战
查看>>
multisim变压器反馈式_穿过隔离栅供电:认识隔离式直流/ 直流偏置电源
查看>>
mysql csv import meets charset
查看>>
multivariate_normal TypeError: ufunc ‘add‘ output (typecode ‘O‘) could not be coerced to provided……
查看>>
MySQL DBA 数据库优化策略
查看>>
multi_index_container
查看>>
MySQL DBA 进阶知识详解
查看>>
Mura CMS processAsyncObject SQL注入漏洞复现(CVE-2024-32640)
查看>>
Mysql DBA 高级运维学习之路-DQL语句之select知识讲解
查看>>
mysql deadlock found when trying to get lock暴力解决
查看>>
MuseTalk如何生成高质量视频(使用技巧)
查看>>
mutiplemap 总结
查看>>