：23个系列分类网络,10万分类预训练模型,这是飞桨PaddleClas百宝箱( 二 )
文章图片
文章图片
丰富的模型库
由于学习率、学习率下降策略、batch_size、权重衰减、标签平滑、数据增广等等超参选择和设定对分类效果影响很大 ， 复现对齐一种分类网络结构往往非常具有挑战性 。基于 ImageNet1k 分类数据集 ， PaddleClas 提供 ResNet、ResNet_vd、Res2Net、HRNet、MobileNetV3 等 23 个系列的分类网络结构的简单介绍、论文指标复现配置以及在复现过程中积累的训练技巧 。同时 ， PaddleClas 还提供了与 23 个系列网络结构相对应的 117 个预训练模型 ， 以及推理效果和性能评估 。
先说服务器端的预训练模型 ， 如图 3 所示 ， 图中记录了在 V100 ， FP32 和 TensorRT 环境下一些最新的面向服务器端应用场景的模型的效果和性能对比图 ， 通过该图用户可以直观的快速选择出需要的网络结构 。
文章图片
文章图片
图 3 服务器端预训练模型效果和性能评估
在这些模型中 ， 优先推荐使用 ResNet_vd 系列模型 ， 这是因为 ResNet 系列模型是业界较为成熟且应用广泛的一种模型 ， 其不仅应用于图像分类任务 ， 还可以用于目标检测等其它任务类型 。而 ResNet_vd 是 ResNet 的改进版 ， 在尽可能减少推理耗时增加的前提下 ， 识别准确率大幅提升 2.5% 左右 ， 并且在采用知识蒸馏方案 SSLD 的加强后 ， PaddleClas 可以提供该系列当前最有竞争力的预训练模型 ， 82.4% 的 ResNet50_vd_ssld 和 83.7% 的 ResNet101_vd_ssld ， 如今这些模型的性能还在持续提升中 。
再看移动端场景 ， 图 4 根据在骁龙 855（SD855）上预测一张图像所需的时间和准确率 ， 记录比对了一些最新的面向移动端应用场景的模型 。包括 MobileNetV1 系列、MobileNetV2 系列、MobileNetV3 系列和 ShuffleNetV2 系列 。
文章图片
文章图片
图 4 移动端预训练模型效果和性能评估
在这些模型中 ， 优先推荐使用 MobileNetV3 系列模型 。MobileNetV3 是一种基于 NAS 的新的轻量级网络 ， 与其他网络相比 ， 在相同的预测速度下 ， MobileNetV3 系列网络的精度更有竞争力 。同时 ， 采用知识蒸馏方案 SSLD ， PaddleClas 也提供了该系列当前最有竞争力的预训练模型 ， 准确率达到 79% 的 MobileNetV3_large_x1_0_ssld 和 71.3% 的 MobileNetV3_small_x1_0_ssld 。此外 ， PaddleClas 还提供了在内存占用上非常有优势的 MobileNetV1 和 MobileNetV2 的蒸馏模型 ， 这两类模型可以仅占用较少的内存资源 ， 即可以达到不错的性能效果 。
不同模型的简介、训练技巧、FLOPS、Parameters、GPU 预测时间、CPU 预测时间和存储大小请参考教程中的模型库章节：
https://paddleclas.readthedocs.io/zh_CN/latest/models/index.html
高阶优化支持之 SSLD 知识蒸馏方案
前面多次提到 SSLD 知识蒸馏方案 ， 那它究竟是什么呢？知识蒸馏是指使用教师模型 (teacher model) 去指导学生模型 (student model) 学习特定任务 ， 保证小模型在参数量不变的情况下 ， 得到比较大的效果提升 ， 甚至获得与大模型相似的精度指标 。此外该方案的最大的特点是可以帮助用户利用没有标注的数据对模型进行训练 ， 提升模型效果 。
那么图像分类模型与知识蒸馏技术携手 ， 会有什么样的威力呢？PaddleClas 提供了一种简单的半监督标签知识蒸馏方案（SSLD ， Simple Semi-supervised Label Distillation） 。如图 5 所示 ， 使用该方案模型效果普遍提升 3% 以上 。
推荐阅读
- AutoR智驾|电力不够持久？以色列推出动态无线充电网络 充电效率90％
- AutoR智驾|电力不够持久？以色列推出动态无线充电网络，一夜铺设一公里、充电效率90%
- 宅秘|华为路由Q2S开启首销 有效解决大中户型网络覆盖难题
- 合伙|上海依图网络科技有限公司注册资本新增2.18% 投资人新增红杉、高瓴投资实体
- PS索尼宣布PS5游戏网络发布会延期 新日期尚未确定
- 盒子|618网络机顶盒怎么选？萌新必看的五大热销旗舰
- 美好，一直在身边|科普中国回应：美国并不能通过根服务器让中国网络“瘫痪”
- |中兴AXON 11 SE发布：首款支持四大运营商网络5G手机
- 代餐|没团队，没技术，没资源，适合大多数人的网络赚钱之路
- 青烟故人离|全面5G网络的覆盖时间表公布，网友直呼：被坑办理了5G流量套餐