江苏龙网

  1. 首页 > 资讯 > 科技 > >

深度学习■解读NeurIPS-AutoDL 总决赛冠军解决方案，代码已开源


机器之心发布
作者：深度赋智
由 NeurIPS 举办历时四个月的 AutoDL 2019-2020（自动深度学习) 系列竞赛总决赛在 4 月 18 日落下帷幕 ， 来自深度赋智的 DeepWisdom 团队荣获冠军 。 本文介绍了来自冠军团队的解决方案 。
开源代码链接：https://github.com/DeepWisdom/AutoDL
注：开源代码基于 Full-AutoML 系统自动设计出的共性解并加以改造
深度学习■解读NeurIPS-AutoDL 总决赛冠军解决方案，代码已开源
本文插图

图 1：AutoDL2019-2020 挑战赛官方通告
背景
NeurIPS ， 全称神经信息处理系统大会 (Conference and Workshop on Neural Information Processing Systems) ， 是全球最受瞩目的 AI、机器学习顶级学术会议之一 。 历来 ， NeurIPS 竞赛单元都被誉为 AI 界的华山论剑 ， 汇聚了全球 AI 顶尖力量决战技术之巅 。
深度学习 DeepLearning 近年来飞速发展 ， 在多个领域中获得了显著效果提升 ， 但是深度学习技术实现仍然需要大量的专家经验和人工成本 ， 因此自动深度学习系统 AutoDL 受到了学术及工业界的广泛关注 ， AutoDL 对快速推动落地应用和理论发展都具有重大意义 。
此次 AutoDL Challenge 竞赛堪称史上最难 ， 旨在让参赛选手设计开发出能解决包括图像、视频、语音、文本和结构化表格数据等多模态、多领域的全自动多标签分类系统 。
竞赛吸引了美国、德国、瑞士、日本、韩国等全球多地队伍 ， 来自包括清华大学、北京大学、南京大学、卡内基梅隆大学、首尔大学、弗莱堡大学、汉诺威大学等国内外著名前沿科研院校 ， 以及 Google、微软、阿里、腾讯、浪潮等国际一流公司 ， 参赛队伍总计进行了超过 2600 余次提交 。
竞赛及任务
数据
挑战赛分为两个阶段 ， 包括 Feedback 反馈阶段、Final 最终阶段 。 在反馈阶段 ， 参赛选手基于 24 个训练数据集 ， 离线开发自己的 AutoDL 程序 ， 实现训练数据处理、模型结构设计、参数调校等过程 。 然后将自己的 AutoDL 程序代码上传到比赛平台上 ， 通过另外 5 个线上私有数据集测试 ， 得到程序性能的即时反馈 。 在最终阶段 ， 参赛选手的 AutoDL 程序在无任何人工干预的前提下 ， 通过 10 个私有数据集进行评估 。 最终阶段多轮评估的平均排名将决定获胜者 。
评估
竞赛采用 ALC(Area under ROC Learning Curve) 作为评估指标 ， 在每个时间戳 t 计算最近一次预测的归一化后 AUC 分数作为坐标纵轴 ， 坐标横轴归一化采用以下方式计算：
深度学习■解读NeurIPS-AutoDL 总决赛冠军解决方案，代码已开源
本文插图

ALC 计算方式：
深度学习■解读NeurIPS-AutoDL 总决赛冠军解决方案，代码已开源
本文插图

该评估方式对方案的快速性、准确性提出了极其严格的要求 ， 对现实场景中低成本、快速应用、高准确率等要求进行了较好模拟 。
挑战
竞赛对参赛方案提出了一系列挑战 ， 包括且不限于：
如何在不同的数据中自动发现有效信息？
如何为不同领域的任务自动提取有用特征？
如何自动处理不同领域的数据？
如何自动设计有效的神经网络结构？
如何构建和自动调整预先训练的模型？
如何自动高效地选择恰当的机器学习模型与超参数？
如何提高解决方案的通用性？即如何保证解决方案在未知任务中的适用性？
如何控制计算和内存成本？
竞赛结果
深度赋智 DeepWisdom 队伍提交方案在 Feedback 阶段和 Final 阶段取得了双项总分第一的成绩！以两阶段平均排名 1.2 和 1.8 的分数稳定且大幅领先所有队伍 。 其中 Feedback 阶段在 5 个盲测数据集获得了 4 项第一 ， Final 阶段 10 个盲测数据集获得了 7 项第一 。


推荐阅读


上一篇：『硬顶科技』小米全新代步车上线，首发价1999元，一升级科技感十足

下一篇：【】绝美配色+人眼追焦：华为nova7系列海报泄出新机实锤