机器之心|速度提升、准确率更胜一筹，周志华等人提出可微XGBoost算法sGBM( 四 )
本文插图
图 4：使用 MLP 和 CNN 作为基学习器时的训练时间（秒） 。
研究者也探索了添加更多基学习器能否有助于提升准确度表现 。 结果见图 5 ， 可以看出 ， 答案是肯定的 ， 可以认为主要原因是在 sGBM 的架构设计中基学习器之间有更多的交互 。
本文插图
图 5：具有不同数量的基决策树的 sGBDT 的学习曲线
下表 3、图 6 和表 4 则分别给出了 sGBDT 在多输出回归任务、增量学习设置及知识蒸馏上的表现 。 总体而言 ， sGBDT 相较于传统 GBDT 基本都有更优的表现 。
本文插图
表 3：使用 10 个基学习器的均方误差（均值 ± 标准差） 。 可以看到 sGBDT 在大多数数据集上表现更优 ， 另需注意 sGBDT 可轻松自然地插入其它任务 ， 而硬 GBDT 需要一些额外的修改才行 。
本文插图
图 6：在增量学习设置下的表现比较 。 相比于 XGBoost ， sGBDT 在收敛速度方面优势明显 。 此外 ， sGBDT 相比于离线设置的准确度下降也更低 。
本文插图
表 4：sGBDT 和 XGBoost 的知识蒸馏能力对比 。 sGBDT 同样表现更佳 ， 作者认为原因是 XGBoost 及其它使用硬 CART 树作为基模型的 GBDT 实现在执行多维回归任务时 ， 负责目标维度的树之间交互更少 ， 使得模型难以蒸馏存在于标签分布向量之中的信息 。
推荐阅读
![[启上神兵]波兰提出60亿天价赔款金，否则拿“北溪”动刀，最后一步胎死腹中](https://imgcdn.toutiaoyule.com/20200430/20200430110641721561a_t.jpeg)
- 技术编程|机器学习又一重要医学应用！培植人造器官
- 智能机器人|【好莱坞首次用AI机器人主演】
- 楚天都市报|机器替换人工上班获奖励三千万元！企业智能化改造增了效率还拿补贴
- 机器|令人惊叹的伐木机器，5米高的树直接从树顶“劈下”，看着是真爽
- 数据速度|原创 新型有机LED突破数据速度
- 无人科技|智能检测机器人亮相北京动车段
- 人工智能|哈工大将在重庆建研究院，聚集汽车、机器人、人工智能等领域
- 手机|手机充电发展现状：速度狂飙，中国品牌再次实现突破！
- 智能机器人|智能检测机器人亮相北京动车段
- 智能机器人|陈根：全球首个AI发球机器人，不一样的智能陪练