慕测科技|DeepPerf：深度稀疏神经网络对可配置软件的性能预测( 四 )
或者 ， 可以对网络中的所有层使用一个全局正则化超参数 ， 但是 ， 在这种情况下 ， 此超参数的选择变得更加敏感 。 此超参数的轻微增加或减少会极大地影响整个模型的准确性 ， 因为该超参数会影响网络中的所有层 。 当本文有一个非常有限的数据进行验证,如软件的性能预测,这就变成了一个弱点,因为异常的验证数据可以影响这个超参的选择,进而对模糊神经网络的预测性能有不利影响 。
基于这些观察 ， 本文建议仅将 L1 正则化应用于第一个隐藏层 。 请注意 ， 在 FNN 中 ， 一层是其前一层的功能 ， 因此 ， 通过将第一层中的某些参数缩小为零 ， 本文实际上删除了网络中后一层中的许多不相关的连接 。 因此 ， 仅对一层进行正则化 ， L1 正则化仍对整个网络具有良好的效果 。 拟议的用于软件性能预测的 L1 正则化深度 FNN 如图 1 所示 。
致谢
推荐阅读
- 2020|影谱科技入选“2020中国AI商业落地价值潜力100强榜单”
- 行业互联网|眼控科技聚焦航空气象报文，人工智能助推编发自动化
- 行业互联网|金风科技中标哈萨克斯坦札纳塔斯二期100MW风电项目
- 无人科技,电池技术|盘点几种常见的无人机电池
- 行业互联网,智慧医疗|商汤科技创“心”升级，探索“联邦学习”入选ECCV
- 行业互联网|创盈Charmwin惊艳亮相2020上海美博会，打造“光”科技健康护肤新风尚
- 科技圈|集成灶两大品牌厨壹堂教你解锁三伏天厨房的正确打开方式
- 黑科技|花两万块钱买一台大法电视是一种怎么样的体验？
- 北京|北京嘀嘀无限科技发展有限公司因涉嫌非法聘用外国人被行政处罚
- 和讯科技|乐视退最后交易日报0.18元/股 明日将被正式摘牌