慕测科技DeepPerf：深度稀疏神经网络对可配置软件的性能预测( 四 )
或者 ， 可以对网络中的所有层使用一个全局正则化超参数 ， 但是 ， 在这种情况下 ， 此超参数的选择变得更加敏感 。 此超参数的轻微增加或减少会极大地影响整个模型的准确性 ， 因为该超参数会影响网络中的所有层 。 当本文有一个非常有限的数据进行验证,如软件的性能预测,这就变成了一个弱点,因为异常的验证数据可以影响这个超参的选择,进而对模糊神经网络的预测性能有不利影响 。
基于这些观察 ， 本文建议仅将 L1 正则化应用于第一个隐藏层 。 请注意 ， 在 FNN 中 ， 一层是其前一层的功能 ， 因此 ， 通过将第一层中的某些参数缩小为零 ， 本文实际上删除了网络中后一层中的许多不相关的连接 。 因此 ， 仅对一层进行正则化 ， L1 正则化仍对整个网络具有良好的效果 。 拟议的用于软件性能预测的 L1 正则化深度 FNN 如图 1 所示 。
致谢
推荐阅读
- 科技一哥|荣耀30青春版图集赏析：触觉与视觉的完美享受
- 科技犬君|vs 索尼A9G 谁强？，上半年用户喜爱手机盘点；小米电视大师65英寸OLED
- 精选泛科技|结果如何？，一加8续航遭质疑：上半年最全机型横评出炉
- 科技犬君上半年用户喜爱手机盘点；小米电视大师65英寸OLED vs 索尼A9G 谁强？
- 科技生活快报TB5000mAh大电池还有65W超级快充！这些手机让你摆脱充电焦虑
- 精选泛科技一加8续航遭质疑：上半年最全机型横评出炉，结果如何？
- 阿拉图图科技说三星新机口碑虽好，但中国市场销量翻车，用户几乎跑光！
- 华为Mate30美科技界：华为再强大也只是一家民企，我们究竟在怕什么？
- 行业|高增长+高回撤！请收好这份“补票”名单，11只核心资产股入围，百亿科技股已跌出“深坑”
- 阿拉图图科技说 给做了！，雷军服不服？苹果要把雷军敢说不敢做的事情