江苏龙网

  1. 首页 > 资讯 > 科技 > >

慕测科技|DeepPerf：深度稀疏神经网络对可配置软件的性能预测( 三 )


另一方面 ， 深层 FNN 可以避免浅层网络遇到的维数诅咒 。 当使用 FNN 逼近函数时 ， 对于给定的近似误差上限 ， 与深 FNN 相比 ， 浅 FNN 需要指数更多的参数 。 因此 ， 对于本文的方法 ， 本文建议使用深层 FNN 对可配置软件系统的性能值进行建模 。 此外 ， 为了使超参数调整过程更轻松 ， 更快捷 ， 本文建议将每个隐藏层中的神经元数量固定为相同 。 这样 ， FNN 的复杂性将仅由两个超参数控制：隐藏层的数量和每个隐藏层中的神经元的数量 。
2）网络架构：用于软件性能预测的深度 FNN 的总体架构如下：
输入层有 n 个神经元 ， 其中 n 是需要预测的软件系统配置选项的数量 。 输出层有 1 个神经元 ， 它输出软件系统的性能值 。
有 L 个隐藏层（L≥2） ， 每个隐藏层都有 NL 个神经元 。
所有隐藏层使用 ReLU 激活函数 ， 而输出层使用线性激活函数 。 由于性能预测是一个回归问题 ， 因此需要使用线性输出层 。 同时 ， 由于 ReLU 具有比其他非线性激活函数更快地在具有多个层的网络中学习的能力 ， 因此 ReLU 被选为隐藏层的激活函数 。
对于此 FNN 架构 ， 有（NL + 1）×（n + NLL + 1）个可训练参数 。 此数字取决于 n ， NL 和 L 。 因此 ， 当软件系统具有更多配置选项时 ， 网络能够表示更复杂的功能 。

慕测科技|DeepPerf：深度稀疏神经网络对可配置软件的性能预测
本文插图

B.通过规范化降低网络复杂性
1）选择正则化技术：训练上一节中描述的深度 FNN 架构面临的一个挑战是 ， 实际上 ， 本文经常会获得非常有限的训练数据 ， 因为软件性能预测问题的主要目的是预测性能小样本中的值 。 在这种情况下 ， 模型处于不适状态 ， 这意味着可以无限数量地获取适合训练数据的参数 。 但是 ， 这些参数通常不适合新数据 。 解决不适定（或过度拟合）问题的关键思想之一是通过使用适当的正则化技术将附加信息引入网络 。 当前 ， 在许多深度学习应用程序中使用了三种最常见的正则化方法：
1）L1 正则化 。L1 正则化的思想是向损失函数添加一个惩罚项 ， 该惩罚项是通过对参数应用 L1 范数构造的 。
2）L2 正则化 。 与 L1 正则化相似 ， L2 正则化通过向损失函数添加惩罚项来工作 ， 但是 ， 在这种情况下 ， 使用 L2 范数生成惩罚项 。L2 正则化可以说是机器学习中对抗过度拟合的最流行技术 。
3）Dropout 。 Dropout 技术是专门针对神经网络提出的 。 关键的见解是在训练过程中从网络中随机丢弃神经元（及其连接） ， 以防止网络过多适应训练数据 。
要选择一种可以提高性能预测准确性的正则化技术 ， 本文需要选择一种能够利用有关可配置软件系统的先验知识的技术 。
2）L1-网络的正规化：对于可配置的软件系统 ， 已经广泛观察到 ， 即使配置选项之间可能发生的交互数量是指数级的 ， 但很大一部分潜在的交互对软件系统的性能没有影响 。这意味着神经网络的参数可能非常稀疏 ， 即只有少数参数对模型有重大影响 。因此 ， 本文建议使用使 FNN 满足此条件的正则化技术 ， 这意味着 L1 正则化技术由于其使模型参数稀疏的能力而成为最佳候选人 。假设 θ 表示 FNN 的权重 ， β 表示偏差 ， X 表示输入数据 ， Y 表示输出数据 ， J(θ,β,X,Y)表示网络的损耗函数 。将 L1 正则化应用于网络意味着将损失函数从 J(θ,β,X,Y)更改为：
Jreg(θ,β,X,Y )=J(θ,β,X,Y )+ λ||θ||1, 其中 λ 表示正则化超参数 ， ||θ||1 是 L1 范数 。
在深度 FNN 中使用 L1 正则化的考虑因素是本文是否需要对网络中所有隐藏层应用正则化 。 直观地讲 ， 如果本文将 L1 正则化应用于所有层并且每个层具有不同的正则化超参数 ， 则可能会提高预测准确性 。 不幸的是 ， 实际上 ， 这个过程是不可行的 。 原因是正则化的有效性主要取决于正则化超参数的选择 ， 并且很难找到每一层的正确正则化超参数 ， 尤其是在网络中有很多层的情况下 。


推荐阅读


上一篇：zol中关村在线|线程撕裂者3950X降价了 5499元买到十六核

下一篇：zol中关村在线|森歌T3BZ集成灶618大促，包办厨房一台就够