每种机器学习算法都可以表示为神经网络( 二 )


每种机器学习算法都可以表示为神经网络

文章插图
 
有时,这些功能起作用 。在其他时候,它们却没有—它们具有固定数量的参数,使用或保留它是一件重要的事情 。但是,神经网络在寻找f(x)的方式上有些不同 。
任何函数都可以由许多类似阶梯的部分合理地逼近-步数越多,逼近的精度就越高 。
每种机器学习算法都可以表示为神经网络

文章插图
 
这些步骤中的每一个都在神经网络中表示,即隐层中具有S型激活函数的节点,该函数本质上是概率阶跃函数 。本质上,每个节点都"分配"给函数f(x)的一部分 。然后,通过权重和偏差系统,网络可以确定节点的存在,如果需要为特定输入激活神经元,则将S型函数的输入向无穷大(输出为1),否则向负无穷大 。。不仅在数值数据中而且在图像中也观察到了这种委托节点以寻找数据功能的特定部分的模式 。
尽管通用逼近定理已扩展为适用于其他激活函数(如ReLU和神经网络类型),但原理仍然适用:神经网络的创建是完美的 。神经网络不再依赖于复杂的方程和关系数学系统,而是将自身的一部分委派给数据功能的一部分,并通过蛮力记忆将其归纳在其指定区域内 。当这些节点被聚集到一个庞大的神经网络中时,当它们实际上是巧妙设计的近似器时,结果是一个看似智能的模型 。
假设神经网络至少可以在理论上构造出一个函数,该函数基本上具有所需的精度(节点数越多,近似值越准确,当然不考虑过拟合的技术性),具有正确结构的神经网络可以 对任何其他算法的预测函数p(x)建模 。关于其他任何机器学习算法,都不能这么说 。
神经网络使用的方法不是优化现有模型中的一些参数,例如多项式曲线或节点系统 。神经网络是对数据建模的某种观点,其目的不是要充分利用任何独立系统,而是要直接逼近数据功能 。我们非常熟悉的神经网络架构仅仅是一个真正想法的模型体现 。
借助神经网络的力量以及对深度学习的无底领域的不断研究,无论是视频,声音,流行病学数据还是两者之间的任何数据,都将能够以前所未有的程度建模 。神经网络确实是算法的算法 。
除非另有说明,否则所有图片均由作者创建 。
(本文翻译自Matthew P. Burruss的文章《Every machine Learning Algorithm Can Be Represented as a Neural Network》,参考:https://towardsdatascience.com/every-machine-learning-algorithm-can-be-represented-as-a-neural-network-82dcdfb627e3)




推荐阅读