[算法]收藏！机器学习算法优缺点综述( 二 ) |机器学习|人工智

优点：

容易解释
非参数型

缺点：

趋向过拟合
可能或陷于局部最小值中
没有在线学习

回归（Regression）算法

本文插图

回归是用于估计两种变量之间关系的统计过程。当用于分析因变量和一个多个自变量之间的关系时，该算法能提供很多建模和分析多个变量的技巧。具体一点说，回归分析可以帮助我们理解当任意一个自变量变化，另一个自变量不变时，因变量变化的典型值。最常见的是，回归分析能在给定自变量的条件下估计出因变量的条件期望。
回归算法是统计学中的主要算法，它已被纳入统计机器学习。
例子：

普通最小二乘回归（Ordinary Least Squares Regression ， OLSR）
线性回归（Linear Regression）
逻辑回归（Logistic Regression）
逐步回归（Stepwise Regression）
多元自适应回归样条（Multivariate Adaptive Regression Splines ， MARS）
本地散点平滑估计（Locally Estimated Scatterplot Smoothing ， LOESS）

优点：

直接、快速
知名度高

缺点：

要求严格的假设
需要处理异常值

人工神经网络

本文插图

人工神经网络是受生物神经网络启发而构建的算法模型。
它是一种模式匹配，常被用于回归和分类问题，但拥有庞大的子域，由数百种算法和各类问题的变体组成。
例子：

感知器
反向传播
Hopfield 网络
径向基函数网络（Radial Basis Function Network ， RBFN）

优点：

在语音、语义、视觉、各类游戏（如围棋）的任务中表现极好。
算法可以快速调整，适应新的问题。

缺点：

需要大量数据进行训练
训练要求很高的硬件配置
模型处于黑箱状态，难以理解内部机制
元参数（Metaparameter）与网络拓扑选择困难。

深度学习（Deep Learning）

本文插图

深度学习是人工神经网络的最新分支，它受益于当代硬件的快速发展。
众多研究者目前的方向主要集中于构建更大、更复杂的神经网络，目前有许多方法正在聚焦半监督学习问题，其中用于训练的大数据集只包含很少的标记。
例子：

深玻耳兹曼机（Deep Boltzmann Machine ， DBM）
Deep Belief Networks（DBN）
卷积神经网络（CNN）
Stacked Auto-Encoders

优点/缺点：见神经网络
支持向量机（Support Vector Machines）

本文插图

给定一组训练事例，其中每个事例都属于两个类别中的一个，支持向量机（SVM）训练算法可以在被输入新的事例后将其分类到两个类别中的一个，使自身成为非概率二进制线性分类器。
SVM 模型将训练事例表示为空间中的点，它们被映射到一幅图中，由一条明确的、尽可能宽的间隔分开以区分两个类别。
随后，新的示例会被映射到同一空间中，并基于它们落在间隔的哪一侧来预测它属于的类别。
优点：