人工智能、机器学习领域13个常见概念( 三 ) _人工智能

10 奥卡姆剃刀原理在开发和应用机器学习模型时，总是会遇到多种可能的解决方案和多种可能的方法来获得答案。很多时候，对于哪种解决方案或哪种方法比其他方法更好，没有任何理论指导。在这种情况下，奥卡姆剃刀原理的概念（有时也称为简约原则）可以有效地应用。该原理指出：

一个人不应该做出超过最低需求的假设，或者换句话说，当一个解决方案有多种选择时，最简单的方法就是最好的。

这个原理不完全是一个定理，不能作为一个定量规则或方程来应用。但是，在现实生活中做出这样的决定时，它是一个强有力的有效的概念指南。
还需要注意的是，这条规则创建了一种折中的形式，一方面，我们拥有更多复杂性形式的信息，另一方面，我们却拥有更少的简单性形式的信息。人们不应该过于简单化问题，以致丢失一些核心信息。奥卡姆剃刀原理的另一个衍生方面是更简单的解决方案往往具有更多的泛化能力。
11 “没有免费的午餐”定理在设计机器学习系统时，需要注意的另一个有趣的概念来自Wolpert和Macready的论文，其形式是“没有免费的午餐”定理或优化中的NFL定理。该定理实质上指出：

如果一个算法在某类问题上表现得更好，那么它会以在其他类别的问题上性能下降的形式付出代价。换句话说，对于所有类型的问题，你都无法拥有单一最佳的解决方案。

这个定理需要更多地作为指导原则而不是定律，因为在所有可能的问题类别中，一个设计良好的算法完全有可能胜过其他设计不太好的算法。但是，在实际情况下可以从这个定理推断出，我们不能对所有的问题都采用同一个解决方案，并期望它在所有的情况下都能很好地工作。
12 收益递减规律收益递减规律通常出现在经济和商业场景中。它指出，随着现有员工人数的增加，增加更多的员工来完成一项工作开始产生越来越少的收益。
从机器学习的角度来看，这一规律可以应用于特征工程。从给定的数据集中，人们只能提取一定数量的特征，在此之后，性能上的收益开始减少，付出的努力是不值得的。在某些方面，它与奥卡姆剃刀原理一致，并增加了更多的细节。

文章插图

13 专家系统在机器学习开始真正意义上的商业化之前，很少有其他系统已经突破常规计算的边界。其中一个显著的应用是专家系统。
艾伦·图灵的定义标志着机器智能被认可的时代的开始，人工智能领域也随之诞生。然而，在早期（一直到20世纪80年代），机器智能或机器学习领域仅限于所谓的专家系统或基于知识的系统。专家系统领域的顶尖专家之一，Edward Feigenbaum博士，曾经这样定义专家系统：

一种智能计算机程序，使用知识和推理过程来解决很难解决的以至于需要大量的人类专业知识才能解决的问题。

这种系统能够替代某些领域的专家。这些机器经过编程，用于执行基于复杂逻辑运算的复杂启发式任务。
尽管这些系统能够取代特定领域的专家，但如果我们将其与人类智能进行比较，就会发现它们并不是真正意义上的“智能”系统。原因是系统被“硬编码”为仅解决特定类型的问题，如果需要解决一个更简单但完全不同的问题，这些系统将很快变得完全无用。
尽管如此，这些系统还是非常流行和成功的，特别是在需要重复但高度精确的性能的领域，例如诊断、检查、监测和控制。