SEO 已死，LLMO 万岁( 三 ) _SEO

实验证明，在自然语言处理基准上，相比于更多数据上训练的模型，上下文学习更具有竞争力，已经可以取代大部分语言模型的微调。同时，上下文学习方法在 LAMBADA 和 TriviaQA 基准测试中也得到了很好的结果。令人兴奋的是，开发者可以利用上下文学技术快速搭建一系列的应用，例如，用自然语言生成代码和概括电子表格函数。上下文学习通常只需要几个训练实例就能让原型运行起来，即使不是技术人员也能轻松上手。
为什么上下文学习听起来像是魔法？
为什么上下文学习让人惊叹呢？与传统机器学习不同，上下文学习不需要优化参数。因此，通过上下文学习，一个通用模型可以服务于不同的任务，不需要为每个下游任务单独复制模型。但这并不是独一无二的，元学习也可以用来训练从示例中学习的模型。
真正的奥秘在于， LLM 通常没有接受过从实例中学习的训练。这会导致预训练任务（侧重于下一个 token 的预测）和上下文学习任务（涉及从示例中学习）之间的不匹配。
为什么上下文学习如此有效？
上下文学习是如何起作用的呢？LLM 是在大量文本数据上训练的，所以它能捕捉自然语言的各种模式和规律。同时， LLM 从数据中学习到了语言底层结构的丰富的特征表示，因此获取了从示例中学习新任务的能力。上下文学习技术很好地利用了这一点，它只需要给语言模型提供提示和一些用于特定任务的示例，然后，语言模型就可以根据这些信息完成预测，无需额外的训练数据或更新参数。
上下文学习的深入理解
要全面理解和优化上下文学习的能力，仍有许多工作要做。例如，在 EMNLP2022 大会上， Sewon Min 等人指出上下文学习也许并不需要正确的真实示例，随机替换示例中的标签几乎也能达到同样的效果：

文章插图
Sang Michael Xie 等人提出了一个框架，来理解语言模型是如何进行上下文学习的。根据他们的框架，语言模型使用提示来 "定位 "相关的概念（通过预训练模型学习到的）来完成任务。这种机制可以视作贝叶斯推理，即根据提示的信息推断潜概念。这是通过预训练数据的结构和一致性实现的。

文章插图
在 EMNLP 2021 大会上， Brian Lester 等人指出，上下文学习（他们称为“Prompt Design”）只对大模型有效，基于上下文学习的下游任务的质量远远落后于微调的 LLM。

文章插图
在这项工作中，该团队探索了“prompt tuning”（提示调整），这是一种允许冻结的模型学习“软提示”以完成特定任务的技术。与离散文本提示不同，提示调整通过反向传播学习软提示，并且可以根据打标的示例进行调整。
已知的上下文学习的局限性
大型语言模型的上下文学习还有很多局限和亟待解决的问题，包括：

效率低下，每次模型进行预测都必须处理提示。
性能不佳，基于提示的上下文学习通常比微调的性能差。
对于提示的格式、示例顺序等敏感。
缺乏可解释性，模型从提示中学习到了什么尚不明确。哪怕是随机标签也可以工作！

总结
随着搜索和大型语言模型（LLM）的不断发展，企业必须紧跟前沿研究的脚步，为搜索信息方式的变化做好准备。在由 ChatGPT 这样的大型语言模型主导的世界里，保持领先地位并且将你的业务集成到搜索系统中，才能保证企业的可见性和相关性。
上下文学习能以较低的成本向现有的 LLM 注入信息，只需要很少的训练示例就能运行原型。这对于非专业人士来说也容易上手，只需要自然语言接口即可。但是企业需要考虑将 LLM 用于商业的潜在道德影响，以及在关键任务中依赖这些系统的潜在风险和挑战。
总之， ChatGPT 和 LLM 的未来为企业带来了机遇和挑战。只有紧跟前沿，才能确保企业在不断变化的神经搜索技术面前蓬勃发展。