江苏龙网

  1. 首页 > 资讯 > 科技 > >

技术编程|词向量因何存在：一段往计算机输入文字的历史( 五 )


给定一段文字 ， 回答有关其中内容的问题（在 SQuAD 对比基准上将误差降低了 9%） 。
标注动词的语义论元（在 Ontonotes 语义角色标注对比基准上将误差降低了 16%） 。
解析那些指称表达指代的是相同的实体（在 CoNLL 2003 对比基准上将误差降低了 4%） 。
在语言学中 ， 一个重要的思想是：可以通过相似的方式使用的单词（或表示）可能拥有相同的语义 。
Howard 和 Ruder 介绍了一种简单的方法「ULMFiT」 ， 显示了上下文相关向量在文本分类问题上的优势 。 接着 ， 基于 Transformer 的双向编码器表征在学习方法上引入了一些创新之处 ， 并利用更多的数据进行学习 ， 在第一个任务中相较于 ELMo 进一步降低了 45% 的误差 ， 在第二个任务中降低了 7% 的误差 。
在 SWAG 对比基准测试中 ， Devlin 等人近期在常识推理任务中发现 ELMo 相对于上下文无关词向量降低了 5% 的误差 ， 而 BERT 则相对于 EMLo 又降低了 66% 。 自此之后 ， 一系列论文纷纷涌现了出来 ， 如 GPT-2、RoBERTa、T5、XLM、XLNet 。
在作者撰写本文时 ， 有许多关于不同方法的相对性能的开放性问题 。 对于不同的学习算法 ， 特别是神经网络架构的完整解释超出了本文介绍的范围 ， 但是公平地说 ， 上下文相关词向量的可能学习器还没有被充分探索 。
5
不足之处
词向量是有偏的 。 和许多工程产品一样 ， 计算机程序很可能反映出其制造者的观点 。 根据数据构建的计算机程序将反映出数据（在本例中是语料库）中的内容 。 如果文本语料库表示了反应文化偏见的概念之间的联系 ， 那么这些联系会在词向量和使用它们的任何系统中存在 。
语言不仅仅是单词 。 语言的有效理解和生成不仅仅局限于理解词义 ， 这还需要知道单词如何被组合起来形成更加复杂的概念和命题 。 这只是 NLP 领域研究的冰山一角 ， 关于处理自然语言语法、语义和语用的方法 ， 以及我们如何将人类理解和生成语言的任务转化为我们可以试着去设计算法的任务 ， 还有很多有待研究的问题 。 关于上下文相关词向量 ， 一个令人惊讶的发现是：当我们使用非常大的语料库进行训练时 ， 它们更容易通过各种句法和语义解析来进行排歧 。
研究 NLP 问题不应该只局限于某一点来看 。 虽然上述成果令人印象深刻 ， 但是请记住 ， 它们仅仅反映了在研究社区中出现的少数对比基准上的表现 。 这些对比基准在某种程度上是有争议的 。 只有当我们客观衡量方法的进展时 ， NLP 领域才能得以发展我们还需要再设计用于比较的对比基准和评价指标等方面取得突破 。
6
接下来 ， 我们该做什么？
在接下来的一些年中 ， 我们希望看到将各种上下文相关词向量应用于新的问题所带来的更多新发现 。 例如 ， 构建一个系统可能涉及到复杂的协议 ， 其中就需要在一系列数据集和任务的组合上执行调优和针对特定任务的训练 。
在拥有相对较少的监督信号的条件下 ， 如何提升 NLP 程序性能的潜力 ， 也是一个有意思的方向 。 例如 ， 类似于 EMLo 的方法可以提升低资源类型和语言条件下的 NLP 程序性能 。 同时 ， 计算开销较小的方法也有更广阔的应用前景 。
【技术编程|词向量因何存在：一段往计算机输入文字的历史】希望看到更多人尝试使用语言学的术语来概括这些方法正在学习的东西（以及那些没有学习的东西） 。


推荐阅读


上一篇：古风徽韵|硬盘盒也玩创意设计，Yottamaster硬盘盒，一款半透明的硬盘盒

下一篇：行业互联网|苹果又遭遇集体诉讼：被诉从 iTunes 礼品卡骗局获利