江苏龙网

  1. 首页 > 资讯 > 资讯 > >

遍历|词嵌入的经典方法，六篇论文遍历Word2vec的另类应用( 二 )


如果了解 NLP 任务的话，H 的获取的第一步跟平时我们获取 embedding 的方式一样，因为这里的 W_I 是初始化为传统 CBOW 的权重，所以这一步其实就是获取这些词的传统嵌入，然后对其取平均作为整个窗口所有词的特征，然后做了一个分类任务。
然后回到 w，这里的 w 允许对各种形式的 w 进行选择，比如完整的句子或形式的元组 (主要对象、关系、次要对象)。w 的选择取决于我们所关心的任务。例如，在常识断言分类和基于文本的图像检索中，w 是元组中的短语，而在视觉释义中，w 是句子。给定 w，S_w 也是可调的。它可以包括所有的 w(例如，从元组中的一个短语学习时) 或单词的一个子集(例如，从句子中的一个 n 元上下文窗口学习时)。
最后再说一下效果，这个任务其实就是在 w2v 的基础上进行 finetune，这种直接进行全局 finetune 的效果，据论文中所说，也可以保持最开始 w2v 的效果，就是如果一些词在 finetune 过程中没有出现，它们就会保持原有的语义特性，这种全局 finetune 并不会让新型的 w2v 在传统任务中变得更差。
如下表 1 所示的视觉转述任务对比中，vis-w2v 的效果比单纯的 w2v 任务要好很多。
表 1：转述任务平均准确率（AP）。表源：[1]
2.2 Visually Supervised Word2Vec (VS-Word2Vec) [2]
论文链接：https://ieeexplore.ieee.org/abstract/document/8675640"/>
文章图片
首先 D 是 CBOW 的训练集，然后对于这个训练集中的每个词，计算两个损失 e1 和 e2，e1 就是前半部分，也就是传统 CBOW 的损失，e2 是后半部分，衡量了两种 embedding 的不一致性（J_V），\lambda 就是个可调的超参数，p_t 表示 w_t 是不是关系词，如果是关系词，那么 p_t=1，保留后半部分，如果不是关系词，则变成传统的 CBOW 训练过程。
使用这种方法后，作者在 SimVerb-3500 中的九个类别的同义词（SYNONYMS, ANTONYMS, HYPER/HYPONYMS, COHYPONYM，NONE ）进行了对比，对比结果如表 2 所示，总体来说是比 CBOW 要好的，而且一些特别的类中，效果的提升还很大。
表 2：同义词一致性结果。表源：[2]
2.3 Action2Vec [4]
论文链接：https://arxiv.org/pdf/1901.00484.pdf
具体来说，左边先使用由 [5] 中数据集预训练好的 C3D 模型来提取每一帧的图片的特征向量，然后使用了一个 Hierarchical Recurrent Neural Network (HRNN) ，并加入了自注意力机制，最后通过一个全连接层（fully connected weights）将 LSTM2 得到的视频嵌入变成跟词嵌入相同维度的向量，最后这个向量又通过一个全连接层做了一个分类任务，判断这个视频对应的动作是什么。然后通过一个“双损失”（cross entropy+pairwise ranking）来让改善后的 joint embedding space 同时具有视频和文本的语义信息。
双损失（dual loss）：这里的双损失就是指 cross entropy 加 pairwise ranking loss，cross entropy 这里就不多做介绍，对应的就是上面说的分类任务，pairwise ranking loss(PR loss)如果不了解的可以看一下这篇文章（https://gombru.github.io/2019/04/03/ranking_loss/），会更容易理解下面的式子。这里的 PR loss 定义为下式：
最后需要说明的一点是因为两个数据库的词并不能完全一致，可能会出现视频数据库中的词在 word2vec 词库中不存在的情况，这时这些动词就会被转化成对应的形式（如 walking 变成 walk 等）。
实验部分，作者在 ZSAL(Zero Shot Action Learning)任务中与其他 ZSL 模型进行了对比，可见作者提出的模型在各个数据集上的效果都是最好的。
表 3：ZSAL(Zero Shot Action Learning)模型效果对比。表源：[4]
2.4 sound-word2vec [7]
论文链接：https://arxiv.org/pdf/1703.01720.pdf
与第一篇论文一样，这里分类任务的标签又是来自于聚类。s 先经过聚类得到类别标签，然后这个标签就用于训练 W_P 和 W_O。整体上来说，这篇论文的思想跟第一篇论文差不多，但是论文中关于声音如何表征等的声音处理还是很具有启发性的，同时这篇论文再一次证明了整体 finetune 可以在改善传统词嵌入空间上取得不错的效果。
这个方法的效果如表 4 所示，在普通词上，效果跟 word2vec 差不多，但是在拟声词上，sound-word2vec 明显表现就要好很多了。作者还在一些基于文本的拟声词识别任务中进行了实验，效果比普通的 baseline 模型都要好很多（具体细节可以去看一下原论文）。
遍历|词嵌入的经典方法，六篇论文遍历Word2vec的另类应用
文章图片
表 4：相似词示例。表源：[7]
3、探索新空间
论文链接：https://link.springer.com/article/10.1007/s00521-018-3923-1
Google 在去年利用语言模型将蛋白质序列转换成嵌入，从而实现了很多相关任务的飞跃，这个我曾经写过一篇文章来专门介绍，这里就不多做赘述，今天主要介绍这个方法是如何应用于音乐上，从而产生一个新的基于音乐的嵌入空间，新的嵌入空间乐理知识进行了表征——音乐 + word2vec [6]。
因为这篇论文包含了比较专业的乐理知识，而对应的机器学习方法就相对比较传统，就是一个 skip-gram 模型加上对乐谱进行编码。但是论文中对乐谱各项乐理知识在乐谱嵌入空间的表征情况进行了详细分析，表明了 skip-gram 很好地从乐谱中学习到了乐理知识。


推荐阅读


上一篇：推荐|欧盟总法院裁定：苹果胜诉130亿欧元爱尔兰税收案

下一篇：新冠肺炎|31个省区市新增确诊1例，为境外输入病例（在上海）