机器之心Pro|73岁Hinton老爷子构思下一代神经网络：属于无监督对比学习( 三 )
此外 ， 这种长字符串大多是一维的 ， 并且彼此之间呈现正交 。
从线性关系嵌入（LRE）到随机邻域嵌入（SNE）
在这部分中 ， Hinton 介绍了从线性关系嵌入（Linear Relational Embedding, LRE）到随机邻域嵌入（Stochastic Neighbor Embedding, SNE）方法的转变 。 他表示 ， 只有「similar-to」关系存在时 ， LRE 才转变成 SNE 。
同时 ， Hinton 指出 ， 可以将 LRE 目标函数用于降维（dimensionality reduction） 。
下图为 SNE 的示意图 ， 其中高维空间的每个点都有选择其他点作为其邻域的条件概率 ， 并且邻域分布基于高维成对距离（pairwise distance） 。
本文插图
从随机邻域嵌入（SNE）到 t 分布随机邻域嵌入（t-SNE）
t 分布随机邻域嵌入（t-distributed stochastic neighbor embedding, t-SNE）是 SNE 的一种变体 ， 原理是利用一个 student-distribution 来表示低维空间的概率分布 。
Hinton 在下图中展示了 MNIST 数据集中数字的 t-SNE 嵌入图 ， 每种颜色代表不同的数字：
本文插图
在介绍完这些方法之后 ， Hinton 提出了两个问题：1）方差约束在优化非线性或非参数映射时为何表现糟糕？2）典型相关分析或线性判别分析的非线性版本为何不奏效？并做出了解答 。
最后 ， Hinton 提出使用对比损失（contrastive loss）来提取空间或时间一致性的向量表示 ， 并介绍了他与 Ruslan Salakhutdinov 在 2004 年尝试使用对比损失的探索 ， 以及 Oord、Li 和 Vinyals 在 2018 年使用对比损失复现这种想法 ， 并用它发现时间一致性的表示 。
Hinton 表示 ， 当前无监督学习中使用对比损失一种非常流行的方法 。
本文插图
无监督对比学习的最新实现 SimCLR
在演讲最后 ， Hinton 重点介绍了其团队使用对比损失提取一致性表示的最新实现 SimCLR， 这是一种用于视觉表示的对比学习简单框架 ， 它不仅优于此前的所有工作 ， 也优于最新的对比自监督学习算法 。
下图为 SimCLR 的工作原理图：
本文插图
那么 SimCLR 在 ImageNet 上的 Top-1 准确率表现如何呢？下图展示了 SimCLR 与此前各类自监督方法在 ImageNet 上的 Top-1 准确率对比（以 ImageNet 进行预训练） ， 以及 ResNet-50 的有监督学习效果 。
本文插图
Hinton 表示 ， 经过 ImageNet 上 1% 图片标签的微调 ， SimCLR 可以达到 85.8％的 Top-5 准确率——在只用 AlexNet 1% 标签的情况下性能超越后者 。
Hinton 认为 ， 以 SimCLR 为代表的无监督对比学习将引领下一代神经网络的发展 。
推荐阅读
- 车壹圈|比亚迪宋PLUS预售，比宋Pro贵近3万！网友：这样做不厚道
- 趣头条|心诚则灵，携媳妇驾宋ProDM前往西来寺
- 穿搭|奚梦瑶被嘲生育机器？但自信的女人真的很美丽
- 北国金城|吉林又一景区走红，与长春相隔230公里，被称为“金城之心”
- 索菲亚|当年声称''摧毁人类''的机器人索菲亚，如今怎样了？她失控了吗？
- 趣头条|秋日限定：酷车配美人，开宋Pro打卡春晖生态酒店
- 中国循环杂志|机器学习技术可自动读冠脉造影片，仅需两秒！阜外医院徐波等EuroIntervention刊发研究
- 甲壳虫|vivo X50 Pro+拍摄实测，对比华为P40 Pro+谁更厉害？
- 庞乔|青年作家网签约作家‖庞乔：对文字抱一颗敬畏之心
- 趣头条|世界万物，唯有媳妇不可辜负，公园美拍媳妇和宋Pro