清华大数据论坛:快手AI技术副总裁郑文分享深度学习应用( 八 )

江苏新闻

第二个阶段是推理阶段 , 会把这些不同维度的信息进行多模态融合 , 推理出更高层次的语音信息 , 或者对视频进行情感识别 。 也用到知识图谱技术 , 把视频里的知识存储在知识图谱里表达出来 。 通过知识图谱的推理 , 能够得到一些更高层、更深入的信息 。

在内容理解方面也做了一些比较具体的技术 , 如快手开发了一套视频标签系统 , 可以对视频里出现的大多数内容和场景进行分类 。 在快手语音识别功能模块 , 采用深度学习算法 , 结合上下文语境模块 , 使得识别精度得到很大提升 。

一方面 , 需要理解视频内容 , 另一方面 , 也需要对用户进行理解 , 包含用户公开的年龄、性别等信息以及用户在实时使用快手时产生一些行为数据 。 这些数据都会传送到后端的深度学习模型里 , 训练出对用户理解的向量 。 通过这些向量 , 可以预测用户的兴趣以及他与其他用户之间的关系 。


推荐阅读