江苏龙网

  1. 首页 > 人文 > >

CSDN揭秘阿里中台！一文看懂阿里推荐业务的两项利器 | 赠书( 四 )


在生产环境的主流使用方式中 ， RTP出于对性能和数据容量的考虑 ， 会将TensorFlow的原生模型按RTP的格式要求进行转换 ， 分成两部分：一部分是抽取和转成网络结构 ， 可以认为是模型的元数据 ， 采用GRAPH.def的文件存放和使用；
另一部分是参数和对应的权重信息 ， 采用KV表的形式进行分发和使用 。 RTP借助Suez框架将上述两部分信息进行分发并加载到内存中 。 上述网络结构的更新是非实时的 ， 可以做到小时级别的更新 ， 而参数和对应的权重支持实时更新 ， 已应用在2019年的天猫“双11”大促中 。
另外 ， RTP还有一部分信息可以做到实时更新 ， 这就是内容表（item table） 。 在主流的应用场景中 ， 内容表是一个超级大表 ， 也是一个KV表 ， Key是商品ID ， Value是商品维度的原始特征 。
这么做是为了减小从请求串中传递的参数大小 。 大部分商品维度的特征可以从服务器本地的KV表中读取 ， 而不是从请求串中解析 。 试想一下 ， 如果数千个商品维度的特征都从请求串中传递 ， 这个请求串会非常大 ， 仅解析请求串、反序列化对象就会消耗不少时间 。
4. RTP对外接口服务
一个系统想在竞争对手如林的环境中生存下来并推广开去 ， 不断提升系统的用户体验很重要 。 在不同的业务场景和开发场景中 ， 不同的使用者会要求不同的调用方式 。 RTP的对外接口支持用多种请求调用的方式来满足多种场景的需求 ， 如图7所示 。
CSDN揭秘阿里中台！一文看懂阿里推荐业务的两项利器 | 赠书
本文插图
图7 RTP请求模式
RTP支持基于HTTP和ARPC两种协议的请求方式 。 其中 ， 基于HTTP协议的请求方式与其他平台差别不大 ， 整体过程就是在HTTP客户端将所有的输入拼装成JSON对象 ， 按POST协议进行请求；
然后在RTP服务端将JSON对象解析为tensor input张量输入和tensor fetch张量读片以及其他的相关信息 ， 调用TensorFlow Graph的执行器运行模型 ， 得到fetch读片的具体内容；最后用同样的方式封装成JSON对象并返回给客户端 。
对于基于ARPC协议的请求方式 ， 其支持两种请求对象：一种是PBRequest ， 也就是JSON对象封装成了PB对象 ， 其优点是对于单个请求附带了大量的商品id集合的场景 ， 有比较大的性能提升；
一种是GraphRequest ， 这种请求是通过RTP客户端的SDK封装好tensor的input、fetch以及其他信息 ， 存储到GraphRequest对象中 ， 通过ARPC调用RTP ， 在RTP协议转换层将这些tensor信息传递给Tensor-Flow图执行器运行模型 ， 得到输出的fetch的tensor 。
基于HTTP协议的请求格式主要用于开发过程中的调试 ， 在生产环境中会使用基于ARPC协议的请求格式 。
5. RTP内部实现原理
前面讲到 ， RTP将模型拆分成两部分：一部分是纯粹的图结构 ， 一部分是参数和权重数据 。 RTP会对图进行转化 ， 将Training Graph训练图转成Inference Graph推理图 ， 并对某些节点进行替换改写 ， 使之能够读取本地数据KV表 。 图8所示是对训练出来的模型图进行添加和裁剪的过程 。
CSDN揭秘阿里中台！一文看懂阿里推荐业务的两项利器 | 赠书
本文插图
图8模型加载
添加一些节点 ， 如Placeholder ， 用于外部请求数据的输入；也会添加一些Feature Generator特征生成器相关的节点 ， 用于对请求串中输入的数据进行特征生成 。
这些特征生成节点如果涉及商品维度的特征生成 ， 往往会和本地的内容表关联 ， 在节点执行时 ， 会检索本地内容表 ， 获取商品维度的数据 ， 然后进行特征生成 。 另外 ， 会对某些节点（如Loss节点）进行删除 ， 因为前向预测时 ， 这些节点是用不上的 。
RTP在阿里巴巴集团的搜索和推荐体系中占据了非常重要的位置 ， 工程实现的管控系统对训练和上线流程的封装让整个过程非常顺畅 ， 让算法工程师能专注于模型的优化 ， 从而大大提高算法的生产效率 。


推荐阅读


上一篇：市场|康希诺生物：确定在科创板上市发行价格为209.71元/股

下一篇：中国新闻网|连镇高铁建设最新进展：淮镇段将接入沪宁城际