百变应用场景下,优酷基于图执行引擎的算法服务框架筑造之路( 三 )
2)Debug
在开发时会用到本地调试能力 , 通过开发SDK本地运行代码 , 同时将并行图改为串行运行方便本地调试 。
3)日志信息
在图框架运行时会捕捉算子运行异常等信息 , 通过日志文件和统计Counter的方式进行输出 , 在页面进行报表呈现和监控 。
本文插图
典型业务应用
1. 典型串行图化改造
以推荐场景的简单业务逻辑举例 , 通过图化执行提高业务算子并行度 , 降低延时 。
本文插图
图:典型串行图化改造
在图架构之前 , 模块的封装都以串行逻辑运行 , 其中会存在一些可并行优化的处理逻辑 。 比如在播放过滤和内容池过滤部分 , 内容池的查询和播放内容的查询本身是不相关 , 没有直接依赖 , 是可并行执行的操作 。 在串行编码情况 , 实际执行逻辑维持串行逻辑 。
通过图化改造后 , 将查询内容池部分和查询播放内容部分提取为算子 , 在图中并行执行 , 被过滤算子依赖 , 这样可以最大程度的并发执行 , 充分利用CPU , 减少执行延时 。
2. 典型业务执行图
以推荐典型业务场景为例 , 对整个图进行分解 。
本文插图
图:典型业务执行图
业务大图:包含多路召回 , 后续通过模型混排合并、打散、策略执行返回最终结果 。
分支子图:单独一路召回子图中 , 包含了不同类型的召回 , 通过过滤、排序、策略合并得到单路结果 。
DataSet:策略合并算子会基于图中流转的数据集 , 使用数据集包装的基本API进行数据集的访问操作 。
基础数据源:业务算子中通过封装的通用BE、iGraph、Tair等数据源接口查询或写入数据 。
通过业务子图、基础数据集、基础数据源等层面的将业务进行分解 , 基础数据集API和通用数据源算子和业务无关 , 业务层通过使用基础API进行业务算子实现和依赖组成最后业务逻辑图 。 最终达到业务层、基础层的复用 。
本文插图
总结&展望
基于图引擎的算法服务框架建设 , 通过抽象算法业务的通用组件 , 提供图形化流程编排工具和图执行引擎 , 实现了0代码、配置化支持算法业务需求 。 为快速的算法应用 , 不断提升用户的个性化服务打下了坚实基础 。 对推荐、搜索、广告等算法应用业务有参考价值 。
接下来 , 为了进一步提升引擎性能 , 我们将在构图优化和引擎执行性能上做优化 , 在保持业务表达灵活简洁的同时 , 追求更优的执行性能 。
本文插图
- 重构ncnn , 腾讯优图开源新一代移动端推理框架TNN
- 墨奇科技汤林鹏:如何用 AI 技术颠覆指纹识别?
- 性能超越最新序列推荐模型 , 华为诺亚方舟提出记忆增强的图神经网络
- 研发的未来在哪里?Serverless 云开发来了!
- 【百变应用场景下,优酷基于图执行引擎的算法服务框架筑造之路】真惨!连各大编程语言都摆起地摊了!
- 国外小伙怒喷加密货币行业:入行两年 , 我受够了!
推荐阅读
- 中国新闻网|侯立安院士:研发集成空气净化和消杀技术应用战“疫”
- 技术大神 Native:使用Vue.js框架构建原生移动应用程序的指南,Vue
- 技术大神Vue Native:使用Vue.js框架构建原生移动应用程序的指南
- 创造营2020|《创造营2020》总决赛奇怪场景之二:张艺凡卡7后的反应大合集
- 国防时报热点 收入受影响,部分人因此“断粮”,印度网红对中国应用禁令显错愕
- 国务院客户端|对于职场新人来说,有哪些好应用值得推荐?
- 国防时报热点|收入受影响,部分人因此“断粮”,印度网红对中国应用禁令显错愕
- 芯片:损失60亿!中国取消苹果“特权”,数万款应用被限制
- 选择遗忘|应用日报|微信支持拍一拍个性设置,iOS 13.6 beta 3 发布
- 印度将矛头指向了中国应用,这时英特尔公司发现了巨大商机
