江苏龙网

  1. 首页 > 资讯 > 资讯 > >

范式|第四范式：借势PC霸主，推出企业级AI操作系统( 三 )


范式|第四范式：借势PC霸主，推出企业级AI操作系统
文章图片

数据形式在数据中台上 ， 因为训练框架需要数据输入 。 有些重要的组件也跑在数据中台与资源调度上 ， 训练框架需要算力调度支持 。 “我的电脑”在Windows桌面上屹立不倒 ， 它在AIOS版里 ， 是“数据中台” 。
“用软件定义算力” ， 第四范式是怎么做的?
“我们的第一行代码 ， 是写在GDBT上的 。 ”第四范式副总裁郑曌告诉《亲爱的数据》 。 这里的GDBT ， 全称是“General Distributed Brilliant Technology” ， 自研的大规模机器学习框架 。 那么问题来了 ， 为什么第四范式的第一行代码不是写在推荐算法里?很多AI解决方案提供商都有软硬一体的优化方案 。 可谓八仙过海各显神通 。 可是 ， 很多企业的软件框架是把开源的代码拿来改一改 ， 甚至有的连修改的能力都没有 。 最后的结果无非是向业务妥协 ， 放弃一些做不到的场景 。 业界有人感叹 ， 现在是什么时代 ， 是算法定义计算的时代 。
范式|第四范式：借势PC霸主，推出企业级AI操作系统
文章图片

一方面 ， AI应用场景众多 ， 特点各异 ， 实现最后应用落地的开源软件无论功能还是性能 ， 尤其在大规模方面与实际需求有较大的距离 ， 众多AI厂商束手无策 。 自研的机器学习框架 ， 能为软硬一体的优化方案带来独特优势 ， 相当于独门秘籍 。 底层实现方法不一样 ， 效果上有较大区别 。 越是量身定制 ， 效果越好 。 另一方面 ， 市场上流行的深度学习框架 ， 解决的是偏语音和图像类的问题 ， 对于决策性问题深度学习的效果不是特别好 。
陈雨强谈道：“企业产生价值这个事情 ， 关键是要抓住决策 ， 企业的主要任务是经营 。 ”郑曌谈道 ， 开源很难支持海量特征抽取 ， 也支持不了大规模 。 所以 ， 有很多企业就会选择牺牲业务 。 不能做事中 ， 就做事后 。 比如 ， 银行跨境交易事中反欺诈 ， 这时候 ， 不能慢 。 不仅要和时间赛跑 ， 还要和秒表赛跑 。 受害人刷卡时 ， 银行系统当时就能准确识别这是一笔欺诈 ， 刷卡一瞬间就阻断 。
事后分析则非常佛性 ， 先让他刷 ， 刷完了之后再来分析 ， 认定为异常交易 ， 启动追责……这时候 ， 犯罪分子有可能已经携巨款跳上开往公海的船只 ， 跑路了 。 实时的价值在这个例子中比较典型 。 事中阻断的难度比事后大多了 ， 这就是在很多企业内部 ， 属于“要妥协 ， 做不到”的业务场景 。
算力浪费的一部分原因是企业没有能力优化 ， 利用率不高 。 AI发展急需硬件的升级 ， 传统硬件产品无法在基础能力上满足密集的线性代数计算和海量数据高吞吐的需求 。 AI算法需要对网络连接权重进行多次调整 ， 也需要很高的计算能力的支撑 。 问题反映到企业经营中就会变成“钱没少花” 。
范式|第四范式：借势PC霸主，推出企业级AI操作系统
文章图片

郑曌告诉《亲爱的数据》：“一个不懂算法的人 ， 很难预计一个机器学习任务需要消耗多少内存 ， 用了多少算力 ， 这需要查看日志 ， 手工地去调整资源设置 。 举个例子 ， 随便抓住一个第四范式办公室里路过的AI工程师 ， 突然问他 ， 上周汇报的word版《工作周报》消耗了笔记本电脑多少内存?他也会一脸懵逼 ， 原因是很难估算 。 因此 ， 分布式执行引擎具备自适应调度功能尤为重要 。 ”所以 ， 第四范式2020年也推出了一个分布式调度系统 ， HyperScheduler(以下简称HS) 。
没有资源调度会怎么样?“一核有难 ， 八核围观” ， 利用率不高 ， 浪费 。 利用率太高 ， 容易挂了 。
所以 ， 需要Sage AIOS的“HS” ， 类比Windows“进程调度器” 。 通过自动资源推测、容器动态调度等方式 ， 让用户不感知资源细节 。 通过资源共享、虚拟化等方式 ， 让集群算力利用率最大化 。 ”
GDBT、HS和实时内存数据库(RTiDB)在 AI 全生命周期中扮演着核心引擎的角色 ， 其所支撑的能力 ， 不管是面向行为数据与反馈数据的自动数据处理、自动特征组合 ， 还是面向模型训练的算法自动探索、超参自动调节 ， 这些工作 ， 都在算力消耗中占到了极大比例 。 底层框架任何一个微小的技术实现 ， 给全生命周期带来的影响都会成倍放大 。
所以 ， 越是底层的能力 ， 越需要极致、入微的优化 。 第四范式还有一系列组合拳：PWS任务调度系统 ， 定制X86机器学习芯片 ， 自研机器学习专用加速卡 ， 数据压缩算法 ， FPGA异构加速芯片计算力调度 。 2019年的产品发布会上公布的数据显示 ， 相比普通服务器 ， SageOne 软硬一体解决方案可实现高维模型构建过程的6-12倍加速 ， TCO 降低到1/2到1/3 。
“2020年 ， (我们)把TCO 降低到了1/10 。 ”郑曌谈道 。
【范式|第四范式：借势PC霸主，推出企业级AI操作系统】在《亲爱的数据》看来 ， 当一部分AI企业还在卖算法的时候 ， 第四范式建造了一个端到端的平台 ， 从拖拉拽 ， 到模型可以直接上线 。 2020年 ， 第四范式进行了产品升级 ， 产品升级的说法也不准确 ， 因为不止是产品升级了 ， 产品理念也升级了 ， 而整体的产品形态是AIOS+App 。 AIOS是积累了五年的AI应用的底座 ， AIOS是一个承载无数数据形式与应用的操作系统 。 第四范式 “Sage”产品下 ， 发展出Sage AIOS、Sage Studio、Sage HyperCycle ML等 。 各个组件也比较灵活 ， 这取决于客户的实际需求 。 市场竞争还停留在Sage Studio类似功能的阶段 ， 第四范式却已进入到AI桌面应用的广阔天地 ， 进入到AIOS+App的产品理念 ， 顺着这个思路 ， 未来有巨大的想象空间 。 AI是一个崭新的市场 ， 在做得好之前 ， 先要做得对 。 这是决定生与死的一步 。 五年前 ， 第四范式就已经出发 。 2018年 ， 成为AI独角兽 。 2020年 ， 第四范式仍然是一家创业公司 ， 落地8000+客户 ， 覆盖12000+场景 。 2020年8月20日 ， 主题为“万悟赋能 ， 商业生花”的新产品发布会在上海举办 ， 一个“悟”字 ， 既包括AI落地方法论在经验摸索中“开窍” ， 也暗含产品理念在“想通”中升级 。


推荐阅读


上一篇：一战|百度和滴滴必有一战

下一篇：智能|裸金属服务器、数据库、存储……从百度智能计算峰会看智能计算新趋势