江苏龙网

  1. 首页 > 资讯 > 科技 > >

|十年磨砺，四代大数据平台演进，腾讯云为什么能够踩对历史进程？


机器之心原创
作者：蛋酱
930 变革两年后 ， 被寄予厚望的腾讯云在 To B 这张考卷上都写了什么？
从「深圳市腾讯计算机系统有限公司」注册成立 ， 到成为服务用户最多的中国互联网企业之一 ， 腾讯经历了互联网发展的黄金二十年 。 拥有众多国民级应用、十多亿 C 端用户的同时 ， 这家公司对于自身技术的披露却一向低调 。
当然 ， 事情也正在发生变化：两年前 ， 腾讯宣布正式「拥抱」产业互联网 ， 并进行了第三次组织架构调整 ， 史称「930 变革」 。 这家科技巨头积淀多年的技术能力 ， 终于越来越多地从幕后走到台前 ， 被寄予厚望的腾讯云 ， 成为腾讯 To B 路线中的一张王牌 。
在前段时间举行的 2020 腾讯全球数字生态大会上 ， 腾讯云副总裁刘煜宏透露：经过十年的积累 ， 腾讯云大数据平台的算力弹性资源池达500万核 ， 每日分析任务数达 1500 万 ， 每日实时计算次数超过 40 万亿次 ， 每日接入数据条数超过 35 万亿条 ， 训练数据维度达 1 万亿 。 无论从量级、平台规模还是调度量 ， 腾讯大数据平台在国内都处于领先水平 。
根植于 To C 业务多年沉淀 ， 再到转身 To B ， 一路走来 ， 为什么腾讯云能踩对历史的进程？
10 年 ， 腾讯云 迈了4 个台阶
很难想象 ， 十年前的腾讯「管理几百个节点都很困难」 。
2019 年的腾讯 Techo 开发者大会 ， 是大众和业界第一次真正走近腾讯云 。 在那之前 ， 腾讯刚刚完成第三次组织结构调整 ， 腾讯云从原社交网络事业群（SNG）转入新成立的云与智慧产业事业群 (CSIG) 。 大会上 ， 腾讯云首次完整介绍了自身多年来在基础设施和大数据计算方面的实践成果 。
虽然低调 ， 但腾讯已经是国内实时计算量最大的公司 。 通俗地理解 ， 微信、QQ、腾讯游戏三者的用户数量就接近 30 亿 ， 所带来的海量数据可以想象 。 尤其在 2012 年之后 ， 移动互联网进入高速发展阶段 ， 这让腾讯的业务数据在五六年间增长了几千倍 。
百亿、千亿、万亿、十万亿……在这种爆炸式增长的趋势下 ， 腾讯云必须快速成长 。
去年 Techo 开发者大会 ， 腾讯云副总裁、数据平台部总经理蒋杰首次正式对外介绍了十年来腾讯云大数据的演进之路 。
|十年磨砺，四代大数据平台演进，腾讯云为什么能够踩对历史进程？
本文插图

离线计算阶段（2009 年 - 2011 年）：以 Hadoop 为核心的离线计算时代 ， 直接用社区的版本计算 ， 再做一些局部优化 ， 腾讯第一代大数据平台由此构建 。 从关系型数据库到自建大数据平台的全面迁移 ， 腾讯用了三年 。
实时计算阶段（2012 年 - 2014 年）：这一阶段的背景是 PC 互联网向移动互联网的进化 ， 对业务计算能力也提出了更高的要求 。 这个阶段的腾讯从 hadoop 转向以 Spark、Storm 为核心进行流式计算 ， 从之前的天、小时、分钟迈进到秒级、毫秒级的时代 ， 开始支持在线分析和实时计算场景 。 这个阶段也是三年 。
机器学习 & 深度学习阶段（2015 年 - 2018 年）：这一阶段主要完成了从数据分析到数据挖掘的转变 ， 可归纳为「智能化」 。 之后 ， 腾讯研发了分布式的机器学习引擎 Angel 和一站式 AI 开发平台智能钛 TI ， 专攻复杂计算场景 ， 可进行大规模的数据训练 ， 支撑内容推荐、广告推荐等 AI 应用场景 。
目前 ， 腾讯云正在研究以批流融合、ABC 融合以及数据湖和联邦学习为方向的下一代大数据平台的研究 ， 该平台将具备混合部署、跨域数据共享和边缘计算等能力 。
十年来 ， 伴随着业务发展 ， 腾讯云形成了「大数据 + AI」的双引擎技术架构：
|十年磨砺，四代大数据平台演进，腾讯云为什么能够踩对历史进程？
本文插图

从这张图可以看出双引擎技术架构的整体布局 ， 最底层为分布式存储层 ， 存储结构化及非结构化数据 ， 第二层是资源调度层 ， 做 CPU、GPU 和 FPGA 的管理 ， 第三层是计算层、分析层、数据采集层 。 最顶层是业务应用层 ， 这四层完整的技术架构 ， 自下而上为腾讯整个应用生态提供支撑 。


推荐阅读


上一篇：|比特币巨鲸数量在最近一次牛市期间达到历史新高

下一篇：科技王吴拿|比贾跃亭还不要脸？卷走百姓16亿血汗钱，“共享单车”真靠谱吗