江苏龙网

  1. 首页 > 资讯 > 科技 > >

|十年磨砺，四代大数据平台演进，腾讯云为什么能够踩对历史进程？( 三 )


|十年磨砺，四代大数据平台演进，腾讯云为什么能够踩对历史进程？
本文插图

跨机构、跨公司之间的数据协作一直是大数据行业最难解决的问题之一 ， 腾讯联合安全计算平台扩展了现有的大数据和 AI 计算框架 ， 基于联合计算编译和基础安全算子 ， 将数据分析、数据建模的任务 ， 翻译成由安全算子组成的物理执行计划 ， 在多个数据源之间完成安全、协同的联合计算 。 整个平台提供了联合数据库、安全求交、隐私安全查询、联合分析、联合建模等计算能力 ， 可以广泛应用在政府机构、金融服务、广告平台等多种行业 。
智能化方向 ， 作为整个腾讯大数据平台的大脑 ， 腾讯将基于平台本身的日志、事件、指标特征等数据 ， 通过机器学习算法 ， 实现对平台状态的智能分析 ， 达到平台的自动驾驶 。
对于下一代大数据平台 ， 腾讯云也将聚焦统一平台的研究 ， 包括大数据和人工智能的统一 ， 以及数据处理和数据挖掘统一 ， 提供一站式数据处理交互体验 。
这个过程中 ， 腾讯云也联合了大量合作伙伴：包括硬件层面的英伟达、AMD、Intel 等厂商 ， 合作优化计算性能 ， 提供高性价比的大数据基础设施；以及技术层面的 Apache 基金会、Elastic 和 Cloudera 等商业化公司 ， 推动技术演进 。
积淀、迭代 ， 然后开源
回过头去看 ， 腾讯之所以成为腾讯 ，与其自身积淀和开源实践都是密不可分的 。 在技术平台不断迭代的同时 ， 腾讯也在这个过程中成为了大数据领域开源最全面的厂商 。
自 2010 年以来 ， 腾讯内部就开始试水开源 ， 比如将好的项目进行跨团队、跨部门、跨业务广泛使用；2014 年 ， 腾讯将其第一代大数据平台的核心——腾讯版 Hive 开源；2017 年 ， 腾讯将其第三代大数据平台的核心——Angel 开源；2018 年 8 月 ， 腾讯将机器学习框架 Angel 捐赠给了 Linux 基金会旗下的 LF AI 基金会；2019 年 ， 腾讯更陆续开源了实时数据采集平台 TubeMQ、资源管理平台核心 TKE、分布式数据库 TBase 及基于 OpenJDK 的自研 Kona JDK 等项目 ， 全栈机器学习平台 Angel 也成为中国首个从 LF AI 基金会毕业的开源项目 。
除了开源自研技术 ， 腾讯还结合业务场景帮助开源技术落地 ， 并通过业务沉淀和技术创新来贡献项目、回馈社区 。 日前 JDK15 正式发布 ， 腾讯作为国内对 OpenJDK 贡献最大的厂商 ， 进入 OpenJDK 全球贡献者榜单前列 。
近年来 ， 腾讯不断将内部开源出来的优质项目在 GitHub 上发布 ， 截至目前 ， 腾讯已经在 GitHub 累计获得了超过 32 万个 Star 。 对于腾讯来说 ， 开源二字已经是自身成长过程中无法分割的一部分 。
不久前 ， 由腾讯主导的 Ozone 1.0.0 版本在 Apache Hadoop 社区正式发布 。 经过 2 年多的社区持续开发和内部 1000 + 节点的实际落地验证 ， Ozone 1.0.0 已经具备了在大规模生产环境下实际部署的能力 。
此外 ， 腾讯也积极拥抱业内一些优秀的新兴开源技术 ， 助力该技术的发展 。 例如新一代的开源数据湖技术 Apache Iceberg ， 腾讯数据平台部在 2019 年就正式对其投入研发 ， 进行了可用性等方面的优化和改进 ， 并在实际场景中应用落地 。
基于多年的积累 ， 腾讯已经把网络、存储、数据库等 IaaS 能力 ， 大数据、机器学习等 PaaS 的能力 ， 以及上层的图像、语音、NLP、BI 等 SaaS 能力 ， 通过腾讯云对外开放 。 如今 ， 我们在腾讯身上看到的 ， 更多是一种技术自信 。
被寄予厚望的腾讯云 ， 在下一个十年 ， 或许会成为一座新的山峰 。
本文为机器之心原创 ， 转载请联系本公众号获得授权 。


推荐阅读


上一篇：|比特币巨鲸数量在最近一次牛市期间达到历史新高

下一篇：科技王吴拿|比贾跃亭还不要脸？卷走百姓16亿血汗钱，“共享单车”真靠谱吗