江苏龙网

  1. 首页 > 资讯 > 科技 > >

|十年磨砺，四代大数据平台演进，腾讯云为什么能够踩对历史进程？( 二 )


全链路数据开发平台 WeData
【|十年磨砺，四代大数据平台演进，腾讯云为什么能够踩对历史进程？】我们可以从一张图来理解腾讯云的大数据产品矩阵 ， 分为基础设施、场景开发、应用服务三个层面 。
|十年磨砺，四代大数据平台演进，腾讯云为什么能够踩对历史进程？
本文插图

第一层是底层基础的存储计算设施 ， 包括 EMR、神盾联邦计算；中间一层是产品开发层 ， 强调「开箱即用」；最上面是应用层 ， 提供了各种比较接近业务的 SaaS 化产品 。
这张图的 C 位、全链路数据开发平台「WeData」 ， 是腾讯云前不久才发布的重磅产品 。
为什么要做 WeData？腾讯云大数据产品副总经理雷小平将云端大数据比喻为「企业数字化转型中的石油」 ， 但大数据开发平台的构建、维护和升级成本是非常高的 ， 要涉及从数据集成到开发调度多个模块 。
|十年磨砺，四代大数据平台演进，腾讯云为什么能够踩对历史进程？
本文插图

WeData 提供了涵盖数据即席分析、数据任务可视化编排、运维等在内的全链路数据开发能力 。 同时 ， WeData 在云端构建了统一的元数据管理能力 ， 涵盖技术元数据和业务元数据的管理 ， 并打通了 EMR、CDW 数仓、MySQL 甚至对象存储等在内元数据 ， 以便于企业数据在不同云端数据设施之间进行无缝流转的同时 ， 还能保障其元数据的一致性和可维护性 。 另外 ， WeData 还为数据科学家提供了全面的资产管理、数据治理能力 ， 全面提升数据价值发现的效率 。
等到 WeData 成熟以后 ， 合作伙伴就可以基于这个开发平台做各种各样的应用 ， 和苹果应用市场是同样的道理 。 借助于 WeData ， 企业数据开发门槛可有效降低 60% 。
以 QQ 音乐为例 ， 重构之前 ， 所有的数据分析能力都是基于 Spark 构建 ， 所有报表的延时也都是小时级 。 基于 WeData 进行大数据能力的重构之后 ， 将热数据全部升级到 Clickhouse ， 并通过 WeData 进行数据开发工作 ， 数据决策能力从小时级别提升到秒级 。
最近 ， 在更细分的场景上 ， 腾讯云也对流计算服务 Oceanus、云数据仓库 CDW、ES、弹性 MapReduce、神盾联邦计算以及企业画像等 6 项能力进行了发布和升级 。
针对大数据开发场景 ， 腾讯云首次正式对外发布了流计算服务 Oceanus ， 面向大数据实时计算领域 ， 可应用于实时点击流分析、物联网监控、实时推荐、实时金融风控等场景 。 而全新发布的云数据仓库 CDW ， 则可以帮助中小企业快速构建数据仓库 ， 对于常见的运维操作进行高度封装 ， 屏蔽底层复杂的逻辑细节 ， 同时提供多维度全方位智能化的监控体系 。 此外还全新升级了「明星产品」ES ， 新增自研中文分词系统 ， 准确度和性能均达到行业领先水平 。
在大数据生态的基础设施层 ， 腾讯云全新升级了弹性 MapReduce ， 将企业大数据构建成本降低 30%；同时实现了异构算力的融合 ， 能够在计算高峰期通过云原生的弹性资源或者在线业务的空闲资源快速补充算力 。 此外还全新发布了神盾联邦计算 ， 可以零门槛进行企业间的数据融合计算 。
私有云方面 ， 腾讯云以 TBDS 为主 ， 在公有云方面 ， 以 EMR 和 WeData 为主 ， 这两大产品体系一起构成了腾讯云大数据产品生态 。 目前 ， 这些都已经以腾讯云产品和服务的形式 ， 面向开发者和企业开放 。
安全、智能、统一：腾讯云大数据的下一个十年
从最初解决计算的问题 ， 到解决时效性的问题 ， 再到提升平台拥有的数据价值 ， 腾讯云大数据平台的发展总体来说是一个从粗放到精细化耕耘的过程 。
接下来 ， 腾讯云大数据平台将会在数据安全、智能化、统一平台三大方向重点发力 。
腾讯云 AI 平台总监陶阳宇透露 ， 腾讯云目前正在研发联合安全计算平台 ， 将安全加密技与大数据计算、人工智能相结合 ， 能够有效解决跨机构跨公司之间的数据协作问题 。 在保护数据隐私的同时 ， 提供联合数据分析、联合数据建模等能力 ， 实现数据的互融互通 ， 释放数据价值 。


推荐阅读


上一篇：|比特币巨鲸数量在最近一次牛市期间达到历史新高

下一篇：科技王吴拿|比贾跃亭还不要脸？卷走百姓16亿血汗钱，“共享单车”真靠谱吗