江苏龙网

  1. 主页 > 生活百科 > >

海量数据股吧~海量数据分析处理方法( 九 )


十五、使用数据仓库和多维数据库存储
数据量加大是一定要考虑OLAP的，传统的报表可能5、6个小时出来结果，而基于Cube的查询可能只需要几分钟，因此处理海量数据的利器是OLAP多维分析，即建立数据仓库，建立多维数据集，基于多维数据集进行报表展现和数据挖掘等 。
十六、使用采样数据，进行数据挖掘
基于海量数据的数据挖掘正在逐步兴起，面对着超海量的数据，一般的挖掘软件或算法往往采用数据抽样的方式进行处理，这样 的误差不会很高，大大提高了处理效率和处理的成功率 。一般采样时要注意数据的完整性和，防止过大的偏差 。笔者曾经对1亿2千万行的表数据进行采样，抽取出 400万行，经测试软件测试处理的误差为千分之五，客户可以接受 。
还有一些方法，需要在不同的情况和场合下运用，例如使用代理键等操作，这样的好处是加快了聚合时间，因为对数值型的聚合比对字符型的聚合快得多 。类似的情况需要针对不同的需求进行处理 。
海量数据是发展趋势，对数据分析和挖掘也越来越重要，从海量数据中提取有用信息重要而紧迫，这便要求处理要准确，精度要高，而且处理时间要短，得到有价值信息要快，所以，对海量数据的研究很有前途，也很值得进行广泛深入的研究 。
Q6：互联网如何海量存储数据？目前存储海量数据的技术主要包括NoSQL、分布式文件系统、和传统关系型数据库 。随着互联网行业不断的发展，产生的数据量越来越多，并且这些数据的特点是半结构化和非结构化，数据很可能是不精确的，易变的 。这样传统关系型数据库就无法发挥它的优势 。因此，目前互联网行业偏向于使用NoSQL和分布式文件系统来存储海量数据 。
下面介绍下常用的NoSQL和分布式文件系统 。
NoSQL
互联网行业常用的NoSQL有：HBase、MongoDB、Couchbase、LevelDB 。
HBase是Apache Hadoop的子项目,理论依据为Google论文 Bigtable: A Distributed Storage System for Structured Data开发的 。HBase适合存储半结构化或非结构化的数据 。HBase的数据模型是稀疏的、分布式的、持久稳固的多维map 。HBase也有行和列的概念，这是与RDBMS相同的地方，但却又不同 。HBase底层采用HDFS作为文件系统，具有高可靠性、高性能 。
MongoDB是一种支持高性能数据存储的开源文档型数据库 。支持嵌入式数据模型以减少对数据库系统的I/O、利用索引实现快速查询，并且嵌入式文档和集合也支持索引，它复制能力被称作复制集（replica set），提供了自动的故障迁移和数据冗余 。MongoDB的分片策略将数据分布在服务器集群上 。
Couchbase这种NoSQL有三个重要的组件：Couchbase服务器、Couchbase Gateway、Couchbase Lite 。Couchbase服务器，支持横向扩展，面向文档的数据库，支持键值操作，类似于SQL查询和内置的全文搜索;Couchbase Gateway提供了用于RESTful和流式访问数据的应用层API 。Couchbase Lite是一款面向移动设备和“边缘”系统的嵌入式数据库 。Couchbase支持千万级海量数据存储
分布式文件系统
如果针对单个大文件，譬如超过100MB的文件，使用NoSQL存储就不适当了 。使用分布式文件系统的优势在于，分布式文件系统隔离底层数据存储和分布的细节，展示给用户的是一个统一的逻辑视图 。常用的分布式文件系统有Google File System、HDFS、MooseFS、Ceph、GlusterFS、Lustre等 。
相比过去打电话、发短信、用彩铃的“老三样”，移动互联网的发展使得人们可以随时随地通过刷微博、看视频、微信聊天、浏览网页、地图导航、网上购物、外卖订餐等，这些业务的海量数据都构建在大规模网络云资源池之上 。当14亿中国人把衣食住行搬上移动互联网的同时，也给网络云资源池带来巨大业务挑战 。
首先，用户需求动态变化，传统业务流量主要是端到端模式，较为稳定；而互联网流量易受热点内容牵引，数据流量流向复杂和规模多变：比如双十一购物狂潮，电商平台订单创建峰值达到58.3万笔，要求通信网络提供高并发支持；又如优酷春节期间有超过23亿人次上网刷剧、抖音拜年短视频增长超10倍，需要通信网络能够灵活扩充带宽 。面对用户动态多变的需求，通信网络需要具备快速洞察和响应用户需求的能力，提供高效、弹性、智能的数据服务 。
“随着通信网络管道十倍百倍加粗、节点数从千万级逐渐跃升至百亿千亿级，如何‘接得住、存得下’海量数据，成为网络云资源池建设面临的巨大考验”，李辉表示 。一直以来，作为新数据存储首倡者和引领者，浪潮存储携手通信行业用户，不断 探索 提速通信网络云基础设施的各种姿势 。


推荐阅读


上一篇：ai颜色模式从rgb变成cmyk~~ai中颜色调板有几种颜色模式

下一篇：春晚|春晚战况激烈：山东卫视市占率破3，岳云鹏喜提河南卫视晚会峰值