10W阅读，万人点赞，这套大数据平台建设方法论，到底有什么干货( 二 )
数据分析一般包括两个阶段：数据预处理和数据建模分析 。 数据预处理是为后面的建模分析做准备 ， 主要工作时从海量数据中提取可用特征 ， 建立大宽表 。 这个过程可能会用到Hive SQL ， Spark QL和Impala 。
数据建模分析是针对预处理提取的特征/数据建模 ， 得到想要的结果 。 如前面所提到的 ， 这一块最好用的是Spark 。
在完成了底层业务数据整合工作之后 ， 长久物流在整合业务系统数据的基础上 ， 通过FineReport数据决策系统 ， 有效集成了各个业务系统的实时数据 ， 并根据各个部门的需求搭建了数据分析模板 。
本文插图
本文插图
总结
首先要有Hadoop集群 ， 在有HDFS与Hive后 ， 才能开展数据接入工作 ， 才能基于集群建设工具链；当工具链部分的OLAP引擎构建好 ， 才有上层BI、报表系统和数据API 。
【10W阅读，万人点赞，这套大数据平台建设方法论，到底有什么干货】所以弄清了每个部分的相互关系也就容易明白大数据平台的建设流程 。
推荐阅读
- 成都全搜索|史上首次，私人公司载人上太空！“狂人”马斯克想送100万人去火星
- 海信|海信17%股权引战投 海外困局仍难解？曾传裁员万人
- 爆侃数码圈|天猫年轻人首款高档“玩具”，0.4秒反应，8K视频解码，双10W音质
- IT时代网|万人共鉴，变形金刚空降平江！ 助力平江红星美凯龙城市展厅倾城盛放
- 『快手』四川快手互联网信息有限公司成立，注册资本500万人民币
- 【吉利】吉利与戴姆勒合资品牌“耀出行”在西安成立新公司，注册资本6000万人民币
- ##彩色电子水墨屏畅读更出色 海信彩墨屏阅读手机 A5 Pro CC 版图赏
- 『控股』如涵控股关联公司成立电商新公司，注册资本100万人民币
- IP200 粉做到 10w+？公众号跨界私域社群？成功 IP 是这么做的
- 『公司』滴滴关联公司成立国际旅行社公司 注册资本5000万人民币