江苏龙网

  1. 首页 > 人文 > >

彩色科技膜拜！华为内部都在强推的783页大数据处理系统：源代码pdf( 三 )


本文插图
第16章Hadoop的容错机制
彩色科技膜拜！华为内部都在强推的783页大数据处理系统：源代码pdf
本文插图
第17章Hadoop的安全机制
彩色科技膜拜！华为内部都在强推的783页大数据处理系统：源代码pdf
本文插图
第18章Hadoop的人机界面 ， 供人们直接使用的系统须提供人机交互的手段,或称“人机界面(UserInterface)”即 UI,更确切地说是“Man-MachineInterface”,使人们得以使用和管理这个系统或平台 。 比
彩色科技膜拜！华为内部都在强推的783页大数据处理系统：源代码pdf
本文插图
第19章Hadoop的部署和启动 ， 系统的安装部署本来就不是小事,对于大规模的集群就更不用说了 。 Hadoop 一般都是在集群_上运行,但是要运维人员跑到每一台机器上去部署或启动却是不现实的 ， 得要能在一个集中的控制台节点上完成Hadoop的部署和启动(还有关机)才好,这当然又会使整个过程增加许多技术上的复杂度 。 既然是在一个集中的控制台节点上部署和启动一个集群,那当然就离不开远程操作,所以Linux的远程操作工具ssh和rsyne就成了整个过程的基石 。 之所以是ssh和rsync,而不是别的远程操作工具(比方说Telnet),是因为这二者的安全性比较好,通信中采用了较强的加密手段 。
彩色科技膜拜！华为内部都在强推的783页大数据处理系统：源代码pdf
本文插图
第20章Spark的优化与改进
近年来, Hadoop与Spark 之间就像展开了一场你追我赶的竞赛 。 时至今日 ， Hadoop和Spark已经成为大数据处理平台的两个“de facto standard”,即“事实标准” 。
不过Spark之于Hadoop也并非完全是对立的两种平台或产品,在很大程度上倒是对于Hadoop的补充 ， 而并不完全是作为对于Hadoop的替代 。
事实上,Spark虽然也能以“Stand alone"模式独立存在和运行,但是更多地还是利用YARN,在YARN框架上运行 。 而且Spark也不提供自己的文件系统 ， 大多只是直接利用HDFS 。 虽然Spark并不要求必须使用HDFS,但是在大规模集群的条件下要实现“数据在哪里,计算就去哪里”这个原则,而且还要容错,实际上也没有太多的选择 。
所以从功能上看 ， Spark的作用只是相当于一个更好的YARN子系统 。
Hadoop的不足是明摆着的 ， 总而言之 ， 一是不够灵活、比较死板 ， 就是专门针对MapReduce;二是性能不够好;三是使用不够方便,动不动就得写个Java程序 。
那么Spark对此又有些什么样的改进呢?下面就作些介绍和评述,同时也对Hadoop和Spark做个粗泛的比较研究 。
彩色科技膜拜！华为内部都在强推的783页大数据处理系统：源代码pdf
本文插图
这份【 大数据处理系统: Hadoop源代码情景分析】共有783页 ， 已经整理打包好 ， 需要完整版内容的朋友 ， 可以转发此文关注小编 ， 私信小编【学习】来获取！！


推荐阅读


上一篇：晨报精选|TikTok不出售？，用美企云服务

下一篇：科技日报|韩K-9火炮又将出口 “万国牌”竟是一大卖点