小暖男石头哥|Hadoop框架:单服务下伪分布式集群搭建( 二 )


bin/hdfsdfs-cat/opt/upfile/output/*结果:每个单词各自出现一次 。
删除分析结果
bin/hdfsdfs-rm-r/opt/upfile/outputMapReduce的JobHistoryServer , 这是一个独立的服务 , 可通过webUI展示历史作业日志 。
mapreduce.jobhistory.address192.168.72.132:10020mapreduce.jobhistory.webapp.address192.168.72.132:19888[hadoop2.7]#sbin/mr-jobhistory-daemon.shstarthistoryserverIP地址:19888
小暖男石头哥|Hadoop框架:单服务下伪分布式集群搭建
文章图片
日志聚集概念:应用服务运行完成以后 , 将运行日志信息上传到HDFS系统上 。 方便的查看到程序运行详情 , 方便开发调试 。
开启日志聚集功能之后 , 需要重新启动NodeManager、ResourceManager和HistoryManager 。
关闭上述服务
[hadoop2.7]#sbin/yarn-daemon.shstopresourcemanager[hadoop2.7]#sbin/yarn-daemon.shstopnodemanager[hadoop2.7]#sbin/mr-jobhistory-daemon.shstophistoryserver修改yarn-site
yarn.log-aggregation-enabletrueyarn.log-aggregation.retain-seconds604800修改完之后再次启动上述服务器 。 再次执行文件分析任务 。
查看Web端
【小暖男石头哥|Hadoop框架:单服务下伪分布式集群搭建】
小暖男石头哥|Hadoop框架:单服务下伪分布式集群搭建
文章图片
小暖男石头哥|Hadoop框架:单服务下伪分布式集群搭建
文章图片
更多内容↓↓↓5/6上一页123456下一页


推荐阅读