CSDN■不看就亏系列！这里有完整的 Hadoop 集群搭建教程，和最易懂的 Hadoop 概念！| 附代码( 六 )
</property> <property> <name>dfs.datanode.data.dir</name> <value>file:/home/hadoop/dfs/data</value> </property> <property> <name>dfs.replication</name> <value>2</value> </property> <property> <name>dfs.webhdfs.enabled</name> <value>true</value> </property> </configuration> 备注：这个是mapreduce任务配置文件 ， mapreduce.framework.name 属性下配置yarn,
mapred.map.tasks和mapred.reduce.tasks 分别为map和reduce 的任务数 。 同时指定hadoop历史服务器hsitoryserver
我们可以通过historyserver查看mapreduce的作业记录 ， 比如用了多少个map,用了多少个reduce ， 作业启动时间 ， 作业完成时间 。 默认清空下 ， hadoop历史服务器是没有启动的 ， 我们需要通过命令来启动 。
[hadoop@ chenc01 ~]$ /home/hadoop/hadoop-3.1.3/sbin/mr-jobhistory-daemon.sh start historyserver /home/hadoop/hadoop-3.1.3/etc/hadoop/hadoop-env.sh: line 39: exprot: command not found WARNING: Use of this script to start the MR JobHistory daemon is deprecated. WARNING: Attempting to execute replacement "mapred --daemon start" instead. WARNING: /home/hadoop/hadoop-3.1.3/logs does not exist. Creating. [hadoop@ chenc01 hadoop]$ vim mapred-site.xml <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>mapreduce.jobhistory.address</name> <value>chenc01:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>chenc01:19888</value> </property> </configuration> [hadoop@ chenc01 hadoop]$ vim yarn-site.xml <configuration> <!-- Site specific YARN configuration properties --> <proetry> <name>yarn.nodemanager.aux-service</name> <value>mapreduce_shuffle</value> </proetry> <proetry> <name>yarn.nodemanager.uax-service.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapreduced.ShuffleHandle</value> </proetry> <proetry> <name>yarn.resoucemanager.address</name> <value>chenc01:8032</value> </proetry> <proetry> <name>yarn.resourcemanager.shceduler.address</name> <value>chenc01:8030</value> </proetry> <proetry>
推荐阅读
- 联发科5G SoC天玑1000系列性能、拍照火力全开
- 「Small人物大创意」为何九寨沟这么吸引人？还被誉为是人间仙境？，九寨归来不看水
- 『聚牛科技』4T系列官宣|苹果首次取消30%苹果税|全新iPad Pro曝光，荣耀Play
- 『爱生活爱快乐爱自己』英特尔新型5 GHz第十代核心H系列
- 【科学技术宅六六】低配用国产、中配混用、高配用三星！，华为P40系列屏幕差距较大
- 『大梁观察』开封市示范区公安分局城西派出所破获系列盗窃电动车电瓶案件
- [手机中国]网友：一定要买一台，魅族17系列将有梦幻独角兽配色
- 「3C派蚁族」最高直降1600元，国产5G手机能扛得住吗？，iPhone11系列清库存
- [泡泡网资讯] 华为P40系列10倍光学变焦堪比未来科技，华为出品必属精品
- 「腾讯科技」三星：S20系列两年内半价回收，只要状态良好，但只限美国