江苏龙网

  1. 首页 > 人文 > >

CSDN■不看就亏系列！这里有完整的 Hadoop 集群搭建教程，和最易懂的 Hadoop 概念！| 附代码( 五 )

drwxr-xr-x 3 hadoop hadoop 4096 2019-09-12 10:51 etc drwxr-xr-x 2 hadoop hadoop 4096 2019-09-12 12:46 include drwxr-xr-x 3 hadoop hadoop 4096 2019-09-12 12:46 lib drwxr-xr-x 4 hadoop hadoop 4096 2019-09-12 12:46 libexec -rw-rw-r-- 1 hadoop hadoop 147145 2019-09-04 17:31 LICENSE.txt -rw-rw-r-- 1 hadoop hadoop 21867 2019-09-04 17:31 NOTICE.txt -rw-rw-r-- 1 hadoop hadoop 1366 2019-09-04 17:31 README.txt drwxr-xr-x 3 hadoop hadoop 4096 2019-09-12 10:51 sbin drwxr-xr-x 4 hadoop hadoop 4096 2019-09-12 13:08 share [hadoop@ chenc01 hadoop-3.1.3]$ cd /home/hadoop/hadoop-3.1.3/etc/hadoop/ [hadoop@ chenc01 hadoop]$ pwd /home/hadoop/hadoop-3.1.3/etc/hadoop [hadoop@ chenc01 hadoop]$ ls hadoop-env.sh # java的环境变量 yarn-env.sh # 制定yarn框架的Java运行环境 slaves # 指定datanode数据存储服务器 core-site.xml # hadoop-web界面路径 hdfs-site.xml # 文件系统的配置文件 mapred-site.xml # mapreducer 任务配置文件 yarn-site.xml # yarn框架配置 ， 主要一些任务的启动位置

  • 修改文件
[hadoop@ chenc01 hadoop]$ vim hadoop-env.sh exprot JAVA_HOME=/usr/java/jdk1.8.0_13 [hadoop@ chenc01 hadoop]$ vim yarn-env.sh JAVA_HOME=/usr/java/jdk1.8.0_131 [hadoop@ chenc01 hadoop]$ vim slaves chenc02 chenc03备注：这个是hadoop的核心配置 ， 这里需要配置两属性 ，fs.default.name 配置hadoop的HDFS系统命令 ， 位置为主机的9000端口 ，hadoop.tmp.dir 配置haddop的tmp目录的根位置 。
[hadoop@ chenc01 hadoop]$ vim core-site.xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://chenc01:9000</value> </property> <property> <name>io.file.buffer.size</name> <value>131072</value> </property> <property> <name>hadoop.tmp.dir</name> <value>file:/home/hadoop/tmp</value> <description>Abase for other tmporary directries.</description> </property> </configuration> 备注：HDFS主要的配置文件 ，dfs.http.address配置了hdfs的http的访问位置；
dfs.replication 配置文件的副本 ， 一般不大于从机个数 。
[hadoop@ chenc01 hadoop]$ vim hdfs-site.xml <configuration> <property> <configuration> <property> <name>dfs.namenode.secondary.http-address</name> <value>chenc01:9000</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/home/hadoop/dfs/name</value>


推荐阅读


上一篇：「环球Tech」外媒：SpaceX太空10日游票价定为5500万美元已有人买单

下一篇：[CSDN]AI 监控之风刮到美国高校！学生浏览网页都能被追踪到