【Big Data】HADOOP集群的配置(原创)

配置目录

1. 实验准备................................................................................................................................................................................................. 2

1.1  目的：................................................................................................................................................................................... 2

1.2  主要内容：.......................................................................................................................................................................... 2

1.3 用户信息（所有节点一样）........................................................................................................................................................ 4

2.搭建虚拟集群环境...................................................................................................................................................................................... 4

2.1三种连接方式................................................................................................................................................................................... 5

2.2  host-only连接步骤....................................................................................................................................................................... 9

2.3 新建用户........................................................................................................................................................................................ 14

2.4 安装jdk，hadoop........................................................................................................................................................................ 15

1. 使用winscp传输文件.......................................................................................................................................................... 15

2.解压文件................................................................................................................................................................................... 17

3. 目录规划................................................................................................................................................................................. 18

4.导入JDK环境变量................................................................................................................................................................. 18

5.导入Hadoop环境变量.......................................................................................................................................................... 19

2.5.修改主机名..................................................................................................................................................................................... 19

2.6 关闭防火墙.................................................................................................................................................................................... 20

2.7 修改hadoop2.2配置文件.......................................................................................................................................................... 21

2.8 节点之间的免密码通信.............................................................................................................................................................. 26

1. 什么是SSH............................................................................................................................................................................. 26

2. 虚拟机拷贝节点.................................................................................................................................................................... 26

3. SSH免密码登录..................................................................................................................................................................... 28

2.9 Hadoop启动和测试...................................................................................................................................................................... 30

1. 格式化文件系统.................................................................................................................................................................... 30

2.启动HDFS................................................................................................................................................................................ 31

3.启动YARN集群..................................................................................................................................................................... 32

4. 管理JobHistory Server......................................................................................................................................................... 34

5. 集群验证................................................................................................................................................................................. 34

6. 需要了解的默认配置............................................................................................................................................................ 35

3.动态管理节点（了解）........................................................................................................................................................................... 36

3.1动态增加和删除datanode.......................................................................................................................................................... 37

1. 配置文件................................................................................................................................................................................. 37

2. 添加.......................................................................................................................................................................................... 37

3. 删除.......................................................................................................................................................................................... 38

4. 重新加入各个删除的节点................................................................................................................................................... 38

3.2. 动态修改TaskTracker................................................................................................................................................................. 38

1. 配置文件................................................................................................................................................................................. 38

2. 添加.......................................................................................................................................................................................... 39

3. 删除.......................................................................................................................................................................................... 39

4. 重新加入各个删除的节点  .......................................................................................................................................................................................... 39

尾注： 本系列文档，笔者真机环境测试无误得以分享，纯属原创，若有转载，请注释出处：