搭建大数据平台系列(0)-机器准备

0. 前期规划

假设现在有四台机器，各自ip如下:

1
2
3
4

192.168.1.201
192.168.1.202
192.168.1.203
192.168.1.204

安装下面统一要求进行重装系统：

1. 每台机器的系统为：CentOS-6.5-x86_64

2. 每台机器的磁盘分区为：

   1 2 3 4

   /boot : 系统引导分区 / : 系统安装区 /data : 系统数据分区 （swap分区尚未建立，待机器内存不足需求时再建立）

3. 每台机器上安装的都是Mininal Desktop版本

4. 每台机器的主机名(hostname)分别为：master、slave1、slave2、slave3
5. 每台机器的root密码都是:master
6. 每台机器上建立的第一个非root用户都为:hadoop，密码为:hadoop
7. 非root用户在centos中获取sudo权限的命令：

   1 2 3 4 5 6

   [hadoop@slave3 ~]$ su - #切换到root用户，需要输入root密码 [root@slave3 ~]# visudo -f /etc/sudoers ## Allow root to run any commands anywhere root ALL=(ALL) ALL 在上面这条文字下加上如下： hadoop ALL=(ALL) ALL

这样配置后，hadoop用户可以使用sudo命令了

8. 修改每台机器的/etc/hosts文件，如：

   1 2 3 4 5

   [root@slave3 ~]$ sudo vi /etc/hosts 192.168.1.201 master 192.168.1.202 slave1 192.168.1.203 slave2 192.168.1.204 slave3

9.防火墙设置

• 因为4台机器组成的大数据平台小集群需要互相访问对方的多个端口，需要在防火墙中打开这些端口的访问（如果未打开的话），当然最方便的就是把每台机器上的防火墙关闭了。

  1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

  [hadoop@master ~]$ sudo service iptables start #打开防火墙 [hadoop@master ~]$ sudo service iptables status #查看防火墙 [hadoop@master ~]$ sudo service iptables stop #关闭防火墙 (注意：防火墙操作时需要root权限的，非root用户不使用sudo的话，不会报错，但操作无结果) 修改防火墙设置(红色为新增配置：开放2000-6000,7000以上的端口): [hadoop@master ~]$ sudo vim /etc/sysconfig/iptables # Firewall configuration written by system-config-firewall # Manual customization of this file is not recommended. *filter :INPUT ACCEPT [0:0] :FORWARD ACCEPT [0:0] :OUTPUT ACCEPT [0:0] -A INPUT -m state --state ESTABLISHED,RELATED -j ACCEPT -A INPUT -p icmp -j ACCEPT -A INPUT -i lo -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 22 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 2000:6000 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 7000: -j ACCEPT -A INPUT -j REJECT --reject-with icmp-host-prohibited -A FORWARD -j REJECT --reject-with icmp-host-prohibited COMMIT 保存上面的文件后，需要重启防火墙，让配置生效！ [hadoop@master ~]$ sudo service iptables restart #重启防火墙