附录一:POC实施前准备

一、 OS & Linux

1、检查操作系统及其版本

查看方法:

cat /etc/issue

2、检查hostname,FQDN,DNS

查看方法:

hostname

hostname-f

cat /etc/resolv.conf

更改方法:

vim /etc/sysconfig/network

vim /etc/hosts

□ hostname只能是以字母和数字的组合(中间允许’-‘),不能有“,” / ”.” / “_”等特殊字符

vim /etc/resolv.conf

3、检查机器硬件配置

查看方法:

磁盘:df -h
内存:free -g (free -m)
网络:ethtool eth0 \ ifconfig
CPU:cat /proc/cpuinfo

4、检查机器时间

查看方法:date

更改方法:date -s '2016-3-3 9:00:00'

5、需要了解的Linux命令:

  • 文件/文件夹操作类:

    cd、mkdir 、rm 、cp 、mv 、touch 、du -h --max-depth=1

  • 查看文本: cat、less、tail、vim、vi

  • 查找类: grep、find

  • 压缩解压缩:tar、gzip、zip、unzip

  • 帮助类:man

  • 时间类:date
  • IO类:iostat -mx 3
  • 权限相关类:sudo -u、chown、chmod、chgrp
  • 端口连接类:netstat -nlap、ping IP、telnet IP端口
  • 查看文件占用:lsof
  • 启停服务:etc/init.d/mysqld [start|stop|restart]
  • 网页类:elinks http://192.168.1.210:60010
  • 挂载:mount、unmount

二、 安装TDH的Checklist

环境检查:

1、操作系统版本CentOS6.3-6.5/REHL6.3-6.5/SureSP2-SP3/操作系统是否干净?

2、是否需要配置sudo用户安装TDH?

3、机器硬件配置CPU/MEM是否满足要求?/系统根分区大于300G?/千兆以上网络?

4、是否配置了SSD?

5、是否操作系统双盘RAID1,数据盘RAID0?

6、配置是否对称同构

  • 磁盘同构:数据盘对应的每块磁盘是否一样大?(严禁大小磁盘混合做数据盘,例如300G/mnt/disk1,2.7T/mnt/disk2)

  • 网络同构:每台机器网卡配置是否相同?

  • CPU/内存大小是否同构

7、系统时间是否正确 (date -s '2016-1-20 17:00:00')

8、确认网络解析是用/etc/hosts文件还是DNS server

  • 推荐使用hosts文件解析

  • 若用hosts文件解析,确保/etc/resolv.conf为空或隐掉。并保证/etc/nsswitch.conf中files解析在DNS解析之前

  • 各节点尽可能在同一个网段当中

9、hostname只能是以字母和数字的组合(中间允许‘-’),不能有‘,’ ‘.’ ‘_’等特殊字符

TDH安装前的检查:

1、是否配置了RACK?(实施一定要配置,机柜命名一定要以‘/’开头,如/default)

2、Zookeeper配置个数是否检查?(奇数个,10个节点以下3个,10-50个节点5个)

3、HDFS的一个目录配置是否只包含/mnt/disk*的数据盘,SSD是否排除在外?

4、HMaster个数是否为奇数?(3个或5个)

5、YARN的2个目录配置是否只包含/mnt/disk*的数据盘,SSD是否排除在外?

6、YARN的vcore/Mem配置是否配置成了1个core对应2G内存?

7、Inceptor是否配置了HiveServer2(推荐Kerberos+LDAP HA模式)

8、 Inceptor的fastdisk是否配置了SSD?

9、Inceptor的localdir配置里是否只包含/mnt/disk*,SSD是否排除在外?

10、Inceptor的资源配置是否合理?每个core是否都分配了2.5-2G内存?

HA和安全配置:是否配置了HA?

1、KDC HA?

2、LDAP HA?

3、Metastore Mysql HA?

4、Resource Manager HA?

5、Kerberos条件下4.2版本的HDFS有token过期的问题,安装好后是否改对了配置?

三、各组件配置和日志路径

配置:

  • /etc/[组件名] 1

日志:

  • /var/log

启停服务:

  • /etc/init.d/**

results matching ""

    No results matching ""