CDH安装

微信公众号：关注菜鸟解说大数据
关注可了解更多的大数据相关的内容。问题或建议，请公众号留言;
如果你觉得我写的文章对你有帮助，欢迎关注和赞赏我[^1]

[TOC]

推荐阅读

1. CDH简介

Cloudera Manager 最主要的功能就是安装和管理CDH服务，可以使用Cloudera Manager 来为新环境安装服务也可以用来升级现有的服务，在安装方式上，Cloudera Manager支持两种格式：packages和parcels。

Package：是一种二进制的软件包，包括了编译后的代码和元信息，比如包的描述、版本和依赖，通过这些元信息，我们可以使用包管理器来搜索和安装需要的软件包，Cloudera Manager使用操作系统的包管理器来安装软件，如Redhat的rpm包管理和Ubuntu的apt-get等。

Parcel：是一种包含二进制程序文件的包，同时还包含额外的元数据信息，是Cloudera Manager使用的一种包管理和安装CDH服务的方式。它和package的不同之处主要有以下几点：

Parcels是一组包含特定版本组件的包，也可以下载多个不同的版本到同一个parcel目录下，在安装时可以选择要激活的组件版本。

可以安装parcels到系统的任意位置，默认安装位置为：/opt/cloudera/parcels，package包的默认安装位置为：/usr/lib。

当从Cloudera Manager的Parcels page安装时，Cloudera Manager会为集群中的每个节点自动下载、分发和激活选定的parcel。

2. 总的架构

图片来源于网络

3. 集群规划

HDFS NameNode (2, HA)
HDFS JournalNode (3)
HDFS FailoverController (2, collocated with NN services)
YARN Resource Manager (2, HA)
YARN History Server
HBase Master (3, HA)
Sentry Service
ZooKeeper (3)

4. 集群部署

4.1. 安装介质准备

1.JDK1.8 下载地址：
链接：https://pan.baidu.com/s/1wiM5de1B8Tk67y1TyPQQUg 密码：skoe
2.Cloudera Manager 下载地址：

https://archive.cloudera.com/cm5/cm/5/

说明：CM的各个平台，版本的包都在这里了，各取所需。根据我的环境，下载的是 cloudera-manager-centos7-cm5.15.2_x86_64.tar.gz

3.CDH 下载地址：

http://archive.cloudera.com/cdh5/parcels/5.14/

说明：和上面CM一样，各取所需。需要下载3个文件，我下载的是 CDH-5.15.2-1.cdh5.15.5.p0.3-el7.parcel.sha1（这个文件下载下来后，一定要把后缀 .sha1 改为 .sha）， CDH-5.15.2-1.cdh5.15.2.p0.3-el7.parcel， manifest.json

这里要注意CM和CDH，大版本应该要一致，比如CM为5.15，CDH也是5.15

4.Mysql
如果你的机器能连接外网，那么这里可以暂时不用准备，下面联网安装。如果不能连接外网，那么这里就可以先安装好MySQL（为了方便，安装在server上）。
5.数据库驱动下载地址：

链接：https://pan.baidu.com/s/1yAS_LG88-uOInu5Ee4vzzQ 密码：1bf6

说明：注意默认的数据驱动是有版本号的，比如mysql-connector-java-xxx.jar，这里要把版本号去掉

6.mysql-community-libs-compat-5.7.23-1.el7.x86_64.rpm 下载地址：

链接：https://pan.baidu.com/s/1PqHf3XCoAsDeEqwiDMH_5Q 密码：qgcq

说明：这是MySQL的一个组件的安装包，不是核心组件，不安装也不影响MySQL使用。但是如果缺少这个包，后面hue安装的时候很可能报错，所以先下载下来备用。如果想找不同的版本，可以去MySQL官网找。

4.2 安装目录规划

1.JDK安装目录：/usr/lib/jdk
2.CDH Manager安装目录：/opt/cloudera-manager
3.CDH 组件安装目录：/opt/cloudera

4.3 配置主机名和hosts

1) 执行下面命令，配置静态IP等

1	vi /etc/sysconfig/network-scripts/ifcfg-ens33

下面这是我的网卡配置信息，仅供参考

TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=4cbacedd-16ea-4204-9829-223958abbf62
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.79.110
GATEWAY=192.168.79.2
NETMASK=255.255.255.0
DNS1=192.168.79.2

2)修改hosts文件，输入IP和主机名

1	vi /etc/hosts

下面是我的hosts文件，仅供参考：

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.79.100    hadoop01
192.168.79.110    hadoop02
192.168.79.120    hadoop03