CentOS 6.6 安装 Hadoop 集群记录(准备阶段)

1 min read

本次安装选用的是Cloudera Hadoop CDH 5.2.3版本,Cent OS 6.6 的系统,安装流程为非常的不专业。仅供记录,勿参考。

一、安装前准备

1、更新系统

2、安装JDK

A、下载并安装RPM包

注意事项,由于Oracle有Cookie验证,所以不能直接使用 wget http://download.oracle.com/otn-pub/java/jdk/7u75-b13/jdk-7u75-linux-x64.rpm 直接下载,需要采用上述模拟Cookie的方式。

注意:不要使用JDK 1.8 会存在兼容性问题

B、配置环境变量

创建软链接(便于后期升级SDK)

添加环境变量

在profile文件下面追加写入下面信息:

保存退出,执行:

3、 梳理安装内容

准备好了三台虚拟机,IP地址分别为:

  • 192.168.150.136
  • 192.168.150.137
  • 192.168.150.138

4、系统配置

A、关闭IPV6

在文件中追加如下内容:

刷新配置文件,使其生效

确认ipv6是否已经禁用

B、关闭防火墙

查看防火墙是否有关闭:

可以看到ip6tables还有开着,执行:

C、hostname的设置

将文件中的HOSTNAME=localhost.localdomain,修改为HOSTNAME=h1.hadoop,依次类推。使用命令hostname检查设置使用已经更新,返回的结果还是localhost.localdomain

解决方案是使用hostname命令再重新设置一遍:

D、hosts的修改

E、时钟同步
这里选择 h1.hadoop 节点为时钟同步服务器,其他节点为客户端同步时间到该节点。在设置时钟同步前,需要先设置好时区。先看一下机器的时区是否是对的:

如果不是”+8000”,则要修改时区,


安装ntp:

修改 h1.hadoop 上的配置文件 /etc/ntp.conf

修改内容为:


启动 ntp:


设置开机启动:

客户端设置(设置每小时同步一次时间)

新增如下内容:

F、SSH无密码验证配置

创建hadoop用户以便使用专有用户执行相关操作

因为Hadoop运行过程需要远程管理Hadoop的守护进程,NameNode节点需要通过SSH(Secure Shell)连接各个DataNode节点,停止或启动他们的进程,所以SSH必须是没有密码的,所以我们要把NameNode节点和DataNode节点配制成无密码通信,同理DataNode也需要配置无密码链接NameNode节点。在每一台机器上配置:

在每一台机器上配置:

修改如下内容:

给每天机器添加RSA认证:

h1.hadoop上操作

h2.hadoop上操作

h3.hadoop上操作

每台服务器执行:

进行测试

G、搭建本地Yum源

新开一台机器,搭建Tegine环境,进行如下设置:

重启服务

下载相应的源:

打开http://192.168.150.128/cdh/ 就可以看到解压的内容。

使用本地源的方法非常的简单:

添加如下内容:

添加完毕后就可以使用 yum install xxx 进行安装了~

–EOF–

打赏作者
微信支付标点符 wechat qrcode
支付宝标点符 alipay qrcode

使用 Scikit-learn 的进行 KNN 分类

最近邻(KNN)是一种非常简单、易于理解、通用性强的机器学习算法,广泛应用于金融、医疗、政治、手写检测、图像识
1 min read

K-近邻算法KNN学习笔记

什么是K-近邻算法? K近邻法(k-nearest neighbor, k-NN)是1967年由Cover T
2 min read

使用Prophet进行时间序列预测

Prophet是Facebook开源的预测工具,相比ARIMA模型,Prophet真的是非常的简单。只要读入两
1 min read

发表评论

电子邮件地址不会被公开。 必填项已用*标注