hadoop分布式集群安装教程

一，服务器配置

1，更改主机名

在终端窗口中输入命令：hostname，可以查看到当前主机的主机名
编辑vim /etc/hostname可以修改主机名，这里修改第一台为例，修改后reboot重启即可生效
其他linux发行版本的命令可能不同，之后的命令将不做赘述

2，配置IP映射

2.1，配置

sudo vim /etc/hosts 命令打开文件
如下图所示ip 对应别名进行配置

打开配置文件

2.2，测试

通过ping 命令能够成功通信映射就配置成功了

3，配置SSH免密登录

一般只要配置主机器对其他机器的免密登录和主机器自身的免密登录
使用ssh-keygen -t rsa 创建id_rsa（私钥）和id_rsa.pub（公钥），这里直接4个回车就行了，不需要进行输入
使用 ssh-copy-id node-1拷贝到自身，同样的使用ssh-copy-id 映射名拷贝到其他机器上
使用ssh node-1测试是否配置成功（注意：这里node-1的是我配置的主机映射）

4，关闭防火墙

为避免不必要的麻烦可以在保证安全的内网环境下关闭防火墙（外网环境不建议）

sudo ufw status 查看防火墙状态
sudo ufw disable 关闭防火墙

二，JDK的安装与配置

1，JDK的下载和安装

java -version 命令检查是否已经安装
sudo mkdir -p /usr/local/java 创建放置jdk的目录
cd /usr/local/java 进入目录

jdk下载：https://www.oracle.com/cn/java/technologies/javase/javase-jdk8-downloads.html
jdk国内华为镜像：https://mirrors.huaweicloud.com/java/jdk/
下载后上传到 /usr/local/java，也可以使用wget下载
sudo tar xvzf jdk-8u181-Linux-x64.tar.gz 命令进行解压（文件名以下载的为准）

2，JDK的配置

sudo vim /etc/profile 命令打开环境变量的配置文件，把下面得代码添加到文件的下方

export JAVA_HOME=/usr/local/java/jdk1.8.0_181
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

source /etc/profile 命令刷新配置
任意输入java -version 命令出现版本信息说明安装成功

三，hadoop的安装与配置

1，hadoop的下载

官网：http://hadoop.apache.org/releases.html
镜像：https://downloads.apache.org/hadoop/common/
同样的可以下载后上传到 /usr/local，也可以使用wget下载 ,这里我下载的是2.6的版本，接下来的演示都将使用这个版本

2，hadoop的校验

下载同名的mds文件，同样的下载后上传或者使用wget
shasum -a 256 hadoop-2.6.0.tar.gz 命令获得SHA-256值，也可以使用其他的校验方法，这里用SHA-256来做示例
cat hadoop-3.0.3.tar.gz.mds 命令查看mds文件中的SHA-256值并比对，忽略大小写和空格可以看到结果是一致的，说明没有问题（高亮部分是为了更好的展示效果后期涂在图上的）

3，hadoop的解压和安装

cd /usr/local/ 进入hadoop文件所在的目录（ /usr/local/ 是我hadoop存放的位置）
sudo tar -xzvf hadoop-2.6.0.tar.gz 命令解压hadoop
解压完成后可以把带版本号的文件夹名改为简单的hadoop，原文件也可以删除

4，配置hadoop

4.1，配置hadoop-env.sh

cd /usr/local/hadoop 进入hadoop目录
sudo vim /etc/hadoop/hadoop-env.sh 打开然后找到 export JAVA_HOME=${JAVA_HOME} 后面改成如图所示自己的jdk路径

4.2，配置core-site.xml

cd /usr/local/hadoop/etc/hadoop 进入目录
vim core-site.xml 命令打开xml文件
添加如下代码到文件中，hadoop.tmp.dir 表示存放运行时产生的文件，value 即存放的目录，fs.defaultFS 指定HDFS的地址

<configuration>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/usr/local/hadoop/tmp</value>
                <description>Abase for other temporary directories.</description>
        </property>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://node-1:9000</value>
        </property>
</configuration>

4.3，配置hdfs-site.xml

cd /usr/local/hadoop/etc/hadoop 进入目录
vim hdfs-site.xml 命令打开xml文件
添加如下代码到文件中

<configuration>
        <property>
                <name>dfs.replication</name>
                <value>3</value>
        </property>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>/usr/local/hadoop/tmp/dfs/name</value>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>/usr/local/hadoop/tmp/dfs/data</value>
        </property>
        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>node-2:50090</value>
        </property>
</configuration>

dfs.replication 指HDFS备份的份数
dfs.namenode.name.dir和dfs.datanode.data.dir 同样是指定存放的目录，core-site里已经指定可以不写
dfs.namenode.secondary.http-address 指定秘书地址

4.4，配置mapred-site.xml

cd /usr/local/hadoop/etc/hadoop 进入目录
mv mapred-site.xml.template mapred-site.xml 因为只有模板文件所有使用命令复制一份模板为配置文件
vim mapred-site.xml 打开文件添加如下代码到文件中，设置mr运行时框架为yarn

<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
</configuration>

4.5，配置yarn-site.xml

参照上面进入目录并 vim yarn-site.xml 打开文件
添加如下代码到文件中

<configuration>
        <!--指定yarn的resourcemanager（老大）的地址-->
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>node-1</value>
        </property>
        <!--nodemanager上运行的附属服务-->
         <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>

vim slaves 打开文件配置从节点
把localhost改成你所有机器配置的映射名，配置多个从节点可以换行实现

5，把hadoop添加到环境变量

sudo vim /etc/profile 命令打开环境变量的配置文件，把下面得代码添加到文件的下方

export JAVA_HOME=/usr/local/java/jdk1.8.0_181
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export HADOOP_HOME=/usr/local/hadoop
export PATH=${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:$PATH

source /etc/profile 命令刷新配置

四，hadoop的启动

1，HDFS的格式化

注意：格式化之后不要进行格式化了，会导致启动失败
hdfs namenode -format 进行格式化，注意只能在namenode（主角色）所在的机器进行

2，hdfs，yarn的启动与停止

start-dfs.sh 命令启动hdfs，stop-dfs.sh 命令停止hdfs，jps 命令查看启动的状态

start-yarn.sh 命令启动yarn，stop-yarn.sh 命令停止yarn
jps 命令查看启动的状态，出现下方六个进程说明全部启动成功了

本文作者为 mowang ，转载请注明

魔王の博客

hadoop分布式集群安装教程

一，服务器配置

1，更改主机名

2，配置IP映射

2.1，配置

2.2，测试

3，配置SSH免密登录

4，关闭防火墙

二，JDK的安装与配置

1，JDK的下载和安装

2，JDK的配置

三，hadoop的安装与配置

1，hadoop的下载

2，hadoop的校验

3，hadoop的解压和安装

4，配置hadoop

4.1，配置hadoop-env.sh

4.2，配置core-site.xml

4.3，配置hdfs-site.xml

4.4，配置mapred-site.xml

4.5，配置yarn-site.xml

5，把hadoop添加到环境变量

四，hadoop的启动

1，HDFS的格式化

2，hdfs，yarn的启动与停止

GitHub上受欢迎的Android UI Library

mowang

Comments | NOTHING

Cancel Reply