| 一、环境准备 CentOS Linux release 7.5.1804 (Core) 系统下 安装 创建文件夹 $ cd /home/centos$ mkdir software$ mkdir module 将安装包导入software文件夹 $ cd software# 然后把文件拖进去即可 这里使用的安装包是 /home/centos/software/hadoop-3.1.3.tar.gz /home/centos/software/jdk-8u212-linux-x64.tar.gz $ tar -zxvf jdk-8u212-linux-x64.tar.gz -C ../module$ tar -zxvf hadoop-3.1.3.tar.gz -C ../module 配置环境变量 $ cd /etc/profile.d/$ vim my_env.sh 为了不污染系统变量，我们自己创建一个环境变量的脚本，配置内容如下 #JAVA_HOME,PATH # export 提升为全局变量，如果你的路径和我不同，记得这里要使用自己的路径哦export JAVA_HOME=/home/centos/module/jdk1.8.0_212export PATH=$PATH:$JAVA_HOME/bin#HADOOP_HOMEexport HADOOP_HOME=/home/centos/module/hadoop-3.1.3export PATH=$PATH:$HADOOP_HOME/binexport PATH=$PATH:$HADOOP_HOME/sbin 然后保存退出（这里不会的话可以看下vim基础使用，不再赘述了）。 我们source一下，使环境变量生效 测试一下，看看是否成功 
出现以上界面就是没问题了，如果还没成功可以做以下两项检查： - 去java和hadoop的安装目录下的bin目录，分别运行，看是否成功。如果不成功，说明安装包解压缩有问题，软件本身就没安装成功。删掉重新安装。
- 如果运行成功了，说明是环境变量没有配置成功。那么可以检查一下环境变量的路径设置，如果没问题的话，那重启试试~
ssh免密 虽然是伪集群，但是本机连接本机的时候还是会需要密码的，所以要设置一下ssh免密 出现提示就不停的按回车即可，生成完秘钥后 配置host文件 vi /etc/hosts#这里我保留的配置为，其中master配置的是腾讯云的内网， 如果配置外网会导致eclipse客户端连不上hadoop::1 localhost.localdomain localhost::1 localhost6.localdomain6 localhost6172.16.0.3 master127.0.0.1 localhost 修改主机名 vi /etc/sysconfig/network #修改HOSTNAME为masterHOSTNAME=master 修改hostname $ hostnamectl --static set-hostname master 关闭防火墙 $ systemctl disable firewalld #永久 二、配置hadoop 配置文件 进入hadoop的配置文件专区，所有配置文件都在这个文件夹 $ cd /home/centos/module/hadoop-3.1.3/etc/hadoop 我们要配置的文件主要有 core-site.xml - fs.defaultFS是本机的访问路径；
- hadoop.tmp.dir是数据的保存路径
- 内网地址不知道的去腾讯云网站上查一下
hdfs-site.xml - dfs.replication是指数据的副本数，默认是3
- 我们设置为1，因为是伪集群嘛
yarn-site.xml
mapred-site.xml
hadoop-env.sh - expert JAVA_HOME=你的jdk安装路径
那接下来就按照步骤操作吧！ $ vim core-site.xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://腾讯云内网ip地址:9820</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/home/centos/module/hadoop-3.1.3/data/tmp</value> </property> <!-- 通过web界面操作hdfs的权限 --> <property> <name>hadoop.http.staticuser.user</name> <value>root</value> </property> <!-- 后面hive的兼容性配置 --> <property> <name>hadoop.proxyuser.root.hosts</name> <value>*</value> </property> <property> <name>hadoop.proxyuser.root.groups</name> <value>*</value> </property></configuration> $ vim hdfs-site.xml <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.secondary.http-address</name> <value>腾讯云内网ip地址:9868</value> </property></configuration> $ vim hadoop-env.sh export JAVA_HOME=/home/centos/module/jdk1.8.0_212 $ vim yarn-site.xml
<configuration> <!-- Reducer获取数据的方式--> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <!-- 指定YARN的ResourceManager的地址--> <property> <name>yarn.resourcemanager.hostname</name> <value>master</value> </property><!-- 环境变量通过从NodeManagers的容器继承的环境属性，对于mapreduce应用程序，除了默认值 hadoop op_mapred_home应该被添加外。属性值 还有如下--> <property> <name>yarn.nodemanager.env-whitelist</name> <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value> </property> <!-- 解决Yarn在执行程序遇到超出虚拟内存限制，Container被kill --> <property> <name>yarn.nodemanager.pmem-check-enabled</name> <value>false</value> </property> <property> <name>yarn.nodemanager.vmem-check-enabled</name> <value>false</value> </property> <!-- 后面hive的兼容性配置 --> <property> <name>yarn.scheduler.minimum-allocation-mb</name> <value>512</value> </property> <property> <name>yarn.scheduler.maximum-allocation-mb</name> <value>4096</value> </property> <property> <name>yarn.nodemanager.resource.memory-mb</name> <value>4096</value> </property> <!-- 开启日志聚集 --> <property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property> <!-- 访问路径--> <property> <name>yarn.log.server.url</name> <value>http://172.17.0.13:19888/jobhistory/logs</value> </property> <!-- 保存的时间7天 --> <property> <name>yarn.log-aggregation.retain-seconds</name> <value>604800</value> </property></configuration> 配置历史服务器 $ vim mapred-site.xml <!-- 历史服务器端地址 --><property> <name>mapreduce.jobhistory.address</name> <value>腾讯云内网ip:10020</value></property><!-- 历史服务器web端地址 --><property> <name>mapreduce.jobhistory.webapp.address</name> <value>腾讯云内网ip:19888</value></property> 初始化 第一次启动需要格式化NameNode，后面就不需要啦 初始化后，可以看到hadoop安装文件夹中，出现了data和logs两个文件夹，这样就是初始化成功了 
接下来看下启动集群 启动完毕，没有异常信息，查看一下进程 [root@VM_0_13_centos hadoop]# jps20032 Jps30900 DataNode31355 SecondaryNameNode30559 NameNode 全部启动成功~！ 一键启动 上面都没问题后，可以做一个脚本一键启动集群，在bin目录下新建 添加如下内容 #!/bin/bashcase $1 in"start")#dfs yarn historystart-dfs.shstart-yarn.shmapred --daemon start historyserver;;"stop")# dfs yarn historystop-dfs.shstop-yarn.shmapred --daemon stop historyserver;;*)echo "args is error! please input start or stop";;esac 配置脚本的权限 使用脚本启动 $ mycluster start$ jps23680 NodeManager24129 JobHistoryServer22417 DataNode24420 Jps22023 NameNode23384 ResourceManager22891 SecondaryNameNode 三、查看hdfs 配置安全组规则 在进行以下操作前，现在安全组规则中的协议端口中，加入以下要使用的端口 端口号： - Namenode ports: 9870
- Secondary NN ports: 9868
- JobHistory：19888
hadoop web页面 在浏览器输入：腾讯云公网地址:端口号，即可进入对应的web界面 
这是我们发现Secondary NameNode的界面显示不太正常，这是由于hadoop3中dfs-dust.js的时间函数使用有误。我们手动改正一下。 首先关闭集群 修改文件 $ vim /home/centos/module/hadoop-3.1.3/share/hadoop/hdfs/webapps/static/dfs-dust.js 
约61行的位置，如图所示，更改为： return new Date(Number(v)).toLocaleString(); 此时我们再启动集群 可以看到Secondary NameNode的web界面已经正常了 
测试hdfs 那我们来上传文件玩一玩吧 在hadoop目录下新建一个文件夹 进入文件夹，新建一个测试文件 内容随便写吧，写好保存，我们开始上传文件 $ hdfs dfs -put text.txt / 查看一下web页面，上传成功了~ 
再尝试把这个文件down下来 $ hdfs dfs -get /text.txt ./text1.txt 
成功~
至此hadoop集群搭建完毕，可以自己耍一些好玩的事啦~！ WordCount案例实操 在web端新建文件夹 input 
在其中上传一个自己写的各种单词的文件，做单词统计 #或者自己在vim中写好上传也可$ hdfs dfs -put wordcount.txt /input 然后测试一下wordcount案例，注意输出文件夹不能存在 $ hadoop jar /home/centos/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output 运行完之后，我们看一下结果 #拉取hdfs文件[root@master mydata]# hdfs dfs -get /output ./#查看结果[root@master output]# cat part-r-00000 a 2b 3c 2d 1e 1f 1 至此，你已经可以自由的玩耍hadoop啦。 当然，如果你已经尝试了的话，会发现，还有一个小问题没有解决，就是在web端点击文件查看head或tail时，会发生无法查看的情况，download也是不可以的。这个在虚拟机安装时并没有发生过，我还在研究怎么回事。如果有大神知道怎么回事，可以留言说一下哈 
下载地址:
详细部署阿里云服务器全过程(图文教程)
手把手教你在腾讯云上搭建hive3.1.2的方法 |
