用户名：zhouxing_good
文章数：76
访问量：30340
注册日期：
阅读量：1297
阅读量：3317
阅读量：583855
阅读量：469030
51CTO推荐博文
介绍这一系列博文介绍hadoop集群的部署和安装，因为hadoop确实比较复杂，所以分为几个部分来一一介绍。大致有基础篇，HA-QJM篇，Federation篇。正文一、操作环境虚拟机4台，配置基于hadoop的集群中包括4个节点：1个Master，3个Salve，节点之间局域网连接，可以相互ping通，Ip分布为：168.5.15.112 hadoop1（Master）168.5.15.116 hadoop2（Slave）168.5.15.207 hadoop3（Slave）168.5.15.201 hadoop4（Slave）操作系统为CENTOS/RHEL5.4 64bitMaster机器主要配置NameNode和JobTracker的角色，负责总管分布式数据和分解任务的执行；3个Salve机器配置DataNode和TaskTracker的角色，负责分布式数据存储以及任务的执行。创建账户使用root登陆所有机器后，所有的机器都创建hadoop 用户useradd hadooppasswd hadoop此时在/home/ 下就会生成一个hadoop目录，目录路径为/home/hadoop使用hadoop用户登录并创建相关的目录定义安装包存放路径：/opt/并给与足够的权限：chown 777 /opt需要两个安装包：JDK和HADOOP安装包，两个都从apache官网上下载。这里为jdk-8u25-linux-x64.rpm和hadoop-2.6.0.tar.gz，下载后放在/opt目录下，安装JDK1 rpm -ivh jdk-8u25-linux-x64.rpm,安装后JDK家目录默认在/usr/java/jdk1.8.0_252 配置环境变量，vi
/etc/profile ，在行末尾添加export
JAVA_HOME=/usr/java/jdk1.8.0_25export
CLASSPATH=.:$JAVA_HOME/lib/tools.jar:/lib/dt.jarexport
PATH=$JAVA_HOME/bin:$PATH3& 使配置立即生效source /etc/profile4& 执行java -version 查看是否安装成功修改主机名1 连接到主节点168.5.15.112 ，修改network ，执行vi
/etc/sysconfig/network ，修改HOSTNAME=hadoop12 修改hosts 文件，vi
/etc/hosts ，在行末尾添加:168.5.15.112 hadoop1168.5.15.116 hadoop2168.5.15.207 hadoop3168.5.15.201 hadoop43 执行hostname hadoop14 执行exit 后重新连接可看到主机名以修改OK其他节点也修改主机名后添加Host, 或者host 文件可以在后面执行scp 覆盖操作配置SSH无密码登陆1& 以hadoop用户在其中一台机器上执行命令ssh-keygen -t rsa 之后一路回车，2在其他机器上创建目录：/home/hadoop/.ssh，并修改权限：chmod 700 /home/hadoop/.ssh3 把~/.ssh/id_rsa.pub 分发到所有机器上（包括自己）scp ~/.ssh/id_rsa.pub hadoop@{#IP}:~/.ssh/authorized_keys4 修改权限：执行chmod
600 ~/.ssh/authorized_keys5 若有必要请修改ssh配置文件6 验证ssh {#IP}如果没有需要密码即可7 注意：要确保任意两台机器都能够通过SSH无密码登陆对方Hadoop安装下载官网地址:http://www.apache.org/dyn/closer.cgi/hadoop/common/解压目录tar zxvf
hadoop-2.2.0.tar.gz创建相应的数据存放目录：mkdir -p /opt/hadoop-2.6.0/hdfs/namemkdir -p /opt/hadoop-2.6.0/hdfs/datamkdir -p /opt/hadoop-2.6.0/logsmkdir -p /opt/hadoop-2.6.0/tmp配置环境变量vi /etc/profile添加export
HADOOP_HOME=/opt/hadoop-2.6.0export
PATH=$PATH:$HADOOP_HOME/binexport
PATH=$PATH:$HADOOP_HOME/sbinexport
HADOOP_MAPARED_HOME=${HADOOP_HOME}export
HADOOP_COMMON_HOME=${HADOOP_HOME}export
HADOOP_HDFS_HOME=${HADOOP_HOME}export
YARN_HOME=${HADOOP_HOME}export
HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoopexport
HDFS_CONF_DIR=${HADOOP_HOME}/etc/hadoopexport
YARN_CONF_DIR=${HADOOP_HOME}/etc/hadoop生效配置：source /etc/profile进入/etc/hadoop目录中cd/home/hadoop/hadoop/etc/hadoop配置hadoop-env.shvi hadoop-env.sh在末尾添加export
JAVA_HOME=/usr/java/jdk1.8.0_25slave配置vi slaves添加slave 的IP168.5.15.116168.5.15.201168.5.15.207编辑core-site.xmlvi core-site.xml在configuration 节点里面添加属性&&& &property&&&&&&&& &name&hadoop.tmp.dir&/name&&&&&&&& &value&/opt/hadoop-2.6.0/tmp&/value&&&& &/property&&&& &property&&&&&&&& &name&fs.default.name&/name&&&&&&&& &value&hdfs://10.9.214.151:9000&/value&&&& &/property&&&& &property&&&&&&&& &name&hadoop.proxyuser.root.hosts&/name&&&&&&&& &value&10.9.214.151&/value&&&& &/property&&&& &property&&&&&&&& &name&hadoop.proxyuser.root.groups&/name&&&&&&&& &value&*&/value&&&& &/property&配置hdfs-site.xmlvi hdfs-site.xml&&&& &property&&&&&&&&&&&&& &name&dfs.namenode.name.dir&/name&&&&&&&&&&&&&&&&&&&&& &value&file:/opt/hadoop-2.6.0/hdfs/name&/value&&&&&&&&&&&&&&&&&&&&&&&&& &/property&&&& &property&&&&&&&&&&&& &name&dfs.dataname.data.dir&/name&&&&&&&&&&&&&&&&&&&& &value&file:/opt/hadoop-2.6.0/hdfs/data&/value&&&&&&&&&&&&&&&&&&&&&&&& &/property&&&& &property&&&&&&&&&&&& &name&dfs.replication&/name&&&&&&&&&&&&&&&&&&&& &value&3&/value&&&&&&&&&&&&&&&&&&&&&&&& &/property&&&& &property&配置yarn-site.xml&property&&name&yarn.resourcemanager.address&/name&&value&10.9.214.151:18040&/value&&/property&&property&&name&yarn.resourcemanager.scheduler.address&/name&&value&10.9.214.151:18030&/value&&/property&&property&&name&yarn.resourcemanager.webapp.address&/name&&value&10.9.214.151:18088&/value&&/property&&property&&name&yarn.resourcemanager.resource-tracker.address&/name&&value&10.9.214.151:18025&/value&&/property&&property&&name&yarn.resourcemanager.admin.address&/name&&value&10.9.214.151:18141&/value&&/property&&property&&name&yarn.nodemanager.aux-services&/name&&value&mapreduce_shuffle&/value&&/property&配置mapred-site.xml&&&& &property&&&&&&&&&&&&& &name&mapred.job.tracker&/name&&&&&&&&&&&&&&&&&&&&& &value&http://10.9.214.151:9001&/value&&&&&&&&&&&&&&&&&&&&&&&&& &/property&在一台机器上配置好后，把以下文件同步到其他机器：/etc/profile,/etc/hosts,hadoop-env.sh,core-site.xml,hdfs-site.xml,mapred-site.xml,yarn-site.xmlHadoop启动1 格式化集群,以下用hadoop用户执行hadoop namenode -format 2 启动hdfs执行start-dfs.sh开启hadoop dfs服务3 启动Yarn开启yarn 资源管理服务start-yarn.sh4 验证hdfs在namenode上执行jps看进程是否都已经启动了[root@hadoop1 hadoop]#
jps27113 ResourceManager26387 SecondaryNameNode26075 NameNode27633 Jps在datanode上查看[root@hadoop2 ~]# jps8966 Jps31822 DataNode31935 NodeManager验证是否可以登陆hadoop fs -ls
hdfs://168.5.15.112:9000/hadoop fs -mkdir
hdfs://168.5.15.112:9000/testfolderhadoop fs
-copyFromLocal /testfolder hdfs://168.5.15.112:9000/testfolder（前提为本机已创建/testfolder目录）hadoop fs -ls
hdfs://168.5.15.112:9000/testfolder验证map/reduce在master1 上，创建输入目录:hadoop fs -mkdir
hdfs://168.5.15.112:9000/input将一些txt文件复制到hdfs 分布式文件系统的目录里，执行以下命令hadoop fs -put
/test/*.txt hdfs://168.5.15.112:9000/input在hadoop1 上，执行HADOOP自带的例子，wordcount包，命令如下cd
$HADOOP_HOME/share/hadoop/mapreducehadoop jar
hadoop-mapreduce-examples-2.2.0.jar wordcount
hdfs://168.5.15.112:9000/input hdfs://168.5.15.112:9000/output在hadoop1上，查看结果命令如下:[root@master1 hadoop]#
hadoop fs -ls hdfs://168.5.15.112:9000/outputFound 2 items-rw-r--r-- & 2 root
supergroup & & & & &0
hdfs://168.5.15.112:9000/output/_SUCCESS-rw-r--r-- & 2 root
supergroup & & & -06-29 22:59
hdfs://168.5.15.112:9000/output/part-r-00000[root@hadoop1 hadoop]#
hadoop fs -cat &hdfs://168.5.15.112:9000/output/part-r-00000即可看到每个单词的数量本文出自 “” 博客，转载请与作者联系！
了这篇文章
类别：┆阅读(0)┆评论(0)博客访问： 199
博文数量： 1
注册时间：
ITPUB论坛APP
ITPUB论坛APP
APP发帖 享双倍积分
IT168企业级官微
微信号：IT168qiye
系统架构师大会
微信号：SACC2013
发布时间： 22:20:37
在Linux上安装Hadoop之前，需要安装两个程序：
JDK1.6或者更高的版本；
SSH（安全外壳协议），推荐安装OpenSSH
下面简述一下安装这两个程序的原因：
Hadoop使用Java开发的，Hadoop的编译及MapReduce的运行都需要使用JDK。
Hadoop需要通过SSH来启动salve列表中各台主机的守护进程，因此SSH也是必须安装的，即使是安装伪分布式版本（因为Hadoop并没有区分集群式和伪分布式）。对于伪分布式，Hadoop会采用与集群相同的处理方式，即依次序启动文件conf/slaves中记载的主机上进程，只不过伪分布式中salves为localhost（......
阅读(2) | 评论(0) | 转发(0)
给主人留下些什么吧！~~
请登录后留言。【图】详解如何在Windows上安装与配置Hadoop - 技术开发频道 图片欣赏― IT168
点击图片或键盘 ← → 或 PageUp PageDown 键直接翻页&&&&&&&&&图片欣赏
上一页 &&&&&&
| &&&&&&&&RedHat Linux 6.5下Hadoop 2.7.1 安装配置_服务器应用_Linux公社-Linux系统门户网站
你好，游客
RedHat Linux 6.5下Hadoop 2.7.1 安装配置
来源：Linux社区&
作者：muruiheng
1、 搭建Linux环境
我准备的环境是VM
Linux 6.5 64bit& & 设置固定IP& &
& & & & & & & vim /etc/sysconfig/network-scripts/ifcfg-eth0
& & & & & & & 将IP地址设定为192.168.38.128
修改主机名： vim /etc/hosts
& & & & & & & 将主机名改为 itbuilder1
2、安装JDK
配置好JDK的环境变量
3、安装环境
从Apache官网下载2.7.1版本的hadoop核心包
地址：http://archive.apache.org/dist/hadoop/core/stable2/hadoop-2.7.1.tar.gz
3.1& 将安装包解压到制定目录下
首先创建一个目录： mkdir /usr/local/hadoop
& & & & 将文件解压到/usr/local/hadoop目录下：tar -zxvf hadoop-2.7.1.tar.gz -C /usr/local/hadoop
3.2 修改配置文件
hadoop2.7.1版本需要修改5个配置文件，如下
& & & & & & 1、hadoop-env.sh
& & & & & & 2、core-site.xml
& & & & & & 3、hdfs-site.xml
& & & & & & 4、mapred-site.xml（mapred-site.xml.template）
& & & & & & 5、yarn-site.xml
& & & & 这5个文件都在hadoop木下的etc中，具体目录为： /usr/local/hadoop/hadoop-2.7.1/etc/hadoop/
& & & 3.2.1 修改环境变量(hadoop-env.sh)
& & & & & & 使用vim命令打开 hadoop-env.sh文件
& & & & & & 在指定JavaHome的地方设置好JDK的根目录，如下图：
export JAVA_HOME=/usr/java/jdk1.8.0_20
3.2.2& core-site.xml 配置，指定HDFS的namenode以及临时文件地址
& & & & & &configuration&& & & & &!--指定HDFS的老大 （NameNode）的地址--&& & & & & & &property& & & & & & & & & & & &name&fs.defaultFS&/name&& & & & & & & & & & &value&hdfs://itbuilder1:9000&/value&& & & & & & &/property&& & & & &!--指定hadoop运行时产生文件的存放目录--&& & & & & & &property& & & & & & & & & & & &name&hadoop.tmp.dir&/name&& & & & & & & & & & &value&/usr/local/hadoop/hadoop-2.7.1/tmp&/value&& & & & & & &/property& & & &
&/configuration&
3.2.3 hdfs-site.xml （指定副本数量）
&!--制定HDFS保存数据副本的数量--&& & & & &configuration&& & & & &
&property& & & & & & & & & &name&dfs.replication&/name&& & & & & & & & &value&1&/value&& & & & & & &/property&& & & & &/configuration&
3.2.4 mapred-site.xml& 告诉hadoop以后MR运行在yarn上
& & & & & &configuration&& & & & & & & &
&property&& & & & & & & & & & &
&name&mapreduce.framework.name&/name&& & & & & & & & & & & & &value&yarn&/value&& & & & & & & & & &/property&& & & & & & &/configuration&
3.2.5 yarn-site.xml
& & & & & &
&configuration&& & & & & & & & & &!--告诉 nodemanager 获取数据的方式是shuffle的方式 --&& & & & & & & & &
&property& & & & & & & & & & & & & & & &
&name&yarn.nodemanager.aux-services&/name&& & & & & & & & & & & & & & & & &value&mapreduce_shuffle&/value&& & & & & & & & & &
&/property&
& & & & & & & & & &
&!--制定yarn的老大（ResourceManager）的地址 --&& & & & & & & & & & &property&& & & & & & & & & & & & & & & &name&yarn.resourcemanager.hostname&/name&& & & & & & & & & & & & & & & & &value&itbuilder1&/value&& & & & & & & & & & &/property&
& & & & & &
&/configuration&
4、将hadoop添加到环境变量中
vim /etc/profile
export JAVA_HOME=/usr/java/jdk1.8.0_20export HADOOP_HOME=/usr/local/hadoop/hadoop-2.7.1export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
#刷新一下/etc/profile&source /etc/profile
5、初始化（格式化）文件系统（HDFS）& & #hadoop namenode -format (已经过时了)& &
hdfs namenode -format& （最新的 等待时间较长）
6、启动hadoop （hdfs yarn）./start-all.sh(过时了，需要多次确认并且输入linux密码) 以后改用一下两个命令./start-hdfs.sh./start-yarn.sh
通过jps 命令查看当前打开的进程
[root@linuxidc ~]# jps3461 ResourceManager3142 DataNode3751 NodeManager3016 NameNode5034 Jps3307 SecondaryNameNode
访问管理界面：http://192.168.38.128:50070 （hdfs管理界面）http://192.168.38.128:8088 （mr管理界面）
这两个界面打开，说明安装成功
14.04下Hadoop2.4.1单机/伪分布式安装配置教程&
安装和配置Hadoop2.2.0&
Ubuntu 13.04上搭建Hadoop环境
Ubuntu 12.10 +Hadoop 1.2.1版本集群配置
Ubuntu上搭建Hadoop环境（单机模式+伪分布模式）
Ubuntu下Hadoop环境的配置
单机版搭建Hadoop环境图文教程详解
更多Hadoop相关信息见 专题页面
本文永久更新链接地址：
相关资讯 & & &
& (02月04日)
& (01月21日)
& (04月20日)
& (01月21日)
& (09/11/:23)
　　　同意评论声明
　　　发表
尊重网上道德，遵守中华人民共和国的各项有关法律法规
承担一切因您的行为而直接或间接导致的民事或刑事法律责任
本站管理人员有权保留或删除其管辖留言中的任意内容
本站有权在网站内转载或引用您的评论
参与本评论即表明您已经阅读并接受上述条款