-Xmx6144M -Xms6144M -Xss256k -Xmn600M -XX:NewRatio=2 -XX:CMSInitiatingOccupancyFraction=85

来源：蜘蛛抓取(WebSpider) 时间：2019-12-10 12:12 标签： M|X
迎合技术发展公司最近需要对原有的hadoop进行升级操作，升级前的hadoop为1.2.1的版本升级后的hadoop为hadoop2.2.0的版本，下面散仙总结下升级心得：

（1）hadoop的hdfs系统支持不同的hadoop版本之间的数据平滑過渡，比如可以直接将Hadoop1.x的数据升级到hadoop2.x的HDFS上，能够这样升级是最好了直接从HDFS上进行过渡。此种方法适合同种hadoop版本之间的升级什么意思呢就是apache hadoop只能和apache hadoop直接升级，而不能跨版本和CDH的hadoop升级容易出现问题。


当然如果你在同种版本之间升级失败了你也可以直接把低版本的数据矗接拷贝到高版本的hadoop上，即可
hdfs-site.xml里面的内容如下（部分设置参数需要根据机器实际情况做改变）：
mapred-site.xml里面的内容如下（部分设置参数需要根據机器实际情况做改变）：
yarn-site.xml里面的内容如下（部分设置参数需要根据机器实际情况做改变）：
（1）需要改动的地方，在原来的环境变量里java.sh裏面修改hadoop的conf的路径
（3）查看原来的本机是否为计算节点(TaskTracker)，如果不是slaves里面就不要添加本机的节点信息，slaves里面统一添加hosts里面映射的name信息
（4）一切配置完毕后，用scp进行分发每个节点上发一个
（5）无须进行格式化操作，直接启动集群然后查看namenode.log，发现里面抛出error错误说大概意思你有hdfs文件需要升级：

查看HDFS上的文件，查看升级后的文件,如果升级失败,清空hadoop2.2.0的集群元数据格式化namenode，重启hadoop2.2.0的集群直接把原来hadoop1.x的备份数據,上传到

注意原来hadoop1的文件参数，hadoop2的对应的配置文件参数一致即可

查看各个节点上的jps进程发现没有问题，可以跑个基准测试

Hadoop自带一些基准测试程序，用来测试集群性能例如：

我要回帖

更多关于 M|X 的文章

 

随机推荐