2212人阅读
大数据IMF传奇行动－Spark Hadoop（108）
大数据IMF传奇行动
安装工具存放的目录
G:\IMFBigDataSpark2016\Bigdata_Software
1、scala IDE 4.3.0 下载页面 scala-SDK-4.3.0-vfinal-2.11-win32.win32.x86
部署在 G:\IMFBigDataSpark2016\eclipse\eclipse.exe
2、原来的是java 1.7.0_13 重新下载 java1.8
windows版本
下载页面 jdk-8u65-windows-i586.exe
部署 C:\Program Files\Java\jdk1.8.0_65
linux版本 jdk-8u65-linux-i586.gz
设置java_home 和path
C:\Users\admin&java -version
java version &1.8.0_65&
Java(TM) SE Runtime Environment (build 1.8.0_65-b17)
Java HotSpot(TM) Client VM (build 25.65-b01, mixed mode)
3、scala 版本为 2.10.4 已经具备
C:\Users\admin&scala -version
Scala code runner version 2.10.4 -- Copyright , LAMP/EPFL
4、新建工程,默认scala库是2.11.7要手动换版本 2.10.x ok
5、加入spark 1.6.0 jar依赖
1.6.0版本 prebuild for hadoop 2.6
Download Spark: spark-1.6.0-bin-hadoop2.6.tgz
6\spark-1.6.0-bin-hadoop2.6.tgz
7、找到依赖spark文件导入
G:\IMFBigDataSpark2016\Bigdata_Software\spark-1.6.0-bin-hadoop2.6\spark-1.6.0-bin-hadoop2.6\spark-1.6.0-bin-hadoop2.6\lib、spark-assembly-1.6.0-hadoop2.6.0.jar
8、导入spark 包
9、在src中建立工程包com.dt.spark
找不到或无法加载主类
%java_home%\%java_home%\jre\
.;%java_home%\%java_home%\lib\tools.jar
1、问题描述：
根据第八课内容实践，提示编译错误：在scala IDE 4.3.0中新建工程WordCount,已将scala库从2.11.7手动换版本 2.10.x（显示2.10.6），已经导入spark jar包spark-1.6.0-bin-hadoop2.6.tgz依赖,新建WordCount.scala，编译运行提示错误:无法加载主类 com.dt.spark.WordCount
Description&Location&Resource&Path&Type
More than one scala library found in the build path (G:/IMFBigDataSpark2016/eclipse/plugins/org.scala-ide.scala210.jars_4.3.0./target/jars/scala-library.jar, G:/IMFBigDataSpark2016/Bigdata_Software/spark-1.6.0-bin-hadoop2.6/spark-1.6.0-bin-hadoop2.6/spark-1.6.0-bin-hadoop2.6/lib/spark-assembly-1.6.0-hadoop2.6.0.jar).At
least one has an incompatible version. Please update the project build path so it contains only one compatible scala library.&Unknown&WordCount&&Scala Classpath Problem
2、详细过程：
1、Windows 7 上java、scala配置
C:\Users\admin&java -version
java version &1.8.0_65&
Java(TM) SE Runtime Environment (build 1.8.0_65-b17)
Java HotSpot(TM) Client VM (build 25.65-b01, mixed mode)
C:\Users\admin&scala -version
Scala code runner version 2.10.4 -- Copyright , LAMP/EPFL
3、问题截图：
&处理过程：刷新环境变量，在scala IDE 4.3.0重新运行，还是编译提示错误。
%java_home%\%java_home%\jre\
.;%java_home%\%java_home%\lib\tools.jar
是否需要更新scala版本？
问题解决：设置为fix
在Scala Compiler中
设置 Scala Installation 为 Fixed Scala Installation:2.10.6(built-in)
编译无法加载主类 com.dt.spark.WordCount的问题已经解决.谢谢
&&相关文章推荐
* 以上用户言论只代表其个人观点，不代表CSDN网站的观点或立场
访问：258184次
积分：7354
积分：7354
排名：第2481名
原创：510篇
评论：43条
(7)(28)(34)(17)(12)(12)(19)(31)(19)(16)(25)(26)(49)(28)(38)(23)(24)(39)(9)(1)(1)(15)(29)(12)零基础小白在 mac 上配置 Hadoop 单点伪分布集群填坑过程 —— Jinkey 原创 - 简书
零基础小白在 mac 上配置 Hadoop 单点伪分布集群填坑过程 —— Jinkey 原创
hadoop logo
什么是单点伪分布集群
在本地或远程一台电脑上虚拟出几个电脑模拟生产环境下3台以上的服务器集群运行 hadoop，主要用于本地调试数据挖掘的脚本或学习 hadoop 之用。
安装 Java 环境
下载好之后双击 dmg 打开然后双击安装...
安装 HomeBrew
下面所有的命令都是在 mac 的 终端
程序运行（在 spotlight 搜索一下就有）如果之前安装过就不用了
ruby -e "$(curl -fsSL /Homebrew/install/master/install)"
安装 Hadoop
sudo chmod 777 /usr/local/sbin
不执行权限修改的话会报错
Error: The brew link step did not complete successfullyThe formula built, but is not symlinked into /usr/localCould not symlink sbin/distribute-exclude.sh/usr/local/sbin is not writable.
接着执行命令:
brew install hadoop
配置 Hadoop
进入 hadoop 目录，2.7.2是你安装的版本号(不知道的可以用sudo hadoop version命令查看)
/usr/local/Cellar/hadoop/2.7.2/libexec/etc/hadoop/
网上有说配置免密钥登录的，可能就不用加sudo 运行本文的指令，你们可以试试；但是对于小白来说很容易踩坑；为了安全性我就不配置免密钥登录了
修改hadoop-env.sh
vim hadoop-env.sh
export HADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true"
按下键盘上的 i 进入编辑模式(下面的编辑同理，看到左下角有 INSERT 文字代表进入成功)将上面找到的那一行export 的东西删掉，把下面这一句粘贴上
export HADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true -Djava.security.krb5.realm= -Djava.security.krb5.kdc="
修改完成后点键盘左上角的 esc 键，然后输入 :wq ，按下键盘 rerurn 即可(这个操作的意思是保存操作并退出)。
修改core-site.xml
vim core-site.xml
&configuration&
&/configuration&
还是点击 i 进入编辑模式，在中间加入配置，最终效果如下:
&configuration&
&property&
&name&hadoop.tmp.dir&/name&
&value&/usr/local/Cellar/hadoop/hdfs/tmp&/value&
&description&A base for other temporary directories.&/description&
&/property&
&property&
&name&fs.default.name&/name&
&value&hdfs://localhost:9000&/value&
&/property&
&/configuration&
修改完成后点键盘左上角的 esc 键，然后输入 :wq ，按下键盘 rerurn 即可(这个操作的意思是保存操作并退出)。
修改mapred-site.xml
目录里面没mapred-site.xml文件，只有一个mapred-site.xml. 所以要先重命名文件。执行命令:
mv mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
&configuration&
&/configuration&
还是点击 i 进入编辑模式，在中间加入配置，最终效果如下:
&configuration&
&property&
&name&mapreduce.framework.name&/name&
&value&yarn&/value&
&/property&
&/configuration&
修改完成后点键盘左上角的 esc 键，然后输入 :wq ，按下键盘 rerurn 即可(这个操作的意思是保存操作并退出)。
修改hdfs-site.xml
vim hdfs-site.xml
&configuration&
&/configuration&
还是点击 i 进入编辑模式，在中间加入配置，最终效果如下:
&configuration&
&property&
&name&dfs.replication&/name&
&value&1&/value&
&/property&
&/configuration&
修改完成后点键盘左上角的 esc 键，然后输入 :wq ，按下键盘 rerurn 即可(这个操作的意思是保存操作并退出)。
修改yarn-site.xml
vim yarn-site.xml
&configuration&
&/configuration&
还是点击 i 进入编辑模式，在中间加入配置，最终效果如下:
&configuration&
&property&
&name&yarn.nodemanager.aux-services&/name&
&value&mapreduce_shuffle&/value&
&/property&
&/configuration&
修改完成后点键盘左上角的 esc 键，然后输入 :wq ，按下键盘 rerurn 即可(这个操作的意思是保存操作并退出)。
建立 hadoop 启动停止指令的别名方便操作
vim ~/.profile
点击 i 进入编辑模式，加入以下两行第一行:
alias hstart="/usr/local/Cellar/hadoop/2.6.0/sbin/start-dfs./usr/local/Cellar/hadoop/2.6.0/sbin/start-yarn.sh"
alias hstop="/usr/local/Cellar/hadoop/2.6.0/sbin/stop-yarn./usr/local/Cellar/hadoop/2.6.0/sbin/stop-dfs.sh"
修改完成后点键盘左上角的 esc 键，然后输入 :wq ，按下键盘 rerurn 即可(这个操作的意思是保存操作并退出)。使该配置生效还需要运行命令:
vim ~/.profile
格式化分布式文件存储系统 HDFS
sudo hdfs namenode -format
因为权限不足，所以不加 sudo 会出现:
Error: Could not find or load main classorg.apache.hadoop.hdfs.server.namenode.NameNode
对应中文系统的提示是:
错误: 找不到或无法加载主类 org.apache.hadoop.hdfs.server.namenode.NameNode
SSH 登录本地服务器
在 Mac 系统默认是禁止远程登录的，所以要在系统的 System Preferences & Sharing & Remote Login选项打上勾，对应的中文路径是系统左上角的 系统偏好设置 & 共享 & 远程登录选项打上勾。?ssh 登录本地计算机
ssh localhost
如果不做之前的系统配置会提示错误
ssh: connect to host localhost port 22: Connection refused
启动 hadoop 伪分布式集群
然后就是根据提示输入好多次密码，启动成功。ubuntu14.04下java1.8及hadoop2.5安装
ubuntu14.04下java1.8及hadoop2.5安装
首先现在jdk1.8.0_25到下载文件夹
cd /home/pan/下载
cp jdk-8u25-linux-x64.tar.gz usr/lib/jvm
tar -xzvf jdk-8u25-linux-x64.tar.gz
mv jdk1.8.0_25 java
安装完成，然后配置环境变量
gedit ~/.bashrc
将下面代码直接复制在最后：
export JAVA_HOME=/usr/lib/jvm/java
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
hadoop2.5.1下载及安装
/apache-mirror/hadoop/common/hadoop-2.5.1/hadoop-2.5.1.tar.gz
cp hadoop-2.5.1.tar.gz /usr/local
tar -xzvf *.tag.gz
mv hadoop-2.5.1 hadoop
配置环境变量
gedit ~/.bashrc
将下面代码直接复制在最后
#HADOOP VARIABLES START
export HADOOP_INSTALL=/usr/local/hadoop
export PATH=$PATH:$HADOOP_INSTALL/bin
export PATH=$PATH:$HADOOP_INSTALL/sbin
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_HOME=$HADOOP_INSTALL
export HADOOP_HDFS_HOME=$HADOOP_INSTALL
export YARN_HOME=$HADOOP_INSTALL
HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"
#HADOOP VARIABLES END
3 加一个 hadoop 用户
sudo addgroup hadoop
sudo adduser -ingroup hadoop hadoop
sudo chown -R hadoop:hadoop /usr/local/hadoop*
sudo su - hadoop
ssh-keygen -t rsa -P ""
cat ~/.ssh/id_rsa.pub && ~/.ssh/authorized_keys
sudo mkdir /usr/local/hadoop/tmp
给hadoop用户添加权限，打开/etc/sudoers文件;
sudo gedit /etc/sudoers
按回车键后就会打开/etc/sudoers文件了，给hadoop用户赋予root用户同样的权限。
ALL=(ALL:ALL)&&
ALL下添加hadoop&&
ALL=(ALL:ALL)& ALL，
hadoop& ALL=(ALL:ALL) ALL
4 配置 hadoop
修改 /usr/local/hadoop/etc/hadoop/hadoop-env.sh 在 export
JAVA_HOME=${JAVA_HOME} 行前面插入如下内容
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop
修改 /usr/local/hadoop/etc/hadoop/core-site.xml 在 后面增加
& fs.default.name
& hdfs://localhost:9000
& hadoop.tmp.dir
& /usr/local/hadoop/tmp
5 格式化 hadoop
/usr/local/hadoop/bin/hadoop namenode -format
6 启动 hadoop
/usr/local/hadoop/sbin/start-all.sh
#8 停止 hadoop
#/usr/local/hadoop/sbin/stop-all.sh
7 测试 hadoop
/usr/local/hadoop/bin/hadoop fs -df
9 退出 hadoop 用户
--------------------------------------
http://mirror./apache/hbase/stable/hbase-0.98.7-hadoop2-bin.tar.gz
tar xzf hbase-0.98.7-hadoop2-bin.tar.gz
sudo mv hbase-0.98.7-hadoop2 /usr/local/
cd /usr/local/
sudo ln -s hbase-0.98.7-hadoop2/ hbase&
(或者& sudo mv hbase-0.98.7-hadoop2
/usr/local/)&&&&&&&&
sudo chown -R hadoop:hadoop hbase*
sudo su - hadoop
编辑 /usr/local/hbase/conf/hbase-env.sh 找到 export JAVA_HOME
的行，在后面插入：
export JAVA_HOME=/usr/lib/jvm/java
export HBASE_HOME=/usr/local/hbase
编辑 /usr/local/hbase/conf/hbase-site.xml 在 行后面插入:
hbase.rootdir
hdfs://localhost:9000/hbase
dfs.replication
/usr/local/hbase/bin/start-hbase.sh
/usr/local/hbase/bin/hbase shell
hbase(main):001:0& status
#/usr/local/hbase/bin/stop-hbase.sh
在使用./sbin/start-dfs.sh或./sbin/start-all.sh启动时会报出这样如下警告：
Java HotSpot(TM) 64-Bit Server VM warning: You have loaded
library /usr/local/hadoop-2.2.0/lib/native/libhadoop.so.1.0.0 which
might have disabled stack guard. The VM will try to fix the stack
guard now.
Java: ssh: Could not resolve hostname Java: Name or service not
HotSpot(TM): ssh: Could not resolve hostname HotSpot(TM): Name
or service not known
64-Bit: ssh: Could not resolve hostname 64-Bit: Name or service
这个问题的错误原因会发生在64位的操作系统上，原因是从官方下载的hadoop使用的本地库文件(例如lib/native
/libhadoop.so.1.0.0)都是基于32位编译的，运行在64位系统上就会出现上述错误。解决方法之一是在64位系统上重新编译
hadoop，另一种方法是在hadoop-env.sh和yarn-env.sh中添加如下两行：
HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_PREFIX}/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_PREFIX/lib"
centos中关闭防火墙：
输入命令 service iptables stop 关闭防火墙
4.3 验证：输入 service iptables status& 再次查看
4.4 防火墙的服务有可能自动开启，如何查看防火墙的自动开启配置：
4.4.1 chkconfig &list& 查看服务配置，但查出来的配置有很多，难以找到
iptables，
需要在查找的时候过滤，如下一步
4.4.2 chkconfig &list |grep iptables 过滤查出防火墙的服务
4.4.3 chkconfig iptables
off& 关闭防火墙自动开启
ubuntu中：
下面是ufw命令行的一些示例：
ufw enable/disable:打开/关闭ufw
ufw status：查看已经定义的ufw规则
ufw default allow/deny:外来访问默认允许/拒绝
ufw allow/deny
20：允许/拒绝访问20端口,20后可跟/tcp或/udp，表示tcp或udp封包。
ufw allow/deny
servicename:ufw从/etc/services中找到对应service的端口，进行过滤。
ufw allow proto tcp from 10.0.1.0/10 to 本机ip port
25:允许自10.0.1.0/10的tcp封包访问本机的25端口。
ufw delete allow/deny 20:删除以前定义的"允许/拒绝访问20端口"的规则
已投稿到：
以上网友发言只代表其个人观点，不代表新浪网的观点或立场。安全检查中...
请打开浏览器的javascript，然后刷新浏览器
< 浏览器安全检查中...
还剩 5 秒&