Hadoop2.X的环境怎么配置
一、安装Hadoop2.X
1、安装JDK,Hadoop2.X要求JDK版本在1.7以上,安装完成后配置环境变量,使用java -version检查安装是否成功。
2、下载Hadoop2.X,从官网下载tar包,解压后配置环境变量,使用hadoop version检查安装是否成功。
3、配置Hadoop2.X,编辑hadoop-env.sh,设置JAVA_HOME,编辑core-site.xml,设置HDFS的NameNode节点的地址,编辑hdfs-site.xml,设置HDFS的DataNode节点的地址,编辑mapred-site.xml,设置MapReduce的JobTracker节点的地址和TaskTracker节点的地址,编辑yarn-site.xml,设置Yarn的ResourceManager节点的地址和NodeManager节点的地址。
二、启动Hadoop2.X
1、启动NameNode,使用hadoop-daemon.sh start namenode启动NameNode,使用jps检查NameNode是否启动成功。
2、启动DataNode,使用hadoop-daemon.sh start datanode启动DataNode,使用jps检查DataNode是否启动成功。
3、启动JobTracker,使用hadoop-daemon.sh start jobtracker启动JobTracker,使用jps检查JobTracker是否启动成功。
4、启动TaskTracker,使用hadoop-daemon.sh start tasktracker启动TaskTracker,使用jps检查TaskTracker是否启动成功。
三、验证Hadoop2.X
1、使用hadoop fs -ls /查看HDFS根目录,如果能够正确显示出HDFS的根目录,说明HDFS已经正确启动。
2、使用hadoop jar xxx.jar xxx.class提交一个MapReduce任务,如果能够正确执行,说明MapReduce已经正确启动。
3、使用hadoop jar xxx.jar xxx.class -Dmapred.job.tracker=xxx:9001提交一个MapReduce任务,如果能够正确执行,说明Yarn已经正确启动。
猜您想看
-
在csgo中找到你喜欢的角色并作为形象建立自己的游戏趣味
1 从角色中选...
2023年05月15日 -
java List集合对象去重及按属性去重的方法有哪些
一、List集...
2023年05月26日 -
PHP中怎么实现接口签名验证
1、什么是接口...
2023年05月25日 -
为什么我的苹果手机无法使用剪切板?
苹果手机是当今...
2023年04月27日 -
如何在宝塔面板中安装Redis?
在宝塔面板中安...
2023年04月16日 -
SAP CRM WebClient UI交互式报表的工作原理
SAP CRM...
2023年05月26日