hadoop怎样安装与配置

一、安装Hadoop

1、准备安装环境，安装JDK，Hadoop需要Java环境，所以需要安装JDK，如果已经安装，可以跳过此步骤。

2、下载Hadoop，从官网下载Hadoop安装包，并解压到指定的安装目录。

3、配置Hadoop，配置Hadoop需要修改Hadoop安装目录下的配置文件，包括hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml等，配置文件中的参数需要根据实际情况进行修改，比如机器的主机名，磁盘的路径等。

4、启动Hadoop，在Hadoop安装目录下，执行start-all.sh脚本，即可启动Hadoop集群。

二、配置Hadoop环境变量

1、编辑环境变量，打开系统环境变量文件，添加Hadoop的环境变量，比如HADOOP_HOME，HADOOP_CLASSPATH等。

2、配置Path变量，在Path变量中添加Hadoop bin目录，以及Hadoop的lib目录，以便在任何目录下都可以执行Hadoop的命令。

export HADOOP_HOME=/usr/local/hadoopexport HADOOP_CLASSPATH=$HADOOP_HOME/libexport PATH=$PATH:$HADOOP_HOME/bin

三、测试Hadoop

1、启动HDFS，执行start-dfs.sh脚本，启动Hadoop文件系统，此时Hadoop集群中会有NameNode和DataNode节点。

2、创建目录，使用hadoop fs -mkdir命令创建HDFS上的文件目录，用来存放文件。

$ hadoop fs -mkdir /user/hadoop

3、上传文件，使用hadoop fs -put命令将本地文件上传到HDFS上，以便在Hadoop集群中使用。

$ hadoop fs -put /tmp/test.txt /user/hadoop

4、查看文件，使用hadoop fs -ls命令查看文件是否上传成功，如果能够看到文件，说明Hadoop安装配置成功。

$ hadoop fs -ls /user/hadoop