MapReduce 程序的打包

在 Hadoop 中打包和运行 MapReduce 程序需要将代码编译为 Jar 文件，并将 Jar 文件上传到 Hadoop 集群中的某个位置。下面是 MapReduce 程序打包的步骤：

  1. 在本地开发环境中编写 MapReduce 程序的 Java 代码，并按照 Hadoop 的 API 编写 Mapper 和 Reducer 类。
  2. 使用 Java 编译器将 Java 代码编译成字节码文件，生成编译好的 MapReduce 程序。
  3. 将编译好的 MapReduce 程序打包成可执行的 Jar 文件。
  4. 将 Jar 文件上传到 Hadoop 集群中的某个位置，供 Hadoop 集群使用。

hdfs 命令上传 Jar 文件

将打包好的 MapReduce 程序的 Jar 文件上传到 Hadoop 集群中的某个位置，可以使用 hdfs 命令来进行上传，具体步骤如下：

  1. 首先登录到 Hadoop 集群的一台节点上，打开终端。
  2. 使用 hdfs 命令创建一个目录，用于存放 MapReduce 程序的 Jar 文件：hdfs dfs -mkdir -p /user/hadoop/mapreduce
  3. 将本地的 Jar 文件上传到 Hadoop 集群中的目录中：hdfs dfs -put /path/to/your/jarfile.jar /user/hadoop/mapreduce

运行 MapReduce 程序

在 Hadoop 集群中运行 MapReduce 程序，使用 hadoop 命令来提交 MapReduce 任务，具体步骤如下：

  1. 打开终端，登录到 Hadoop 集群的一台节点上。
  2. 使用 hadoop 命令提交 MapReduce 任务：hadoop jar /path/to/your/jarfile.jar ，其中/path/to/your/jarfile.jar 为 MapReduce 程序的 Jar 文件的路径，和为输入和输出路径。
  3. 等待任务完成，可以在 Hadoop 集群中查看任务的执行情况和结果。