hdfs 命令概述

Hadoop 分布式文件系统(HDFS)是 Hadoop 生态系统中的一个关键组成部分,用于存储大规模数据集。HDFS 命令用于管理和操作 HDFS 文件系统,包括创建、查看、删除文件和目录,以及在 HDFS 和本地文件系统之间复制和移动文件等功能。下面将介绍一些常用的 HDFS 命令。

1. 创建和查看文件和目录

要在 HDFS 中创建一个新文件,可以使用以下命令:

hdfs dfs -touchz /path/to/file
Shell

这个命令会创建一个名为 file 的文件,并将其路径设置为 /path/to。如果文件已经存在,它将会将其长度戳设为零。

要在 HDFS 中创建一个新目录,可以使用以下命令:

hdfs dfs -mkdir /path/to/directory
Shell

这个命令会创建一个名为 directory 的目录,并将其路径设置为 /path/to。

2. 复制和移动文件

要将文件从本地文件系统复制到 HDFS 中,可以使用以下命令:

hdfs dfs -put /path/to/local/file /path/to/hdfs/file
Shell

这个命令将本地文件复制到 HDFS 中,并将其路径设置为 /path/to/hdfs。

要将 HDFS 中的文件复制到本地文件系统中,可以使用以下命令:

hdfs dfs -get /path/to/hdfs/file /path/to/local/file
Shell

这个命令将 HDFS 中的文件复制到本地文件系统中,并将其路径设置为 /path/to/local。

要在 HDFS 中移动文件,可以使用以下命令:

hdfs dfs -mv /path/to/source/file /path/to/target/file
Shell

这个命令将源文件移动到目标文件,并将其路径分别设置为 /path/to/source 和 /path/to/target。

3. 查看文件内容和属性

要查看 HDFS 中文件的内容,可以使用以下命令:

hdfs dfs -cat /path/to/file
Shell

这个命令将显示文件的内容。

要查看 HDFS 中文件的属性,可以使用以下命令:

hdfs dfs -ls /path/to/file
Shell

这个命令将显示文件的权限、大小、副本数、块大小和修改时间等属性。

4. 删除文件和目录

要删除 HDFS 中的一个文件,可以使用以下命令:

hdfs dfs -rm /path/to/file
Shell

这个命令会删除文件,将其路径设置为 /path/to。

要删除 HDFS 中的一个目录及其下的所有文件和子目录,可以使用以下命令:

hdfs dfs -rm -r /path/to/directory
Shell

这个命令会递归删除目录,将其路径设置为 /path/to。