Hadoop 命令参考

“$HADOOP_HOME/bin/hadoop fs” 中有更多的命令比这里演示的更多,尽管这些基本的操作会让你开始。运行不带附加参数的 ./bin/hadoop dfs 将列出可以使用FsShell系统运行的所有命令。此外, $HADOOP_HOME/bin/hadoop fs -help commandName将显示相关操作的简短使用情况摘要,如果卡住了。

下面显示了所有操作的表格。以下约定用于参数:

"<path>" means any file or directory name.
"<path>..." means one or more file or directory names.
"<file>" means any filename.
"<src>" and "<dest>" are path names in a directed operation.
"<localSrc>" and "<localDest>" are paths as above, but on the local file system.

所有其他文件和路径名称都是指HDFS内的对象。

1 ls
列出path指定的目录内容,显示每个条目的名称,权限,所有者,大小和修改日期。
2 lsr
行为与-ls相似,但递归显示路径的所有子目录中的条目。
3 du
显示所有匹配路径的文件的磁盘使用情况(以字节为单位); 用完整的HDFS协议前缀报告文件名。
4 dus
像-du一样,但会打印路径中所有文件/目录的磁盘使用情况摘要。
5 mv
将HDFS中由src指示的文件或目录移动到dest。
6 cp
在HDFS中将由src标识的文件或目录复制到dest。
7 rm
删除由路径标识的文件或空目录。
8 rmr
删除路径标识的文件或目录。递归删除任何子条目(即路径的文件或子目录)。
9 put
在DFS中将文件或目录从localSrc标识的本地文件系统复制到dest。
10 copyFromLocal
与输入相同
11 moveFromLocal
将文件或目录从localSrc标识的本地文件系统复制到HDFS中的dest,然后在成功时删除本地副本。
12 get [-crc]
将由src标识的HDFS中的文件或目录复制到localDest标识的本地文件系统路径。
13 getmerge
检索与HDFS中的路径src匹配的所有文件,并将它们复制到由localDest标识的本地文件系统中的单个合并文件。
14 cat
在标准输出中显示文件名的内容。
15 copyToLocal
与-get相同
16 moveToLocal
像-get一样工作,但会成功删除HDFS副本。
17 mkdir
在HDFS中创建一个名为path的目录。 创建缺少的路径中的任何父目录(例如,Linux中的mkdir -p)。
18 setrep [-R] [-w] rep
为由代表路径标识的文件设置目标复制因子。(实际的复制因子会随着时间的推移向目标移动)
19 touchz
在包含当前时间的路径中创建一个文件作为时间戳。如果文件已经存在于路径中,则失败,除非文件已经大小为0。
20 test -[ezd]
如果路径存在,则返回1; 长度为零; 或者是一个目录,否则为0。
21 stat [format]
打印有关路径的信息。格式是以块(%b),文件名(%n),块大小(%o),复制(%r)和修改日期(%y,%Y)接受文件大小的字符串。
22 tail [-f]
显示stdout上文件的最后1KB。
23 chmod [-R] mode,mode,... ...
更改与path标识的一个或多个对象关联的文件权限....使用R递归执行更改。mode是一个3位八进制模式,或{augo} +/- {rwxX}。假设没有指定范围并且不应用umask。
24 chown [-R] [owner][:[group]] ...
设置拥有的用户和/或组由路径标识的文件或目录....如果指定了-R,则递归地设置所有者。
25 chgrp [-R] group ...
为由路径标识的文件或目录设置拥有组....如果指定了-R,则递归地设置组。
26 help
返回上面列出的其中一个命令的使用情况信息。您必须省略cmd中的前导' - '字符。

MapReduce是一个框架,我们可以编写应用程序,以可靠的方式并行处理大量商品硬件集群上的大量数据。什么是MapReduce?MapReduce是一种基于java的分布式计算处理技术和程序模型。MapRe ...