hadoop中hdfs详解

《hadoop中hdfs详解》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、Hadoop 组件HDFS详解概念HDFSHDFS（HadoopDistributedFileSystem）是一种专门为MapReduce这类框架下的大规模分布式数据处理而设计的文件系统。可以把一个大数据集（100TB）在HDFS中存储为单个文件，大多数其他的文件系统无力实现这一点。数据块（block）HDFS（HadoopDistributedFileSystem）默认的最基本的存储单位是64M的数据块。和普通文件相同的是，HDFS文件系统中的数据是被分成64M一块的数据块存储的。不同于普通文件系统的是，HDFS中，如果一个文件小于一个数据

2、块的大小，并不占用整个数据块存储空间。元数据节点（NameNode），从元数据节点（SecondaryNameNode）和数据节点（DataNode）元数据节点（NameNode）用来管理文件系统的命名空间       其将所有文件和文件夹的元数据保存在一个文件系统树当中。       这些信息也会在硬盘上保存成一下文件：命名空间镜像（namespaceimage）以及修改日志（editlog）。       其还保存了一个文件包括哪些数据块，分布在哪些数据节点上。然而这些信息并不存储在硬盘上，而是在系统启动的时候从数据节点收集而成的。 从元

3、数据节点（secondaryNameNode）       从元数据节点并不是元数据节点出现问题的时候的备用节点，它和元数据节点负责不同的事情。       其主要功能就是周期性将元数据节点命名空间的镜像文件和修改日志文件合并，以防日志文件过大。       合并过后的命名空间镜像文件也在从元数据节点保存了一份，以防元数据节点失败的时候，可以恢复。 数据节点（DataNode）是文件系统中真正存储数据的地方。       客户端（client）或者元数据信息（NameNode）可以向数据节点请求写入或者读出数据块。       其周期性的向元

4、数据节点回报其存储的数据块信息。基本文件命令HDFS文件系统命令采取的形式为：hadoopfs–cmd 其中cmd是具体的文件命令，是一组数目可变的参数，cmd命令通常与Unix对应的命令相同。例如，文件列表命令为：hadoopfs–ls. 下面看看在hadoop中最常用的文件管理任务：添加文件和目录Hadoopfs–mkdir/user/MDSSHadoop的mkdir命令会自动创建父目录（如果此前不存在），类似于unix中的–p选项的mkdir命令。Hadoopfs–ls该命令列出目录及文件信息Hadoopfs–lsr该命令循环列出目录、

5、子目录及文件信息Hadoopfs–putexample.txt/user/MDSS该命令将本地文件系统的example.txt文件放入到HDFS文件系统的/user/MDSS目录下。 检索文件Hadoopfs–get/user/MDSS/example.txt.该命令将HDFS中的example.txt文件取回到本地文件系统中，与-put命令截然相反。Hadoopfs–catuser/MDSS/example.txt显示HDFS文件系统中example.txt的文件内容。我们可以在hadoop的文件命令中使用unix的管道，将其结果发送给其他

6、的unix命令做进一步处理。例如，如果该文件非常大（正如典型的hadoop文件那样），并且你希望快速的检查其内容，就可以把hadoop中cat命令的输出用管道传递给unix命令head.Hadoopfs–cat/user/MDSS/example.txt

7、headHadoop内在支持tail命令来查看最后一千字节。Hadoopfs–tail/user/MDSS/example.txt删除文件rm从HDFS文件系统删除example.txt文件，rm命令也可以删除空目录。Hadoopfs–rm/user/MDSS/example.txtRmr命

8、令可以循环删除目录以及子目录下的文件。Hadoopfs–rmr/user/MDSS/ 将会删除/user/MDSS/目录以及子目录 复制文件从本地文件系统复制文件到HDFS文件系统命令：copyFromLocalHadoopfs–copyFromLocalexample.txt/user/MDSS/example.txt从HDFS文件系统复制文件到本地文件系统命令：copyToLocalHadoopfs–copyToLocal/user/MDSS/example.txtexample.txt 查阅帮助查阅某个命令的帮助命令如下：Hadoopf

9、s–helpls HDFS文件命令列表cat  hadoopfs–catfile[file…]显示文件内容。若要读取压缩文件，应该使用text命令。chgrp