普开数据大数据课程之基本hadoop命令讲解.docx

《普开数据大数据课程之基本hadoop命令讲解.docx》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、普开数据大数据课程之基本hadoop命令讲解1.环境配置介绍公司目前IntelHaoop的测试环境如下：NameNode:192.168.6.167DataNode:192.168.6.168;192.168.6.169后台登录用户名密码：用户名：root密码：hadoophadoop2.登录过程l可以通过SecureCRT工具登录l通过ssh2登录方式登录l设置自动登录的用户名和密码等1.命令运行测试本部分只讲查找命令使用的帮助的方法，具体命令只做少量举例。l通过SecureCRT的ssh2方式登录到name

2、node、datanode中的任何一个l在命令提示符下输入命令，格式如下：hadoopfs–lshdfs://192.168.6.167:8020/hadoopfs–lshdfs://192.168.6.167/192.168.6.167为NameNode所在的机器IP。见上图，192.168.6.167保存者HDFS分布式文件系统的元数据，只有该NameNode保存着相应的文件系统的信息。之所以要写成hdfs://192.168.6.167:8020/这种样式，是因为192.168.6.167为NameNod

3、e节点的IP，并且解释文件系统hdfs的后台进程的端口号是8020。等价的简化命令为hadoopfs-ls/lHadoop文件操作方面的命令hadoopfs–helphadoopfs[-fs

4、filesystemURI>][-conf][-D][-ls][-lsr][-du][-dus][-mv][-cp][-rm[-skipTrash]

5、c>][-rmr[-skipTrash]][-put...][-copyFromLocal...][-moveFromLocal...][-get[-ignoreCrc][-crc][-getmerge[addnl]][-cat][-copyToLocal[-ignoreCrc][-crc]][-moveToLoc

6、al][-mkdir][-report][-setrep[-R][-w]][-touchz][-test-[ezd]][-stat[format]][-tail[-f]][-text][-chmod[-R]

7、OCTALMODE>PATH...][-chown[-R][OWNER][:[GROUP]]PATH...][-chgrp[-R]GROUPPA

8、TH...][-count[-q]][-help[cmd]]lHadoopHDFS管理方面的命令hadoopdfsadmin–helphadoopdfsadmin[-report][-safemode

9、leave

10、get

11、wait>][-saveNamespace][-refreshNodes][-decommissionNodes][-recommissionNodes][-setQuota...

12、e>][-clrQuota...][-setSpaceQuota...][-clrSpaceQuota...][-refreshServiceAcl][-refreshUserToGroupsMappings][refreshSuperUserGroupsConfiguration][-setBalancerBandwidth][-help[cmd]]l查看hadoop

13、所支持的所有操作命令如下：manhadoopCOMMANDSnamenode-formatformattheDFSfilesystemsecondarynamenoderuntheDFSsecondarynamenodenamenoderuntheDFSnamenodedatanoderunaDFSdatanodedfsadminrunaDFSadminclientfsckrunaDF