草庐IT

HDFS常用命令

马骁尧 2023-04-19 原文

HDFS常用fs命令：

hadoop fs -ls <path>        显示<path>指定的文件的详细信息

hadoop fs -ls -R <path>        ls命令的递归版本

hadoop fs -cat <path>        将<path>指定的文件输出到标准输出

hadoop fs -chgrp [-R] group <path>        将<path>指定的文件所属的组改为group，使用-R对<path>指定的文件夹内的文件进行递归操作，这个命令只适用于超级用户

hadoop fs -chown [-R] [owner] [:[group]] <path>        改变<path>指定的文件所有者，-R用于递归改变文件夹内的文件所有者

hadoop fs -chown [-R] <mode> <path>        将<path>指定的文件的权限更改为<mode>,这个命令只适用与超级用户和文件所有者

hadoop  fs -tail [-f] <path>        将<path>指定的文件最后1KB的内容输出到标准输出上，-f用于持续检查添加到文件中的内容

hadoop fs -stat [format] <path>         以指定的格式返回<path>指定的文件的相关信息

hadoop fs -touchz <path>        参加一个<path>指定的空文件

hadoop fs -mkdir [-p] <path>        创建<path>指定的一个和多文件夹，-p用于递归创建子文件夹

hadoop fs -copyFromLocal <localsrc> <dst>        将本地源文件<localsrc>复制到路径<dst>指定的文件或文件夹中

hadoop fs -copyToLocal [-ignorecrc] [-crc] <target>  <localdast>        将目标文件<target>复制到本地文件或文件夹<local>中，可用-ignorecrc选项复制CRC校验失败的文件，使用-crc复制文件以及CRC信息

hadoop fs -cp <src> <dst>        将文件从源路径<src>复制到目标路径<dst>

hadoop fs -du <path>        显示<path>指定文件或文件夹中所有文件的大小

hadoop fs -expunge        清空回收站

hadoop fs -get [-ignorecrc] [-crc] <src> <localdst>        复制<src>指定的文件到本地文件系统<localdst>指定的文件或文件夹，可用-ignorecrc选项复制CRC校验失败的文件，使用-crc复制文件以及CRC信息

hadoop fs -getmerge [-nl] <src> <localdst>         对<src>指定的源目录中所有文件进行合并，写入<localdst>指定的本地文件，-nl是可选的，用于指定在每个文件名未添加一个换行符

hadoop fs -mv <src> <dst>        将文件从源路径<src>移动到目标路径<dst>

hadoop fs -put <localsrc> <dst>        从本地文件系统中复制<localsrc>指定的单个或多个源文件到<dst>指定的目录文件系统中

hadoop fs -rm <path>        删除<path>指定的文件，只删除非空目录和文件

hadoop fs -rm -r <path>        删除<path>指定的文件夹及其下的所有文件，-r表示递归删除子目录

hadoop fs -setrep [-R] <path>        改变<path>指定文件的副本系数，-R用于递归改变目录下所有文件的副本系数

hadoop fs -test -[ezd] <path>        检查<path>指定文件或文件夹的相关信息，不同选项作用如下：

        -e检查文件是否存在，存在返回0，否则返回1

        -z检查文件是否是0字节，是返回0否则返回1

        -d如果路径是个目录，返回1，否则返回0

hadoop fs -text <path>        将<path>指定的文件输出为文本格式， 

用命HDFSstrongpathhadoop大数据

有关HDFS常用命令的更多相关文章

  1. 华为常用命令 - 2

    system-view进入系统视图quit退到系统视图sysname交换机命名vlan20创建vlan(进入vlan20)displayvlan显示vlanundovlan20删除vlan20displayvlan20显示vlan里的端口20Interfacee1/0/24进入端口24portlink-typeaccessvlan20把当前端口放入vlan20undoporte1/0/10删除当前VLAN端口10displaycurrent-configuration显示当前配置02配置交换机支持TELNETinterfacevlan1进入VLAN1ipaddress192.168.3.100

  2. HDFS+ MapReduce 数据处理与存储实验 - 2

    文章目录实验二：HDFS+MapReduce数据处理与存储实验1.实验目的2.实验环境3.实验内容3.1HDFS部分3.1.1上传文件3.1.2下载文件3.1.3显示文件信息3.1.4显示目录信息3.1.5删除文件3.1.6移动文件3.2MapReduce部分3.2.0Mapreduce原理3.2.1合并和去重3.2.1.1编写Merge.java代码3.2.1.2编译执行3.2.2文件的排序3.2.2.1编写Sort.java代码3.2.2.2编译执行4.踩坑记录5.心得体会6.源码附录6.1Merge.java完整代码6.2Sort.java完整代码实验二：HDFS+MapReduce数据

  3. git常用命令 - 2

    gitclonehttp:www.git.com.cn........ 克隆git项目gitbranch 查看分支gitbranch-r查看远程分支gitpushorigin--delete分支名 删除远程分支tmpgitcheckout切换分支gitcheckout-b切换并创建分支gitcheckout-b分支名origin/分支名(如果远程分支已存在最好用此命令，在创建分支时会把远程分支最新代码一并拉下来，不会把原分支代码带过来)gitbranch-D删除分支gitpushorigin--delete分支名gitpush--set-upstreamorigin分支名 推送本地分支到远端g

  4. go - 为什么 HDFS 使用 golang 抛出意外的 EOF 错误？ - 2

    packagemainimport("fmt""github.com/colinmarc/hdfs")funcmain(){client,err:=hdfs.New("192.168.0.38:50070")fs,err:=client.ReadDir("/")fmt.Println(err)fmt.Println(fs)}err是意外的EOF而且我发现错误发生在func(c*NamenodeConnection)readResponse(methodstring,respproto.Message)error{..._,err=io.ReadFull(c.conn,packet)..

  5. hadoop - HDFS 排除 AddblockRequestProto 中的数据节点 - 2

    我正在为HDFS中的写入实现一个数据节点故障转移，当block的第一个数据节点发生故障时，HDFS仍然可以写入一个block。算法是。首先，将识别故障节点。然后，请求一个新block。HDFSportapi提供了excludeNodes，我用它来告诉Namenode不要在那里分配新的block。failedDatanodes被识别为失败的数据节点，它们在日志中是正确的。req:=&hdfs.AddBlockRequestProto{Src:proto.String(bw.src),ClientName:proto.String(bw.clientName),ExcludeNodes:f

  6. Git的常用命令介绍 - 2

    Git整体工作流程：Workspace：工作区Index/Stage：暂存区Repository：仓库区（或本地仓库）Remote：远程仓库一、版本仓库： 1.通过命令gitinit把这个目录变成git可以管理的仓库（这就欧科啦）（会生成.git文件）默认.git文件不显示2.gitadd xxxxx （将工作区的指定文件添加到暂存区中）              没有任何提示，说明已经添加成功了3.gitcommit-m ‘一些提交注释’（把文件提交到本地仓库）4.gitstatus （查看是否有文件没有被提交）     展示说明没有任何文件未提交，但是我现在继续来改下readme.txt内

  7. FFmpeg常用命令汇总 - 2

    FFmpeg的命令繁多，为了方便查询，在此作一个汇总可参考：https://ffmpeg.org/ffmpeg.html#Options目录一、命令基本格式及参数二、基本信息查询命令三、分解、复用四、处理原始数据五、滤镜六、拼接与裁剪七、直播八、ffplay九、其它一、命令基本格式及参数ffmpeg[global_options]{[input_file_options]-iinput_url}... {[output_file_options]output_url}...一些参数：参数说明-ffmt(输入/输出)强制输入或输出文件格式-y(全局参数)覆盖输出文件而不询问-n(全局参

  8. 分布式文件系统HDFS之利用Java API与HDFS进行交互 - 2

    文章目录一、环境要求二、在Ubuntu中安装Eclipse三、在Eclipse创建项目四、为项目添加需要用到的JAR包五、编写Java应用程序代码 总结前言Hadoop不同的文件系统之间通过调用JavaAPI进行交互，利用JavaAPI进行交互，需要利用软件Eclipse编写Java程序。一、环境要求已经配置好网络的Ubuntu系统的虚拟机Ubuntu16.0464位hadoop-3.1.3.tar，可在官网下载或者点击下载（提取码：0412）jdk-8u162-linux-x64.tar二、在Ubuntu中安装Eclipse 利用Ubuntu左侧边栏自带的软件中心安装软件，在Ubuntu左侧

  9. Hadoop-HDFS详解与HA，完全分布式集群搭建(细到令人发指的教程) - 2

    前言本篇篇幅较长，有许多集群搭建干货，和枯燥乏味但是面试可能问到的理论知识。思来想去不知道怎样才能鼓励自己加油学习，想想要面对的生活还是假吧意思打开学习视频吧。目录一、引入hdfs是什么hdfs的由来hdfs架构体系hdfs的优缺点优点缺点二、HDFS_block简介和注意事项Block拆分标准三、HDFS_block安全与管理Block数据安全Block 的管理效率四、HDFS_Hadoop3完全分布式集群的搭建1.集群的网络和节点规划网络规划节点规划2.Hadoop下载与安装3.配置Hadoop集群配置环境变量配置分布式集群环境分发Hadoop集群安装目录及文件启动和停止Hadoop集群验

  10. hadoop基础：通过 Shell 命令访问 HDFS - 2

    文章目录1.HDFSShell概述1.1操作命令管理命令其他命令1.HDFSShell概述HDFSShell是由一系列类似LinuxShell的命令组成的。命令大致可分为操作命令、管理命令、其他命令三类1.1操作命令操作命令是以“hdfsdfs”开头的命令。通过这些命令，用户可以完成HDFS文件的复制、删除和查找等操作，Shell命令的一般格式如下。hdfsdfs[通用选项]其中，hdfs是Hadoop系统在Linux系统中的主命令；dfs是子命令，表示执行文件系统操作；通用选项由HDFS文件操作命令和操作参数组成。(1)创建文件夹命令：hdfsdfs-mkdir[-p]-p]：表示如果父目录

随机推荐