草庐IT

HDFS常用命令汇总

GreaterBuilder 2023-05-11 原文

HDFS常用命令汇总

一、前言信息

官网命令说明查看

说明：

命令适用范围
hadoop fs使用范围最广，建议使用，可操作任何对象
hadoop dfs只可操作HDFS文件系统(已弃用)
hdfs fs只可操作HDFS文件系统，包括与Local FS间的操作
hdfs dfs只可操作HDFS文件系统，常用

二、帮助信息查看

1、查看帮助信息

hadoop fs

[]表示可选参数，<>表示必须参数

2、帮助文档（附带命令的详细说明）

hadoop fs –help

三、常用命令

1、创建目录

hadoop fs –mkdir [-p] <path>

2、查看目录下的内容

hadoop fs –ls [-h] [-R] [<path>]
-h  人性化显示文件大小
-R 递归查看指定目录及子目录

3、上传文件

hadoop fs –put [-f] [-p] <localsrc> <dst>
-f   覆盖目标文件(若文件已存在)
-p   保留访问和修改时间、所有权和权限
localsrc   本地文件系统
dst   目标文件系统

4、上传并删除源文件

hadoop fs –moveFromLocal <localsrc> <dst>

这个和put唯一不同的地方就在于该命令会上传完后会删除源文件

5、查看文件内容

读取文件全部内容显示在标准输出控制台(大文件慎用)

hadoop fs –cat <src>

6、查看文件开头内容

查看文件前1KB的内容

hadoop fs –head <src>

7、查看文件末尾内容

查看文件末尾1KB的内容

hadoop fs –tail [-f] <src>
-f   动态显示文件中追加的内容

8、下载文件

下载文件到本地指定目录

hadoop fs –get [-f] [-p] <src> <localdst>
-f   覆盖目标文件(目标文件存在)
-p   保留访问和修改时间、所有权和权限

9、合并下载文件

将HDFS上一个目录中所有的文件合并到一起输出到一个本地文件上

hadoop fs –getmerge [-nl] [-skip-empty-file] <src> <localdst>
-nl   每个文件末尾添加换行符
-skip-empty-file   跳过空白文件

10、拷贝文件

将原始路径的文件拷贝到新的路径下

hadoop fs –cp [-f] <src> <dst>
-f   覆盖目标文件(文件存在的情况下)

11、追加数据到文件中

将本地文件的内容追加到hdfs指定的文件中

hadoop fs –appendToFile <localsrc> <dst>
localsrc  本地文件，如果为”-”，则输入从标准输入中读取
dst 目标文件不存在则创建


从标准输入读取，ctrl+c结束输入

12、查看磁盘空间

hadoop fs –df [-h] [<path>]

13、查看文件使用的空间

hadoop fs –du [-s] [-h] <path>
-s   显示指定路径文件长度的汇总摘要而不是单个文件的摘要
-h   人性化显示文件大小

14、移动文件

移动文件到指定目录下(也可重命名文件)

hadoop fs –mv <src> <dst>

15、修改文件副本个数

修改指定文件的副本个数

hadoop fs –setrep [-R] [-w] <rep> <path>
-R 表示递归修改文件夹及其子目录所有
-w 客户端是否等待副本修改完毕



16、查看校验码信息

hadoop fs –checksum <path>

17、显示路径下的目录、文件和字节数

hadoop fs -count [-q] [-h] [-v] <paths>
-q   控制显示的列
-v   显示标题行

18、从本地拷贝文件

hadoop fs -copyFromLocal <localsrc> <dst>

注：该命令类似于put，不同的是拷贝的源地址必须是本地文件系统

19、拷贝文件到本地

注：该命令类似于get，不同的是拷贝目标地址必须为本地文件系统

hadoop fs –copyToLocal <path> <localdst>

20、查找目录文件

hadoop fs –find <path> <expression>
expression说明：
-name pattern   查找的文件名
-iname pattern  忽略大小写查找文件名
-print    打印(默认值)
-print0   打印在一行


21、删除文件

删除指定参数的文件，如果启用了垃圾箱，文件系统会将删除的文件移动到垃圾箱目录，默认情况下禁用垃圾箱功能，用户可以通过为参数fs.trash.interval（在core-site.xml中）设置大于零的值来启用垃圾箱。

hadoop fs –rm [-f] [-R|-r][-skipTrash] <path>
-f   如果文件不存在，-f选项将不会显示诊断消息或修改退出状态以反映错误
-R   选项递归地删除目录及其下的任何内容
-skipTrash  选项将绕过垃圾箱（如果启用），并立即删除指定的文件

相关更多命令以及更详细的用法可以通过官网学习。

用命汇总spanclasstokenhdfshadoop大数据命令

有关HDFS常用命令汇总的更多相关文章

  1. 华为常用命令 - 2

    system-view进入系统视图quit退到系统视图sysname交换机命名vlan20创建vlan(进入vlan20)displayvlan显示vlanundovlan20删除vlan20displayvlan20显示vlan里的端口20Interfacee1/0/24进入端口24portlink-typeaccessvlan20把当前端口放入vlan20undoporte1/0/10删除当前VLAN端口10displaycurrent-configuration显示当前配置02配置交换机支持TELNETinterfacevlan1进入VLAN1ipaddress192.168.3.100

  2. 常见网络安全产品汇总（私信发送思维导图） - 2

    安全产品安全网关类防火墙Firewall防火墙防火墙主要用于边界安全防护的权限控制和安全域的划分。防火墙•信息安全的防护系统，依照特定的规则，允许或是限制传输的数据通过。防火墙是一个由软件和硬件设备组合而成，在内外网之间、专网与公网之间的界面上构成的保护屏障。下一代防火墙•下一代防火墙，NextGenerationFirewall，简称NGFirewall，是一款可以全面应对应用层威胁的高性能防火墙，提供网络层应用层一体化安全防护。生产厂家•联想网御、CheckPoint、深信服、网康、天融信、华为、H3C等防火墙部署部署于内、外网编辑额，用于权限访问控制和安全域划分。UTM统一威胁管理（Un

  3. 酷早报：10月21日全球Web3加密行业重大资讯大汇总 - 2

    2022年10月21日星期五【数据指标】加密货币总市值：$0.95万亿BTC市值占比：38.51%恐慌贪婪指数：23极度恐慌 【今日快讯】1、【政讯】1.1.1、美联储布拉德：市场预期美联储11月会加息75个基点1.1.2、美联储哈克：将维持加息一段时间1.2、美国10年期国债收益率触及4.197%，为2008年6月以来最高1.3、法国数字转型部长：政府将专注于DeFi和Web31.4、巴西ATM机将于11月3日起支持USDT1.5、美众议院副议长将于11月初加入a16zCrypto担任政府事务主管1.6、香港数字资产托管机构FirstDigitalTrust首席执行官：香港仍是安全

  4. 软考网络工程师复习指导--下午题必考-组网技术-华为命令汇总 - 2

    文章目录1、考试介绍2、软考网络工程师前景3、软考网络工程师考试内容4、华为命令总结1、考试介绍软考是一个以考试代替评职称的考试，每年都会举行两次考试，一般都在5月份和11月份考试，今年我们的省份取消了考试。具体参考官网中国计算机技术职业资格网可以在上面查看报考时间和报名等。本人准备2021年下半年全国计算机技术与软件专业技术中网络工程师，谁知道疫情就来的很巧，辛辛苦苦复习了三个月，终于整明白头绪了，但是天不遂人愿，疫情导致取消了考试，但是是害怕我是去捐款的吗？2、软考网络工程师前景随着计算机的远程信息化处理应用的高速发展和广泛应用，网络已成为经济发展的强大动力。计算机网络工程是计算机技术和通

  5. HDFS+ MapReduce 数据处理与存储实验 - 2

    文章目录实验二：HDFS+MapReduce数据处理与存储实验1.实验目的2.实验环境3.实验内容3.1HDFS部分3.1.1上传文件3.1.2下载文件3.1.3显示文件信息3.1.4显示目录信息3.1.5删除文件3.1.6移动文件3.2MapReduce部分3.2.0Mapreduce原理3.2.1合并和去重3.2.1.1编写Merge.java代码3.2.1.2编译执行3.2.2文件的排序3.2.2.1编写Sort.java代码3.2.2.2编译执行4.踩坑记录5.心得体会6.源码附录6.1Merge.java完整代码6.2Sort.java完整代码实验二：HDFS+MapReduce数据

  6. 2022年C++面试题万余字汇总【面试官常问】 - 2

    2022年C++面试题【常问重点问题】`1、请你说说GET和POST的区别？``2、简述一下C++中的多态?``3、说一说进程有多少种状态，如何转换?``3、请你说说指针和引用的区别``4、简述一下虚函数的实现原理``5、说一说vector和list的区别，分别适用于什么场景？``6、什么是孤儿进程，什么是僵尸进程，如何解决僵尸进程``7、请你说说C++Lambda表达式用法及实现原理``8、请你说说innodb和myisam的区别``9、请你说说数据库的索引是什么结构，为什么不用哈希表?``10、虚析构函数有什么作用?``11、说一说常用的Linux命令?(常见）``12、简述一下堆和栈的区

  7. git常用命令 - 2

    gitclonehttp:www.git.com.cn........ 克隆git项目gitbranch 查看分支gitbranch-r查看远程分支gitpushorigin--delete分支名 删除远程分支tmpgitcheckout切换分支gitcheckout-b切换并创建分支gitcheckout-b分支名origin/分支名(如果远程分支已存在最好用此命令，在创建分支时会把远程分支最新代码一并拉下来，不会把原分支代码带过来)gitbranch-D删除分支gitpushorigin--delete分支名gitpush--set-upstreamorigin分支名 推送本地分支到远端g

  8. javascript - 汇总对象数组并计算每个唯一对象名称的平均值 - 2

    我有一个这样的数组:vararray=[{name:"a",value:1},{name:"a",value:2},{name:"a",value:3},{name:"b",value:0},{name:"b",value:1}];我需要这样的数组:varnewarray=[{name:"a",value:2},{name:"b",value:0.5}]新数组将每个唯一名称作为具有平均值的对象。有没有简单的方法可以做到这一点？ 最佳答案 您必须遍历数组，计算每个对象的总和和计数。这是一个快速实现:functionaverage(ar

  9. 原理分享 | 单片机常用通信协议汇总（上） - 2

     vx【嵌入式工程师成长日记】https://mp.weixin.qq.com/s?__biz=Mzg4Mzc3NDUxOQ==&mid=2247484134&idx=1&sn=b779ccf07e88a56cce83a33f08bf9fd6&chksm=cf4307bef8348ea846497fe037377eb9727c7865c1582fdab51acfb6019a3bad967f6c06a2c5&token=1733680428&lang=zh_CN#rdhttps://mp.weixin.qq.com/s?__biz=Mzg4Mzc3NDUxOQ==&mid=2247484134&

  10. android adb 命令汇总 - 2

    一.adb常用命令adbversion--查看adb版本adbdevices–用来查看当前连接的设备，已连接的设备会显示出来adbconnectip地址–用来连接设备adbdisconnectip地址--断开设备adbkill-server/start-server–终止adb服务/启动adb服务logcat--查看日志adblogcat-vtime*:W|greppid>/data/data/log.txtadbpull/data/data/log.txtd:/log/adbshell"logcat-vtime*:W|greppid">d:/log/log.txtadblogcat-c日志的

随机推荐