草庐IT

Hadoop官网翻译 (HDFS命令)

油纸雨伞 2023-04-09 原文

HDFS命令行

用户命令

  • dfs
  • envvars

获取hadoop环境变量

  • fsck <path>

-delete
-files -blocks -replicaDetails
-list-corruptfileblocks
-move :删除坏块到/lost+found
-openforwrite
-storagepolicies 存储策略
-replicate 满足副本策略

  • getconf

基本上都可以在配置中看到，支持 -confkey [key]

  • groups

获取groups用户

  • httpfs

httpfs和wehdfs的区别在于httpfs相当于一个网关，只需要访问该节点。webhdfs需要访问所有的节点。

  • IsSnapshottableDir

返回快照目录

  • oev

镜像相关的,edit log修复，查看等，比如
/opt/hadoop-3.3.1/bin/hdfs oev -i edits_0000000000000000013-0000000000000000013 -o tmp.edit -v -p xml
关注下 -i -o -p等参数

  • oiv

fsImage相关的参数，涉及到是否统计块信息，每次加载大小等
/opt/hadoop-3.3.1/bin/hdfs oiv -i fsimage_0000000000000000028 -o tmp.fsimage -p xml

  • snapshotDiff

对比指定目录snapshot变化

Admin命令

  • hdfs balancer

策略参数 支持datanode/blockpool datanode中应该包含blockpool,更细粒度的平衡
可以指定参与平衡的datanode,blockpool等等
通过asService可以指定作为长时服务
如果要控制移动，可以通过dfs.datanode.block-pinning.enabled指定

  • crypto

目录加密相关

  • upgrade/rollback

datanode和namenode升级判断是否可以直接升级，可以就直接改VERSION目录，如果不可以,那么可以通过BlockPoolSliceStorage类似方法进行升级。

  • dfsadmin

report 报告文件信息和统计数据，可以筛选指标。
safemode [enter|level|get|wait|forceExit] 不能修改，不提供复制/删除服务
saveNamespace 修改最新的FSImage
rollEdits 回放日志，增加一个editlog事务id记录新的改动。fsImage和editlog最后的编号就是事务id
refreshNodes 下线和上线节点
setQuota <quota> 设置配额
refreshCallQueue 刷新CallQueue
callQueue是rpc队列，用户的rpc请求是进入监听队列，然后通过调度策略分配，然后handler线程执行

reconfig 重新配置
fetchImage 从其他位置加载最近的fsImage
shutdownDatanodes [datanode:ipc_port]
evictWriters <datanode_host:ipc_port> 驱逐摸一个块，多用于退役写入数据慢的节点
metasave 保存元数据的主要信息

  • dfsrouter

router作用是解决NN伸缩性限制，进行子集群分割。router的意思是代理访问NN，客户端直接访问子集群的datanode。rm使用起来就是一个目录挂载多个ns目录。状态存储在ZK中

  • dfsrouteradmin

add 一个目录挂载到子ns目录上
update
rm
refreshCallQueue 重新刷新call队列

  • diskbalancer

datanode平衡

  • ec

目的是为了减少副本数，但是达到一样的效果。
-getPolicy -path
-listPolicies 查看策略
-verifyClusterSetup

  • hadmin

多个NN之间的高可用
checkHealth: hdfs haadmin -ns cdp1 -checkHealth nn3 namenode健康检查
failover
getServiceState
getAllServiceState
transitionToActive 手动切换成Active

  • mover

检查数据是否满足存储策略，不满足的话，让它满足
hdfs mover -p 目录/多个文件
hdfs mover -f 单个文件

  • namenode

主要就关注备份，升级，恢复
-baskup
-checkpoint
-upgrade
-format 慎用，初始化数据
importCheckPoint

  • storagepolicies

存储策略相关，冷热温数据策略，以及多种存储类型之间关联 归档，磁盘，ssd，ram等。

  • zkfc

formatzk 初始化zk

Debug命令

  • computeMeta
    -> 用来计算校验和，用来让坏块看起来变少。其实没好
HadoopHDFSgtltblockquote

有关Hadoop官网翻译 (HDFS命令)的更多相关文章

  1. ruby - i18n Assets 管理/翻译 UI - 2

    我正在使用i18n从头开始​​构建一个多语言网络应用程序，虽然我自己可以处理一大堆yml文件，但我说的语言(非常)有限，最终我想寻求外部帮助帮助。我想知道这里是否有人在使用UI插件/gem(与django上的django-rosetta不同)来处理多个翻译器，其中一些翻译器不愿意或无法处理存储库中的100多个文件，处理语言数据。谢谢&问候，安德拉斯(如果您已经在ruby​​onrails-talk上遇到了这个问题，我们深表歉意) 最佳答案 有一个rails3branchofthetolkgem在github上。您可以通过在Gemfi

  2. ruby - 在 Ruby 中编写命令行实用程序 - 2

    我想用ruby​​编写一个小的命令行实用程序并将其作为gem分发。我知道安装后，Guard、Sass和Thor等某些gem可以从命令行自行运行。为了让gem像二进制文件一样可用，我需要在我的gemspec中指定什么。 最佳答案 Gem::Specification.newdo|s|...s.executable='name_of_executable'...endhttp://docs.rubygems.org/read/chapter/20 关于ruby-在Ruby中编写命令行实用程序

  3. ruby-on-rails - rbenv:从 RVM 移动到 rbenv 后，在 Jenkins 执行 shell 中找不到命令 - 2

    我从Ubuntu服务器上的RVM转移到rbenv。当我使用RVM时，使用bundle没有问题。转移到rbenv后，我在Jenkins的执行shell中收到“找不到命令”错误。我内爆并删除了RVM，并从~/.bashrc'中删除了所有与RVM相关的行。使用后我仍然收到此错误:rvmimploderm~/.rvm-rfrm~/.rvmrcgeminstallbundlerecho'exportPATH="$HOME/.rbenv/bin:$PATH"'>>~/.bashrcecho'eval"$(rbenvinit-)"'>>~/.bashrc.~/.bashrcrbenvversions

  4. hadoop安装之保姆级教程（二）之YARN的配置 - 2

    1.1.1 YARN的介绍 为克服Hadoop1.0中HDFS和MapReduce存在的各种问题⽽提出的，针对Hadoop1.0中的MapReduce在扩展性和多框架⽀持⽅⾯的不⾜，提出了全新的资源管理框架YARN. ApacheYARN（YetanotherResourceNegotiator的缩写）是Hadoop集群的资源管理系统，负责为计算程序提供服务器计算资源，相当于⼀个分布式的操作系统平台，⽽MapReduce等计算程序则相当于运⾏于操作系统之上的应⽤程序。 YARN被引⼊Hadoop2,最初是为了改善MapReduce的实现，但是因为具有⾜够的通⽤性，同样可以⽀持其他的分布式计算模

  5. ruby - 从 Ruby : capturing the output while displaying the output? 运行 shell 命令 - 2

    我有一个问题。我想从另一个ruby​​脚本运行一个ruby​​脚本并捕获它的输出信息，同时让它也输出到屏幕。亚军#!/usr/bin/envrubyprint"Enteryourpassword:"password=gets.chompputs"Hereisyourpassword:#{password}"我运行的脚本文件:开始.rboutput=`runner`putsoutput.match(/Hereisyour(password:.*)/).captures[0].to_s正如您在此处看到的那样，存在问题。在start.rb的第一行，屏幕是空的。我在运行程序中看不到“输入您的密

  6. ruby - 是否有将图像文件转换为 ASCII 艺术的命令行程序或库？ - 2

    有这样的事吗？我想在Ruby程序中使用它。 最佳答案 试试这个http://csl.sublevel3.org/jp2a/此外，Imagemagick可能还有一些东西 关于ruby-是否有将图像文件转换为ASCII艺术的命令行程序或库？，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/questions/6510445/

  7. ruby - 在 Ruby 的 if 语句中检查 bash 命令 - 2

    如何在Ruby的if语句中检查bash命令的返回值(true/false)。我想要这样的东西，if("/usr/bin/fswscell>/dev/null2>&1")has_afs="true"elsehas_afs="false"end它会提示以下错误含义，它总是返回true。(irb):5:warning:stringliteralincondition正确的语法是什么？更新:/usr/bin/fswscell寻找afs安装和运行状态。它会抛出这样的字符串，Thisworkstationbelongstocell如果afs没有运行，命令以状态1退出 最

  8. ruby - 可以正常中断的来自 Rake 的长时间运行的 shell 命令？ - 2

    在几个项目中，我希望有一个类似rakeserver的rake任务，它将通过任何需要的方式开始为该应用程序提供服务。这是一个示例:task:serverdo%x{bundleexecrackup-p1234}end这行得通，但是当我准备停止它时，按Ctrl+c并没有正常关闭；它中断了Rake任务本身，它说rakeaborted!并给出堆栈跟踪。在某些情况下，我必须执行Ctrl+c两次。我可能可以用Signal.trap写一些东西来更优雅地中断它。有没有更简单的方法？ 最佳答案 trap('SIGINT'){puts"Yourmessa

  9. ruby - Capistrano 中的执行、测试和捕获命令有什么区别？ - 2

    关于SSHkit-Github它说:Allbackendssupporttheexecute(*args),test(*args)&capture(*args)来自SSHkit-Rubydoc,我明白execute实际上是test的别名？test之间有什么区别？,execute,capture在Capistrano/SSHKit中我应该什么时候使用？ 最佳答案 执行只是执行命令。使用非0退出引发错误。测试方法的行为与execute完全相同，但是它返回bool值(true如果命令以0退出，而false否则)。它通常用于控制任务中的流程

  10. ruby - 如何在 Ruby 中执行 Windows CLI 命令？ - 2

    我在目录“C:\DocumentsandSettings\test.exe”中有一个文件，但是当我用单引号编写命令时`C:\DocumentsandSettings\test.exe(我无法在此框中显示)，用于在Ruby中执行命令，我无法这样做，我收到的错误是找不到文件或目录。我尝试用“//”和“\”替换“\”，但似乎没有任何效果。我也使用过系统、IO.popen和exec命令，但所有的努力都是徒劳的。exec命令还使程序退出，这是我不想发生的。提前致谢。 最佳答案 反引号环境就像双引号，所以反斜杠用于转义。此外，Ruby会将空格解

随机推荐