草庐IT

0003 - NameNode工作机制解析

小左先森 2023-03-28 原文
大数据梦工厂（0003 - NameNode工作机制解析）

1 - 基本描述

NameNode 是 HDFS 的核心服务，它管理和维护着整个 HDFS 分布式文件系统，主要有以下作用：

  • 负责接收客户端的操作请求；
  • 负责管理文件系统命名空间（NameSpace）、集群配置信息及存储块的复制等；
  • 负责文件目录树的维护以及文件对应 Block 列表的维护；
  • 负责管理 Block 与 DataNode 之间的关系。
NameNode 中包含 FsImage 和 Edits 两个文件。存储在 NameNode 节点的本地磁盘上，也就是 NameNode 的元数据信息。

  • FsImage： 命名空间镜像文件。记录数据块到文件的映射、目录或文件的结构、属性等信息。
  • Edits： 操作日志文件。记录对所有文件的创建、删除、重命名等操作日志。
SecondaryNameNode 的职责是合并 NameNode 的 Edits 到 FsImage 文件中，来保证 NameNode 中数据的可靠性。

2 - 工作流程

第一阶段 NameNode 启动

  1. 第一次 NameNode 格式化启动之后，首次会创建 FsImage 文件和 Edits 文件；非第一次启动，直接加载 FsImage 文件和 Edits 文件到内存中；
  2. 客户端对元数据执行增删改操作，并记录到 Edits 文件；
  3. NameNode 记录操作日志；
  4. NameNode 在内存中对数据进行增删改查。
第二阶段 SecondaryNameNode 工作

  1. 询问 NameNode 是否需要 CheckPoint，NameNode 返回信息；
  2. NameNode 切割现有日志文件，新记录滚动写入新 Edits 文件；
  3. 滚动前的 Edits 文件和 FsImage 文件拷贝到 SecondaryNameNode；
  4. SecondaryNameNode 加载 Edits 文件和 FsImage 文件到内存中合并；
  5. 生成新的 FsImage 文件；
  6. 将新生成的 FsImage 文件拷贝到 NameNode；
  7. NameNode 将新生成的 FsImage 文件重命名替换旧的 FsImage 文件。

3 - CheckPoint 设置

CheckPoint 节点通常运行在与 NameNode 不同的机器上。

SecondaryNameNode 定期从 Active NameNode 将 Edits 文件和 FsImage 文件下载到本地，并加载到内存进行合并。这个合并过程称为一个检查点（CheckPoint）。

在 NameNode 运行期间，HDFS 的所有变更操作都是写到 Edits 文件中，一段时间后，Edits 文件会变得非常大。CheckPoint 的出现就是解决 Edits 文件不断变大的问题，并将 Edits 文件大小保持在限制范围内。

NameNode 和 SecondaryNameNode 的数据目录存储结构完全相同。当单节点集群下 NameNode 故障需要重新恢复时，可以从 SecondaryNameNode 的数据目录中将 FsImage 和 Edits ​所有文件拷贝到 NameNode 的数据目录，以恢复 NameNode 的元数据。但只能恢复大部分数据，因为有些数据可能还没做 CheckPoint。

通过修改 hadoop-hdfs-2.7.jar 里面的 hdfs-default.xml 文件的相关配置，设置相关 SecondaryNameNode 的机制。如下所示：

<property> <name>dfs.namenode.checkpoint.period</name> <value>3600</value> <description>每隔3600秒 checkpoint 一次</description> </property> <property> <name>dfs.namenode.checkpoint.txns</name> <value>1000000</value> <description>操作次数达到 1000000 次 checkpoint 一次</description> </property> <property> <name>dfs.namenode.checkpoint.check.period</name> <value>60</value> <description>每隔60秒检查一次操作次数是否达到</description> </property> ​dfs.namenode.checkpoint.period 和 dfs.namenode.checkpoint.txns 这两个参数只要任意满足于其中一个，都会触发 CheckPoint。

由于 CheckPoint 的过程需要消耗大量的 IO 和 CPU 资源，并且会阻塞 HDFS 的读写操作。所以，该过程不会在 NameNode 节点上触发。

  • 在 Hadoop1.x 中，由 SecondaryNameNode 完成。
  • 在 HA 模式下，由 StandbyNameNode 完成。

4 - 文件信息

FsImage 文件和 Edits 文件都并非是明文存储，需要使用 hdfs 命令转换后，才能查看。

4.1 - FsImage 文件

命名空间镜像文件。记录数据块到文件的映射、目录或文件的结构、属性等信息。

1、生成路径 基于 NameNode 节点。

[root@hadoop-01 current]# ls -l /data1/dfs/nn/current/ -rw-r--r-- 1 hdfs hdfs 217256 Aug 23 10:06 edits_0000000000087831638-0000000000087833535 -rw-r--r-- 1 hdfs hdfs 24450 Aug 23 10:08 edits_0000000000087833536-0000000000087833700 -rw-r--r-- 1 hdfs hdfs 8280 Aug 23 10:10 edits_0000000000087833701-0000000000087833756 -rw-r--r-- 1 hdfs hdfs 1048576 Aug 23 10:11 edits_inprogress_0000000000087833757 -rw-r--r-- 1 hdfs hdfs 4746069 Aug 23 08:22 FsImage_0000000000087816201 -rw-r--r-- 1 hdfs hdfs 62 Aug 23 08:22 FsImage_0000000000087816201.md5 -rw-r--r-- 1 hdfs hdfs 4751462 Aug 23 09:22 FsImage_0000000000087825882 -rw-r--r-- 1 hdfs hdfs 62 Aug 23 09:22 FsImage_0000000000087825882.md5 -rw-r--r-- 1 hdfs hdfs 9 Aug 23 10:10 seen_txid -rw-r--r-- 1 hdfs hdfs 171 Jul 13 00:56 VERSION 2、查看文件 ① 基本语法

Usage: bin/hdfs oiv [OPTIONS] -i INPUTFILE -o OUTPUTFILE -i 要转换的文件 -o 转换后的文件路径 -p 转换格式（XML|FileDistribution|ReverseXML|Web|Delimited） ② 转换文件

[root@hadoop-01 current]# hdfs oiv -p XML -i FsImage_0000000000087825882 -o /tmp/FsImage.xml [root@hadoop-01 current]# ls -l /tmp/FsImage.xml -rw-r--r-- 1 root root 19863851 Aug 23 10:32 FsImage.xml [root@hadoop-01 current]# [root@hadoop-01 current]# more /tmp/FsImage.xml 这样就可以看到 FsImage 文件的元数据信息。

4.2 - Edits 文件

操作日志文件。记录对所有文件的创建、删除、重命名等操作日志。

① 基本语法

Usage: bin/hdfs oev [OPTIONS] -i INPUT_FILE -o OUTPUT_FILE -i 要转换的文件 -o 转换后的文件路径 -p 转换格式：binary（hadoop 二进制格式）, xml（默认 XML 格式）, stats（打印关于编辑文件的统计信息） ② 转换文件

[root@cdh-uat02 current]# hdfs oev -p xml -i edits_inprogress_0000000000087833757 -o /tmp/edits.xml [root@cdh-uat02 current]# ls -l /tmp/edits.xml -rw-r--r-- 1 root root 320978 Aug 23 10:47 /tmp/edits.xml [root@hadoop-01 current]# [root@cdh-uat02 current]# more /tmp/edits.xml 这样就可以看到 Edits 文件的元数据信息。

4.3 - seen_txid 文件

记录了最后一次 CheckPoint 或者 edit 回滚（将 edits_inprogress_xxx 文件回滚成一个新的 Edits 文件）之后的 transaction ID。主要用来检查 NameNode 启动过程中 Edits 文件是否有丢失的情况。

5 - 多目录配置

NameNode 可以配置多个本地（fsimage）数据目录，每个目录存放的内容相同，这样可以增加运行的可靠性。

通过修改 hadoop-hdfs-2.7.jar 里面的 hdfs-default.xml 文件的相关配置，设置相关 SecondaryNameNode 的机制。如下所示：

<property> <name>dfs.namenode.name.dir</name> <value>file://${hadoop.tmp.dir}01/dfs/name,file://${hadoop.tmp.dir}02/dfs/name</value> </property>
::: hljs-center

扫一扫，我们的故事就开始了。

:::

NameNode0003codeFsImageHadoopHDFSNameNodeHadoop大数据

有关0003 - NameNode工作机制解析的更多相关文章

  1. Ruby 解析字符串 - 2

    我有一个字符串input="maybe(thisis|thatwas)some((nice|ugly)(day|night)|(strange(weather|time)))"Ruby中解析该字符串的最佳方法是什么？我的意思是脚本应该能够像这样构建句子:maybethisissomeuglynightmaybethatwassomenicenightmaybethiswassomestrangetime等等，你明白了......我应该一个字符一个字符地读取字符串并构建一个带有堆栈的状态机来存储括号值以供以后计算，还是有更好的方法？也许为此目的准备了一个开箱即用的库？

  2. ruby-on-rails - 由于 "wkhtmltopdf"，PDFKIT 显然无法正常工作 - 2

    我在从html页面生成PDF时遇到问题。我正在使用PDFkit。在安装它的过程中，我注意到我需要wkhtmltopdf。所以我也安装了它。我做了PDFkit的文档所说的一切......现在我在尝试加载PDF时遇到了这个错误。这里是错误:commandfailed:"/usr/local/bin/wkhtmltopdf""--margin-right""0.75in""--page-size""Letter""--margin-top""0.75in""--margin-bottom""0.75in""--encoding""UTF-8""--margin-left""0.75in""-

  3. ruby-on-rails - 'compass watch' 是如何工作的/它是如何与 rails 一起使用的 - 2

    我在我的项目目录中完成了compasscreate.和compassinitrails。几个问题:我已将我的.sass文件放在public/stylesheets中。这是放置它们的正确位置吗？当我运行compasswatch时，它不会自动编译这些.sass文件。我必须手动指定文件:compasswatchpublic/stylesheets/myfile.sass等。如何让它自动运行？文件ie.css、print.css和screen.css已放在stylesheets/compiled。如何在编译后不让它们重新出现的情况下删除它们？我自己编译的.sass文件编译成compiled/t

  4. ruby - 解析 RDFa、微数据等的最佳方式是什么，使用统一的模式/词汇(例如 schema.org)存储和显示信息 - 2

    我主要使用Ruby来执行此操作，但到目前为止我的攻击计划如下:使用gemsrdf、rdf-rdfa和rdf-microdata或mida来解析给定任何URI的数据。我认为最好映射到像schema.org这样的统一模式，例如使用这个yaml文件，它试图描述数据词汇表和opengraph到schema.org之间的转换:#SchemaXtoschema.orgconversion#data-vocabularyDV:name:namestreet-address:streetAddressregion:addressRegionlocality:addressLocalityphoto:i

  5. ruby - 用逗号、双引号和编码解析 csv - 2

    我正在使用ruby​​1.9解析以下带有MacRoman字符的csv文件#encoding:ISO-8859-1#csv_parse.csvName,main-dialogue"Marceu","Giveittohimóhe,hiswife."我做了以下解析。require'csv'input_string=File.read("../csv_parse.rb").force_encoding("ISO-8859-1").encode("UTF-8")#=>"Name,main-dialogue\r\n\"Marceu\",\"Giveittohim\x97he,hiswife.\"\

  6. ruby - 无法让 RSpec 工作—— 'require' : cannot load such file - 2

    我花了三天的时间用头撞墙，试图弄清楚为什么简单的“rake”不能通过我的规范文件。如果您遇到这种情况:任何文件夹路径中都不要有空格!。严重地。事实上，从现在开始，您命名的任何内容都没有空格。这是我的控制台输出:(在/Users/*****/Desktop/LearningRuby/learn_ruby)$rake/Users/*******/Desktop/LearningRuby/learn_ruby/00_hello/hello_spec.rb:116:in`require':cannotloadsuchfile--hello(LoadError) 最佳

  7. ruby-on-rails - rspec should have_select ('cars' , :options => ['volvo' , 'saab' ] 不工作 - 2

    关闭。这个问题需要detailsorclarity.它目前不接受答案。想改进这个问题吗？通过editingthispost添加细节并澄清问题.关闭8年前。Improvethisquestion在首页我有:汽车:VolvoSaabMercedesAudistatic_pages_spec.rb中的测试代码:it"shouldhavetherightselect"dovisithome_pathit{shouldhave_select('cars',:options=>['volvo','saab','mercedes','audi'])}end响应是rspec./spec/request

  8. ruby-on-rails - s3_direct_upload 在生产服务器中不工作 - 2

    在Rails4.0.2中，我使用s3_direct_upload和aws-sdkgems直接为s3存储桶上传文件。在开发环境中它工作正常，但在生产环境中它会抛出如下错误，ActionView::Template::Error(noimplicitconversionofnilintoString)在View中，create_cv_url,:id=>"s3_uploader",:key=>"cv_uploads/{unique_id}/${filename}",:key_starts_with=>"cv_uploads/",:callback_param=>"cv[direct_uplo

  9. ruby-on-rails - 我更新了 ruby​​ gems，现在到处都收到解析树错误和弃用警告! - 2

    简而言之错误:NOTE:Gem::SourceIndex#add_specisdeprecated,useSpecification.add_spec.Itwillberemovedonorafter2011-11-01.Gem::SourceIndex#add_speccalledfrom/opt/local/lib/ruby/site_ruby/1.8/rubygems/source_index.rb:91./opt/local/lib/ruby/gems/1.8/gems/rails-2.3.8/lib/rails/gem_dependency.rb:275:in`==':und

  10. ruby - JetBrains RubyMine 3.2.4 调试器不工作 - 2

    使用Ruby1.9.2运行IDE提示说需要gemruby​​-debug-base19x并提供安装它。但是，在尝试安装它时会显示消息Failedtoinstallgems.Followinggemswerenotinstalled:C:/ProgramFiles(x86)/JetBrains/RubyMine3.2.4/rb/gems/ruby-debug-base19x-0.11.30.pre2.gem:Errorinstallingruby-debug-base19x-0.11.30.pre2.gem:The'linecache19'nativegemrequiresinstall

随机推荐