生产事故：误删/lib64，移走/lib64目录

弓长善慈 2023-03-28 原文

事故背景：

有一台机器装不上nagios监控，yum install openssl报一个关于“libkrb5.so.3”冲突的错误。

解决过程：

1./lib64事故

关于“libkrb5.so.3”冲突的错误，查了一些文章没有解决，就想着把libkrb5卸掉，rpm -e libkrb5.rpm，卸载有关联冲突，然后就rpm -e libkrb5.rpm --nodeps（事实证明，如果不清楚软件的依赖，最好不要“--nodeps”），一卸载就发现问题了，发现yum命令用不了了，提示缺少“libkrb5.so.3”，然后我就从别的机器上拷贝了一个libkrb5.so.3到这台机器上，然后yum继续提示少别的文件，经验告诉我，这可能还缺少别的很多库文件，由于是生产的机器，我不想花太多时间整，所以就想着从别的机器上拷贝/lib64到这台机器，想着想着，手就不由自主的敲了个“mv /lib64 /tmp”，敲完我就后悔了，赶紧“ls”，发现用不了了，然后发现只有cd命令能用，其他的都用不了，这个时间点大概是15:00，说实话，有点慌，因为生产上没有遇到过这种事，在虚拟机上试过“rm -rf /”能删，但是也没恢复过。

2.模拟并处理/lib64事故

想了一分钟，决定在虚拟机上模拟这个事故，打开虚拟机，然后mv /lib64 /tmp，重启，进不去系统，一直卡在开机界面。然后就开始搜索“误删/lib64”的相关文章，几乎没找到有用的，可能是因为这个事故确实比较少，生产中没人会这么做，实验的话可能也不会做这个。没搜到“误删/lib64”的文章，但是有个文章的“linux修复模式”提醒了我，心想：我可以先进了系统，然后把/tmp目录下的lib64拷贝回/根目录，这样不就解决问题了吗。

然后我就在虚拟机上试验，进入linux修复模式下后，发现/tmp目录下的文件被删了，然后就想到/tmp目录下的文件是不是重启后自动删除了，然后我就把光盘镜像系统里的/lib64拷贝到崩溃的系统根目录下，重启系统，依旧不行，这可能是依旧缺少什么库文件导致的系统起不来。

很着急很着急，因为现在我误认为/tmp/lib64这个目录在重启系统后就被删除了，而且镜像里的/lib64拷贝到崩溃系统里也是不起作用的，没办法了，我只能想着把系统里的东西导出来，这是一台发布机器，深圳那边的同事专门用来发布代码的，恰巧当天晚上就要用。

大概17:00左右，我联系深圳那边同事：勇哥，那台发布机器被我搞崩了，想问问你重要的文件是不是集中存放在哪，我试试能不能拷贝出来。联系之后，我基本已经做好了将文件拷贝出来的准备。

17:30，脑子里突然想到，进入了linux修复模式后，奔溃系统的tmp目录不是/tmp，而是/mnt/sysp_w_picpath/tmp，所以我就进入/mnt/sysp_w_picpath/tmp，发现lib64目录还在，然后我就mv /mnt/sysp_w_picpath/tmp/lib64 /mnt/sysp_w_picpath/，重启系统，正常进入。开森。

3.处理生产上的/lib64事故

然后我就在vCenter的存储上上传了一个iso镜像（存储上没有镜像，我们新装机是走cobbler），可恶，上传镜像花了半小时。。这时候已经18:30了，我是有多紧张，20:00就要用这个机器，这个事经理还不知道。。。然后就设置BIOS开机光盘启动，选择存储，前两次因为选错了存储导致没光盘启动，后来选对了存储也还进不去，试了三四次都进不去，我慌了，这是什么问题呢，难道镜像有问题？没理由啊，拷贝没报错。我就查，查查查，么查到，后来有个人一句话点醒我了：光盘启动的话，如果你没有勾选“开机启动”的话，那就别往下看了。。突然想到，我选了镜像但是没有勾选“开机自动挂载”，可不就进不去嘛，真是忙中出错。一切都处理好了，进入了系统，然后mv /mnt/sysp_w_picpath/tmp/lib64 /mnt/sysp_w_picpath/，重启，正常进入系统了，但是又有新问题了：密码明明是正确的，但是提示密码不正确。

慌乱之中采取了网管的措施，重启，重启之后问题依旧，此时是19:00，经理走了，大多数同事都走了，没人知道我正在处理一个线上事故。。。说实话，这时候我心里怕了，我怕一步一个错，但是我分析着既然系统都进去了，单用户模式应该没问题，改改密码吧，然后就把系统密码改成123456，重启后，正常进入系统了，发现一切都正常，没问题了吧。。。然后我远程连接这台机器，提示超时，回到vmware上，发现系统的sshd服务没起，查看了这个服务是开机启动的，然后我就手动起，提示少“libkrb5.so.3”，等于这个libkrb5.so.3库文件不仅影响了yum，还影响了ssh服务，然后我就又进入linux的修复模式，将镜像里的libkrb5.so.3拷贝到系统，进入系统后启动sshd服务正常，远程连接也行了，但是又有新问题了，只能用root用户，切普通用户就卡死，这又是什么问题呢？难道是堡垒机后遗症（公司用着堡垒机呢，出事故后我就把这台机器从堡垒机上下了）？然后我就把sshd.config里的关于堡垒机的配置都清空了，还是不行。如果只能连接不能切用户，深圳那边的用户发布代码还是有问题的，所以这个问题必须解决，但是没有思路啊。

4.彻底恢复

不能没有思路就不干啊，最起码把能干的先干了。把这台机器加到堡垒机吧，然后再说，不得不说付费的东西就是好用，也不知道什么原理，把这台机器加到堡垒机后，就能正常切用户了，这时候已经是20:00多了（代码因为一些原因延迟发布了），然后我赶紧联系深圳用户，让他看看正常吗，他回复正常，可算松了一口气。。。

类似事件：

这个事故出现后不久，又有一台数据库因为更换磁盘导致系统起不来了，做的raid10，更换了一块磁盘，然后系统就崩了（事后分析是raid卡故障导致）。挂载镜像，进入linux修复模式，系统有五六个分区，不知道问题出在哪个分区，就挨个挂载，发现/boot分区不能挂载，进入/boot分区，发现是空的，也就是说/boot分区文件丢失，查了查资料，说是重装kernel可以解决，然后就重装kernel，事实发现不行，然后就从别的机器上拷贝/boot分区内容到崩溃的机器，重启机器后，不像之前直接进入grub界面了，但是读完系统进度条后就卡死了，可见还是有问题。这台数据库上部署的3M高可用应用，为了快速解决这个问题，选择了重装系统并重新部署3M应用。

在此提醒：

1、生产上操作虽然需要手速，但是回车别急着敲。

2、尽量别用rm命令，用mv替代。

3、不确定能处理好的事故，在处理了一段时候后最好上报，不然会特别特别尴尬，不上报吧可能处理不好，上报吧又觉得这么晚才报有点2逼。

linux进入修复模式：

救援模式有什么作用：

◆可以更改root密码；

◆恢复硬盘、文件系统操作；

◆系统启动不来的时候，只能通过救援模式来启动；

救援模式启动的步骤如下：

1、首先开机进入BIOS设置（每台电脑进入bios的方法不同根据自己的电脑进入），BOOT启动顺序为光盘优先启动 CD-ROM Drive 使用小键盘的+ -号调整上下顺序；设置好后保存并退出。

如果是vmware workstation，可以“虚拟机→电源→开机进入固件”进行设置BIOS；

如果是物理机，直接F1 F2 F12什么的进入BIOS，各有不同，看提示；

如果是exsi，右键虚拟机，点编辑，先挂载了镜像，然后修改开机启动到BIOS界面即可。

2、重启系统后进入安装启动菜单，上下键移动到Rescue install system 救援安装系统；

3、选择语言，保持默认English

4、选择键盘类型，保持默认us

5、是否启动网络，需要根据你实际情况进行选择，如果需要通过联网拷贝数据，选择YES，在这里我们选择NO；

6、进入到Rescue界面，选择Continue

7、本地系统挂载在/mnt/sysp_w_picpath下如果要到root环境下，运行 chroot /mnt/sysp_w_picpath 命令

8、三种选项：shell 进入命令行模式；fakd是诊断模式；reboot重启电脑；我们这里选择shell

9、进入shell命令行，提示符为bash-4.1#

ls /mnt/sysp_w_picpath/ 显示挂载的目录为根目录的文件

执行chroot /mnt/sysp_w_picpath/ 将/mnt/sysp_w_picpath/目录下的文件移动到根目录；

命令后提示符为sh-4.1#

ls 显示为根目录的文件；

事实上，缺少系统文件会导致“chroot /mnt/sysp_w_picpath”出错，查也查不出来什么，因为不管缺什么都是统一的错误提示“/bin/bash。。。。”，像我上面缺少/lib64目录、缺少/boot下的文件，在“chroot /mnt/sysp_w_picpath”时都会报错，而且报错一样。。。可以不理会这个命令，你干啥干啥，该修改文件修改文件，该拷贝目录拷贝目录，不影响。

10、在sh-4.1#模式下需要先exit退出，回到bash-4.1#才可以reboot重启系统；

lib 64 strong sysp_w_picpath 误删移动 lib64iOS 移动开发

有关生产事故：误删/lib64，移走/lib64目录的更多相关文章

ruby - 在 64 位 Snow Leopard 上使用 rvm、postgres 9.0、ruby 1.9.2-p136 安装 pg gem 时出现问题 - 2
我想为Heroku构建一个Rails3应用程序。他们使用Postgres作为他们的数据库，所以我通过MacPorts安装了postgres9.0。现在我需要一个postgresgem并且共识是出于性能原因你想要pggem。但是我对我得到的错误感到非常困惑当我尝试在rvm下通过geminstall安装pg时。我已经非常明确地指定了所有postgres目录的位置可以找到但仍然无法完成安装:$envARCHFLAGS='-archx86_64'geminstallpg--\--with-pg-config=/opt/local/var/db/postgresql90/defaultdb/po
ruby - 什么是填充的 Base64 编码字符串以及如何在 ruby 中生成它们？ - 2
我正在使用的第三方API的文档状态:"[O]urAPIonlyacceptspaddedBase64encodedstrings."什么是“填充的Base64编码字符串”以及如何在Ruby中生成它们。下面的代码是我第一次尝试创建转换为Base64的JSON格式数据。xa=Base64.encode64(a.to_json) 最佳答案他们说的padding其实就是Base64本身的一部分。它是末尾的“=”和“==”。Base64将3个字节的数据包编码为4个编码字符。所以如果你的输入数据有长度n和n%3=1=>"=="末尾用于填充n%
ruby-on-rails - active_admin 目录中的常量警告重新声明 - 2
我正在使用active_admin，我在Rails3应用程序的应用程序中有一个目录管理，其中包含模型和页面的声明。时不时地我也有一个类，当那个类有一个常量时，就像这样:classFooBAR="bar"end然后，我在每个必须在我的Rails应用程序中重新加载一些代码的请求中收到此警告:/Users/pupeno/helloworld/app/admin/billing.rb:12:warning:alreadyinitializedconstantBAR知道发生了什么以及如何避免这些警告吗？最佳答案在纯Ruby中:classA
Ruby Sinatra 配置用于生产和开发 - 2
我已经在Sinatra上创建了应用程序，它代表了一个简单的API。我想在生产和开发上进行部署。我想在部署时选择，是开发还是生产，一些方法的逻辑应该改变，这取决于部署类型。是否有任何想法，如何完成以及解决此问题的一些示例。例子:我有代码get'/api/test'doreturn"Itisdev"end但是在部署到生产环境之后我想在运行/api/test之后看到ItisPROD如何实现？最佳答案根据SinatraDocumentation:EnvironmentscanbesetthroughtheRACK_ENVenvironm
ruby-on-rails - 在 Rails 中调试生产服务器 - 2
您如何在Rails中的实时服务器上进行有效调试，无论是在测试版/生产服务器上？我试过直接在服务器上修改文件，然后重启应用，但是修改好像没有生效，或者需要很长时间(缓存？)我也试过在本地做“脚本/服务器生产”，但是那很慢另一种选择是编码和部署，但效率很低。有人对他们如何有效地做到这一点有任何见解吗？最佳答案我会回答你的问题，即使我不同意这种热修补服务器代码的方式:)首先，你真的确定你已经重启了服务器吗？您可以通过跟踪日志文件来检查它。您更改的代码显示的View可能会被缓存。缓存页面位于tmp/cache文件夹下。您可以尝试手动删除
ruby-on-rails - 使用 config.threadsafe 时从 lib/加载模块/类的正确方法是什么!选项？ - 2
我一直致力于让我们的Rails2.3.8应用程序在JRuby下正确运行。一切正常，直到我启用config.threadsafe!以实现JRuby提供的并发性。这导致lib/中的模块和类不再自动加载。使用config.threadsafe!启用:$rubyscript/runner-eproduction'pSim::Sim200Provisioner'/Users/amchale/.rvm/gems/jruby-1.5.1@web-services/gems/activesupport-2.3.8/lib/active_support/dependencies.rb:105:in`co
C# 到 Ruby sha1 base64 编码 - 2
我正在尝试在Ruby中复制Convert.ToBase64String()行为。这是我的C#代码:varsha1=newSHA1CryptoServiceProvider();varpasswordBytes=Encoding.UTF8.GetBytes("password");varpasswordHash=sha1.ComputeHash(passwordBytes);returnConvert.ToBase64String(passwordHash);//returns"W6ph5Mm5Pz8GgiULbPgzG37mj9g="当我在Ruby中尝试同样的事情时，我得到了相同sha
ruby-on-rails - 如何在 Gem 中获取 Rails 应用程序的根目录 - 2
是否可以在应用程序中包含的gem代码中知道应用程序的Rails文件系统根目录？这是gem来源的示例:moduleMyGemdefself.included(base)putsRails.root#returnnilendendActionController::Base.send:include,MyGem谢谢，抱歉我的英语不好最佳答案我发现解决类似问题的解决方案是使用railtie初始化程序包含我的模块。所以，在你的/lib/mygem/railtie.rbmoduleMyGemclassRailtie使用此代码，您的模块将在
ruby-on-rails - 没有这样的文件或目录 - 用 Mini Magick 识别 - 2
在我让另一个人重做我的前端UI之前，我的Rails应用程序运行平稳。我已经尝试解决此错误3天了。这是错误:Nosuchfileordirectory-identifyExtractedsource(aroundline#59):575859606162@post=Post.find(params[:id])authorize@postif@post.update_attributes(post_params)flash[:notice]="Postwasupdated."redirect_to[@topic,@post]else{"utf8"=>"✓","_method"=>"patc
ruby - Sinatra 找不到 View 目录 - 2
我正在尝试以一种更类似于普通RubyGem结构的方式构建我的Sinatra应用程序。我有以下文件树:.├──app.rb├──config.ru├──Gemfile├──Gemfile.lock├──helpers│ ├──dbconfig.rb│ ├──functions.rb│ └──init.rb├──hidden│ └──Rakefile├──lib│ ├──admin.rb│ ├──api.rb│ ├──indexer.rb│ ├──init.rb│ └──magnet.rb├──models│ ├──init.rb│ ├──invite.rb│ ├─

生产事故：误删/lib64，移走/lib64目录

有关生产事故：误删/lib64，移走/lib64目录的更多相关文章

随机推荐