不懂优雅停机，搞挂了线上服务该咋办？

陈树义 2023-03-28 原文

公司项目是用 consul 进行注册的，在发布微服务的时候，总是会导致调用方出现一定几率的调用失败。一开始百思不得其解，后来咨询了资深的同事才知道：原来是服务下线的时候没有优雅停机，没有去 consul 将自己下线再停机，导致调用方拿到了旧的调用地址，导致调用失败！ 看来优雅停机还是一个蛮重要的知识点，可不能忽略，今天就让我们来盘盘它吧！

一、什么是优雅停机？

在 Linux 世界里，一切都是资源。当我们启动一个 JVM 的时候，我们就加载了许多的资源。而当我们关闭 JVM 的时候，JVM 只会释放内存这个资源，而其他资源是不会释放的，例如：网络连接、文件句柄等等。

Linux 的网络连接数、文件句柄数都是有限的，如果我们没有及时释放，时间久了就会导致一些奇怪的问题。那么如何在 JVM 关闭的时候，释放这些资源呢？答案就是：利用 Java 提供的 ShutdownHook 接口。 我们所说的优雅停机，就是利用 Java 提供的 ShutdownHook 接口注册一个钩子，让 JVM 在关闭之前执行钩子函数的代码，让其关闭对应的资源。

二、适用场景

在学会怎么使用优雅停机之前，我们需要弄清楚优雅停机适用于哪些场景，那我们就需要先弄清楚 JVM 关闭的几种情况了。JVM 关闭的情况可以分为 3 大类 11 个情况，如下图所示：

JVM 关闭的场景

在 JVM 关闭的 3 大类场景中，只有正常关闭与异常关闭是支持优雅停机的，而强制关闭则是不支持的。下面我们通过三个例子来验证一下。

1、JVM 正常关闭

JVM 正常关闭这种情况，我们只需要正常运行一个 main 函数，然后为其注册一个 ShutdownHook 即可，其代码如下所示。

public class NormalShutdownTest {
    public void start() {
        Runtime.getRuntime().addShutdownHook(new Thread(() ->
                System.out.println("钩子函数被执行，可以在这里关闭资源。")
        ));
    }

    public static void main(String[] args) {
        new NormalShutdownTest().start();
        System.out.println("主应用程序在执行，正常关闭。");
    }
}

输出结果为：

主应用程序在执行，正常关闭。
钩子函数被执行，可以在这里关闭资源。

可以看到钩子函数的代码正常执行了。如果你在 main 函数增加 System.exit(0) 代码，执行之后的结果也还是一样。这说明 JVM 正常关闭情况下，是支持优雅停机的。

2、异常关闭

JVM 异常关闭这种情况，我们尝试制造内存溢出。只需要声明一个 500 MB 的数组，然后设置 JVM 堆最大为 20 MB 即可（-Xmx20M），其代码如下所示。

public class OomShutdownTest {
    public void start() {
        Runtime.getRuntime().addShutdownHook(new Thread(() ->
                System.out.println("钩子函数被执行，可以在这里关闭资源")
        ));
    }

    public static void main(String[] args) throws Exception {
        new OomShutdownTest().start();
        System.out.println("主应用程序在执行，内存溢出关闭。");
        byte[] b = new byte[500 * 1024 * 1024];
    }
}

执行结果为：

主应用程序在执行，内存溢出关闭。
Exception in thread "main" java.lang.OutOfMemoryError: Java heap space
 at tech.shuyi.javacodechip.shutdownhook.OomShutdownTest.main(OomShutdownTest.java:13)
钩子函数被执行，可以在这里关闭资源

可以看到 JVM 抛出了 OOM 错误，但是钩子函数还是被执行了。如果你在 main 函数中自行抛出 RuntimeException，钩子函数也还是会被执行。感兴趣的朋友可以自行尝试一下。

3、强制关闭

JVM 强制关闭这种情况，我们可以使用 Runtime.getRuntime().halt(1) 进行测试，其代码如下所示。

public class ForceShutdownTest {
    public void start() {
        Runtime.getRuntime().addShutdownHook(new Thread(() ->
                System.out.println("钩子函数被执行，可以在这里关闭资源。")
        ));
    }

    public static void main(String[] args) throws Exception {
        new ForceShutdownTest().start();
        System.out.println("主应用程序在执行，强制关闭。");
        Runtime.getRuntime().halt(1);
    }
}

执行结果：

主应用程序在执行，强制关闭。

可以看到钩子函数并没有被执行，所以 JVM 强制关闭这种场景不支持优雅停机。

三、最佳实践

看了上面的例子，看起来优雅停机没那么复杂嘛。实际上，优雅停机用不好，很可能出现一些其他问题。这里给出几个最佳实践原则，帮助大家用好优雅停机！

1、只注册一个钩子

我们都知道 JVM 可以注册多个钩子，而钩子本质上是一个线程，可以并发执行。那么就很可能出现钩子之间相互依赖，这样就会导致依赖死锁了。另外，也可能因为多个钩子操作同一个资源，导致资源竞争出现死锁。因此，较好的一种方式就是只注册一个钩子，所有的资源释放都在这个钩子中操作。

2、确保线程安全

因为钩子本质上也是一个线程，JVM 可能会并发执行多个钩子，JVM 并不保证它们的执行顺序，因此需要保证钩子中的操作是线程安全的。当然了，如果你只有一个钩子的话，那这个提示可以忽略了。

3、不要做耗时的操作

在钩子中，不要做耗时的操作。因为当我们要关闭 JVM 时，用户肯定是希望尽快关闭，因此钩子中主要用于关闭残留资源，不应该再做其他耗时的操作。

4、不要做注册、移除钩子的操作

在关闭钩子中，不能执行注册、移除钩子的操作，否则 JVM 抛出 IllegalStateException。

5、不要调用 System.exit () 操作

也不能调用 System.exit () 操作，但是调用 Runtime.halt() 操作是可以的。我想，这是因为调用 System.exit () 操作会导致循环进入钩子，导致死循环吧。

6、需要考虑的资源

除了上面一些代码上的操作需要考虑，我们还需要注意下面这些场景的处理：

池化资源的释放：数据库连接池、HTTP 连接池、线程池。

在处理线程的释放：已经被连接的 HTTP 请求。

MQ 消费者的处理：正在处理的消息。

隐形受影响的资源的处理：Zookeeper、Nacos 实例下线等。

四、应用案例

Java 提供的优雅停机机制，可以说是许多框架的基础。诸如 Spring、Consul 等中间件框架，都是利用 Java 提供的这个机制进行优雅停机的。

1、Spring 的优雅停机

例如 Spring 是基于 Java 语言开发的框架，那其也势必依赖于 JVM 的 ShutdownHook。Spring 关于优雅停机的代码在 org.springframework.context.support.AbstractApplicationContext#registerShutdownHook 处，代码如下图所示。

@Override
public void registerShutdownHook() {
 if (this.shutdownHook == null) {
  // No shutdown hook registered yet.
  this.shutdownHook = new Thread(SHUTDOWN_HOOK_THREAD_NAME) {
   @Override
   public void run() {
    synchronized (startupShutdownMonitor) {
     doClose();
    }
   }
  };
  // 增加 ShutdownHook 钩子
  Runtime.getRuntime().addShutdownHook(this.shutdownHook);
 }
}

可以看到 Spring 在 registerShutdownHook() 函数里，注册了一个关闭的钩子，钩子中调用了 doClose() 方法。

2、服务治理的优雅停机

不论是 Dubbo 还是 Spring Cloud 的分布式服务框架，需要关注的是怎么能在服务停止前，先将提供者在注册中心进行反注册，然后在停止服务提供者，这样才能保证业务系统不会产生各种 503、timeout 等现象。为了实现上述说到的效果，那么我们就必须关注优雅停机这件事情。

彩蛋

我们都知道通过 kill -15 可以让 JVM 优雅停机，那我们是否可以监听特定的信号量，从而让程序做特定的操作呢？例如：让 JVM 监听第 12 信号量，然后打印一条日志，随后优雅停机。

答案是当然可以啦！我们只需要利用 Signal 类，并实现一个 SignHandler 类就可以了。其实现代码如下所示：

public class CustomShutdownTest {
    public void start() {
        Runtime.getRuntime().addShutdownHook(new Thread(() ->
                System.out.println("钩子函数被执行，可以在这里关闭资源。")
        ));
    }

    public static void main(String[] args) {
        // custom signal kill
        Signal sg = new Signal("USR2"); // kill -12 pid
        Signal.handle(sg, new SignalHandler() {
            @Override
            public void handle(Signal signal) {
                System.out.println("接收到信号量：" + signal.getName());
                // 监听信号量，通过System.exit(0)正常关闭JVM，触发关闭钩子执行收尾工作
                System.exit(0);
            }
        });
        // other logic
        new CustomShutdownTest().start();
        System.out.println("主应用程序在执行，正常关闭。");
         try {
          Thread.sleep(30000);
         } catch (InterruptedException e) {
          e.printStackTrace();
         }
    }
}

我们启动该类后，先让其休眠 30 秒，随后用 jps 命令找到进程 ID，随后运行 kill -USR2 PID 即可，如截图所示。

随后可以看到控制台打印出如下消息：

主应用程序在执行，正常关闭。
接收到信号量：USR2
钩子函数被执行，可以在这里关闭资源。

从上面消息我们知道，JVM 成功接收到了 USR2 信号量，也成功执行了钩子函数。搞定！

提示：其实 USR2 是 Linux 第 12 个信号量，是留给用户使用的一个信号量。我们可以通过该信号量做一些定制化操作，从而实现更加复杂的功能。

不懂优雅 padding span padding-box 运维新闻 $优雅停机代码

有关不懂优雅停机，搞挂了线上服务该咋办？的更多相关文章

ruby - 使用 ruby 和 savon 的 SOAP 服务 - 2
我正在尝试使用ruby和Savon来使用网络服务。测试服务为http://www.webservicex.net/WS/WSDetails.aspx?WSID=9&CATID=2require'rubygems'require'savon'client=Savon::Client.new"http://www.webservicex.net/stockquote.asmx?WSDL"client.get_quotedo|soap|soap.body={:symbol=>"AAPL"}end返回SOAP异常。检查soap信封，在我看来soap请求没有正确的命名空间。任何人都可以建议我
ruby - 具有身份验证的私有(private) Ruby Gem 服务器 - 2
我想安装一个带有一些身份验证的私有(private)Rubygem服务器。我希望能够使用公共(public)Ubuntu服务器托管内部gem。我读到了http://docs.rubygems.org/read/chapter/18.但是那个没有身份验证-如我所见。然后我读到了https://github.com/cwninja/geminabox.但是当我使用基本身份验证(他们在他们的Wiki中有)时，它会提示从我的服务器获取源。所以。如何制作带有身份验证的私有(private)Rubygem服务器？这是不可能的吗？谢谢。编辑:Geminabox问题。我尝试“捆绑”以安装新的gem..
ruby-on-rails - 启动 Rails 服务器时 ImageMagick 的警告 - 2
最近，当我启动我的Rails服务器时，我收到了一长串警告。虽然它不影响我的应用程序，但我想知道如何解决这些警告。我的估计是imagemagick以某种方式被调用了两次？当我在警告前后检查我的git日志时。我想知道如何解决这个问题。-bcrypt-ruby(3.1.2)-better_errors(1.0.1)+bcrypt(3.1.7)+bcrypt-ruby(3.1.5)-bcrypt(>=3.1.3)+better_errors(1.1.0)bcrypt和imagemagick有关系吗？/Users/rbchris/.rbenv/versions/2.0.0-p247/lib/ru
ruby-on-rails - s3_direct_upload 在生产服务器中不工作 - 2
在Rails4.0.2中，我使用s3_direct_upload和aws-sdkgems直接为s3存储桶上传文件。在开发环境中它工作正常，但在生产环境中它会抛出如下错误，ActionView::Template::Error(noimplicitconversionofnilintoString)在View中，create_cv_url,:id=>"s3_uploader",:key=>"cv_uploads/{unique_id}/${filename}",:key_starts_with=>"cv_uploads/",:callback_param=>"cv[direct_uplo
ruby - 用 Ruby 编写一个简单的网络服务器 - 2
我想在Ruby中创建一个用于开发目的的极其简单的Web服务器(不，不想使用现成的解决方案)。代码如下:#!/usr/bin/rubyrequire'socket'server=TCPServer.new('127.0.0.1',8080)whileconnection=server.acceptheaders=[]length=0whileline=connection.getsheaders想法是从命令行运行这个脚本，提供另一个脚本，它将在其标准输入上获取请求，并在其标准输出上返回完整的响应。到目前为止一切顺利，但事实证明这真的很脆弱，因为它在第二个请求上中断并出现错误:/usr/b
ruby-on-rails - 在 Rails 中调试生产服务器 - 2
您如何在Rails中的实时服务器上进行有效调试，无论是在测试版/生产服务器上？我试过直接在服务器上修改文件，然后重启应用，但是修改好像没有生效，或者需要很长时间(缓存？)我也试过在本地做“脚本/服务器生产”，但是那很慢另一种选择是编码和部署，但效率很低。有人对他们如何有效地做到这一点有任何见解吗？最佳答案我会回答你的问题，即使我不同意这种热修补服务器代码的方式:)首先，你真的确定你已经重启了服务器吗？您可以通过跟踪日志文件来检查它。您更改的代码显示的View可能会被缓存。缓存页面位于tmp/cache文件夹下。您可以尝试手动删除
ruby-on-rails - Rails 优雅地处理超时 session ？ - 2
使用rails4，ruby2。我在rails配置中为我的cookiesession设置了30分钟的超时时间。问题是，如果我转到表单，让session超时，然后提交表单，我会收到此ActionController::InvalidAuthenticityToken错误。如何在Rails中优雅地处理这个错误？比如说，重定向到登录屏幕？最佳答案在您的ApplicationController:rescue_fromActionController::InvalidAuthenticityTokendoredirect_tosome_p
ruby - 获取数组中的值并最小化某个类属性的最优雅的方法是什么？ - 2
假设我有以下类(class):classPersondefinitialize(name,age)@name=name@age=ageenddefget_agereturn@ageendend我有一组Person对象。是否有一种简洁的、类似于Ruby的方法来获取最小(或最大)年龄的人？如何根据它对它们进行排序？最佳答案这样做会:people_array.min_by(&:get_age)people_array.max_by(&:get_age)people_array.sort_by(&:get_age)
ruby-on-rails - 优雅的 Rails : multiple routes, 相同的 Controller Action - 2
让多条路线去同一条路的最优雅的方式是什么ControllerAction？我有:get'dashboard',to:'dashboard#index'get'dashboard/pending',to:'dashboard#index'get'dashboard/live',to:'dashboard#index'get'dashboard/sold',to:'dashboard#index'这很丑陋。有什么“更优雅”的建议吗？一个类轮的奖励积分。最佳答案为什么不只有一个路由和一个Controller操作，并根据传递给它的参数来
ruby - 鸭子输入字符串、符号和数组的优雅方式？ - 2
这是针对我无法破坏的现有公共(public)API，但我确实希望对其进行扩展。目前，该方法采用字符串或符号或任何其他在作为第一个参数传递给send时有意义的内容我想添加发送字符串、符号等列表的功能。我可以只使用is_a吗？数组，但还有其他发送列表的方法，这不是很像ruby。我将调用列表中的map，所以第一个倾向是使用respond_to?:map。但是字符串也会响应:map，所以这行不通。最佳答案如何将它们全部视为数组？String的行为与仅包含String的Array相同:deffoo(obj,arg)[*arg].eac