草庐IT

【flask】算法部署：只加载一次模型，减少每次接口响应时间

落叶阳光 2023-04-08 原文

写于2022.09.17，2022.10.12增加性能测试对比，2022.11.6增加单例模式方法

机器学习或深度学习算法模型在进行服务端部署时，通常通过flask包装为服务接口，对外进行调用，但存在一定一个问题是：每次调用模型进行预测时，都会加载一次模型，这个过程是比较占资源的，换言之，很耗时。

如何在flask刚启动时就加载一次模型，后续在调用接口时就不再调用模型了，直接进行预测。

方法一：模型加载为全局变量

from flask import Flask, request
import pickle

app = Flask(__name__)

# 在这里进行模型的加载，如导入pkl 
model = pickle.load(open('model.pkl','rb'))

@app.route('/predict', methods=['GET'])
def predict():
    '''这里获取接口的请求参数，下面是举例'''
    features = request.args.get("feature")
    #  调用模型进行预测
    result = model.predict(features)
    return result

if __name__ == "__main__":
    app.run(port=80,debug = True)

以一个实际的中文分词接口部署为例：
需要安装LAC，LAC是百度出品的一个中文分词工具，很好用。
pip install LAC

from flask import Flask, request
from LAC import LAC

app = Flask(__name__)

# 装载LAC模型
lac = LAC(mode='lac')

@app.route('/predict', methods=['GET'])
def predict():
    text = request.args.get("text")
    #  调用模型进行预测
    result = lac.run(text)
    return str(result)

if __name__ == "__main__":
    app.run(port=8080,debug=True)

访问接口：
http://127.0.0.1:8080/predict?text=我爱北京天安门

每次访问时，都无需再加载模型，模型相当于一个全局变量，每次接口请求时，直接调用即可。非常快！

方法二：使用单例模式

首先创建一个文件用于加载模型：
load.py

from LAC import LAC

class MODEL:
    def __init__(self):
       self.model = LAC(mode='lac')

lac = MODEL()

在main.py中进行引用

from flask import Flask, request
from load import lac

app = Flask(__name__)


@app.route('/predict', methods=['GET'])
def predict():

    text = request.args.get("text")
    #  调用模型进行预测
    result = lac.model.run(text)
    return str(result)

if __name__ == "__main__":
    app.run(port=8080)

其它单例模式实现，请参考：
https://blog.csdn.net/qq_41248532/article/details/123246471?spm=1001.2014.3001.5506

两种方法的区别有待研究。

附性能测试：
方式一：参照本文方法

单次调用响应时间：16ms

方式二：每次调用接口时，都加载模型

from flask import Flask, request
from LAC import LAC

app = Flask(__name__)

@app.route('/predict', methods=['GET'])
def predict():
    text = request.args.get("text")

    # 装载LAC模型
    lac = LAC(mode='lac')
    
    #  调用模型进行预测
    result = lac.run(text)
    return str(result)

if __name__ == "__main__":
    app.run(port=8080,debug=True)


单次调用响应时间：468ms
可以发现响应时间优化非常明显！

flask算法

有关【flask】算法部署：只加载一次模型，减少每次接口响应时间的更多相关文章

  1. ruby-on-rails - Rails - 子类化模型的设计模式是什么？ - 2

    我有一个模型:classItem项目有一个属性“商店”基于存储的值，我希望Item对象对特定方法具有不同的行为。Rails中是否有针对此的通用设计模式？如果方法中没有大的if-else语句，这是如何干净利落地完成的？ 最佳答案 通常通过Single-TableInheritance. 关于ruby-on-rails-Rails-子类化模型的设计模式是什么？，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.co

  2. ruby - 使用 Vim Rails，您可以创建一个新的迁移文件并一次性打开它吗？ - 2

    使用带有Rails插件的vim，您可以创建一个迁移文件，然后一次性打开该文件吗？textmate也可以这样吗？ 最佳答案 你可以使用rails.vim然后做类似的事情::Rgeneratemigratonadd_foo_to_bar插件将打开迁移生成的文件，这正是您想要的。我不能代表textmate。 关于ruby-使用VimRails，您可以创建一个新的迁移文件并一次性打开它吗？，我们在StackOverflow上找到一个类似的问题： https://sta

  3. ruby-on-rails - Rails - 一个 View 中的多个模型 - 2

    我需要从一个View访问多个模型。以前，我的links_controller仅用于提供以不同方式排序的链接资源。现在我想包括一个部分(我假设)显示按分数排序的顶级用户(@users=User.all.sort_by(&:score))我知道我可以将此代码插入每个链接操作并从View访问它，但这似乎不是“ruby方式”，我将需要在不久的将来访问更多模型。这可能会变得很脏，是否有针对这种情况的任何技术？注意事项:我认为我的应用程序正朝着单一格式和动态页面内容的方向发展，本质上是一个典型的网络应用程序。我知道before_filter但考虑到我希望应用程序进入的方向，这似乎很麻烦。最终从任何

  4. ruby - 如何每月在 Heroku 运行一次 Scheduler 插件？ - 2

    在选择我想要运行操作的频率时，唯一的选项是“每天”、“每小时”和“每10分钟”。谢谢!我想为我的Rails3.1应用程序运行调度程序。 最佳答案 这不是一个优雅的解决方案，但您可以安排它每天运行，并在实际开始工作之前检查日期是否为当月的第一天。 关于ruby-如何每月在Heroku运行一次Scheduler插件？，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/questions/8692687/

  5. ruby-on-rails - 在混合/模块中覆盖模型的属性访问器 - 2

    我有一个包含模块的模型。我想在模块中覆盖模型的访问器方法。例如:classBlah这显然行不通。有什么想法可以实现吗？ 最佳答案 您的代码看起来是正确的。我们正在毫无困难地使用这个确切的模式。如果我没记错的话，Rails使用#method_missing作为属性setter，因此您的模块将优先，阻止ActiveRecord的setter。如果您正在使用ActiveSupport::Concern(参见thisblogpost)，那么您的实例方法需要进入一个特殊的模块:classBlah

  6. ruby - 如何在续集中重新加载表模式？ - 2

    鉴于我有以下迁移:Sequel.migrationdoupdoalter_table:usersdoadd_column:is_admin,:default=>falseend#SequelrunsaDESCRIBEtablestatement,whenthemodelisloaded.#Atthispoint,itdoesnotknowthatusershaveais_adminflag.#Soitfails.@user=User.find(:email=>"admin@fancy-startup.example")@user.is_admin=true@user.save!ende

  7. ruby-on-rails - 如何验证非模型(甚至非对象)字段 - 2

    我有一个表单，其中有很多字段取自数组(而不是模型或对象)。我如何验证这些字段的存在？solve_problem_pathdo|f|%>... 最佳答案 创建一个简单的类来包装请求参数并使用ActiveModel::Validations。#definedsomewhere,atthesimplest:require'ostruct'classSolvetrue#youcouldevencheckthesolutionwithavalidatorvalidatedoerrors.add(:base,"WRONG!!!")unlesss

  8. ruby-on-rails - form_for 中不在模型中的自定义字段 - 2

    我想向我的Controller传递一个参数，它是一个简单的复选框，但我不知道如何在模型的form_for中引入它，这是我的观点:{:id=>'go_finance'}do|f|%>Transferirde:para:Entrada:"input",:placeholder=>"Quantofoiganho?"%>Saída:"output",:placeholder=>"Quantofoigasto?"%>Nota:我想做一个额外的复选框，但我该怎么做，模型中没有一个对象，而是一个要检查的对象，以便在Controller中创建一个ifelse，如果没有检查，请帮助我，非常感谢,谢谢

  9. ruby-on-rails - 如何将验证与模型分开 - 2

    我有一些非常大的模型，我必须将它们迁移到最新版本的Rails。这些模型有相当多的验证(User有大约50个验证)。是否可以将所有这些验证移动到另一个文件中？说app/models/validations/user_validations.rb。如果可以，有人可以提供示例吗？ 最佳答案 您可以为此使用关注点:#app/models/validations/user_validations.rbrequire'active_support/concern'moduleUserValidationsextendActiveSupport:

  10. ruby - RuntimeError(自动加载常量 Apps 多线程时检测到循环依赖 - 2

    我收到这个错误:RuntimeError(自动加载常量Apps时检测到循环依赖当我使用多线程时。下面是我的代码。为什么会这样？我尝试多线程的原因是因为我正在编写一个HTML抓取应用程序。对Nokogiri::HTML(open())的调用是一个同步阻塞调用，需要1秒才能返回，我有100,000多个页面要访问，所以我试图运行多个线程来解决这个问题。有更好的方法吗？classToolsController0)app.website=array.join(',')putsapp.websiteelseapp.website="NONE"endapp.saveapps=Apps.order("

随机推荐