草庐IT

ATC：一个能将主流开源框架模型转换为昇腾模型的神奇工具

华为云开发者社区 2023-03-28 原文
摘要：本文介绍了昇腾CANN提供的模型转换工具ATC，介绍了其功能、架构，并以具体样例介绍了该工具的基本使用方法以及常用设置。

本文分享自华为云社区《使用ATC工具将主流开源框架模型转换为昇腾模型》，作者： 昇腾CANN。

什么是ATC，它能做什么？

昇腾张量编译器（Ascend Tensor Compiler，简称ATC）是昇腾CANN架构体系下的模型转换工具：

  1. 它可以将开源框架的网络模型（例如TensorFlow、ONNX等）转换为昇腾AI处理器支持的模型文件（.om格式），用于后续的模型推理。
  2. 它可以将基于Ascend IR定义的单算子描述文件（*.json格式）转换为昇腾AI处理器支持的模型文件（.om格式），用于后续在整网中验证算子功能。

模型转换过程中，ATC会进行算子调度优化、权重数据重排、内存使用优化等操作，对开源框架的网络模型做进一步调优，使其高效地在昇腾AI处理器上执行。

ATC工具功能架构

开源框架网络模型编译流程：

  1. 使用ATC工具转换模型时，开源框架网络模型经过Parser解析后，转换为昇腾的中间图IR Graph。
  2. 中间图IR Graph经过图准备，图拆分，图优化，图编译等一系列操作后，转成适配昇腾AI处理器的*.om模型文件。
  3. 后续用户可调用AscendCL提供的模型加载、执行等接口实现模型推理。

单算子编译流程：

  1. 使用ATC工具转换单算子时，单算子经过编译后，转换成适配昇腾AI处理器的单算子*.om模型文件。
  2. 后续用户可调用AscendCL提供的单算子模型加载、执行等接口在整网中验证单算子功能。

如何使用ATC工具

下面以Caffe框架ResNet-50网络模型为例，介绍如何使用ATC工具转换模型。

1. 将Caffe框架ResNet-50网络模型的模型文件*.prototxt、权重文件*.caffemodel上传至ATC工具所在的Linux服务器。

2. 执行如下命令进行模型转换。

atc --framework=0 --soc_version=${soc_version} 
--model=$HOME/mod/resnet50.prototxt 
--weight=$HOME/mod/resnet50.caffemodel 
--output=$HOME/module/out/caffe_resnet50

参数解释如下：

  • --framework：原始网络模型框架类型，0表示Caffe框架。
  • --soc_version：指定模型转换时昇腾AI处理器的版本，例如Ascend310。
  • --model：原始网络模型文件路径，含文件名。
  • --weight：原始网络模型权重文件路径，含文件名，仅当原始网络模型是Caffe时需要指定。
  • --output：转换后的*.om模型文件路径，含文件名，转换成功后，模型文件名自动以.om后缀结尾。

3. 若提示ATC run success信息，则说明模型转换成功。

在--output参数指定的路径下，可查看转换后的模型文件，例如caffe_resnet50.om。

ATC工具支持更多特性

上述只给出了ATC工具进行模型转换最基本的命令，本章节给出ATC工具支持的更多特性，方便用户进一步了解。

  • ATC工具支持将原始模型文件或昇腾*.om模型文件转换成json格式：

- 原始模型文件—>json文件

atc --mode=1 --framework=0 --om=$HOME/mod/resnet50.prototxt 
--json=$HOME/mod/out/caffe_resnet50.json

​​​​​- 昇腾*.om模型文件—>json文件

atc --mode=1 --om=$HOME/mod/out/caffe_resnet50.om  
--json=$HOME/mod/out/caffe_resnet50.json
  • ATC工具支持自定义*.om模型的输入输出数据类型：

模型转换时支持指定网络模型的输入或输出节点的数据类型、Format，支持设置精度等。

此处的示例命令场景：针对Caffe框架ResNet50网络模型，转换后的模型输入为FP16类型，指定Pooling算子作为输出，并且该输出节点为FP16类型。

atc --framework=0 --soc_version=${soc_version} 
--model=$HOME/mod/resnet50.prototxt 
--weight=$HOME/mod/resnet50.caffemodel 
--output=$HOME/mod/out/caffe_resnet50  --input_fp16_nodes="data" 
--out_nodes="pool1:0" --output_type="pool1:0:FP16"
  • ATC工具支持设置动态BatchSize/动态分辨率：

某些推理场景，如检测出目标后再执行目标识别网络，由于目标个数不固定导致目标识别网络输入BatchSize不固定；如果每次推理都按照最大的BatchSize或最大分辨率进行计算，会造成计算资源浪费，因此，模型转换需要支持动态BatchSize和动态分辨率的设置，实际推理时，通过AscendCL接口设置本次推理所需的BatchSize和动态分辨率。

- 动态BatchSize

atc --framework=0 --soc_version=${soc_version} 
--model=$HOME/mod/resnet50.prototxt 
--weight=$HOME/mod/resnet50.caffemodel 
--output=$HOME/mod/out/caffe_resnet50 
--input_shape="data:-1,3,224,224" --dynamic_batch_size="1,2,4,8"

其中，“--input_shape ”中的“-1”表示设置动态BatchSize，具体支持哪些BatchSize由“--dynamic_batch_size”决定。

- 动态分辨率

atc --framework=0 --soc_version=${soc_version} 
--model=$HOME/mod/resnet50.prototxt 
--weight=$HOME/mod/resnet50.caffemodel 
--output=$HOME/mod/out/caffe_resnet50 
--input_shape="data:1,3,-1,-1" --dynamic_image_size="224,224;448,448"

其中，“--input_shape ”中的“-1,-1”表示设置动态分辨率，具体支持哪些分辨率由“--dynamic_image_size ”决定。

更多介绍

关于ATC工具更多参数和特性说明，请登录昇腾社区查阅：

[1]昇腾文档中心

[2]昇腾社区在线课程

[2]昇腾论坛

 

点击关注，第一时间了解华为云新鲜技术~

主流ATCspancolorstyle人工智能

有关ATC：一个能将主流开源框架模型转换为昇腾模型的神奇工具的更多相关文章

  1. ruby-on-rails - Rails - 子类化模型的设计模式是什么？ - 2

    我有一个模型:classItem项目有一个属性“商店”基于存储的值，我希望Item对象对特定方法具有不同的行为。Rails中是否有针对此的通用设计模式？如果方法中没有大的if-else语句，这是如何干净利落地完成的？ 最佳答案 通常通过Single-TableInheritance. 关于ruby-on-rails-Rails-子类化模型的设计模式是什么？，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.co

  2. ruby - 使用 Vim Rails，您可以创建一个新的迁移文件并一次性打开它吗？ - 2

    使用带有Rails插件的vim，您可以创建一个迁移文件，然后一次性打开该文件吗？textmate也可以这样吗？ 最佳答案 你可以使用rails.vim然后做类似的事情::Rgeneratemigratonadd_foo_to_bar插件将打开迁移生成的文件，这正是您想要的。我不能代表textmate。 关于ruby-使用VimRails，您可以创建一个新的迁移文件并一次性打开它吗？，我们在StackOverflow上找到一个类似的问题： https://sta

  3. ruby-on-rails - Rails - 一个 View 中的多个模型 - 2

    我需要从一个View访问多个模型。以前，我的links_controller仅用于提供以不同方式排序的链接资源。现在我想包括一个部分(我假设)显示按分数排序的顶级用户(@users=User.all.sort_by(&:score))我知道我可以将此代码插入每个链接操作并从View访问它，但这似乎不是“ruby方式”，我将需要在不久的将来访问更多模型。这可能会变得很脏，是否有针对这种情况的任何技术？注意事项:我认为我的应用程序正朝着单一格式和动态页面内容的方向发展，本质上是一个典型的网络应用程序。我知道before_filter但考虑到我希望应用程序进入的方向，这似乎很麻烦。最终从任何

  4. ruby-on-rails - 渲染另一个 Controller 的 View - 2

    我想要做的是有2个不同的Controller，client和test_client。客户端Controller已经构建，我想创建一个test_clientController，我可以使用它来玩弄客户端的UI并根据需要进行调整。我主要是想绕过我在客户端中内置的验证及其对加载数据的管理Controller的依赖。所以我希望test_clientController加载示例数据集，然后呈现客户端Controller的索引View，以便我可以调整客户端UI。就是这样。我在test_clients索引方法中试过这个:classTestClientdefindexrender:template=>

  5. ruby-on-rails - 在混合/模块中覆盖模型的属性访问器 - 2

    我有一个包含模块的模型。我想在模块中覆盖模型的访问器方法。例如:classBlah这显然行不通。有什么想法可以实现吗？ 最佳答案 您的代码看起来是正确的。我们正在毫无困难地使用这个确切的模式。如果我没记错的话，Rails使用#method_missing作为属性setter，因此您的模块将优先，阻止ActiveRecord的setter。如果您正在使用ActiveSupport::Concern(参见thisblogpost)，那么您的实例方法需要进入一个特殊的模块:classBlah

  6. ruby-on-rails - 如何验证非模型(甚至非对象)字段 - 2

    我有一个表单，其中有很多字段取自数组(而不是模型或对象)。我如何验证这些字段的存在？solve_problem_pathdo|f|%>... 最佳答案 创建一个简单的类来包装请求参数并使用ActiveModel::Validations。#definedsomewhere,atthesimplest:require'ostruct'classSolvetrue#youcouldevencheckthesolutionwithavalidatorvalidatedoerrors.add(:base,"WRONG!!!")unlesss

  7. ruby-on-rails - form_for 中不在模型中的自定义字段 - 2

    我想向我的Controller传递一个参数，它是一个简单的复选框，但我不知道如何在模型的form_for中引入它，这是我的观点:{:id=>'go_finance'}do|f|%>Transferirde:para:Entrada:"input",:placeholder=>"Quantofoiganho?"%>Saída:"output",:placeholder=>"Quantofoigasto?"%>Nota:我想做一个额外的复选框，但我该怎么做，模型中没有一个对象，而是一个要检查的对象，以便在Controller中创建一个ifelse，如果没有检查，请帮助我，非常感谢,谢谢

  8. ruby-on-rails - 如果 Object::try 被发送到一个 nil 对象，为什么它会起作用？ - 2

    如果您尝试在Ruby中的nil对象上调用方法，则会出现NoMethodError异常并显示消息:"undefinedmethod‘...’fornil:NilClass"然而，有一个tryRails中的方法，如果它被发送到一个nil对象，它只返回nil:require'rubygems'require'active_support/all'nil.try(:nonexisting_method)#noNoMethodErrorexceptionanymore那么try如何在内部工作以防止该异常？ 最佳答案 像Ruby中的所有其他对象

  9. ruby - 为什么 SecureRandom.uuid 创建一个唯一的字符串？ - 2

    关闭。这个问题需要detailsorclarity.它目前不接受答案。想改进这个问题吗？通过editingthispost添加细节并澄清问题.关闭8年前。Improvethisquestion为什么SecureRandom.uuid创建一个唯一的字符串？SecureRandom.uuid#=>"35cb4e30-54e1-49f9-b5ce-4134799eb2c0"SecureRandom.uuid方法创建的字符串从不重复？

  10. ruby-on-rails - 如何将验证与模型分开 - 2

    我有一些非常大的模型，我必须将它们迁移到最新版本的Rails。这些模型有相当多的验证(User有大约50个验证)。是否可以将所有这些验证移动到另一个文件中？说app/models/validations/user_validations.rb。如果可以，有人可以提供示例吗？ 最佳答案 您可以为此使用关注点:#app/models/validations/user_validations.rbrequire'active_support/concern'moduleUserValidationsextendActiveSupport:

随机推荐