摘要：本文就带大家了解在昇腾平台上对TensorFlow训练网络进行性能调优的常用手段。
本文分享自华为云社区《在昇腾平台上对TensorFlow网络进行性能调优》，作者：昇腾CANN 。
用户将TensorFlow训练网络迁移到昇腾平台后，如果存在性能不达标的问题，就需要进行调优。本文就带大家了解在昇腾平台上对TensorFlow训练网络进行性能调优的常用手段。
首先了解下性能调优的全流程：
当TensorFlow训练网络性能不达标时，首先可尝试昇腾平台提供的“三板斧”操作，即上图中的“基本提升手段”：使能自动混合精度 > 进行亲和接口的替换 > 使能训练迭代循环下沉 > 使用AOE工具进行调优。
基本调优操作完成后，需要再次执行模型训练并评估性能，如果性能达标了，调优即可结束；如果未达标，需要使用Profling工具采集详细的性能数据进一步分析，从而找到性能瓶颈点，并进一步针对性的解决，这部分调优操作需要用户有一定的经验，难度相对较大，我们将这部分调优操作称为进阶调优。
本文主要带大家详细了解基本调优操作，即上图中的灰色底纹部分。
混合精度是业内通用的性能提升方式，通过降低部分计算精度提升数据计算的并行度。混合计算训练方法通过混合使用float16和float32数据类型来加速深度神经网络的训练过程，并减少内存使用和存取，从而可以提升训练网络性能，同时又能基本保证使用float32训练所能达到的网络精度。
Ascend平台提供了“precision_mode”参数用于配置网络的精度模式，用户可以在训练脚本的运行配置中添加此参数，并将取值配置为“allow_mix_precision”，从而使能自动混合精度，下面以手工迁移的训练脚本为例，介绍配置方法。
npu_config=NPURunConfig(
model_dir=FLAGS.model_dir,
save_checkpoints_steps=FLAGS.save_checkpoints_steps, session_config=tf.ConfigProto(allow_soft_placement=True,log_device_placement=False),
precision_mode="allow_mix_precision"
)config = tf.ConfigProto(allow_soft_placement=True)
custom_op = config.graph_options.rewrite_options.custom_optimizers.add()
custom_op.name = "NpuOptimizer"
custom_op.parameter_map["use_off_line"].b = True
custom_op.parameter_map["precision_mode"].s = tf.compat.as_bytes("allow_mix_precision")
…
with tf.Session(config=config) as sess:
print(sess.run(cost))针对TensorFlow训练网络中的dropout、gelu接口，Ascend平台提供了硬件亲和的替换接口，从而使网络获得更优性能。
layers = npu_ops.dropout()from npu_bridge.estimator.npu import npu_convert_dropout例如，TensorFlow原始代码：
迁移后的代码：
from npu_bridge.estimator.npu_unary_ops import npu_unary_ops
layers = npu_unary_ops.gelu(x)训练迭代循环下沉是指在Host调用一次，在Device执行多次迭代，从而减少Host与Device间的交互次数，缩短训练时长。用户可通过iterations_per_loop参数指定训练迭代的次数，该参数取值大于1即可使能训练迭代循环下沉的特性。
使用该特性时，要求训练脚本使用TF Dataset方式读数据，并开启数据预处理下沉，即enable_data_pre_proc开关配置为True，例如sess.run配置示例如下：
custom_op.parameter_map["enable_data_pre_proc"].b = True其他使用约束，用户可参见昇腾文档中心的《TensorFlow模型迁移和训练指南》。
Estimator模式下，通过NPURunConfig中的iterations_per_loop参数配置训练迭代循环下沉的示例如下：
session_config=tf.ConfigProto(allow_soft_placement=True)
config = NPURunConfig(session_config=session_config, iterations_per_loop=10)昇腾平台提供了AOE自动调优工具，可对网络进行子图调优、算子调优与梯度调优，生成最优调度策略，并将最优调度策略固化到知识库。模型再次训练时，无需开启调优，即可享受知识库带来的收益。
建议按照如下顺序使用AOE工具进行调优：
训练场景下使能AOE调优有两种方式：
# 1：子图调优
# 2：算子调优
# 4：梯度调优
export AOE_MODE=2sess.run模式，训练脚本修改方法如下：
custom_op.parameter_map["aoe_mode"].s = tf.compat.as_bytes("2")estimator模式下，训练脚本修改方法如下：
config = NPURunConfig(
session_config=session_config,
aoe_mode=2)以上就是TensorFlow网络在昇腾平台上进行性能调优的常见手段。关于更多文档介绍，可以在昇腾文档中心查看，您也可在昇腾社区在线课程板块学习视频课程，学习过程中的任何疑问，都可以在昇腾论坛互动交流！
[1]昇腾文档中心
[2]昇腾社区在线课程
[3]昇腾论坛
很好奇，就使用rubyonrails自动化单元测试而言，你们正在做什么？您是否创建了一个脚本来在cron中运行rake作业并将结果邮寄给您？git中的预提交Hook？只是手动调用？我完全理解测试，但想知道在错误发生之前捕获错误的最佳实践是什么。让我们理所当然地认为测试本身是完美无缺的，并且可以正常工作。下一步是什么以确保他们在正确的时间将可能有害的结果传达给您？ 最佳答案 不确定您到底想听什么，但是有几个级别的自动代码库控制:在处理某项功能时，您可以使用类似autotest的内容获得关于哪些有效，哪些无效的即时反馈。要确保您的提
在控制台中反复尝试之后，我想到了这种方法，可以按发生日期对类似activerecord的(Mongoid)对象进行分组。我不确定这是完成此任务的最佳方法，但它确实有效。有没有人有更好的建议，或者这是一个很好的方法？#eventsisanarrayofactiverecord-likeobjectsthatincludeatimeattributeevents.map{|event|#converteventsarrayintoanarrayofhasheswiththedayofthemonthandtheevent{:number=>event.time.day,:event=>ev
我正在编写一个包含C扩展的gem。通常当我写一个gem时，我会遵循TDD的过程，我会写一个失败的规范，然后处理代码直到它通过，等等......在“ext/mygem/mygem.c”中我的C扩展和在gemspec的“扩展”中配置的有效extconf.rb，如何运行我的规范并仍然加载我的C扩展？当我更改C代码时，我需要采取哪些步骤来重新编译代码？这可能是个愚蠢的问题，但是从我的gem的开发源代码树中输入“bundleinstall”不会构建任何native扩展。当我手动运行rubyext/mygem/extconf.rb时，我确实得到了一个Makefile(在整个项目的根目录中)，然后当
这是一道面试题，我没有答对，但还是很好奇怎么解。你有N个人的大家庭，分别是1,2,3,...,N岁。你想给你的大家庭拍张照片。所有的家庭成员都排成一排。“我是家里的friend，建议家庭成员安排如下:”1岁的家庭成员坐在这一排的最左边。每两个坐在一起的家庭成员的年龄相差不得超过2岁。输入:整数N，1≤N≤55。输出:摄影师可以拍摄的照片数量。示例->输入:4，输出:4符合条件的数组:[1,2,3,4][1,2,4,3][1,3,2,4][1,3,4,2]另一个例子:输入:5输出:6符合条件的数组:[1,2,3,4,5][1,2,3,5,4][1,2,4,3,5][1,2,4,5,3][
我已经构建了一些serverspec代码来在多个主机上运行一组测试。问题是当任何测试失败时，测试会在当前主机停止。即使测试失败，我也希望它继续在所有主机上运行。Rakefile:namespace:specdotask:all=>hosts.map{|h|'spec:'+h.split('.')[0]}hosts.eachdo|host|begindesc"Runserverspecto#{host}"RSpec::Core::RakeTask.new(host)do|t|ENV['TARGET_HOST']=hostt.pattern="spec/cfengine3/*_spec.r
我们的git存储库中目前有一个Gemfile。但是，有一个gem我只在我的环境中本地使用(我的团队不使用它)。为了使用它，我必须将它添加到我们的Gemfile中，但每次我checkout到我们的master/dev主分支时，由于与跟踪的gemfile冲突，我必须删除它。我想要的是类似Gemfile.local的东西，它将继承从Gemfile导入的gems，但也允许在那里导入新的gems以供使用只有我的机器。此文件将在.gitignore中被忽略。这可能吗？ 最佳答案 设置BUNDLE_GEMFILE环境变量:BUNDLE_GEMFI
这似乎非常适得其反，因为太多的gem会在window上破裂。我一直在处理很多mysql和ruby-mysqlgem问题(gem本身发生段错误，一个名为UnixSocket的类显然在Windows机器上不能正常工作，等等)。我只是在浪费时间吗？我应该转向不同的脚本语言吗？ 最佳答案 我在Windows上使用Ruby的经验很少，但是当我开始使用Ruby时，我是在Windows上，我的总体印象是它不是Windows原生系统。因此，在主要使用Windows多年之后，开始使用Ruby促使我切换回原来的系统Unix，这次是Linux。Rub
我想在Ruby中创建一个用于开发目的的极其简单的Web服务器(不，不想使用现成的解决方案)。代码如下:#!/usr/bin/rubyrequire'socket'server=TCPServer.new('127.0.0.1',8080)whileconnection=server.acceptheaders=[]length=0whileline=connection.getsheaders想法是从命令行运行这个脚本，提供另一个脚本，它将在其标准输入上获取请求，并在其标准输出上返回完整的响应。到目前为止一切顺利，但事实证明这真的很脆弱，因为它在第二个请求上中断并出现错误:/usr/b
网络编程套接字网络编程基础知识理解源`IP`地址和目的`IP`地址理解源MAC地址和目的MAC地址认识端口号理解端口号和进程ID理解源端口号和目的端口号认识`TCP`协议认识`UDP`协议网络字节序socket编程接口`sockaddr``UDP`网络程序服务器端代码逻辑：需要用到的接口服务器端代码`udp`客户端代码逻辑`udp`客户端代码`TCP`网络程序服务器代码逻辑多个版本服务器单进程版本多进程版本多线程版本线程池版本服务器端代码客户端代码逻辑客户端代码TCP协议通讯流程TCP协议的客户端/服务器程序流程三次握手（建立连接）数据传输四次挥手（断开连接）TCP和UDP对比网络编程基础知识
我有一个像这样的ruby类:require'logger'classTdefdo_somethinglog=Logger.new(STDERR)log.info("Hereisaninfomessage")endend测试脚本行如下:#!/usr/bin/envrubygem"minitest"require'minitest/autorun'require_relative't'classTestMailProcessorClasses当我运行这个测试时，out和err都是空字符串。我看到消息打印在stderr上(在终端上)。有没有办法让Logger和capture_io一起玩得