草庐IT

日调用量超600亿次,HMS Core HiAI Foundation助力AI应用高效开发

HMS Core 2023-03-28 原文

随着新技术的不断演进,人工智能已经广泛地应用到教育、金融、物流、零售、交通、医疗等各个领域。而在AI高速发展的当下,高效开发变得更为重要,如何将创意想法与AI技术深度融合,迅速转化为可落地的AI应用,是开发者在激烈竞争中制胜的关键。

为了助力开发者快速上线AI业务,为消费者提供创新AI体验,HMS Core HiAI Foundation将HiAI 生态中的底层硬件能力开放,为开发者提供了300多个具备业界优质模型兼容性的AI算子,让开发者更简单快捷地应用华为AI能力,快速构建智能AI应用。

此外,HUAWEI HiAI Foundation还推出端云协同、多IP深度协同、自主调优工具包、Model Zoo等多种解决方案和能力,为众多业务场景打造更高性能更低功耗的计算环境,助力开发者快速开发和部署AI应用。

五大性能优势,助力开发者高效灵活开发

• 端云协同:针对新业务场景算子以及已有典型业务场景算子,提供性能优化、快速升级平台能力的解决方案

当前,AI业务和算法模型都在持续快速演进,AI计算平台适配新业务和新算法快速升级成为难题。端云协同具备快速升级端侧计算库的能力,助力开发者快速支持新模型、上线新业务,让消费者快速获得端侧AI带来的体验提升。

• Model Zoo:辅助开发者优化模型结构,更好地利用NPU加速优势

开发者在业务开发过程中,为了更大程度利用底层算力,需要针对底层硬件结构做一些模型调整,这个过程可能会出现效率低,资源利用不足的情况。HiAI Foundation打造Model Zoo,将NPU友好的模型结构、Backbone、算子放进去,供开发者自行挑选,辅助其优化模型结构,更好地发挥麒麟芯片NPU的加速优势。

• 模型量化工具包:让开发者的App更快、更小

正常情况下,开发者训练的模型是32bit,这样的模型计算精度固然高,但对手机功耗和内存的要求也比较高。HiAI Foundation为开发者提供模型量化工具包,在满足计算精度的前提下,可以把原始模型直接量化为更小、更轻便且更适合NPU结构的低比特模型,无需开发者做二次调整,从而节省手机空间,降低计算资源的消耗。


HiAI Foundation模型量化工具包

• 网络结构搜索工具包:让网络设计更简单、更有效

网络结构搜索工具包支持多种类型的网络结构搜索任务,包含分类,检测和分割。通过精度,性能目标牵引,协同硬件信息通过最优化搜索算法获得最优的网络结构,得到最佳的性能提升。网络结构搜索工具包支持多种主流训练框架使能,包含:caffe,tensorflow,pytorch。同时针对多种主流硬件平台具有算力和时延建模的能力。


HiAI Foundation网络结构搜索工具包

• 多IP深度协同:各计算单元共用DDR内存,提升性能降低功耗

HiAI Foundation在硬件裸算力开放的同时,还具备硬件底层多IP深度协同的优势。多IP深度协同的好处在于,CPU、NPU、ISP、GPU等各计算IP可以共用DDR内存,最大程度减少IP之间拷贝数据流转的开销,既可提升性能又能降低功耗。

从平台架构来看,HMS Core HiAI Foundation衔接智慧业务和底层硬件能力,上层支持MNN、TNN、华为MindSpore Lite、Paddle Lite、KwaiNN等合作伙伴的框架对接,利用推理加速平台(Foundation DDK)和异构计算平台(Foundation HCL)将AI任务调入NPU/CPU/GPU/DSP等IP中进行计算,赋能手机、平板、智慧屏、车机、手表等终端设备,将更多好玩酷炫的AI应用带到消费者面前。


HiAI Foundation 开放架构

日调用量突破600亿,引领端侧AI行业标准构筑

如今,AI技术在端侧的应用越来越广泛,语音识别、图像识别、图像分割、图像超分、人脸识别、文字识别等已经成为全民通用的技术,消费者期待更好玩的AI应用出现,希望获得更优质的AI应用体验。HiAI Foundation为AI应用开发提供了基础保障,让开发者能够突破性能瓶颈,提高开发效率,节省计算资源,更好地投入到AI玩法的研究与落地中,满足消费者对智慧生活的美好期待。

据统计, HiAI Foundation自2018年开放以来,以高性能、低功耗、高易用性收获越来越多的开发者青睐,短短几年间日调用量从100万+增长到600亿+(数据来自参与体验改进计划的用户)。爱奇艺、美颜相机、抖音、剪映、快手、优酷等头部应用已先后接入HiAI Foundation,利用端侧AI强大的计算能力,为用户打造智能新体验。


HiAI Foundation日调用量突破600亿+

为了助力端侧AI行业繁荣发展,HiAI Foundation在优化平台性能的同时,已加入AI标准化组织AITISA(人工智能产业技术创新战略联盟),并参与端侧AI标准草案撰写,共同构筑AI行业标准,目前该草案已进入标准定稿审核阶段。

更多HiAI Foundation相关信息,请关注5月24日HUAWEI Developer Day(简称HDD)-HiAI Foundation主题演讲,你也可以登录华为开发者联盟官网>HMS Core>HiAI Foundation查看。

了解更多详情>>

访问华为开发者联盟官网
获取开发指导文档
华为移动服务开源仓库地址:GitHubGitee

关注我们,第一时间了解 HMS Core 最新技术资讯~

有关日调用量超600亿次,HMS Core HiAI Foundation助力AI应用高效开发的更多相关文章

  1. ruby - 将差异补丁应用于字符串/文件 - 2

    对于具有离线功能的智能手机应用程序,我正在为Xml文件创建单向文本同步。我希望我的服务器将增量/差异(例如GNU差异补丁)发送到目标设备。这是计划:Time=0Server:hasversion_1ofXmlfile(~800kiB)Client:hasversion_1ofXmlfile(~800kiB)Time=1Server:hasversion_1andversion_2ofXmlfile(each~800kiB)computesdeltaoftheseversions(=patch)(~10kiB)sendspatchtoClient(~10kiBtransferred)Cl

  2. ruby - 使用 C 扩展开发 ruby​​gem 时,如何使用 Rspec 在本地进行测试? - 2

    我正在编写一个包含C扩展的gem。通常当我写一个gem时,我会遵循TDD的过程,我会写一个失败的规范,然后处理代码直到它通过,等等......在“ext/mygem/mygem.c”中我的C扩展和在gemspec的“扩展”中配置的有效extconf.rb,如何运行我的规范并仍然加载我的C扩展?当我更改C代码时,我需要采取哪些步骤来重新编译代码?这可能是个愚蠢的问题,但是从我的gem的开发源代码树中输入“bundleinstall”不会构建任何native扩展。当我手动运行rubyext/mygem/extconf.rb时,我确实得到了一个Makefile(在整个项目的根目录中),然后当

  3. ruby-on-rails - Rails 应用程序之间的通信 - 2

    我构建了两个需要相互通信和发送文件的Rails应用程序。例如,一个Rails应用程序会发送请求以查看其他应用程序数据库中的表。然后另一个应用程序将呈现该表的json并将其发回。我还希望一个应用程序将存储在其公共(public)目录中的文本文件发送到另一个应用程序的公共(public)目录。我从来没有做过这样的事情,所以我什至不知道从哪里开始。任何帮助,将不胜感激。谢谢! 最佳答案 无论Rails是什么,几乎所有Web应用程序都有您的要求,大多数现代Web应用程序都需要相互通信。但是有一个小小的理解需要你坚持下去,网站不应直接访问彼此

  4. ruby - 无法运行 Rails 2.x 应用程序 - 2

    我尝试运行2.x应用程序。我使用rvm并为此应用程序设置其他版本的ruby​​:$rvmuseree-1.8.7-head我尝试运行服务器,然后出现很多错误:$script/serverNOTE:Gem.source_indexisdeprecated,useSpecification.Itwillberemovedonorafter2011-11-01.Gem.source_indexcalledfrom/Users/serg/rails_projects_terminal/work_proj/spohelp/config/../vendor/rails/railties/lib/r

  5. ruby-on-rails - Rails 应用程序中的 Rails : How are you using application_controller. rb 是新手吗? - 2

    刚入门rails,开始慢慢理解。有人可以解释或给我一些关于在application_controller中编码的好处或时间和原因的想法吗?有哪些用例。您如何为Rails应用程序使用应用程序Controller?我不想在那里放太多代码,因为据我了解,每个请求都会调用此Controller。这是真的? 最佳答案 ApplicationController实际上是您应用程序中的每个其他Controller都将从中继承的类(尽管这不是强制性的)。我同意不要用太多代码弄乱它并保持干净整洁的态度,尽管在某些情况下ApplicationContr

  6. ruby-on-rails - 如何在我的 Rails 应用程序 View 中打印 ruby​​ 变量的内容? - 2

    我是一个Rails初学者,但我想从我的RailsView(html.haml文件)中查看Ruby变量的内容。我试图在ruby​​中打印出变量(认为它会在终端中出现),但没有得到任何结果。有什么建议吗?我知道Rails调试器,但更喜欢使用inspect来打印我的变量。 最佳答案 您可以在View中使用puts方法将信息输出到服务器控制台。您应该能够在View中的任何位置使用Haml执行以下操作:-puts@my_variable.inspect 关于ruby-on-rails-如何在我的R

  7. Ruby Sinatra 配置用于生产和开发 - 2

    我已经在Sinatra上创建了应用程序,它代表了一个简单的API。我想在生产和开发上进行部署。我想在部署时选择,是开发还是生产,一些方法的逻辑应该改变,这取决于部署类型。是否有任何想法,如何完成以及解决此问题的一些示例。例子:我有代码get'/api/test'doreturn"Itisdev"end但是在部署到生产环境之后我想在运行/api/test之后看到ItisPROD如何实现? 最佳答案 根据SinatraDocumentation:EnvironmentscanbesetthroughtheRACK_ENVenvironm

  8. ruby - 是否可以覆盖 gemfile 进行本地开发? - 2

    我们的git存储库中目前有一个Gemfile。但是,有一个gem我只在我的环境中本地使用(我的团队不使用它)。为了使用它,我必须将它添加到我们的Gemfile中,但每次我checkout到我们的master/dev主分支时,由于与跟踪的gemfile冲突,我必须删除它。我想要的是类似Gemfile.local的东西,它将继承从Gemfile导入的gems,但也允许在那里导入新的gems以供使用只有我的机器。此文件将在.gitignore中被忽略。这可能吗? 最佳答案 设置BUNDLE_GEMFILE环境变量:BUNDLE_GEMFI

  9. ruby - 在 Windows 机器上使用 Ruby 进行开发是否会适得其反? - 2

    这似乎非常适得其反,因为太多的gem会在window上破裂。我一直在处理很多mysql和ruby​​-mysqlgem问题(gem本身发生段错误,一个名为UnixSocket的类显然在Windows机器上不能正常工作,等等)。我只是在浪费时间吗?我应该转向不同的脚本语言吗? 最佳答案 我在Windows上使用Ruby的经验很少,但是当我开始使用Ruby时,我是在Windows上,我的总体印象是它不是Windows原生系统。因此,在主要使用Windows多年之后,开始使用Ruby促使我切换回原来的系统Unix,这次是Linux。Rub

  10. ruby-on-rails - 在 Rails 开发环境中为 .ogv 文件设置 Mime 类型 - 2

    我正在玩HTML5视频并且在ERB中有以下片段:mp4视频从在我的开发环境中运行的服务器很好地流式传输到chrome。然而firefox显示带有海报图像的视频播放器,但带有一个大X。问题似乎是mongrel不确定ogv扩展的mime类型,并且只返回text/plain,如curl所示:$curl-Ihttp://0.0.0.0:3000/pr6.ogvHTTP/1.1200OKConnection:closeDate:Mon,19Apr201012:33:50GMTLast-Modified:Sun,18Apr201012:46:07GMTContent-Type:text/plain

随机推荐