草庐IT

AI 模型编译器 MegCC 开源,解决推理引擎体积问题

目前社区已经有多个移动端深度学习推理框架,如:NCNN、MNN...这些推理引擎都给社区的用户带来了在移动端上部署深度学习非常多的便利,但是他们也都有一个共性问题:随着不断地迭代以及性能优化,运行时库会逐渐的增大,特别是在不同算子fuse的时候,会导致非常多的长尾算子,这就会增大我们App或者SDK的体积。为了解决这个问题,由 MegEngine 团队开源的MegCC创新使用模型预编译的方案,生成模型推理必要的代码,去除掉了和模型推理无关的代码,因此极大程度上减少了推理引擎的体积。主要方法是:将传统框架运行时的必要步骤:计算图优化、Kernel选择、内存分配都移到编译时,从而最大程度上减少了R

AI 模型编译器 MegCC 开源,解决推理引擎体积问题

目前社区已经有多个移动端深度学习推理框架,如:NCNN、MNN...这些推理引擎都给社区的用户带来了在移动端上部署深度学习非常多的便利,但是他们也都有一个共性问题:随着不断地迭代以及性能优化,运行时库会逐渐的增大,特别是在不同算子fuse的时候,会导致非常多的长尾算子,这就会增大我们App或者SDK的体积。为了解决这个问题,由 MegEngine 团队开源的MegCC创新使用模型预编译的方案,生成模型推理必要的代码,去除掉了和模型推理无关的代码,因此极大程度上减少了推理引擎的体积。主要方法是:将传统框架运行时的必要步骤:计算图优化、Kernel选择、内存分配都移到编译时,从而最大程度上减少了R

MegCC 新版本来啦!新增 Benchmark 等工具,性能大幅提升!

最新版MegCC新鲜出炉,新工具,新体验,本次版本针对用户使用体验以及模型推理性能进行全面提升,主要的提升包括:新增Benchmark工具,用于用于快速Benchmark常用模型的推理性能并可视化;新增KernelC代码导出工具,方便用户定制化获取算子Kernel,方便迁移与复用;优化NNKernel性能,保持推理SDK性能先进;支持第三方NPUloader,方便NPU相关应用迁移。下面展开介绍下最新版MegCC的新功能以及新特点:一、MegCCBenchmark新版MegCC支持了基础的Benchmark模块用于测试各类模型的推理性能,获取推理时各个Kernel的性能数据,分析模型性能瓶颈。

MegCC 新版本来啦!新增 Benchmark 等工具,性能大幅提升!

最新版MegCC新鲜出炉,新工具,新体验,本次版本针对用户使用体验以及模型推理性能进行全面提升,主要的提升包括:新增Benchmark工具,用于用于快速Benchmark常用模型的推理性能并可视化;新增KernelC代码导出工具,方便用户定制化获取算子Kernel,方便迁移与复用;优化NNKernel性能,保持推理SDK性能先进;支持第三方NPUloader,方便NPU相关应用迁移。下面展开介绍下最新版MegCC的新功能以及新特点:一、MegCCBenchmark新版MegCC支持了基础的Benchmark模块用于测试各类模型的推理性能,获取推理时各个Kernel的性能数据,分析模型性能瓶颈。