草庐IT

RKNN-Toolkit

全部标签

yolov8 瑞芯微 RKNN 的 C++部署

  上一篇博客yolov8瑞芯微RKNN和地平线Horizon芯片仿真测试部署写了在rknn模型的转换与PC端仿真测试,有网友希望写一篇在板子上部署的博文和开源提供C++代码。这一篇基于rknn板子进行C++部署,并开源提供完整的源代码和模型,供网友自行进行测试验证。特别说明:如有侵权告知删除,谢谢。【完整代码】代码和模型1、rknn模型准备  onnx转rknn模型这一步就不再赘述,请参考上一篇”yolov8瑞芯微RKNN和地平线Horizon芯片仿真测试部署“。上一篇提供了完整的模型和代码,如果仅仅是想验证模型,可以直接拿提供的rknn模型进行后续的步骤,本篇也是基于上一篇转好的rknn模

Unity VR开发教程 OpenXR+XR Interaction Toolkit (一) 安装和配置

文章目录📕前言❓什么是OpenXR❓什么是XRInteractionToolkit📕教程说明📕第一步:导入OpenXR📕第二步:导入XRInteractionToolkit⭐导入StarterAssets⭐添加Preset⭐设置PresetManager的Filter📕第三步:添加XROrigin和XRInteractionManager📕第四步:添加InputActionManager脚本📕结语📕前言OpenXR+XRInteractionToolkit是Unity当前开发VR的一套比较通用且方便的解决方案。❓什么是OpenXR近几年XR(VR/AR)行业的发展非常迅速,制造XR设备的厂商层

Unity VR开发教程 OpenXR+XR Interaction Toolkit (一) 安装和配置

文章目录📕前言❓什么是OpenXR❓什么是XRInteractionToolkit📕教程说明📕第一步:导入OpenXR📕第二步:导入XRInteractionToolkit⭐导入StarterAssets⭐添加Preset⭐设置PresetManager的Filter📕第三步:添加XROrigin和XRInteractionManager📕第四步:添加InputActionManager脚本📕结语📕前言OpenXR+XRInteractionToolkit是Unity当前开发VR的一套比较通用且方便的解决方案。❓什么是OpenXR近几年XR(VR/AR)行业的发展非常迅速,制造XR设备的厂商层

Unity之OpenXR+XR Interaction Toolkit接入HTC Vive

一.前言目前VR领域,最流行的设备要当属HTCVIVE了。以前在Unity端接入HTCVIVE设备时,都是通过SteamVR+VRTK来接入的。但是随着Unity的版本升级和OpenXR标准的流行,再加上VR设备的逐渐增多。SteamVR+VRTK的方式已经无法更好的满足大家的需求。我今天为大家分享的就是,如何基于Unity2020或Unity2021,通过OpenXR标准来接入VR,可以同时适配所有的VR设备,包括HTCViVE,Pico,Occlus等,今后不管什么设备只要API是符合OpenXR标准,我们就可以通过Unity的OpenXR方式接入,而且接入流程非常简单,使用起来也比之前S

Unity VR 开发教程 OpenXR+XR Interaction Toolkit(八)手指触控 Poke Interaction

文章目录📕教程说明📕XRPokeInteractor📕与UI进行触控交互⭐添加TrackedDeviceGraphicRaycaster和XRUIInputModule让UI可被交互📕与物体进行交互⭐XRSimpleInteractable⭐XRPokeFilter往期回顾:UnityVR开发教程OpenXR+XRInteractionToolkit(一)安装和配置UnityVR开发教程OpenXR+XRInteractionToolkit(二)手部动画UnityVR开发教程OpenXR+XRInteractionToolkit(三)转向和移动UnityVR开发教程OpenXR+XRInter

VRIK+Unity XR Interaction Toolkit 实现VR上半身的追踪(附带VRM模型导入Unity方法和手腕扭曲的解决方法)

文章目录📕第一步:配置OpenXR+XRInteractionToolkit的开发环境📕第二步:导入人物模型⭐VRM模型导入Unity的方法📕第三步:配置VRIK⭐给模型加上VRIK组件⭐将模型的头部和手部的位置作为VR追踪目标的子物体⭐添加VRIK的IKTarget📕调整IK位置📕使用TwistRelaxer缓解手腕扭曲的问题IK(反向动力学)有利于提升VR应用中的沉浸感,我们可以通过IK实现VR中全身模型的追踪。本篇教程将基于Unity的XRInteractionToolkit和FinalIK插件中的VRIK功能介绍如何模拟VR中人物上半身的运动,特别是手臂和手肘的姿态。XRInterac

VRIK+Unity XR Interaction Toolkit 实现VR上半身的追踪(附带VRM模型导入Unity方法和手腕扭曲的解决方法)

文章目录📕第一步:配置OpenXR+XRInteractionToolkit的开发环境📕第二步:导入人物模型⭐VRM模型导入Unity的方法📕第三步:配置VRIK⭐给模型加上VRIK组件⭐将模型的头部和手部的位置作为VR追踪目标的子物体⭐添加VRIK的IKTarget📕调整IK位置📕使用TwistRelaxer缓解手腕扭曲的问题IK(反向动力学)有利于提升VR应用中的沉浸感,我们可以通过IK实现VR中全身模型的追踪。本篇教程将基于Unity的XRInteractionToolkit和FinalIK插件中的VRIK功能介绍如何模拟VR中人物上半身的运动,特别是手臂和手肘的姿态。XRInterac

(一)模型量化与RKNN模型部署

文章目录1.计算平台运算能力评估2.模型量化原因3.模型量化方式3.1基本原理3.1.1int83.1.2.uint83.2量化分类4.模型量化方法4.1Per-Layer/Per-Tensor4.2Per-Channel5.RockchipNPU相关5.1数据排列方式5.2`rknn_output`设置`want_float`5.3开发板上组件版本查询方法参考资料欢迎访问个人网络日志🌹🌹知行空间🌹🌹1.计算平台运算能力评估深度学习模型部署运算量的衡量使用的是乘累加运算次数MAC,MultiplyAccumulate,形如:a←a+b+ca\leftarrowa+b+ca←a+b+c硬件的运算

RKNN模型训练转换部署

1.背景做了一个手机版本的人流量计数,显然不能最终真实环境实施,因为数据集不够,并且硬件还需要搭载其他设备,所以使用的是安卓工控机,但推理速度非常慢,接近500ms,换一个好的CPU,比如3568工控机等,速度也是在150ms左右,但是发现了Firefly相关文档,瑞芯微,可以用NPU做计算,那开始吧。2.先快速体验一下NPUROC-RK3568-PC板子这是一款次旗舰级,3588性能会更高,目前使用的3568做的开发。rknn-toolkit主要是针对RK1808/RK1806/RV1109/RV1126,对应需要的库地址rknpu,所以这个忽略,使用下面的工具。rknn-toolkit2主

RKNN模型训练转换部署

1.背景做了一个手机版本的人流量计数,显然不能最终真实环境实施,因为数据集不够,并且硬件还需要搭载其他设备,所以使用的是安卓工控机,但推理速度非常慢,接近500ms,换一个好的CPU,比如3568工控机等,速度也是在150ms左右,但是发现了Firefly相关文档,瑞芯微,可以用NPU做计算,那开始吧。2.先快速体验一下NPUROC-RK3568-PC板子这是一款次旗舰级,3588性能会更高,目前使用的3568做的开发。rknn-toolkit主要是针对RK1808/RK1806/RV1109/RV1126,对应需要的库地址rknpu,所以这个忽略,使用下面的工具。rknn-toolkit2主