1 程序员visonOS开发指南 作为iOS开发者，切换到visionOS开发非常简单啊，过去的一些技术基本上都用得上。目前根据苹果WWDC官方的文档，视频，我们可以知道:开发语言，使用的是swiftobject-ccc++等，swift当然作为首选。开发界面，使用的是swiftUI,如果要展示3D模型，用RealityKit. 空间计算以及交互，有ARKit。如果你只是过去的iOS应用，重新打包发布下也可以直接在visionOS上用，甚至可以直接使用iOS的软件。所以会使用swift,swiftUI,学习下ARKit,RealityKit就能够胜任visionOS应用开发。深入的vision
苹果将积极升级硬件产品规格以建构更有竞争力的VisionPro生态，UWB芯片制程规格将提高。郭明錤称，VisionPro的成功关键之一在于生态，当中包括能否与其他苹果硬件产品整合，而与此相关的主要硬件规格为Wi-Fi与UWB。iPhone15采用的UWB规格将升级，生产制程由16nm升级到更先进的7nm，有利近距离互动的效能提升或降低耗电。而iPhone16可能将升级至Wi-Fi7，更有利苹果整合同一区域网络下的硬件产品并提供更好生态体验。iPhone15UWB制程将自16nm升级至更先进的7nm，长电科技为后段SiP供应商且此升级有助提升利润。一般而言，若16nm升级至更先进的7nm，后段
一、VisionTransformer介绍Transformer的核心是“自注意力”机制。论文地址：https://arxiv.org/pdf/2010.11929.pdf自注意力（self-attention）相比卷积神经网络和循环神经网络同时具有并行计算和最短的最大路径⻓度这两个优势。因此，使用自注意力来设计深度架构是很有吸引力的。对比之前仍然依赖循环神经网络实现输入表示的自注意力模型[Chengetal.,2016,Linetal.,2017b,Paulusetal.,2017]，transformer模型完全基于注意力机制，没有任何卷积层或循环神经网络层[Vaswanietal.,20
一、VisionTransformer介绍Transformer的核心是“自注意力”机制。论文地址：https://arxiv.org/pdf/2010.11929.pdf自注意力（self-attention）相比卷积神经网络和循环神经网络同时具有并行计算和最短的最大路径⻓度这两个优势。因此，使用自注意力来设计深度架构是很有吸引力的。对比之前仍然依赖循环神经网络实现输入表示的自注意力模型[Chengetal.,2016,Linetal.,2017b,Paulusetal.,2017]，transformer模型完全基于注意力机制，没有任何卷积层或循环神经网络层[Vaswanietal.,20
2023年6月6日，苹果发布了大家期待已久的VisionPro，VisionPro是一款专业级MR设备，融合了虚拟现实(VR)和增强现实(AR)技术，可以让用户完全沉浸在高分辨率显示内容中。允许用户以一种全新的方式在其周围的空间中查看APP。用户可以用眼睛和手在APP中遨游，并通过语音进行搜索交互，可用来演示、观看音视频、成果报告、专业模型和图件等。具有以下特性：采用了高性能的MiniLED背光技术，可以实现更高的对比度和更广的色域范围，提供更加细腻、真实图像显示效果。支持高速数据传输和多种接口，包括Thunderbolt4、USB-C和HDMI2.1等，可以满足专业用户的多样化需求。
PSMNET,全称PyramidStereoMatchingNetwork是一篇2018发表在CVPR上的双目立体匹配论文。论文的作者是DepartmentofComputerScience,NationalChiaoTungUniversity的Jia-RenChang。该篇论文融合了之前一些论文的相关研究并做了一些创新。相比于之前的网络，该网络集成了更多的全局上下文信息。对一些病态区域如遮挡区域、重复图案、无纹理和反光表面，相较于之前的网络展现了更好的鲁棒性。论文链接:linkgithub链接:link文章目录一、主要贡献二、网络结构三、SPP(SpatialPyramidPoolingM
本周XR大新闻，上周Quest3发布之后，本周苹果MR头显VisionPro正式发布，也是本周AR/VR新闻的重头戏。AR方面，苹果发布VST头显VisionPro（虽然本质是台VR，但以AR场景为核心）以及visionOS；visionOSSDK月底上线；ObjectCapture支持iOS端；Kopin推出单色1英寸超大MicroLED模组。VR方面，Meta将在SIGGRAPH2023展示视网膜可变焦VR；Quest推出纯手势的虚拟键盘；惠牛发布两款Pancake新品；亿境三款产品亮相AWE2023。收购方面，苹果收购AR头显厂商Mira；Vection收购VR方案商Invrsio
主要工作为了弥合2D图像和3D空间之间的差距，在平面扫描体中建立立体对应关系，然后将其转换为3DGV（3Dgeometricvolume），以便能够对3D几何体和语义线索进行编码，并能在世界坐标系中进行目标检测。设计了一条端到端的pipeline，用于提取像素级特征以进行立体匹配，并提取高级特征以进行对象识别。所提出的网络联合估计场景深度和目标检测，实现了许多实际应用。3DGV：3DGV定义在世界坐标系中，由构造在相机截锥中的平面扫描体(PSV)转换而来。在PSV中可以很好地学习像素对应约束进行深度估计，而真实世界目标目标检测可以在3DGV学习。该结构体是完全可微的，因此可以联合优化学习立体匹
论文阅读：SwinTransformer:HierarchicalVisionTransformerusingShiftedWindows今天学习的论文是ICCV2021的bestpaper，SwinTransformer，可以说是transformer在CV领域的一篇里程碑式的工作。文章的标题是一种基于移动窗口的层级visiontransformer。文章的作者都来自微软亚研院。Abstract文章的作者在摘要一开始就说他们提出了一种新的visiontransformer，叫做swintransformer，能够作为视觉任务的通用骨干网络。然后作者说将transformer从NLP领域迁移到
SeparableSelf-attentionforMobileVisionTransformersAbstract移动视觉transformer(MobileViT)可以在多个移动视觉任务中实现最先进的性能，包括分类和检测。虽然这些模型的参数较少，但与基于卷积神经网络的模型相比，它们具有较高的延迟。MobileViT的主要效率瓶颈是transformer中的多头自我注意(MHA)，相对于令牌(或补丁)的数量k，它需要O(k2)O(k^2)O(k2)的时间复杂度。此外，MHA需要昂贵的操作(例如，批量矩阵乘法)来计算自我注意，影响资源受限设备的延迟。本文介绍了一种具有线性复杂度的可分离自注意方
