草庐IT

Meta-Learning

全部标签

【新】Unity Meta Quest MR 开发(一):Passthrough 透视配置

文章目录📕教程说明📕配置透视的串流调试功能📕第一步:设置OVRManager📕第二步:添加OVRPassthroughLayer脚本📕第三步:在场景中添加虚拟物体📕第四步:设置相机📕第五步(可选):删除场景中的天空盒此教程相关的详细教案,文档,思维导图和工程文件会放入SpatialXR社区。这是一个高质量XR社区,博主目前在内担任XR开发的讲师。此外,该社区提供教程答疑、及时交流、进阶教程、外包、行业动态等服务。社区链接:SpatialXR高级社区(知识星球)SpatialXR高级社区(爱发电)📕教程说明这期教程我将会介绍如何在Unity中,利用MetaXRSDK,去配置MetaQuest中的

论文阅读<Contrastive Learning-based Robust Object Detection under Smoky Conditions>

论文链接:https://openaccess.thecvf.com/content/CVPR2022W/UG2/papers/Wu_Contrastive_Learning-Based_Robust_Object_Detection_Under_Smoky_Conditions_CVPRW_2022_paper.pdfAbstract        目标检测是指有效地找出图像中感兴趣的目标,然后准确地确定它们的类别和位置。近年来,许多优秀的方法被开发出来,以提供强大的检测能力。然而,在恶劣天气如烟熏条件下,它们的性能可能会显著降低。在这篇论文基于对比下学习提出了一个鲁棒的烟雾图像目标检测算法

Mistral AI vs. Meta:顶级开源LLM比较

为了提高性能,大型语言模型(llm)通常会通过增加模型大小的方法来实现这个目标,但是模型大小的增加也增加了计算成本和推理延迟,增加了在实际场景中部署和使用llm的障碍。MistralAI是一家总部位于巴黎的欧洲公司,一直在研究如何提高模型性能,同时减少为实际用例部署llm所需的计算资源。Mistral7B是他们创建的最小的LLM,它为传统的Transformer架构带来了两个新概念,Group-QueryAttention(GQA)和SlidingWindowAttention(SWA)。这些组件加快了推理速度,减少了解码过程中的内存需求,从而实现了更高的吞吐量和处理更长的令牌序列的能力。此外

【论文阅读笔记】Multi-Modal Learning With Missing Modality via Shared-Specific Feature Modelling

WangH,ChenY,MaC,etal.Multi-ModalLearningWithMissingModalityviaShared-SpecificFeatureModelling[C]//ProceedingsoftheIEEE/CVFConferenceonComputerVisionandPatternRecognition.2023:15878-15887.【论文概述】本文的核心思想是提出一种名为“共享-特定特征建模(ShaSpec)”的方法,用于处理多模态学习中的缺失模态问题。该方法在训练和评估期间利用所有可用的输入模态,通过学习共享和特定的特征来更好地表示输入数据。这是通过基

【论文阅读笔记】Local and Central Differential Privacy for Robustness and Privacy in Federated Learning

个人阅读笔记,如有错误欢迎指出!会议:NDSS2022        [2009.03561]LocalandCentralDifferentialPrivacyforRobustnessandPrivacyinFederatedLearning(arxiv.org)问题:        尽管联邦学习能在一定程度上保护数据隐私,但也存在隐私和鲁棒性漏洞主要贡献:        首次发现LDP和CDP都可以抵御后门攻击        发现仅在FL的非攻击者上应用LDP可以提高后门攻击的准确性        LDP和CDP可以防止(白盒)成员推断        LDP与CDP均不能防御属性推断攻击

Unity Meta Quest 一体机开发(九):【手势追踪】通过录制抓取手势实现自定义抓取姿势

文章目录📕教程说明📕录制前的准备📕第一种录制方法(HandGrabPoseTool场景)⭐在运行模式中确认录制⭐保存录制的手势,将物体做成Prefab⭐在编辑阶段调整抓取手势🔍FingersFreedom🔍调整录制手势的手指弯曲🔍隐藏预渲染的手势模型📕第二种录制方法(HandGrabPoseRecorder窗口)⭐选择用哪一只手录制⭐选择给哪一个物体录制抓取手势⭐在运行模式中确认录制⭐保存录制的手势⭐给物体加载录制的手势数据⭐在编辑阶段调整抓取手势📕生成镜像手势📕生成姿势相同,不同缩放的手势此教程相关的详细教案,文档,思维导图和工程文件会放入SpatialXR社区。这是一个高质量XR社区,博主

论文阅读:Whole slide images classification model based on self-learning sampling

Wholeslideimagesclassificationmodelbasedonself-learningsampling论文介绍摘要引言相关工作方法问题定义模型结构特征提取自学习采样模块基于Transformer的特征编码损失函数实验分析和结论总结论文介绍这是一篇发表在BSPC(BiomedicalSignalProcessingandControl)上的关于WSI分类的文章,作者是上海科技大学的学生/老师。论文链接为:https://www.sciencedirect.com/science/article/pii/S1746809423012594代码:暂未开源摘要深度学习与计算病理

买个机器人端茶倒水有希望了?Meta、纽约大学造了一个OK-Robot

「xx,去把电视柜上的遥控器帮我拿过来。」在一个家庭环境中,很多家庭成员都不免被支使干这种活儿。甚至有时候,宠物狗也难以幸免。但人总有支使不动的时候,宠物狗也并不一定都能听懂。帮人类干活儿的终极梦想还是寄托在机器人身上。最近,纽约大学、Meta研发出的一款机器人学会了这个技能。你只需要对它说,「把桌子上的玉米片拿到床头柜上」,它就能自己找到玉米片,并规划出路线和相应的动作,顺利完成任务。此外,它还能帮你整理东西或扔垃圾。这个机器人名叫OK-Robot,由来自纽约大学、Meta的研究者共同构建。他们将视觉语言模型(用于物体检测)、导航和抓取的基础模块整合到一个开放知识型框架中,为机器人的高效拾放

2024年1月17日Arxiv最热论文推荐:清华提出多模态知识检索新框架、MIT新方法大幅提升LLMs的连贯性、浙大新模型助力视频任务新突破、Meta 革新搜索技术、Google革新AI写作

本文整理了今日发表在ArXiv上的AI论文中最热门的TOP5。论文解读、论文热度排序、论文标签、中文标题、推荐理由和论文摘要均由赛博马良平台(saibomaliang.com)上的智能体 「AI论文解读达人」 提供。如需查看其他热门论文,欢迎移步 saibomaliang.com   ^_^TOP1GenerativeMulti-ModalKnowledgeRetrievalwithLargeLanguageModels标题:清华&腾讯联手突破!提出多模态知识检索新框架,性能大幅领先,AAAI2024亮相标签:Tsinghua、Tencent、NLP、IR、AAAI2024作者:XinweiL

VR 世界沉浸感再升级,Meta 打造超逼真虚拟手模型

1月22日消息,双手是我们与世界交互的重要工具,也是我们自我认同的重要部分。在虚拟现实的世界里,一双逼真写实的双手将极大地提升用户沉浸感和化身认同感。Meta近期正在致力于让虚拟现实中的双手尽可能逼真和个性化,以增强用户在元宇宙中的沉浸式体验。近日,来自MetaCodecAvatars实验室和新加坡南洋理工大学的研究人员联合发布了开创性研究成果——URHand,即“通用可变光照手部模型(UniversalRelightableHands)”。URHand并非简单的手部模型,它能够根据用户的真实双手进行个性化调整,并模拟真实光照环境下的手部细节,研究人员将其称为“首个可适应不同视角、姿势、光照和