视频分割是自动驾驶、机器人技术、视频编辑等应用场景的基础技术，但目前的方法在零样本学习设置下，或是预测未见过的样本时，会出现性能不一致等问题。今年4月，MetaAI开源了一个非常强大的图像分割基础模型SegmentAnythingModel（SAM），经过1100万张图像训练后，SAM具有非常强的泛化性能，并可以应用于各种下游应用。不过，虽然SAM屠榜了整个图像分割领域，但它并不适用于视频分割任务。图片最近，来自苏黎世联邦理工学院、香港科技大学、瑞士洛桑联邦理工学院的研究人员发布了SAM-PT模型，利用稳健和稀疏的点选择（pointselection）和传播（propagation）技术来生成
在商场里面上下楼穿梭，使用mid360激光雷达，完成建图以下是建图的运行过程及参数配置mid360激光雷达驱动安装（ubuntu20.4）/ws_livox/src/livox_ros_driver2$source/opt/ros/noetic/setup.sh/ws_livox/src/livox_ros_driver2$./build.shROS1配置修改MID360_config.json192.168.1.5，是本机ip192.168.1.157是激光ip57是激光雷达的sn号后两位
前言从去年年底，nlp领域出现了大模型一统天下的局面，而在cv领域，美国社交媒体扛把子公司meta也推出了在图像分割领域的大模型——segment-anything，简称SAM。看名字就知道了，这个模型就是啥都可以分割，具体可以看看人官网推出的demo，效果那是相当惊艳。其实SAM的提出还是想解决零样本学习的问题，就和nlp领域一样，构建chatGPT这种基座大模型，使其在绝大部分场景下分割效果足够惊艳，在其他没有学习过的场景下也能够达到一定的效果。基于这个想法，作者首先提取一个分割大数据集，SA-1B，由数据引擎收集的1100万张多样化、高分辨率、许可和隐私保护图像和11亿高质量分割掩码组成
文章目录一、导读二、介绍三、方法3.1实例分割3.2提示引导选择3.2.1点提示3.2.2框提示3.2.3文本提示四、实验结果五、不足之处六、结论一、导读SAM已经成为许多高级任务（如图像分割、图像描述和图像编辑）的基础步骤。然而，其巨大的计算开销限制了其在工业场景中的广泛应用。这种计算开销主要来自于处理高分辨率输入的Transformer架构。因此，本文提出了一种具有可比性能的加速替代方法。通过将该任务重新定义为分割生成和提示，作者发现一个常规的CNN检测器结合实例分割分支也可以很好地完成这个任务。具体而言，本文将该任务转换为经过广泛研究的实例分割任务，并仅使用SAM作者发布的SA-1B数据
准备工作1、一台带有英伟达显卡的电脑2、anaconda环境3、CUDA以及cudnn前言最近sam火遍了cv圈，号称可用一个模型分割一切，本文使用sam导出onnx模型，并通过onnxruntime（ort）进行部署，能够明显提升sam在本地的运算速度。话不多说，先看效果：pytorch运行时间：ort运行时间：可见，sam的vitencoder运行时间ort足足比pytorch快了30倍！接下来让我们一步一步安装sam并导出onnx模型并部署在ort上面。可运行的代码文件在我的GitHub仓库当中，有需要的小伙伴可以下载运行，别忘了给我的仓库点个star。SAM官方代码下载与安装首先，打开
目录：前言1、下载雷达仿真包2、添加雷达支架描述文件3、添加雷达描述文件4、启动仿真5、添加IMU模块6、添加RGB-D相机7、LIO-SAM仿真安装依赖安装GTSAM编译LIO-SAM运行8、源码遇到的问题1、error:‘classstd::unordered_map>’hasnomembernamed‘serialize’2、gazebo中机器人静止，rviz中反复横跳3、运行时报错[lio_sam_mapOptmization-5]processhasdied[pid260348,exitcode-114、运行时报错errorwhileloadingsharedlibraries:[l
目录：前言1、下载雷达仿真包2、添加雷达支架描述文件3、添加雷达描述文件4、启动仿真5、添加IMU模块6、添加RGB-D相机7、LIO-SAM仿真安装依赖安装GTSAM编译LIO-SAM运行8、源码遇到的问题1、error:‘classstd::unordered_map>’hasnomembernamed‘serialize’2、gazebo中机器人静止，rviz中反复横跳3、运行时报错[lio_sam_mapOptmization-5]processhasdied[pid260348,exitcode-114、运行时报错errorwhileloadingsharedlibraries:[l
1.SAM介绍由MetaAIResearch开发的Segmentanythingmodel（简称SAM）最近引起了广泛的关注。SAM在超过10亿个mask的大型分割数据集上进行了训练，能够在特定的图像上分割任何对象。在最初的SAM工作中，作者们使用了零样本迁移任务（如边缘检测）来评估SAM的性能。最近，许多工作试图在各种场景中研究SAM识别和分割对象的性能。此外，也有许多项目通过将SAM与其他模型（如GroundingDINO、StableDiffusion、ChatGPT等）结合，展示了SAM作为基础模型的多功能性。随着相关的论文和项目数量呈指数级增长，读者们很难跟上SAM的发展进程。为此，
之前用的livoxrosdriver不适配mid360和hap，在livox官方下载livoxsdk2和livoxrosdriver2进行mid360的测试。livoxsdk2与livoxrosdriver下载地址（2可与1共存与同一台电脑）https://github.com/Livox-SDK在安装后直接 roslaunch相关.launch文件时会报错Failedtoinitlivoxlidarsdk.需要更改livox_ros_driver2/config/MID360_config.json文件内参数（HAP就改HAP的）将cmd_data_ip改为192.168.1.50 就不会上
文章目录一、背景二、方法2.1耦合蒸馏2.2从半蒸馏到解耦蒸馏三、效果论文：FASTERSEGMENTANYTHING:TOWARDSLIGHTWEIGHTSAMFORMOBILEAPPLICATIONS代码：https://github.com/ChaoningZhang/MobileSAM出处：韩国庆熙大学时间：2023.06.27一、背景Meta提出的SAM以其出色的对任何感兴趣目标都可以进行分割的能力引起了广泛的关注，SAM的结构如图1所示，包括两个部分：ViT-basedimageencoderprompt-guidedmaskdecoderSAM是一个label-free的分割模型
