Informer论文：https://arxiv.org/pdf/2012.07436.pdfInformer源码：GitHub-zhouhaoyi/Informer2020:TheGitHubrepositoryforthepaper"Informer"acceptedbyAAAI2021.Transformer笔记：《AttentionIsAllYouNeed》_郑烯烃快去学习的博客-CSDN博客目录0x01Transformer存在的问题0x02Informer研究背景0x03Informer整体架构（一）ProbSparseSelf-attention（二）Self-attention

研究背景：大型语言模型（LLMs）在生成有害和非法内容方面存在脆弱性，这类攻击被称为“越狱”（jailbreaking）提示。越狱攻击通过精心设计的提示，诱使模型绕过安全对齐机制，生成有害内容。随着LLMs的普及和用户对这些模型的安全性要求提高，研究如何提高LLMs对越狱攻击的抵抗力变得尤为重要。过去方案和缺点：以往的研究主要集中在通过人类反馈的强化学习（RLHF）等方法对LLMs进行微调，以提高其安全性。然而，这些方法通常需要额外的训练，并且在模型压缩（如剪枝）方面对安全性的影响尚不明确。此外，模型压缩可能会影响模型的泛化能力和鲁棒性，但具体效果因压缩方法和实施细节而异。本文方案和步骤：本文

论文标题：TinySAM:极致高效的分割一切模型论文地址：https://arxiv.org/pdf/2312.13789.pdf代码地址（pytorch）：https://github.com/xinghaochen/TinySAM详细论文解读：TinySAM：极致高效压缩，手机就能实时跑的分割一切模型-知乎(zhihu.com) 目录文章内容解析 概括文章的观点技术创新解析相关问题关键信息点（思维导图）文章内容解析 概括本文提出了TinySAM框架，用于在保持零样本分割能力的同时，显著降低计算成本，旨在高效实现“分割任何物体”的任务。文章的观点1.技术创新：文章中介绍了TinySAM，这是

（RAL2023）摘要    本文介绍了一种利用点和线特征的高效视觉惯性同步定位和映射(SLAM)方法。目前，基于点的SLAM方法在弱纹理和运动模糊等场景下表现不佳。许多研究者注意到线特征在空间中的优异特性，并尝试开发基于线的SLAM系统。然而，线条提取和描述匹配过程的计算量巨大，难以保证整个SLAM系统的实时性，而错误的线条检测和匹配限制了SLAM系统性能的提高。本文通过短线融合、线特征均匀分布、自适应阈值提取等方法对传统的线检测模型进行改进，获得用于构建SLAM约束的高质量线特征。基于灰度不变性假设和共线性约束，提出了一种线光流跟踪方法，显著提高了线特征匹配速度。此外，提出了一种独立于线端

源码 https://github.com/QitaoZhao/PoseFormerV2摘要最近，基于变换的方法在连续的2D到3D提升人体姿态估计中取得了显着的成功。作为一项开创性的工作，PoseFormer捕获了每个视频帧中人体关节的空间关系以及级联Transformer层跨帧的人体动态，并取得了令人印象深刻的性能。然而，在真实的场景中，PoseFormer及其后续产品的性能受到两个因素的限制：（a）输入关节序列的长度;（B）二维联合检测的质量。现有方法通常对输入序列的所有帧施加自关注，当为了获得更高的估计精度而增加帧数目时会造成巨大的计算负担，并且它们对2D联合检测器有限的能力所带来的噪声

目录简言文献地址：重要网址（该项目持续更新中）摘要1、介绍2、基础概念2.1 3Dobjectdetection 2.2 Datasets2.3 Evaluationmetrics2.3.1 评估指标类-12.3.2 评估指标类-22.3.3 评估指标对比3、基于Lidar的三维目标检测3.1 基于数据表示的3D检测方法3.1.1  基于点的3D物体检测3.1.2 基于网格的3D物体检测持续更新中。。。。。。。。。。。。。。。。。。。。。。简言    最近在整理一些3D检测的算法，之前在服务器上跑了PointPillars和CenterPoint，研究了下OpenPCDet和mmdetecti

LLMs之Claude3：Claude3的简介、安装和使用方法、案例应用之详细攻略导读：本文介绍了Anthropic于2024年3月4日推出的新一代更强大的AI助手Claude3系列模型。背景痛点：>>当前人工智能模型在复杂任务、响应速度、准确性、上下文记忆等方面存在不足；>>企业对于可靠性更高、更智能、更高性能的AI模型有迫切需求；>>早前版本Claude模型在某些任务上的智能能力和响应速度还有待提升。解决方案：>>Anthropic推出了Claude3系列三个级别的模型：Haiku、Sonnet和Opus，从低到高依次提升智能能力。Claude3Opus顶级付费版，据称在逻辑推理能力上强于

原始题目：Informer:BeyondEfficientTransformerforLongSequenceTime-SeriesForecasting中文翻译：Informer:超越有效变换器进行长序列时间序列预测发表时间：2021-05-18平台：ProceedingsoftheAAAIConferenceonArtificialIntelligence文章链接：https://ojs.aaai.org/index.php/AAAI/article/view/17325开源代码：https://github.com/zhouhaoyi/Informer2020摘要许多现实世界的应用都需要

LLMs之Llama270B：使用PyTorchFSDP微调Llama270B实现全部过程讲解之详细攻略目录使用PyTorchFSDP微调Llama270B引言FSDP工作流使用的硬件微调LLaMa270B面临的挑战解决上述挑战，微调出一个70B的模型准备工作微调应对挑战1应对挑战2应对挑战3注意力机制的性能瓶颈算子融合综合运用所有手段训练损失曲线总结使用PyTorchFSDP微调Llama270B地址文章地址：https://huggingface.co/blog/ram-efficient-pytorch-fsdp时间2023年9月13日作者SourabMangrulkarSylvainG

技术报告：EfficientandEffectiveTextEncodingforChineseLLaMAANDAlpacaIntroductionChineseLLaMAChineseAlpacaLora-Fine-tuning实验7Bpre-trainingInstruction-Tuning13BPre-TrainingInstruct-TuningIntroduction首先作者说了最近ChatGPT等模型在AGI领域表现出了很好的性能，但是收到算力、闭源的限制，阻碍了研究。然后Meta与MIT分别开源了LLaMA、Alpaca，这让研究有了希望。然后作者说这两个模型是基于英文预料训练