草庐IT

论文综述

全部标签

【论文笔记】——从transformer、bert、GPT-1、2、3到ChatGPT

笔记脉络从GPT到ChatGPT1.整体发展脉络2.transformer回顾-2017动机模型结构创新点算法原理3.Bert回顾(2018-10)动机BERT模型结构4.GPT-1(2018-6)动机模型架构训练实验为什么使用transform的解码器?BERT和GPT都是基于Transformer架构的预训练语言模型,但在一些关键方面有所不同:5.GPT-2论文解读(2019-02)摘要引言实现实验6.GPT-3论文解读(2020-05暴力出奇迹)摘要引言模型数据集生成局限性负面影响7.InstructGPT和ChatGPT摘要MotivationImplementation损失函数模型评

论文速读Backbone系列一:点云Transformer结合、PointNet++改进、点云卷积核设计

如有错误,恳请指出。对一些经典论文进行快速思路整理,以下内容主要关注的是3d点云的backbone设计,包括transformer的应用,卷积核的设计,PointNet++网络的改进。文章目录一、Transformer改进1.《PCT:PointCloudTransformer》(2020)2.《PointTransformer》(2020)二、PointNet++改进3.《ModelingPointCloudswithSelf-AttentionandGumbelSubsetSampling》(2019CVPR)4.《Momenet:FlavortheMomentsinLearningtoC

视频去模糊论文阅读-Deep Video Deblurring for Hand-held Cameras

 论文地址:http://openaccess.thecvf.com/content_cvpr_2017/papers/Su_Deep_Video_Deblurring_CVPR_2017_paper.pdf代码地址:https://github.com/shuochsu/DeepVideoDeblurringAbstract        由于相机抖动引起的运动模糊是手持设备捕捉到的视频中存在的一个主要问题。然而,视频去模糊与单图像去模糊不同,基于视频的方法可以利用相邻帧中存在的丰富信息。因此,性能最好的方法依赖于附近帧的对齐。然而,图像对齐需要很高的计算成本。本文中引入一个视频去模糊的深度

prompt 综述

动手点关注干货不迷路1.概述1.1基本概念用一句话概括模板学习,即将原本的输入文本填入一个带有输入和输出槽位的模板,然后利用预训练语言模型预测整个句子,最终可以利用这个完整的句子导出最终需要的答案。模板学习最吸引人的关键在于其通过已有的预训练模型,定义合适的模板就能完成few-shot或者zero-shot任务,这样可以使得语言模型可以在预训练阶段利用尽可能多的信息进行训练,后续也能最大效率的发挥其作用。从数学角度来看模板学习,我们传统的监督学习解决的是P(y|x;θ)问题,训练一个模型优化其参数θ,在面对输入x时给出输出y的概率;而基于模板学习的方法希望解决的是P(x;θ)问题,即给定一个参

论文阅读-Whisper语音识别(OpenAI)

一、论文信息论文名称:RobustSpeechRecognitionviaLarge-ScaleWeakSupervision代码地址:https://github.com/openai/whisper官方博客:https://openai.com/blog/whisper作者团队:OpenAI二、介绍Whisper是一个通用语音识别模型。它是在各种音频的大型数据集上训练的,也是一个多任务模型,可以执行多语言语音识别以及语音翻译和语言识别。人工智能公司OpenAI开源了Whisper自动语音识别系统,OpenAI强调Whisper的语音识别能力已达到人类水准。Whisper是一个自动语音识别(

PointNet++论文解读和代码解析

目录 一、论文动机二、论文方法三、网络结构SetAbstraction非均匀采样密度下的鲁棒性学习上采样四、代码阅读论文地址:https://arxiv.org/pdf/1706.02413.pdf代码地址:https://github.com/yanx27/Pointnet_Pointnet2_pytorch一、论文动机1.PointNet只使用了MLP和最大池化,没有能力捕获局部特征,然而局部结构已被证明是卷积结构成功的重要因素(就是感受野越来越大,由局部逐渐到整体)2.PointNet里全局特征直接由maxpooling获得,这会有巨大的信息损失3.分割任务的全局特征是直接与点特征拼接,

【毕业设计】15-基于单片机的交通灯系统设计(原理图+仿真+论文)

【毕业设计】15-基于单片机的交通灯系统设计(原理图、仿真、源代码工程+答辩论文+答辩PPT)文章目录【毕业设计】15-基于单片机的交通灯系统设计(原理图、仿真、源代码工程+答辩论文+答辩PPT)任务书设计说明书摘要设计框架架构设计说明书及设计文件源码展示任务书本设计是基于单片机的交通灯控制系统设计,通过对路口设置的交通指示灯和时间显示装置的控制,给行人和车辆的通行提供便利。1、设计定时器或采用相关的定时芯片给系统提供时间参考信号。2、单片机依据时间信号,控制指示灯的亮灭控制车辆和行人的通行,同时显示时间信息。3、设计相关的硬件电路4、自行设计软件编程资料链接原理图工程文件原理图截图仿真模型工

巧用ChatGPT编写万字长文的论文,纯干货实操

文/ 韩彬(微信公众号:量子论)用ChatGPT写文章属于它的基本操作了,现在我们看看如何使用ChatGPT编写论文级的文章。论文的编写步骤通常有这四步:1、定主题2、写提纲3、填内容4、改标题(可选项)这几点其实可以运用于我们对ChatGPT的操作。这里面有个小技巧,建议你先用英文问,这样的答案会更加准确,然后你再让ChatGPT翻译成中文。好了,我们开始实战操作。举个例子,我想写篇关于ChatGPT演进的论文。你可以在ChatGPT里这样提问:写一篇关于ChatGPT演进的论文提纲接下来开始写正文。写第一点时,你可以说:请完整撰写“研究背景及目的”的内容你也可以这样说,请以人工智能专家口吻

InstructGPT 论文阅读笔记

目录简介数据集                 详细实现实验结果参考资料简介InstructGPT模型是在论文《Traininglanguagemodelstofollowinstructionswithhumanfeedback》被提出的,OpenAI在2022年1月发布了这篇文章。论文摘要翻译:把语言模型做得更大并不意味着让它们更好的遵循用户的意图。例如,大型语言模型可能会生成不真实、有毒或对用户没有帮助的输出。换句话说,这些模型没有与他们的用户对齐。本文中我们展示了一种通过微调人类反馈来使语言模型与用户在一系列任务中对齐意图的方法。从一组标注员手写的prompts和从OpenAIAPI提

自监督医学图像Models Genesis: Generic Autodidactic Models for 3D Medical Image Analysis论文精读笔记

目录ModelsGenesis:GenericAutodidacticModelsfor3DMedicalImageAnalysis背景贡献方法总体框架Learningappearancevianon-lineartransformationLearningtexturevialocalpixelshufflingLearningcontextviaout-paintingandin-paintingPropertiesExperiments总结ModelsGenesis:GenericAutodidacticModelsfor3DMedicalImageAnalysis论文下载地址:Mode