草庐IT

顶会论文

全部标签

【联邦学习论文阅读】FedAvg(2016)Communication-Efficient Learning of Deep Networks from Decentralized Data

【FedAvg】论文链接:https://arxiv.org/abs/1602.05629摘要移动通信设备中有许多有用的数据,训练模型后可以提高用户体验。但是,这些数据通常敏感或很庞大,不能直接上传到数据中心,使用传统的方法训练模型。据此提出联邦学习,将训练数据分布在移动设备上,通过聚合本地计算的更新来学习共享模型。考虑了5种不同的模型和4个数据集,证明本文的方法对不平衡和非独立同分布的数据是鲁棒的,且降低了通信成本。一、介绍主要贡献:将移动设备的去中心化数据的训练作为重要研究方向选择可以应用的简单而实用的算法对所提出的方法进行广泛的实证评估1.联邦学习的理想问题具有以下特性:训练来自移动设备

RepVGG论文详解(超级详细)

    RepVGG是2021年发表于CVPR,它和resnet一样是一种图像分类网络,在目标检测中被用作backbone,论文提出一种新型技术称之结构重参数化,简单来说就是对训练出的模型进行等价替换成一个简单的模型,然后用这个简单的模型进行推理(也就是testing),目的就是加快推理速度,提高模型实用性。  论文地址:https://arxiv.org/abs/2101.03697论文源码:https://github.com/megvii-model/RepVGG目录1、摘要和引言(RepVGG是什么) 对于复杂的网络明明可以达到一个非常高的精度为什么不用呢?1.1RepVGG模型结构2

论文笔记 Communication-Efficient Learning of Deep Networks from Decentralized Data

论文题目:《Communication-EfficientLearningofDeepNetworksfromDecentralizedData》时间:联邦学习由谷歌在2016年提出,2017年在本文第一次详细描述该概念地位:联邦学习开山之作建议有时间先学一下机器学习o(╥﹏╥)o如果实在是没有的话,就先了解一下这些东西吧:非平衡、非IID、鲁棒性、监督学习(标签)、超参数、随机梯度下降SGD、模型平均 梯度下降可以看一下这篇文章:https://blog.csdn.net/weixin_43235581/article/details/127409877以下内容蛮详细的,尽量不要在碎片时间看

[Python+Django]Web图书管理系统毕业设计之源码+论文篇

送佛送到西,本文是应表弟要求,在之前Django图书管理系统系列博文的基础上协助其一起完成的Web图书管理系统论文。有需要的同学请也可以自行参考以下系列文章:本文所需软件及系统环境请参见:[Python+Django]Web图书管理系统毕业设计之开发工具和技术篇本文数据库设计及系统需求分析:[Python+Django]Web图书管理系统毕业设计之系统分析和设计篇本文数据库及系统的实现:[Python+Django]Web图书管理系统毕业设计之数据库及系统实现源码篇表弟答辩顺利通过了,现将一起完成论文的过程文件全部分享出来供大家参考。基于PythonWeb的图书管理系统+论文-Python文档

AI智能写作用boardmix,文案、论文、爆款、小说一键生成!

随着ChatGPT的出圈,人工智能逐渐渗透各行各业,尤其是文案和论文的产出,AI能够帮助我们更加高效的创作,为内容提供一些灵感和思路。那么,有没有类似ChatGPT的AI写作工具,有观念、有角度、有语言风格的高效内容创作工具呢?今天,就为大家介绍一款强大的在线写作神器——boardmix博思白板。博思白板是一款基于云端的在线白板软件,最近上线了一个好用的AI助手功能,使用类似ChatGPT类似的对话式语言模型,文案、论文、小说、爆款都可以,还能进行内容大纲梳理,文章的润色和建议等,帮你快速产出符合要求的文章和内容。1、10秒出稿的AI智能写作首先,boardmixAI的速度非常的快,只需要给他

【论文笔记】——从transformer、bert、GPT-1、2、3到ChatGPT

笔记脉络从GPT到ChatGPT1.整体发展脉络2.transformer回顾-2017动机模型结构创新点算法原理3.Bert回顾(2018-10)动机BERT模型结构4.GPT-1(2018-6)动机模型架构训练实验为什么使用transform的解码器?BERT和GPT都是基于Transformer架构的预训练语言模型,但在一些关键方面有所不同:5.GPT-2论文解读(2019-02)摘要引言实现实验6.GPT-3论文解读(2020-05暴力出奇迹)摘要引言模型数据集生成局限性负面影响7.InstructGPT和ChatGPT摘要MotivationImplementation损失函数模型评

论文速读Backbone系列一:点云Transformer结合、PointNet++改进、点云卷积核设计

如有错误,恳请指出。对一些经典论文进行快速思路整理,以下内容主要关注的是3d点云的backbone设计,包括transformer的应用,卷积核的设计,PointNet++网络的改进。文章目录一、Transformer改进1.《PCT:PointCloudTransformer》(2020)2.《PointTransformer》(2020)二、PointNet++改进3.《ModelingPointCloudswithSelf-AttentionandGumbelSubsetSampling》(2019CVPR)4.《Momenet:FlavortheMomentsinLearningtoC

视频去模糊论文阅读-Deep Video Deblurring for Hand-held Cameras

 论文地址:http://openaccess.thecvf.com/content_cvpr_2017/papers/Su_Deep_Video_Deblurring_CVPR_2017_paper.pdf代码地址:https://github.com/shuochsu/DeepVideoDeblurringAbstract        由于相机抖动引起的运动模糊是手持设备捕捉到的视频中存在的一个主要问题。然而,视频去模糊与单图像去模糊不同,基于视频的方法可以利用相邻帧中存在的丰富信息。因此,性能最好的方法依赖于附近帧的对齐。然而,图像对齐需要很高的计算成本。本文中引入一个视频去模糊的深度

论文阅读-Whisper语音识别(OpenAI)

一、论文信息论文名称:RobustSpeechRecognitionviaLarge-ScaleWeakSupervision代码地址:https://github.com/openai/whisper官方博客:https://openai.com/blog/whisper作者团队:OpenAI二、介绍Whisper是一个通用语音识别模型。它是在各种音频的大型数据集上训练的,也是一个多任务模型,可以执行多语言语音识别以及语音翻译和语言识别。人工智能公司OpenAI开源了Whisper自动语音识别系统,OpenAI强调Whisper的语音识别能力已达到人类水准。Whisper是一个自动语音识别(

PointNet++论文解读和代码解析

目录 一、论文动机二、论文方法三、网络结构SetAbstraction非均匀采样密度下的鲁棒性学习上采样四、代码阅读论文地址:https://arxiv.org/pdf/1706.02413.pdf代码地址:https://github.com/yanx27/Pointnet_Pointnet2_pytorch一、论文动机1.PointNet只使用了MLP和最大池化,没有能力捕获局部特征,然而局部结构已被证明是卷积结构成功的重要因素(就是感受野越来越大,由局部逐渐到整体)2.PointNet里全局特征直接由maxpooling获得,这会有巨大的信息损失3.分割任务的全局特征是直接与点特征拼接,