Efficient-LLMs-Survey
全部标签扩散模型(DiffusionModel)最新综述+GitHub论文汇总-ASurveyOnGenerativeDiffusion本综述来自香港中文大学Pheng-AnnHeng、西湖大学李子青实验室和浙江大学陈广勇团队，对现有的扩散生成模型进行了全面的回顾。本文首先提出了diffusionmodel改进算法的细化分类与深度解析，同时对diffusionmodel的应用进行了系统的回顾，最后率先汇总领域内benchmarks。文章链接：https://arxiv.org/abs/2209.02646深度学习在生成任务中显示出巨大的潜力。生成模型是类可以根据某些隐含的参数随机生成观察结果的模型。最
原文链接：https://arxiv.org/pdf/2007.08199.pdfgithub链接：GitHub-songhwanjun/Awesome-Noisy-Labels:ASurvey（本文仅做阅读笔记之用，如需了解细节可自行查看原文，翻译不周之处，敬请指正）1.Introduction据统计真实世界的数据集中存在的标注噪声范围在8%到38.5%。深度神经网络（DNN）因为具有很强的拟合能力，所以很容易对噪声标签过拟合。正则化技术（如数据增强，权重衰减，dropout，批次正则化（BN）等）虽然能缓解过拟合问题，但是光靠正则化并不能完全克服过拟合。如fig.1就形象地说明了这个问题：
原文链接：https://arxiv.org/pdf/2007.08199.pdfgithub链接：GitHub-songhwanjun/Awesome-Noisy-Labels:ASurvey（本文仅做阅读笔记之用，如需了解细节可自行查看原文，翻译不周之处，敬请指正）1.Introduction据统计真实世界的数据集中存在的标注噪声范围在8%到38.5%。深度神经网络（DNN）因为具有很强的拟合能力，所以很容易对噪声标签过拟合。正则化技术（如数据增强，权重衰减，dropout，批次正则化（BN）等）虽然能缓解过拟合问题，但是光靠正则化并不能完全克服过拟合。如fig.1就形象地说明了这个问题：
ICLR2022/扩散模型/语义分割：基于扩散模型的标签高效语义分割Label-efficientsemanticsegmentationwithdiffusionmodels0.摘要1.概述2.相关工作2.1.扩散模型2.2.基于生成模型的图像分割2.3.区分性任务生成模型的表征3.扩散模型表示3.1.表征分析3.2.基于DDPM的FEW-SHOT语义分割表示4.实验4.1.讨论5.结论附录A.预测性能的演变B.DATASETDDPM&DATASETGANC.训练设置D.每一类的IoUsE.数据集细节E.1.类别名E.2.类别的统计数据F.从MAE中提取表示论文下载开源代码0.摘要去噪扩散概
ICLR2022/扩散模型/语义分割：基于扩散模型的标签高效语义分割Label-efficientsemanticsegmentationwithdiffusionmodels0.摘要1.概述2.相关工作2.1.扩散模型2.2.基于生成模型的图像分割2.3.区分性任务生成模型的表征3.扩散模型表示3.1.表征分析3.2.基于DDPM的FEW-SHOT语义分割表示4.实验4.1.讨论5.结论附录A.预测性能的演变B.DATASETDDPM&DATASETGANC.训练设置D.每一类的IoUsE.数据集细节E.1.类别名E.2.类别的统计数据F.从MAE中提取表示论文下载开源代码0.摘要去噪扩散概
论文：LLaMA:OpenandEfficientFoundationLanguageModels模型代码：https://github.com/facebookresearch/llama/blob/main/llama/model.py你也可以打开之前的目录看完整代码。摘要、介
论文：LLaMA:OpenandEfficientFoundationLanguageModels模型代码：https://github.com/facebookresearch/llama/blob/main/llama/model.py你也可以打开之前的目录看完整代码。摘要、介
Abstract1、提供了协作学习的系统概述2、简要介绍了完整性和隐私攻击3、详细介绍了现有的完整性和隐私攻击及其防御Introduction举例：医学图像分类、移动键盘预测协作学习：允许两个或多个参与者协作训练共享的全局DL模型，同时他们的训练数据集保留在本地。每个参与者用自己的训练数据训练共享模型，并与其它参与者交换和更新模型参数。模型完整性威胁：只有一个攻击者也可以破坏模型完整性隐私性：尽管不共享原始训练样本，但共享的更新是由样本生成的，间接泄露了训练数据集的信息。在训练过程中，可以从共享的梯度中捕获成员关系和无意的特征泄露。甚至可以从相应的更新中重构训练样本。为了实现拜占庭容错协作学习
Abstract1、提供了协作学习的系统概述2、简要介绍了完整性和隐私攻击3、详细介绍了现有的完整性和隐私攻击及其防御Introduction举例：医学图像分类、移动键盘预测协作学习：允许两个或多个参与者协作训练共享的全局DL模型，同时他们的训练数据集保留在本地。每个参与者用自己的训练数据训练共享模型，并与其它参与者交换和更新模型参数。模型完整性威胁：只有一个攻击者也可以破坏模型完整性隐私性：尽管不共享原始训练样本，但共享的更新是由样本生成的，间接泄露了训练数据集的信息。在训练过程中，可以从共享的梯度中捕获成员关系和无意的特征泄露。甚至可以从相应的更新中重构训练样本。为了实现拜占庭容错协作学习
大佬的TensorFlow代码：here另一个大佬的Pytorch代码：here注：Pytorch代码只有semanticKITTI的训练，TensorFlow作者本人的代码比较全。keywords高分辨率点云——约\(10^5\)点云语义分割多层次特征在正式开始讲论文之前，我们先看看效果，0.04s的inferencetime那么咱们正式开始相关工作\(_{*篇幅有限，此处不再介绍其他基于投影或基于体素的工作}\)PointNet++网络结构关键组件Samping——FPS(最远点采样)顾名思义，每次在点云中采样的点都应该距其他点的距离最远举个例子，下图，一个二维欧式空间中，我们需要使用FP
