AI学习目录汇总1、导数和微分1.1导数的定义f′(x)=limh→0f(
即使我们可以利用反向传播来进行优化，但是训练过程中仍然会出现一系列的问题，比如鞍点、病态条件、梯度消失和梯度爆炸，对此我们首先提出了小批量随机梯度下降，并且基于批量随机梯度下降的不稳定的特点，继续对其做出方向和学习率上的优化。01、局部极小值，鞍点和非凸优化基于梯度的一阶和二阶优化都在梯度为零的点停止迭代，梯度为零的点并非表示我们真的找到了最佳的参数，更可能是局部极小值或者鞍点，在统计学习的大部分问题中，我们似乎并不关心局部极小值和全局最小值的问题，这是因为统计学习的损失函数经过设计是一个方便优化的凸函数，会保证优化问题是一个凸优化问题。在凸优化问题中，比如最小二乘和线性约束条件下的二次规划，
torchvision.models简介1torchvision.models介绍1.1torchvision介绍1.2torchvision.models2导入模型举例2.1模型的使用2.2模型的修改2.3模型的保存和读取1torchvision.models介绍1.1torchvision介绍PyTorch框架中有一个非常重要且好用的包：torchvision，该包主要由3个子包组成，分别是：torchvision.datasets、torchvision.models、torchvision.transforms该篇主要介绍torchvision.models，关于torchvision
目录一、深度残差网络（DeepResidualNetworks）简介深度学习与网络深度的挑战残差学习的提出为什么ResNet有效？二、深度学习与梯度消失问题梯度消失问题定义为什么会出现梯度消失？激活函数初始化方法网络深度如何解决梯度消失问题三、残差块（ResidualBlocks）基础残差块的核心思想结构组成残差块的变体四、ResNet架构架构组成4.1初始卷积层功能和作用结构详解为何不使用多个小卷积核?小结4.2残差块组（ResidualBlockGroups）功能和作用结构详解残差块组与特征图大小小结4.3全局平均池化（GlobalAveragePooling）功能和作用结构详解与全连接层
官网链接DeployingPyTorchinPythonviaaRESTAPIwithFlask—PyTorchTutorials2.0.1+cu117documentation通过flask的restAPI在python中部署pytorch在本教程中，我们将使用Flask部署PyTorch模型，并开放用于模型推断的RESTAPI。特别是，我们将部署一个预训练的DenseNet121模型来检测图像。这是关于在生产环境中部署PyTorch模型的系列教程中的第一篇。使用Flask这种方式是迄今为止部署PyTorch模型的最简单方法，但它不适用于具有高性能要求的用例。如果你已经熟悉了TorchScr
实现： -首先，你需要准备一个包含二维人脸图像和对应的三维人脸模型的数据集。你可以使用CASIAWebFace数据集¹²，并利用多图像3DMM重建方法¹来生成每个个体的三维人脸模型。-然后，你需要定义一个深度卷积神经网络，比如ResNet101¹²，并修改它的最后一层全连接层，使输出为198维的3DMM特征向量¹²，包括99维的形状系数和99维的纹理系数¹³。-接着，你需要定义一个损失函数，用于衡量网络输出的3DMM参数和真实标注的3DMM参数之间的差异。你可以使用非对称欧几里得损失¹²，来平衡过度估计和不足估计的误差，并保留更多的细节特征²。-最后，你需要使用随机梯度下降优化器¹²来训练网络
整个代码分两个阶段第一阶段的识别是YOLOv5来实现的第二阶段是追踪，由DeepSort算法来实现。再次基础上进行了计数代码地址：https://github.com/dongdv95/yolov5/tree/master/Yolov5_DeepSort_Pytorch把代码git下来gitclonehttps://github.com/dongdv95/yolov5/tree/master/Yolov5_DeepSort_Pytorch2.配置环境，把所有依赖的包安装上作者要求python>=3.8;torch>=1.7,我的conda虚拟环境里有python=3.6和python=3.7的
目录一、概述1.1深度信念网络的概述1.2深度信念网络与其他深度学习模型的比较结构层次学习方式训练和优化应用领域1.3应用领域图像识别与处理自然语言处理推荐系统语音识别无监督学习与异常检测药物发现与生物信息学二、结构2.1受限玻尔兹曼机（RBM）结构与组成工作原理学习算法应用2.2DBN的结构和组成层次结构网络连接训练过程应用领域2.3训练和学习算法预训练微调优化方法评估和验证三、实战3.1DBN模型的构建定义RBM层构建DBN模型定义DBN的超参数3.2预训练RBM的逐层训练对比散度（CD）算法3.3微调监督训练微调训练模型验证和测试3.4应用分类或回归任务特征学习转移学习在线应用四、总结本
文章目录一、项目思路二、源码下载（1）网络模型：`resnet.py`（2）附属代码1：`_internally_replaced_utils.py`（3）附属代码2：`utils.py`三、源码详解3.1、导入模块3.2、API接口：_resnet()3.2.1、调用预训练模型（1）torchvision.models简介（2）在线下载预训练模型3.2.2、ResNet网络（核心）（1）基础模块：BasicBlock（2）基础模块：Bottleneck（3）3x3卷积+1x1卷积四、模型实战（打印权重参数个数+打印网络模型）五、项目实战（CIFAR-10数据集分类）参考文献一、项目思路该项目
ModelSparsityCanSimplifyMachineUnlearning背景主要内容ContributionⅠ：对MachineUnlearning的一个全面的理解ContributionⅡ：说明modelsparsity对MachineUnlearning的好处Pruning方法的选择sparse-aware的unlearningframeworkExperimentsModelsparsityimprovesapproximateunlearningEffectivenessofsparsity-awareunlearningApplication:MUforTrojanmode
