草庐IT

【Pytorch】torch.nn.init.xavier_uniform_()

海轰Pro 2025-03-06 原文

目录

简介

Hello！
非常感谢您阅读海轰的文章，倘若文中有错误的地方，欢迎您指出～
 
ଘ(੭ˊᵕˋ)੭
昵称：海轰
标签：程序猿｜C++选手｜学生
简介：因C语言结识编程，随后转入计算机专业，获得过国家奖学金，有幸在竞赛中拿过一些国奖、省奖…已保研
学习经验：扎实基础 + 多做笔记 + 多敲代码 + 多思考 + 学好英语！
 
唯有努力💪
 
本文仅记录自己感兴趣的内容

torch.nn.init.xavier_uniform_()

语法

torch.nn.init.xavier_uniform_(tensor, gain=1.0)

作用

根据了解训练深度前馈神经网络的难度 - Glorot, X. & Bengio, Y. (2010) 中描述的方法

使用均匀分布 用值填充输入张量

结果张量将具有从 U ( − a , a ) \mathcal{U}(-a, a) U(−a,a) 采样的值，其中


也称为Glorot初始化

举例

w = torch.empty(3, 5)
print('w : \n', w)

nn.init.xavier_uniform_(w, gain=nn.init.calculate_gain('relu'))
print('w : \n', w)


w = torch.Tensor([[1.0,2,3],[2.0,3,4]])
print('w : \n', w)

nn.init.xavier_uniform_(w, gain=nn.init.calculate_gain('relu'))
print('w : \n', w)

注：w不能为1维

为什么需要Xavier 初始化？

所以论文提出，在每一层网络保证输入和输出的方差相同

参考：https://blog.csdn.net/dss_dssssd/article/details/83959474

个人感觉使用Xavier的作用就是预防一些参数过大或过小的情况，再保证方差一样的情况下进行缩放，便于计算

参考

  • https://pytorch.org/docs/stable/nn.init.html
  • https://blog.csdn.net/dss_dssssd/article/details/83959474

结语

文章仅作为个人学习笔记记录，记录从0到1的一个过程

希望对您有一点点帮助，如有错误欢迎小伙伴指正

xavier_uniformPytorchspanclasstoken深度学习人工智能

有关【Pytorch】torch.nn.init.xavier_uniform_()的更多相关文章

  1. ruby-on-rails - DevKit ruby​​ dk.rb init 不工作 - 2

    我试图按照此链接中的过程在Windows上安装Ruby2.0.0(x64):https://forwardhq.com/support/installing-ruby-windows我被定向到。在查看了其他来源后，我认为这是最容易遵循的来源。我下载了RubyInstaller然后安装了它。但是，之后，桌面上或“开始”菜单中都没有指向RubyIDE的图标了……奇怪。因此，在卸载Ruby2.0.0之后，我安装了Ruby1.9.4。同样的事情。然后我下载了相应的DevKitzip文件，如前所述，所有这些都在将其解压缩到C:\DevKit之前。然后，正如指南所说，我在PowerShell中尝试

  2. git submodule update --init --recursive 父子仓库 - 2

    .gitmodules：记录子模块信息在父项目新建submodule添加：gitsubmoduleadd 子模块仓库地址  子模块在父模块目录下的存储路径。注意：路径不能以/结尾（会造成修改不生效）、不能是现有工程已有的目录（不能順利Clone）删除：首先删除.gitmodules文件下的对应子模块信息，然后 gitrm–cached 克隆下来的项目有submodule拉取submodule： gitsubmoduleupdate--init--recursive更新submodulegitsubmoduleupdate--remote或者在submodule打开gitbash，然后用gitp

  3. 解决 AssertionError Torch not compiled with CUDA enabled - 2

    最近在矩池云的的TeslaK80机子上跑MMYOLO，跟着MMYOLO官方文档《自定义数据集标注+训练+测试+部署全流程》操作到“2.1.1软件或者算法辅助”时，利用预训练模型+官方脚本去辅助标注时，一按下回车就报错：报错信息AssertionErrorTorchnotcompiledwithCUDAenabled报错信息分析说的是torch编译的时候CUDA不可用但是服务器已经预装有pytorch和cuda了，我分别用nvidia-smi和nvcc-V都可以查到CUDA的版本本机配置如下：但是我在ipython中查看torch.cuda.is_available()返回结果是false，报错

  4. 从零开始系列（1）—— Anaconda + PyCharm + PyTorch（GPU） + 虚拟环境（全步骤，多图警告） - 2

    Anaconda+PyCharm+PyTorch（GPU）+虚拟环境声明一、安装Anaconda二、安装PyCharm三、创建虚拟环境并安装PyTorch四、关联虚拟环境五、致谢声明感谢姜小敏同学对我的支持、鼓励和鞭策！默认你的电脑上已经装有GPU，如果没有GPU，可以正常的进行各种下载安装操作，但是最终结果会有所不同。一、安装Anaconda首先，进入Anaconda官网，单击Download按钮，稍微等待即可下载安装包。下载好之后，双击打开安装包，进行一系列安装操作。建议安装路径全英文，并且一定要记住安装地址。此处不勾选第二项，因此之后需要人为配置环境变量。没啥用，不用勾选，就是跳出两个打

  5. 【Pytorch】torch.nn.init.xavier_uniform_() - 2

    目录简介torch.nn.init.xavier_uniform_()语法作用举例参考结语简介Hello！非常感谢您阅读海轰的文章，倘若文中有错误的地方，欢迎您指出～ ଘ(੭ˊᵕˋ)੭昵称：海轰标签：程序猿｜C++选手｜学生简介：因C语言结识编程，随后转入计算机专业，获得过国家奖学金，有幸在竞赛中拿过一些国奖、省奖…已保研学习经验：扎实基础+多做笔记+多敲代码+多思考+学好英语！ 唯有努力💪 本文仅记录自己感兴趣的内容torch.nn.init.xavier_uniform_()语法torch.nn.init.xavier_uniform_(tensor,gain=1.0)作用根据了解训练深度

  6. javascript - 无法在 init 上使用 angular2-tree 选择树中的所有复选框 - 2

    目标:我有一个名为“feeddata”的按钮，所以当我点击它时，数据将被加载我的意思是这里有复选框的树我的要求是当我点击它和数据时，所有的复选框都必须是检查初始化我尝试使用this.treeComp.treeModel.doForAll((node:TreeNode)=>node.setIsSelected(true));但它不工作下面是我的代码click(tree:TreeModel){this.arrayData=[];letresult:any={};letrs=[];console.log(tree.selectedLeafNodeIds);Object.keys(tree.s

  7. javascript - 带条件语句的 ng-init - 2

    我有一个AngularJS应用程序，当页面加载时会执行getTableData，但我想检查一个变量$rootScope.Dealer并切换初始化的函数名。例如:如果存在$rootScope.Dealer值，我想执行名为getDealerData的函数如果没有设置值需要执行getTableData函数。如何在anglarjs模板中制作它。我刚刚尝试了ng-if，但它不起作用... 最佳答案 您可以像这样在ng-init指令中使用简单的Javascript语法:这是给你的plnkr(我已经将后端路由生成更改为文本):https://pl

  8. javascript - 将 JavaScript 变量传递给 AngularJs ng-init - 2

    我定义了以下javascript变量，需要将memId值传递给AngularJs初始化函数。varmemId="bb7de28f-0f89-4f14-8575-d494203acec7";我收到一个错误:memId未定义。控制台显示ng-init中的memId值未被传入。如何将javascript变量传递给ng-init？ 最佳答案 您需要使用$window以“Angular”方式执行此操作:varapp=angular.module('myapp',[]);app.controller('MainCtrl',['$scope','

  9. javascript - init() 和 window.init() 有什么区别？ - 2

    我已经通读了以下秘诀，它展示了一种使用GoogleCloudEndpoints后端为AngularJS前端提供动力的方法:https://cloud.google.com/resources/articles/angularjs-cloud-endpoints-recipe-for-building-modern-web-applications我不明白的是关于AngularJS和CloudEndpoints初始化的附录。相关部分如下:Appendix:TipsonAngularJS+CloudEndpointsInitializationTip#1:Becarefulontheini

  10. javascript - 为什么 jQuery 构造函数映射到 jQuery.fn.init？ - 2

    这个问题在这里已经有了答案:WhyistheinitfunctioninjQuery.prototypeandnotinjQuery'sclosure?(1个回答)JQuerysourcecodequestions(2个答案)关闭9年前。jQuery构造函数将其功能映射到另一个构造函数，jQuery.fn.init:jQuery=function(selector,context){returnnewjQuery.fn.init(selector,context,rootjQuery);},我想知道为什么。Thisquestionisverysimilar,buteventheansw

随机推荐