大数据文摘出品作者：Caleb马斯克的头衔又多了一个。除了SpaceX创始人、CEO和总工程师，特斯拉CEO兼产品架构师，推特所有者兼CEO，Neuralink和OpenAI的联合创始人之外，前几天马斯克又在内华达州成立了一家名为X.AICorp.的新人工智能公司。根据上个月提交的文件，马斯克是该公司唯一的上市董事，目前X.AI已授权出售1亿股股票。对此多家外媒报道表示，马斯克成立这家人工智能公司，主要是为了与OpenAI竞争，甚至他还向SpaceX和特斯拉投资者寻求启动资金。据法律专家称，内华达州的法律赋予公司管理层和管理人员更多的自由裁量权和保护。马斯克尚未对此事置评。新公司来势汹汹，“
可以用“watch-n0.1nvidia-smi”来查看gpu状态，我用的是3块12G的GPU进行实验本实验将使用一个简单的瞎写的网络进行，网络训练一个分类任务，当然这个不重要，我们也不关心效果，这里希望用一个简单的网络来说明如何使用GPU训练，这个网络是可以直接跑起来的，xdm可以动手尝试一下在第0部分是CPU上训练的代码，第一部分使用了单张GPU，第二部分是单机多卡的任务目录0、CPU代码1、单机单卡2、单机多卡2.1DataParaller（DP）（不建议用）2.2DistributedSampler（DDP）0、CPU代码#样例准备数据，加载数据，准备模型，设置损失函数，设置优化器，开
Pytorch多GPU训练目录Pytorch多GPU训练1导入库2指定GPU2.1单GPU声明2.2多GPU声明3数据放到GPU4把模型网络放到GPU【重要】torch.nn.DataParallel（DP)5其他：多GPU并行1导入库importtorch#深度学习的pytoch平台importtorch.nnasnnfromtorch.autogradimportVariablefromtorch.utils.dataimportDataLoaderfromtorch.utils.dataimportTensorDataset 2指定GPU2.1单GPU声明device=torch.dev
注意：本机想要启用gpu加速计算，需要由一张多余的nVidia显卡。需要提前禁用nouveau：lsmod|grepnouveau没有输出即禁用了需要安装1、显卡驱动、2、cuda库(安装cuda会自动安装显卡驱动)3、cudnn(深度神经网络的GPU加速库,需要神经网络则安否则可以不安)安装完成后，可以在本机运行nvidia-smi查看GPU设备的状态。Docker使用gpu：nvidia-docker2.0对nvidia-docker1.0进行了很大的优化，不用再映射宿主机GPU驱动了，直接把宿主机的GPU运行时映射到容器即可，容器内无需安装gpu驱动和cuda了。一、nvidia-doc
一、前提1、在命令行使用nvidia-smi查看gpu设备情况，当存在空闲设备时才能用，否则会出现运行内存不够出错的情况（具体参考文章GPU之nvidia-smi命令详解）；2、安装好cuda和cudcnn（具体步骤请参考：①windows：CUDA安装教程（超详细）），②linux：linux安装CUDA+cuDNN）在命令行输入nvcc-V或者nvcc--version检查是否安装成功：二、命令行直接指定运行python文件时，在前面加上CUDA_VISIBLE_DEVICES=xxx，xxx是你要指定的gpu序号。如CUDA_VISIBLE_DEVICES=0,2pythonextrac
官网地址：PyTorchPyTorch-Lightning安装PyTorch-Lightning1、不能直接使用pipinstallpytorch-lightning ，否则如下图会直接卸载掉你的torch而安装cpu版本的torch。Installingcollectedpackages:torch,lightning_fabricAttemptinguninstall:torchFoundexistinginstallation:torch1.9.1+cu111Uninstallingtorch-1.9.1+cu111:Successfullyuninstalledtorch-1.9.1+
官网地址：PyTorchPyTorch-Lightning安装PyTorch-Lightning1、不能直接使用pipinstallpytorch-lightning ，否则如下图会直接卸载掉你的torch而安装cpu版本的torch。Installingcollectedpackages:torch,lightning_fabricAttemptinguninstall:torchFoundexistinginstallation:torch1.9.1+cu111Uninstallingtorch-1.9.1+cu111:Successfullyuninstalledtorch-1.9.1+
一般停止进程显存会释放，但是如果在不正常情况关闭进程，可能可能会出现显存不释放的情况：这时需要找到进程：fuser-v/dev/nvidia*可能出现bash:fuser:commandnotfound下载包，使用sudoapt-getinstallpsmisc这时再使用fuser-v/dev/nvidia*找到进程：/dev/nvidia-uvm:118241m119063m196506m/dev/nvidia0:119063m/dev/nvidia1:196506m/dev/nvidia8:118241m/dev/nvidiactl:118241m119063m196506m或者用fuse
1、Linux查看显卡信息：lspci|grep-ivga2、使用nvidiaGPU可以：lspci|grep-invidia前边的序号“00:0f.0″是显卡的代号(这里是用的虚拟机);查看指定显卡的详细信息用以下指令：lspci-v-s00:0f.03、Linux查看Nvidia显卡信息及使用情况Nvidia自带一个命令行工具可以查看显存的使用情况：nvidia-smi如果要周期性的输出显卡的使用情况，可以用watch指令实现：watch-n10nvidia-smi命令行参数-n后边跟的是执行命令的周期，以s为单位[root@ncayu8847~]#lspci-v-s00:02.000:0
在conda虚拟环境下安装torch==1.7.1+GPU版本本机环境CUDA11.0Python3.7安装torch1.7.1官网搜索确认需要下载的对应本机cuda的torch版本，使用在线下载即可，会直接安装好torch、torhvision、torchaudio。1、官网搜索对应cuda的版本2、安装命令condainstallpytorch==1.7.1torchvision==0.8.2torchaudio==0.7.2cudatoolkit=11.0-cpytorch查看安装版本importtorch#检测torch、cuda、cudnn版本print(torch.__versio
