草庐IT

再探pytorch的Dataset和DataLoader

全部标签

【笔记】PyTorch快速入门:基础部分合集

PyTorch快速入门TensorsTensors贯穿PyTorch始终和多维数组很相似,一个特点是可以硬件加速Tensors的初始化有很多方式直接给值data=[[1,2],[3,4]]x_data=torch.tensor(data)从NumPy数组转来np_arr=np.array(data)x_np=torch.from_numpy(np_array)从另一个Tensorx_ones=torch.ones_like(x_data)赋01或随机值shape=(2,3,)rand_tensor=torch.rand(shape)ones_tensor=torch.ones(shape)ze

深度学习PyTorch入门(1):3060 Pytorch+pycharm环境搭建

WIN10,NVIDIAGeForceRTX3060python3.7,CUDAv11.1.1,PyTorch1.9,PyCharm1.安装anacodah和PyCharm:  1.1为了稳定,此处安装了2019年10月16日的Anaconda3-2019.10-Windows-x86_64.exe  1.2更换清华源:(更换conda源,将默认的国外源更换成国内源,显著提升相关库的下载速度。)编辑用户目录下的.condarc 文件即可更换conda默认源。  Windows用户无法直接创建名为 .condarc 的文件,需要先执行如下命令,生成该文件后再修改。condaconfig--set

深度学习PyTorch入门(1):3060 Pytorch+pycharm环境搭建

WIN10,NVIDIAGeForceRTX3060python3.7,CUDAv11.1.1,PyTorch1.9,PyCharm1.安装anacodah和PyCharm:  1.1为了稳定,此处安装了2019年10月16日的Anaconda3-2019.10-Windows-x86_64.exe  1.2更换清华源:(更换conda源,将默认的国外源更换成国内源,显著提升相关库的下载速度。)编辑用户目录下的.condarc 文件即可更换conda默认源。  Windows用户无法直接创建名为 .condarc 的文件,需要先执行如下命令,生成该文件后再修改。condaconfig--set

大数据Hadoop之——Flink DataStream API 和 DataSet API

目录一、DataStreamAPI概述二、什么是DataStream?三、DataStream数据处理过程1)DataSources(数据源)1、DataSources原理2、DataSources实现方式1)基于文件2)基于套接字3)基于集合4)自定义2)DataStreamTransformations(数据流转换//处理/算子)1、数据流转换2、物理分区3、算子链和资源组3)DataSinks(数据输出)旁路输出(分流)2)Flink程序剖析(scala)1、获取一个执行环境(executionenvironment)2、加载/创建初始数据3、指定数据相关的转换4、指定计算结果的存储位置

大数据Hadoop之——Flink DataStream API 和 DataSet API

目录一、DataStreamAPI概述二、什么是DataStream?三、DataStream数据处理过程1)DataSources(数据源)1、DataSources原理2、DataSources实现方式1)基于文件2)基于套接字3)基于集合4)自定义2)DataStreamTransformations(数据流转换//处理/算子)1、数据流转换2、物理分区3、算子链和资源组3)DataSinks(数据输出)旁路输出(分流)2)Flink程序剖析(scala)1、获取一个执行环境(executionenvironment)2、加载/创建初始数据3、指定数据相关的转换4、指定计算结果的存储位置

pytorch MRI脑瘤检测 学习笔记

数据集下载地址:https://www.kaggle.com/datasets/navoneel/brain-mri-images-for-brain-tumor-detection读取数据#readingtheimagestumor=[]path='D:\\data\\Tumor_detection\\archive\\brain_tumor_dataset\\yes\\*.jpg'#*表示所有forfinglob.iglob(path):#遍历所有的yes图片img=cv2.imread(f)img=cv2.resize(img,(128,128))#相当于reshape改变图片大小b,g

pytorch MRI脑瘤检测 学习笔记

数据集下载地址:https://www.kaggle.com/datasets/navoneel/brain-mri-images-for-brain-tumor-detection读取数据#readingtheimagestumor=[]path='D:\\data\\Tumor_detection\\archive\\brain_tumor_dataset\\yes\\*.jpg'#*表示所有forfinglob.iglob(path):#遍历所有的yes图片img=cv2.imread(f)img=cv2.resize(img,(128,128))#相当于reshape改变图片大小b,g

实践Pytorch中的模型剪枝方法

摘要:所谓模型剪枝,其实是一种从神经网络中移除"不必要"权重或偏差的模型压缩技术。本文分享自华为云社区《模型压缩-pytorch中的模型剪枝方法实践》,作者:嵌入式视觉。一,剪枝分类所谓模型剪枝,其实是一种从神经网络中移除"不必要"权重或偏差(weigths/bias)的模型压缩技术。关于什么参数才是“不必要的”,这是一个目前依然在研究的领域。1.1,非结构化剪枝非结构化剪枝(UnstructuredPuning)是指修剪参数的单个元素,比如全连接层中的单个权重、卷积层中的单个卷积核参数元素或者自定义层中的浮点数(scalingfloats)。其重点在于,剪枝权重对象是随机的,没有特定结构,因

实践Pytorch中的模型剪枝方法

摘要:所谓模型剪枝,其实是一种从神经网络中移除"不必要"权重或偏差的模型压缩技术。本文分享自华为云社区《模型压缩-pytorch中的模型剪枝方法实践》,作者:嵌入式视觉。一,剪枝分类所谓模型剪枝,其实是一种从神经网络中移除"不必要"权重或偏差(weigths/bias)的模型压缩技术。关于什么参数才是“不必要的”,这是一个目前依然在研究的领域。1.1,非结构化剪枝非结构化剪枝(UnstructuredPuning)是指修剪参数的单个元素,比如全连接层中的单个权重、卷积层中的单个卷积核参数元素或者自定义层中的浮点数(scalingfloats)。其重点在于,剪枝权重对象是随机的,没有特定结构,因

【深度学习 01】线性回归+PyTorch实现

1.线性回归1.1线性模型  当输入包含d个特征,预测结果表示为:       记x为样本的特征向量,w为权重向量,上式可表示为:      对于含有n个样本的数据集,可用X来表示n个样本的特征集合,其中行代表样本,列代表特征,那么预测值可用矩阵乘法表示为:      给定训练数据特征X和对应的已知标签y,线性回归的⽬标是找到⼀组权重向量w和偏置b:当给定从X的同分布中取样的新样本特征时,这组权重向量和偏置能够使得新样本预测标签的误差尽可能小。1.2损失函数(lossfunction)  损失函数又称代价函数(costfunction),通常用其来度量目标的实际值和预测值之间的误差。在回归问题