草庐IT

数值量化

全部标签

【python量化】大幅提升预测性能,将NSTransformer用于股价预测

写在前面NSTransformer模型来自NIPS2022的一篇paper《Non-stationaryTransformers:ExploringtheStationarityinTimeSeriesForecasting》。NSTransformer的目的主要是为了解决其他方法出现过平稳化处理的问题。其通过提出序列平稳化以及去平稳化注意力机制可以使得模型面向提升预测性能的角度进行平稳化处理,相比于Transformer的变体,NSTransformer在预测性能方面实现了大幅度的提升。下面的这篇文章主要带大家了解一下NSTransformer的基本原理,并使用作者开源的NSTransfor

YOLOV5-模型轻量化的一些常见方法

欢迎关注、点赞、评论!YOLOv5是一个基于深度学习的目标检测算法,是YOLO系列算法的最新版本。YOLO是YouOnlyLookOnce的缩写,意味着只需要一次前向传递就可以完成目标检测任务,因此具有非常快的检测速度和较高的精度。相比于YOLOv4,YOLOv5在多个方面进行了改进和优化,包括更快的训练速度、更高的精度、更小的模型体积等。以下是YOLOv5的一些特点:更快的训练速度YOLOv5采用了一种新的训练方法,称为Scaled-YOLOv4,在不降低模型精度的情况下加快了模型的训练速度。此外,YOLOv5还采用了一种新的数据增强方法,称为MosaicDataAugmentation,可

【机器学习】全网最全模型评价指标(性能指标、YOLOv5训练结果分析、轻量化指标、混淆矩阵详解)【基础收藏】

🥑WelcometoAedream同学'sblog!🥑文章目录模型性能指标常见指标ROC/AUCROC&PRC多分类问题——混淆矩阵计算结果分析——以YOLOv5为例1.confusion_matrix.png(混淆矩阵)2.F1_curve:3.labels.jpg4.labels_corrrelogram.jpg5.P_curve.png6.PR_curve.png7.R_curve.png8.results.png8:results.txt轻量化主要关注1、Parameters参数量2、FLOPs浮点运算次数3、Latency延迟4、FPS每秒传输帧数指标间的关系网络的运算速度与什么有关

实验九 数据微积分与方程数值求解(matlab)

实验九 数据微积分与方程数值求解1.1实验目的1.2实验内容1.3流程图1.4程序清单1.5运行结果及分析1.6实验的收获与体会1.1实验目的1,掌握求数值导数和数值积分的方法;2,掌握代数方程数组求解的方法;3,掌握多常微分方程数值求解的方法。1.2实验内容1.3流程图1.4程序清单%%clcclear%%1clear;clcx=1;i=1;f=inline('det([xx.^2x.^3;1+0*x2*x3*x.*x;0*x2+0*x6*x])');while x    g(i)=f(x);    i=i+1;    x=x+0.01;endg;dx=diff(g)/0.01;f1=dx(

Llama2通过llama.cpp模型量化 Windows&Linux本地部署

Llama2通过llama.cpp模型量化Windows&Linux本地部署什么是LLaMA1and2LLaMA,它是一组基础语言模型,参数范围从7B到65B。在数万亿的tokens上训练的模型,并表明可以专门使用公开可用的数据集来训练最先进的模型,而无需求助于专有和不可访问的数据集。特别是,LLaMA-13B在大多数基准测试中都优于GPT-3(175B),并且LLaMA65B与最好的型号Chinchilla-70B和PaLM-540B具有竞争力。Meta出品的Llama续作Llama2,一系列模型(7b、13b、70b)均开源可商用。Llama2在各个榜单上精度全面超过Llama1,同时也超

机器人中的数值优化(二十一)—— 伴随灵敏度分析、线性方程组求解器的分类和特点、优化软件

  本系列文章主要是我在学习《数值优化》过程中的一些笔记和相关思考,主要的学习资料是深蓝学院的课程《机器人中的数值优化》和高立编著的《数值最优化方法》等,本系列文章篇数较多,不定期更新,上半部分介绍无约束优化,下半部分介绍带约束的优化,中间会穿插一些路径规划方面的应用实例    三十三、伴随灵敏度分析  伴随灵敏度分析可以避免冗余信息的计算,在下面的例子中,我们想要求解Ax=b1、Ax=b2…Ax=bm等一系列方程组,第一种求解思路是将A矩阵进行LU分解,A=LUA=LUA=LU,求逆后可得到A−1=U−1L−1A^{-1}=U^{-1}L^{-1}A−1=U−1L−1,然后依次将b1~bm代

解决LLaMA、BERT等部署难题:首个4-bit浮点量化LLM来了

大语言模型(LLM)压缩一直备受关注,后训练量化(Post-trainingQuantization) 是其中一种常用算法,但是现有PTQ方法大多数都是integer量化,且当比特数低于8时,量化后模型的准确率会下降非常多。想较于Integer(INT)量化,FloatingPoint(FP)量化能更好的表示长尾分布,因而越来越多的硬件平台开始支持FP量化。而这篇文章给出了大模型FP量化的解决方案。文章发表在EMNLP2023上。论文地址:https://arxiv.org/abs/2310.16836代码地址:https://github.com/nbasyl/LLM-FP4要了解本文,必须

【数值分析实验】(二)函数逼近与离散数据拟合(含matlab代码)

目录1背景简介2案例设计3数学模型3.1最佳平方逼近3.1.1算法过程3.1.2代码3.1.3计算结果4分析与讨论1背景简介        研究中用简单的函数或性质好的函数去近似替代复杂的或未知的函数,是数值计算科学的基本任务。与插值法相比,最佳逼近法的优点之一是它不要求指导被逼近函数在某些点的准确值,使得该方法在处理许多带误差的实验数据时更加有效。2案例设计3数学模型3.1最佳平方逼近3.1.1算法过程3.1.2代码functiony=Legendre(x,k)%勒让德多项式函数ifk==0y=ones(size(x));elseifk==1y=x;elseifk==2y=(3.*x.^2-

c++ - 为什么 Visual C++ 自动矢量化器不矢量化这个简单的循环?

我不明白为什么VisualC++不能自动矢量化这个循环...有什么想法吗?我得到:testvec.cpp:12:infoC5002:loopnotvectorizedduetoreason'1200'原因代码1200是:Loopcontainsloop-carrieddatadependencesthatpreventvectorization.Differentiterationsoftheloopinterferewitheachothersuchthatvectorizingtheloopwouldproducewronganswers,andtheauto-vectorizer

大语言模型量化方法对比:GPTQ、GGUF、AWQ

在过去的一年里,大型语言模型(llm)有了飞速的发展,在本文中,我们将探讨几种(量化)的方式,除此以外,还会介绍分片及不同的保存和压缩策略。说明:每次加载LLM示例后,建议清除缓存,以防止出现OutOfMemory错误。delmodel,tokenizer,pipeimporttorchtorch.cuda.empty_cache()如果在jupyter中无法释放显存,请重启这个jupyternotebook。模型加载加载LLM的最直接、最普通的方式是通过🤗Transformers。HuggingFace已经创建了一个套件,我们能够直接使用pipinstallgit+https://githu