草庐IT

矢量化

全部标签

使用GGML和LangChain在CPU上运行量化的llama2

MetaAI在本周二发布了最新一代开源大模型Llama2。对比于今年2月发布的Llama1,训练所用的token翻了一倍,已经达到了2万亿,对于使用大模型最重要的上下文长度限制,Llama2也翻了一倍。在本文,我们将紧跟趋势介绍如何在本地CPU推理上运行量化版本的开源Llama2。量化快速入门我们首先简单介绍一下量化的概念:量化是一种减少用于表示数字或值的比特数的技术。由于量化减少了模型大小,因此它有利于在cpu或嵌入式系统等资源受限的设备上部署模型。一种常用的方法是将模型权重从原始的16位浮点值量化为精度较低的8位整数值。llm已经展示了出色的能力,但是它需要大量的CPU和内存,所以我们可以

个人随笔 —— 基于 go 语言实现的轻量化 workflow 分布式引擎插件

背景组内有很多项目都涉及复杂的任务流场景:集群创建、删除等生命周期管理k8s资源申请销毁....这些场景都有几个共同的特点:流程耗时且步骤复杂,需要几十步操作,其中包含云资源申请、脚本执行、接口调用等,且相互存在依赖关系。任务量随着业务增长而快速迭代,比如每个集群每天都会自动备份等任务需要调度执行。运维难度大,需要标准的框架约束业务实现,并基于此框架提供建设标准的运维体系,尽最大可能支持SLA方案调研在go体系内的各种方案硬编码结合定时TimerWorker实现虽然工作量较小,但是只能满足某个场景下的特定工作流,没有可复用性,暂不具备扩展性,无法建立标准。argo基于k8s,api-serve

Doris向量化执行引擎原理(概述)

Doris向量化执行引擎原理一、向量化执行引擎的概述向量化执行引擎是一种高效的数据处理方式,它将数据分为多个向量进行处理,能够充分利用CPU的SIMD指令集,提高数据处理的效率。在Doris中,向量化执行引擎被广泛应用于查询优化、数据压缩、聚合计算等方面,能够显著提高Doris的查询性能和数据处理能力。二、向量化执行引擎的实现原理数据结构向量化执行引擎中的数据结构主要包括列式存储、行式存储、位图存储等。其中,列式存储是最常用的存储方式,它将同一列的数据存储在一起,能够提高数据压缩和查询性能。行式存储则是将一行数据存储在一起,适用于写入操作。位图存储则是将数据按照二进制位进行存储,能够高效地处理

Python量化交易实战:获取股票数据并做分析处理

量化交易(也称自动化交易)是一种应用数学模型帮助投资者进行判断,并且根据计算机程序发送的指令进行交易的投资方式,它极大地减少了投资者情绪波动的影响。量化交易的主要优势如下:快速检测客观、理性自动化量化交易的核心是筛选策略,策略也是依靠数学或物理模型来创造,把数学语言变成计算机语言。量化交易的流程是从数据的获取到数据的分析、处理。数据获取数据分析工作的第一步就是获取数据,也就是数据采集。获取数据的方式有很多,一般来讲,数据来源主要分为两大类:外部来源(外部购买、网络爬取、免费开源数据等)和内部来源(自己企业销售数据、财务数据等)。因为我们不生产数据,所以只能从外部获取数据。其获取途径是第三方开源

Python量化交易实战:获取股票数据并做分析处理

量化交易(也称自动化交易)是一种应用数学模型帮助投资者进行判断,并且根据计算机程序发送的指令进行交易的投资方式,它极大地减少了投资者情绪波动的影响。量化交易的主要优势如下:快速检测客观、理性自动化量化交易的核心是筛选策略,策略也是依靠数学或物理模型来创造,把数学语言变成计算机语言。量化交易的流程是从数据的获取到数据的分析、处理。数据获取数据分析工作的第一步就是获取数据,也就是数据采集。获取数据的方式有很多,一般来讲,数据来源主要分为两大类:外部来源(外部购买、网络爬取、免费开源数据等)和内部来源(自己企业销售数据、财务数据等)。因为我们不生产数据,所以只能从外部获取数据。其获取途径是第三方开源

2022年华中杯数学建模挑战赛B题量化投资问题求解全过程文档及程序

2022年华中杯数学建模B题量化投资问题原题再现:  量化投资是指通过数量化方式及计算机程序化发出买卖指令,以获取稳定收益为目的的交易方式。投资者通过数据分析探索市场运行规律,并预测市场走势,从而进行决策交易。随着大数据技术的发展,量化投资在全球金融交易市场上的地位愈加重要。但是由于市场信息十分庞杂,同时产品的价格也受到其他诸多因素的影响,如何从海量的市场信息中提取出有效指标,制订交易策略,是一个具有挑战性的工作。  本题附表提供的数据指标,主要包括:①宏观市场指标(采购经理指数、社会消费品零售总额、居民消费价格指数、国内生产总值、人民币存款利率、人民币贷款利率);②国内股票市场指标(上证综合

Mac使用Python接入东方财富量化接口Choice,调试与获取数据

这篇博客用来把在Mac平台上使用python接入东方财富Choice接口的流程细化并重写,官方文档有些地方说的太含糊了,有的地方博主尝试了多种方法才试出来,这里直接把标准答案给到大家,尽量避坑吧~吐槽:同花顺科技感很足,赞,但是没有Mac版本的,而且券商数据太少太少啦,希望再接再厉吧文章目录Choice账号获取Choice接口激活Python接口拉取数据更多代码Choice账号获取首先使用这个接口的时候,需要有购买的账号哈,价格请参考:https://choice.eastmoney.com/buyingcenter,应该是每年3w一般你注册账号之后会有人打电话联系你,或是主动打客服,都可以的

Mac使用Python接入东方财富量化接口Choice,调试与获取数据

这篇博客用来把在Mac平台上使用python接入东方财富Choice接口的流程细化并重写,官方文档有些地方说的太含糊了,有的地方博主尝试了多种方法才试出来,这里直接把标准答案给到大家,尽量避坑吧~吐槽:同花顺科技感很足,赞,但是没有Mac版本的,而且券商数据太少太少啦,希望再接再厉吧文章目录Choice账号获取Choice接口激活Python接口拉取数据更多代码Choice账号获取首先使用这个接口的时候,需要有购买的账号哈,价格请参考:https://choice.eastmoney.com/buyingcenter,应该是每年3w一般你注册账号之后会有人打电话联系你,或是主动打客服,都可以的

三种方式在HTML使用阿里字体图标--iconfont阿里巴巴矢量图标库

好久没用到阿里巴巴的图标,突然要用到就发现不会用了,只会导出png格式的图标png了==目录1、字体图标方法一、本地使用通过类名使用阿里矢量图标1、把图标添加入库2、把图标添加到项目 3、下载字体图标4、使用文件5、在对应的HTML页面上引入css6、使用字体图标7、在HTML中通过类名去使用字体图标方法二、通过在线链接使用阿里字体图标方法三、通过Unicode使用字体图标四、注意事项1、字体图标字体图标:可以让我们在页面中实现网页中的简洁图标的效果--看起来是图标字体图标字体图标展示的是图标,本质是字体处理简单的、颜色单一的图标字体图标的优点灵活性:灵活地修改样式,例如:尺寸、颜色等轻量级:

Elasticsearch 中的矢量搜索:设计背后的基本原理

作者:AdrienGrand你是否有兴趣了解Elasticsearch用于矢量搜索(vectorsearch)的特性以及设计是什么样子?一如既往,设计决策有利有弊。本博客旨在详细介绍我们如何选择在Elasticsearch中构建矢量搜索。矢量搜索通过ApacheLucene集成到Elasticsearch中首先是有关Lucene的一些背景知识:Lucene将数据组织成定期合并的不可变段(segments)。添加更多文档需要添加更多段。修改现有文档需要自动添加更多段并将这些文档的先前版本标记为已删除。段内的每个文档都由文档ID标识,文档ID是该文档在段内的索引,类似于数组的索引。这种方法的动机是