草庐IT

ChatGLM-Pro

全部标签

关于生成式语言大模型的一些工程思考 paddlenlp & chatglm & llama

生成式语言大模型,随着chatgpt的爆火,市场上涌现出一批高质量的生成式语言大模型的项目。近期百度飞桨自然语言处理项目paddlenlp发布了2.6版本。更新了以下特性:全面支持主流开源大模型Bloom,ChatGLM,GLM,Llama,OPT的训练和推理;TrainerAPI新增张量训练能力,简单配置即可开启分布式训练;新增低参数微调能力PEFT,助力大模型高效微调。其中chatglm与llama是生成式语言大模型中市场认可度相对较高的两款生成式语言模型。分布式多机多卡的深度学习训练有多种模式,其中概括而言是数据并行与模型并行。数据并行参数量受限制于显存,所以模型的参数量上限相对低于模型

ChatGLM2-6B! 我跑通啦!本地部署+微调(windows系统)

ChatGLM2-6B!我跑通啦!(windows系统)1.跑通了啥?2.咋跑通的?2.1ChatGLM2-6B本地部署2.2ChatGLM2-6B本地微调2.3小结3.打算做什么?1.跑通了啥?记录一下此时此刻,2023年7月8日22点04,从ChatGLM2-6B在7月4日开放了ptuning到此时此刻,ChatGLM2-6B的微调终于被哥们跑通了!从本地部署ChatGLM2-6B到本地进行P-tuning微调,再到最后的模型检测,哥们全跑通了!2.咋跑通的?2.1ChatGLM2-6B本地部署这里非常感谢ChatGLM2-6B|开源本地化语言模型这篇博客!因为我布置环境,本地部署完全按照

m1/m1Pro/m1Max芯片下载win11-arm镜像

背景有不少同学在购买苹果mac电脑之后,发现很多软件或者游戏无法安装,只能在windows操作系统中运行,如果不想卸载macOS重装windows系统的话,最好的方法就是在mac苹果电脑中安装双系统,那么macbook如何安装双系统呢?一般来说有2种方式:通过“启动转换助理(BootCampAssistant)”的功能,该功能可在搭载英特尔芯片的Mac电脑上一键安装Windows系统然而,该功能目前在M1Mac中不可用,即使微软推出了Win10ARM系统,苹果也没有进行官方适配。在以前的版本中,当M1Mac用户打开“启动转换助理”功能后,系统会提示该功能无法使用。在最新的macOS12Mont

m1/m1Pro/m1Max芯片下载win11-arm镜像

背景有不少同学在购买苹果mac电脑之后,发现很多软件或者游戏无法安装,只能在windows操作系统中运行,如果不想卸载macOS重装windows系统的话,最好的方法就是在mac苹果电脑中安装双系统,那么macbook如何安装双系统呢?一般来说有2种方式:通过“启动转换助理(BootCampAssistant)”的功能,该功能可在搭载英特尔芯片的Mac电脑上一键安装Windows系统然而,该功能目前在M1Mac中不可用,即使微软推出了Win10ARM系统,苹果也没有进行官方适配。在以前的版本中,当M1Mac用户打开“启动转换助理”功能后,系统会提示该功能无法使用。在最新的macOS12Mont

YOLOv6 Pro | YOLOv6网络魔改 (1) ——RepGFPN融合高效聚合网络(ELAN)和重参数化的目标检测Neck(来自DAMO-YOLO)

在阿里达摩院ICLR2022发表的论文《GiraffeDet:AHeavy-NeckParadigmforObjectDetection》中,他们提出了GiraffeDet,它具有极轻量级计算量的backbone和大计算量的neck,使得网络更关注于高分辨率特征图中空间信息和低分辨率特征图中语义信息的信息交互。同时在2022年11月底他们开源的DAMOYOLO中,再一次用到了GFPN的思想,他们基于queen-fusion的GFPN,加入了高效聚合网络(ELAN)和重参数化的思想,构成了一个新的Neck网络RepGFPN,乘着火热,本篇将在YOLOv6Pro框架中,在YOLOV6的neck结构

模型训练系列:1、用清华ChatGLM-6B模型部署自己的本地AI助手

最近清华大学开源的ChatGLM-6B语言模型在国际上大出风头,仅仅62亿参数的小模型,能力却很强。很期待他们后续1300亿参数模型130B的发布。为什么一些能力较弱的小模型,这么受追捧?因为ChatGPT、GPT-4虽好,毕竟被国外封锁,而且还要付费,更重要的是,LLM要在各行业提高生产力,很多企业接下来肯定是要自己部署语言模型的,毕竟谁也不敢泄漏自己商业数据给别人的AI去训练,为他人做嫁衣,最后砸了自己的饭碗。这里根据我的实操经验,分享一下如何自己搭建一个语言模型服务器。最后效果如下:首先需要搞一台GPU较强的机器,推荐先租一台腾讯云、阿里云等AI训练的机器,T4显卡就行,一般价格是按量付

ChatGLM-6B的windows本地部署使用

ChartGPT最近特别火,但是收费,而且国内访问不太方便,所以找了个类似的进行学习使用ChatGLM-6B,开源支持中英文的对话大模型,基于GeneralLanguageModel(GLM)架构,具有62亿参数,简单说非常不错,可能和chartGPT比较有些差距,但是开源免费,并且可以在本地部署,支持中文,这就很nice了首先安装环境,当前本机电脑win10,pycharm2020,python3.9,Anaconda3。文章涉及到的相关资源会在文章最下面公共号中提供,这里也注意,部分软件根据电脑本身需要改动版本安装1、需要安装CUDA和cudnn由于要使用GPU(不用也可以,不过是有点慢)

RISC-V处理器的设计与实现(三)—— 上板验证(基于野火征途Pro开发板)

目录文章传送门一、添加串口二、上板验证三、总结与思考文章传送门RISC-V处理器的设计与实现(一)——基本指令集_Patarw_Li的博客-CSDN博客RISC-V处理器的设计与实现(二)——CPU框架设计_Patarw_Li的博客-CSDN博客RISC-V处理器的设计与实现(三)——上板验证_Patarw_Li的博客-CSDN博客前面我们用Verilog实现了一个简易的RISC-V处理器,并且写了一个简易的C程序,把它编译成机器指令后放到我们的处理器中运行,运行结果也是正确的。这次我会把我们的处理器移植到板子上(板子是野火家的征途Pro,型号为EP4CE10F17C8),并实现用串口给rom

关于GitLens Pro试用版已结束,请升级到GitLens Pro问题

其实gitlens那个预发布版本才是免费的目前我特地去git看了一下,说还是提供免费版本的,反正我目前切换到预发布版本就是没说要更新收我钱钱了。记得把原本的gitLens给禁用掉,然后F1输入load重新加载窗口就可以了。过了一天又不行了直接换插件,四百rmb用不起

python中使用OAK-D PRO相机实现OCR功能

目录OAK简介Tesseract简介TesseractOCR安装包安装TesseractOCR代码实现OAK简介OAK(OpenCVAIKit)是一个开源的智能视觉平台,它集成了硬件和软件组件,旨在提供高性能的实时目标检测、识别和跟踪等视觉AI功能。OAK由Luxonis公司开发,目的是为了降低视觉AI开发的门槛,使其更加普及和易于实现。OAK平台的核心是OAK相机,它是一款集成了RGB相机、深度相机以及专门的神经网络处理器的智能视觉相机。OAK相机使用MIPICSI-2接口连接到主设备,可以提供高质量的图像和深度数据输入。OAK相机通过内置的NPU(神经网络处理器)实现了实时的神经网络推理,