我昨天说从数据技术嘉年华回来后就部署了一套ChatGLM，准备研究利用大语言模型训练数据库运维知识库，很多朋友不大相信，说老白你都这把年纪了，还能自己去折腾这些东西？为了打消这些朋友的疑虑，我今天把这两天折腾ChatGLM的过程分享给大家，也为有兴趣折腾一下ChatGLM的朋友讲一下避坑的一些技巧。
ChatGLM-6B是基于清华大学 KEG 实验室与智谱 AI 于2023年联合训练的语言模型 GLM 开发而成，是一个大型的语言模型，其针对用户的问题和要求提供适当的答复和支持。上面的回答是ChatGLM自己回答的，GLM-6B是一个开源的62亿参数的预训练模型，其特点是可以在比较小的硬件环境下本地运行。这一特性可以让基于大语言模型的应用可以走进千家万户。KEG实验室的目的是要让更大的GLM-130B模型（1300亿参数，与GPT-3.5相当）能够在一个8路RTX 3090的低端环境中完成训练。
如果这个目标真的能实现，那么对想基于大语言模型做一些应用的人来说绝对是一个福音。目前的ChatGLP-6B的FP16模型大约13G多一点，INT-4量化模型不到4GB，完全可以在一块6GB显存的RTX 3060TI上运行。
在部署前我不太了解这些情况，因此买了一块不上不下的12GB的RTX 3060，于是完成安装部署后仍然无法运行FP16的模型。早知道在自己家里做测试验证，直接买块价格更便宜的3060TI就可以了。而如果要运行无损的FP16模型，就必须上24GB显存的3090了。
如果你仅仅是想在自己的机器上测试一下ChatGLP-6B的能力，那么你可能不需要直接去下载THUDM/ChatGLM-6B模型，在huggingface上有一些打包好的量化模型可以下载。模型下载速度很慢，你可以直接下载int4的量化模型。
我这次安装是在一台I7 8核的PC机上完成的，显卡为12G显存的RTX 3060，因为这台电脑是我的工作电脑，因此我把ChatGLM安装在了WSL子系统上。在WINDOWS WSL 子系统上安装ChatGLM比直接在LINUX环境中安装要复杂一些。其中最大的坑是显卡驱动的安装。直接在Linux上部署ChatGLM的时候，需要直接安装NVIDIA的驱动程序，通过modprobe来激活网卡驱动就可以了。而在WSL上安装则大有不同。
ChatGLM可以在github上下载，在网站上也有一些简单的文档，甚至包含一个在WINDOWS WSL上部署ChatGLM的文档。只不过如果你是这方面的小白，完全按照这个文档去部署，会遇到无数的坑。
Requriements.txt文档里列出了ChatGLM使用的主要开源组件的清单与版本号，其核心是transformers,需要版本4.27.1，实际上要求没有这么严格，略低一点也没太大问题，不过安全起见还是用相同的版本为好。Icetk是做Token处理的，cpm_kernels是中文处理模型与cuda的核心调用，protobuf是结构化数据存储的。Gradio是用于利用Python快速生成AI应用的框架。Torch就不用我多做介绍了。
ChatGLM可以在没有GPU的环境中使用，利用CPU和32GB的物理内存来运行，不过运行速度很慢，仅仅能够用来做个演示验证而已。要想玩ChatGLM最好还是配备一块GPU。
在WSL上安装ChatGLM最大的坑是显卡驱动，在Git上ChatGLM的文档十分不友好，对于不太了解这个项目或者没有做过此类部署的人来说，文档实在太坑。实际上软件部署并不麻烦，而显卡驱动就十分有技巧性。
因为是在WSL subsystem上部署，因此LINUX只是一个仿真系统，并不是完整的LINUX，因此英伟达的显卡驱动只需要在WINDOWS上安装，不需要在WSL里激活。不过在WSL的LINUX虚拟环境中还是需要安装CUDA TOOLS。WINDOWS上的英伟达驱动一定要安装官网上的最新驱动，而不能使用WIN10/11自带的兼容性驱动，因此从官网上下载最新驱动并安装一定不要省略。
安装完WIN的驱动后就可以直接在WSL里安装cuda tools了，安装完毕后，运行nvidia-smi如果能够看到上面的界面，那么恭喜你，你已经成功地避开了第一个坑。实际上在安装cuda tools时候还会遇到几个小坑。那就是你的系统中必须安装合适版本的gcc,gcc-dev和make等编译相关的工具，如果缺少这些组件，cuda tools的安装会失败。
上面就是坑人的前期准备，实际上避开英伟达驱动这个坑，后面的安装还是很顺利的。在系统的选择上，我还是建议选择Debian兼容的Ubuntu，新版的Ubuntu的aptitude十分智能，能够帮你解决大量软件的版本兼容问题，实现部分软件的自动降版本。
下面的安装过程完全按照安装指南就可以顺利完成了，要注意的是替换/etc/apt/sources.list里面的安装源的工作最好按照指南完成，一方面安装速度会快很多，另外一方面也避免出现软件版本兼容性的问题。当然不替换也不一定会影响后面的安装过程。
如果你顺利地通过了前面的各道关卡，那么你就进入到了最后一步，启动web_demo了。执行python3 web_demo.py可以启动一个WEB对话的例子。这时候如果你是个穷人，只有一张12GB显存的3060，那么你就一定会看到上面的报错了，哪怕你把PYTORCH_CUDA_ALLOC_CONF设置为最小的21，也无法避开这个报错。这时候你就不能偷懒了，必须简单地改写一下python脚本。
默认的web_demo.py是使用FP16的预训练模型的，13GB多的模型肯定无法装载到12GB现存里的，因此你需要对这个代码做一个小的调整。
你可以改为quantize(4)来装载INT4量化模型，或者改为quantize(8)来装载INT8量化模型。这样你的显卡内存就够用了，而且可以支持你做各种对话了。
要注意的是，web_demo.py启动后，模型的下载工作才真正开始，因此要下载13GB的模型，需要相当长的时间，你可以把这项工作放到半夜做，或者你直接用迅雷等下载工具预先从hugging face上下载模型。如果你对模型一无所知，不太会安装下载的模型，你也可以修改代码中的模型名称，THUDM/chatglm-6b-int4，直接从网上下载只有不到4GB的INT4量化模型，这样会快很多，反正你的破显卡也跑不起FP16的模型。
至此，你可以通过网页与ChatGLM对话了，不过这一切只是折腾的开始。只有你能够把你的微调模型训练出来了，那么你的ChatGLM的入坑之旅才会真正开始。玩这种东西还是需要大量的精力和金钱的，入坑要慎重。
最后我还是十分感谢清华大学KEG实验室的朋友，他们的工作让更多的人可以低成本地使用大语言模型。
动漫制作技巧是很多新人想了解的问题，今天小编就来解答与大家分享一下动漫制作流程，为了帮助有兴趣的同学理解，大多数人会选择动漫培训机构，那么今天小编就带大家来看看动漫制作要掌握哪些技巧？一、动漫作品首先完成草图设计和原型制作。设计草图要有目的、有对象、有步骤、要形象、要简单、符合实际。设计图要一致性，以保证制作的顺利进行。二、原型制作是根据设计图纸和制作材料，可以是手绘也可以是3d软件创建。在此步骤中，要注意的问题是色彩和平面布局。三、动漫制作制作完成后，加工成型。完成不同的表现形式后，就要对设计稿进行加工处理，使加工的难易度降低，并得到一些基本准确的概念，以便于后续的大样、准确的尺寸制定。四、
我有一个字符串变量，它只能包含6个不同的值。我想检查它是否包含前4个值之一或2个第二值之一。有没有比这更优雅的方式:ifstring.eql?'val1'||string.eql?'val2'||string.eql?'val3'||string.eql?'val4'...elsifstring.eql?'val5'||string.eql?'val6'...end可能类似于ifstringisin['val1','val2','val3','val4']? 最佳答案 您可以使用include?:if['val1','val2','
写在之前Shader变体、Shader属性定义技巧、自定义材质面板，这三个知识点任何一个单拿出来都是一套知识体系，不能一概而论，本文章目的在于将学习和实际工作中遇见的问题进行总结，类似于网络笔记之用，方便后续回顾查看，如有以偏概全、不祥不尽之处，还望海涵。1、Shader变体先看一段代码......Properties{ [KeywordEnum(on,off)]USL_USE_COL("IsUseColorMixTex?",int)=0 [Toggle(IS_RED_ON)]_IsRed("IsRed?",int)=0}......//中间省略，后续会有完整代码 #pragmamulti_c
文章目录一、项目场景二、基本模块原理与调试方法分析——信源部分：三、信号处理部分和显示部分：四、基本的通信链路搭建：四、特殊模块：interpretedMATLABfunction：五、总结和坑点提醒一、项目场景 最近一个任务是使用simulink搭建一个MIMO串扰消除的链路，并用实际收到的数据进行测试，在搭建的过程中也遇到了不少的问题（当然这比vivado里面的debug好不知道多少倍）。准备趁着这个机会，先以一个很基本的通信链路对simulink基础和相关的debug方法进行总结。 在本篇中，主要记录simulink的基本原理和基本的SISO通信传输链路（QPSK方式），计划在下篇记
我想不出一种方法(使用类定义)来获取几个月前的数据。秒、天和分钟都很好，因为它们始终是常量。但是，由于月份并不总是恒定的，我需要知道一种方法让ruby知道当月有多少天。 最佳答案 如果您的应用程序使用ActiveSupport(例如Rails应用程序)，您可以使用3.months.ago获取当前日期减去3个月。 关于ruby-几个月前在ruby，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/qu
我是那些没有在他的任何Ruby/RubyonRails工作中使用TextMate的开发人员之一。我在这个领域的特别忠诚在于vim。您最喜欢将vim与Ruby和/或RubyonRails结合使用以尽可能提高工作效率的提示/技巧是什么？ 最佳答案 最重要获取rails.vim的副本它在数百万级别上很棒。Readthedoc.提示太多了，:Rviewcustomer,:RSmodelfoo,:Rinvert,gf,:Rextract,:Rake等等。您可能需要NERDTree以及轻松导航(您可以使用:Rtree访问)第二重要在推特上关注t
我需要Sinatra路由以下列方式运行:GET/list/20/10#Get20itemswithoffset10GET/list/20#Get20itemswithdefaultoffsetGET/list#Getdefaultnumberofitemswithdefaultoffset我明白，我可能会将值作为查询传递:GET/list?limit=20&offset=10但我想如上所述传递它们。我很确定有一种方法可以向Sinatra/Padrino解释我想做什么，但我目前完全被困住了。我试过:get:list,:map=>'/list',:with=>[:limit,:offset
我需要在RubyonRails应用程序中循环几个月。对于每个月，我需要找到给定月份的第一天和最后一天。然后在单独的查询中使用这些日期来查找在这些日期期间发生的事件并对其运行计算。最初，我尝试过类似的方法:(11.months.ago.to_date.month..Date.today.month).eachdo|m|start_date='01-#{m}-#{Date.today.year}'.to_date.beginning_of_monthend_date='01-#{m}-#{Date.today.year}'.to_date.end_of_monthend当然，如果11个月前
最近做了一个平台项目，需要进行动态代码测试，入门了嵌入式单元测试工具Tessy，总结了一些简单的测试技巧。当前网上的教程普遍只写内容概要，真正入手还得自己认真摸索一番。为此，特意总结了一些Tessy测试技巧以供有缘人参考。提几个Tessy工具使用的问题。1.如何导入工程的头文件？2.如何解决文件内存在汇编语言代码分析时候报错的问题？3.如何规避本文件创建却不使用的函数，宏和变量，在执行executetest出现的undefinedreferencetoxx的问题？4.如何创建测试用例testcase？5.为什么testcase的结果输出与期望不一致？6.创建testcase的方法有几种？7.C
目录前言一、SQLServer基础1.SQLServer2012安装启动navicat远程连接2.SQLServer概念数据库的组成数据库中常用对象默认库介绍3.T-SQL语言创建数据库创建表插入数据基础语法总结4.sqlserver权限新建用户并赋予权限权限总结二、Sqlserver手工注入环境搭建注入手法1.联合查询2.报错注入3.布尔盲注4.延时注入三、SQlserver提权getshellxp_cmdshell执行系统命令sp_oacreate执行系统命令使用CLR执行系统命令数据库差异备份写webshell日志差异备份写webshell前言本文详细的介绍了SqlServer安全基础，
