草庐IT

本地CPU运行ChatGLM-6B与测试过程记录

ybdesire 2023-04-04 原文

1. 引入

2023年3月份对NLP注定是一个不平凡的月份。

  • 3月14日，OpenAI发布GPT-4
  • 3月15日，清华大学唐杰发布了ChatGLM-6B
  • 3月16日，百度发布文心一言

这些模型都是首发。ChatGLM的参数数量是62亿，训练集是1T标识符的中英双语语料。相比而言，GPT3的参数量级是1750亿，GPT4是100万亿（网传）。ChatGLM-6B作为该领域的低成本模型，值得一试。

2. 具体配置、运行步骤

  1. 下载代码
git clone https://github.com/THUDM/ChatGLM-6B
cd ChatGLM-6B
  1. 安装依赖
pip install -r requirements.txt

可以从requirements中看到，模型是基于pytorch的。
这会不会是说明NLP更多在用pytorch？该学点torch了。

  1. 下载模型

这里有点小坑，它给了两个下载链接，其中一个（https://cloud.tsinghua.edu.cn/d/fb9f16d6dc8f482596c2/）只包括模型部分，还缺少相关的模型配置文件，单用这个没发运行。

推荐从HuggingFace下载模型（参考2），注意所有.bin文件，所有.py文件，所有.json等文件，都需要下载并放到某个目录（放在任何一个地方都可以，假设为 path_model ）。

  1. 修改代码

我们先用repo中给的测试代码来测试，需要将参考3处的代码，改为如下两行：

tokenizer = AutoTokenizer.from_pretrained(path_model, trust_remote_code=True)
model = AutoModel.from_pretrained(path_model, trust_remote_code=True).float()

这里的设置有两个目的：（1）配置模型所在的目录，这里假设为path_model （2）配置为CPU运行(将默认的GPU配置.half().cuda()改为CPU配置.float())。

  1. 运行测试
python cli_demo.py

本文实验环境为python3.10。

3. 运行效果

cli_demo运行后，可以在命令行接口进行简单的人机交互。效果如下

  1. 认识英文，能写代码

  1. 能进行简单的中文推理（虽然结果不对）和中文对话


  1. 运行时消耗大量的资源
  • 内存使用了40.6G
  • CPU是30个逻辑核一起跑的

4. 自己写代码调用模型来运行

用如下几行代码，就能启动模型运行，并输出结果。对于需要换行的问题，也没法用cli_demo，只能用下面这种用法。

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("../chatglm-6b", trust_remote_code=True)
model = AutoModel.from_pretrained("../chatglm-6b", trust_remote_code=True).float()
model = model.eval()

ques = '''
下面这段代码的功能是什么？
public String t(final Context context, final String str) {
    return K("getLine1Number", str).a("getLine1Number", new com.aaa.sensitive_api_impl<String>() { // from class: com.aaa.sensitive_impl
        public String e() {
            if (o.l(66666, this)) {
                return o.w();
            }
            try {
                com.aaa.sensitive_api_impl.c(GalerieService.APPB, r2, str);
                TelephonyManager a2 = a.a(context);
                if (a2 != null) {
                    return a2.getLine1Number();
                }
                return "";
            } catch (Exception e) {
                Logger.e("PPP.PhoneData", e);
                return "";
            }
        }

        }
    }, "");
}

'''

response, history = model.chat(tokenizer, ques, history=[])
print(response)

模型的输出为：

这段代码提供了一个名为`t()`的函数,它接受一个`Context`对象和一个字符串参数`str`。函数返回一个字符串,该字符串包含一个`getLine1Number()`方法的调用,该方法返回当前用户所在设备的电话号码。

具体来说,该函数通过以下步骤实现这个功能:

1. 从类`com.aaa.sensitive_impl`中获取一个名为`e()`的方法。
2. 将该方法重写为使用`K�$()`运算符调用`getLine1Number()`方法。
3.意外险用API的实现,该实现使用`a()`方法调用`getLine1Number()`方法,并将返回的结果返回给调用者 involvement(这里是函数`t()`的参数)。

模型对这些从APK逆向过来的代码，是有一点理解能力的。

5. 总结

本文给出了 ChatGLM-6B 在本地的配置使用步骤，cli的用法，自己写代码调用的方法与测试效果。

希望能有更多低成本的大模型能被开源出来！

参考：

  1. https://github.com/THUDM/ChatGLM-6B
  2. https://huggingface.co/THUDM/chatglm-6b/tree/main
  3. https://github.com/THUDM/ChatGLM-6B/blob/main/cli_demo.py#L5
ChatGLMCPUspanclasstokenpython$深度学习$人工智能

有关本地CPU运行ChatGLM-6B与测试过程记录的更多相关文章

  1. ruby - 如何从 ruby​​ 中的字符串运行任意对象方法？ - 2

    总的来说，我对ruby​​还比较陌生，我正在为我正在创建的对象编写一些rspec测试用例。许多测试用例都非常基础，我只是想确保正确填充和返回值。我想知道是否有办法使用循环结构来执行此操作。不必为我要测试的每个方法都设置一个assertEquals。例如:describeitem,"TestingtheItem"doit"willhaveanullvaluetostart"doitem=Item.new#HereIcoulddotheitem.name.shouldbe_nil#thenIcoulddoitem.category.shouldbe_nilendend但我想要一些方法来使用

  2. ruby-on-rails - 使用 Ruby on Rails 进行自动化测试 - 最佳实践 - 2

    很好奇，就使用ruby​​onrails自动化单元测试而言，你们正在做什么？您是否创建了一个脚本来在cron中运行rake作业并将结果邮寄给您？git中的预提交Hook？只是手动调用？我完全理解测试，但想知道在错误发生之前捕获错误的最佳实践是什么。让我们理所当然地认为测试本身是完美无缺的，并且可以正常工作。下一步是什么以确保他们在正确的时间将可能有害的结果传达给您？ 最佳答案 不确定您到底想听什么，但是有几个级别的自动代码库控制:在处理某项功能时，您可以使用类似autotest的内容获得关于哪些有效，哪些无效的即时反馈。要确保您的提

  3. ruby - 如何每月在 Heroku 运行一次 Scheduler 插件？ - 2

    在选择我想要运行操作的频率时，唯一的选项是“每天”、“每小时”和“每10分钟”。谢谢!我想为我的Rails3.1应用程序运行调度程序。 最佳答案 这不是一个优雅的解决方案，但您可以安排它每天运行，并在实际开始工作之前检查日期是否为当月的第一天。 关于ruby-如何每月在Heroku运行一次Scheduler插件？，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/questions/8692687/

  4. ruby - 使用 C 扩展开发 ruby​​gem 时，如何使用 Rspec 在本地进行测试？ - 2

    我正在编写一个包含C扩展的gem。通常当我写一个gem时，我会遵循TDD的过程，我会写一个失败的规范，然后处理代码直到它通过，等等......在“ext/mygem/mygem.c”中我的C扩展和在gemspec的“扩展”中配置的有效extconf.rb，如何运行我的规范并仍然加载我的C扩展？当我更改C代码时，我需要采取哪些步骤来重新编译代码？这可能是个愚蠢的问题，但是从我的gem的开发源代码树中输入“bundleinstall”不会构建任何native扩展。当我手动运行rubyext/mygem/extconf.rb时，我确实得到了一个Makefile(在整个项目的根目录中)，然后当

  5. ruby-on-rails - 如何在 ruby​​ 中使用两个参数异步运行 exe？ - 2

    exe应该在我打开页面时运行。异步进程需要运行。有什么方法可以在ruby​​中使用两个参数异步运行exe吗？我已经尝试过ruby​​命令-system()、exec()但它正在等待过程完成。我需要用参数启动exe，无需等待进程完成是否有任何ruby​​gems会支持我的问题？ 最佳答案 您可以使用Process.spawn和Process.wait2:pid=Process.spawn'your.exe','--option'#Later...pid,status=Process.wait2pid您的程序将作为解释器的子进程执行。除

  6. ruby - 无法运行 Rails 2.x 应用程序 - 2

    我尝试运行2.x应用程序。我使用rvm并为此应用程序设置其他版本的ruby​​:$rvmuseree-1.8.7-head我尝试运行服务器，然后出现很多错误:$script/serverNOTE:Gem.source_indexisdeprecated,useSpecification.Itwillberemovedonorafter2011-11-01.Gem.source_indexcalledfrom/Users/serg/rails_projects_terminal/work_proj/spohelp/config/../vendor/rails/railties/lib/r

  7. ruby - Ruby 的 Hash 在比较键时使用哪种相等性测试？ - 2

    我有一个围绕一些对象的包装类，我想将这些对象用作散列中的键。包装对象和解包装对象应映射到相同的键。一个简单的例子是这样的:classAattr_reader:xdefinitialize(inner)@inner=innerenddefx;@inner.x;enddef==(other)@inner.x==other.xendenda=A.new(o)#oisjustanyobjectthatallowso.xb=A.new(o)h={a=>5}ph[a]#5ph[b]#nil,shouldbe5ph[o]#nil,shouldbe5我试过==、===、eq?并散列所有无济于事。

  8. ruby - RSpec - 使用测试替身作为 block 参数 - 2

    我有一些Ruby代码，如下所示:Something.createdo|x|x.foo=barend我想编写一个测试，它使用double代替block参数x，这样我就可以调用:x_double.should_receive(:foo).with("whatever").这可能吗？ 最佳答案 specify'something'dox=doublex.should_receive(:foo=).with("whatever")Something.should_receive(:create).and_yield(x)#callthere

  9. ruby - Sinatra:运行 rspec 测试时记录噪音 - 2

    Sinatra新手；我正在运行一些rspec测试，但在日志中收到了一堆不需要的噪音。如何消除日志中过多的噪音？我仔细检查了环境是否设置为:test，这意味着记录器级别应设置为WARN而不是DEBUG。spec_helper:require"./app"require"sinatra"require"rspec"require"rack/test"require"database_cleaner"require"factory_girl"set:environment,:testFactoryGirl.definition_file_paths=%w{./factories./test/

  10. ruby-on-rails - 迷你测试错误 : "NameError: uninitialized constant" - 2

    我遵循MichaelHartl的“RubyonRails教程:学习Web开发”，并创建了检查用户名和电子邮件长度有效性的测试(名称最多50个字符，电子邮件最多255个字符)。test/helpers/application_helper_test.rb的内容是:require'test_helper'classApplicationHelperTest在运行bundleexecraketest时，所有测试都通过了，但我看到以下消息在最后被标记为错误:ERROR["test_full_title_helper",ApplicationHelperTest,1.820016791]test

随机推荐