草庐IT

不会写代码,也能部署一个独立ChatGPT?

大鹏学开发 2023-05-05 原文

本教程使用GPT-3模型接口模拟ChatGPT项目,虽然与真正的ChatGPT存在差异,但是演示了ChatGPT的工作原理。

(ChatGPT服务是基于GPT-3模型,经过大量的微调训练而来的,本教程暂时不包含训练内容,之后我们会讲如何进行二次训练)

部署的本地api接口使用了node-chatgpt-api这个库,库基于Node.js开发。项目地址:
https://github.com/waylaidwanderer/node-chatgpt-api

要求Node.js环境 >= 16.0.0
如果没有安装Node.js,可以到这里https://nodejs.org/en/下载安装
安装完成后,打开cmd,输入node,可以看到安装完成,版本符合要求

D:\>node
Welcome to Node.js v16.14.0.
Type ".help" for more information.
> .exit

另外还需要你有一个OpenAI的 API KEY,
可以在https://platform.openai.com/account/api-keys获取

然后同下载项目:

D:\dev2023>git clone https://github.com/waylaidwanderer/node-chatgpt-api.git
Cloning into 'node-chatgpt-api'...
remote: Enumerating objects: 576, done.
remote: Counting objects: 100% (330/330), done.
remote: Compressing objects: 100% (92/92), done.
Receiving objects: 100% (576/576), 232.08 KiB | 805.00 KiB/s, done.246 eceiving objects:  97% (559/576)

Resolving deltas: 100% (351/351), done.

进入项目文件夹:

D:\dev2023>cd node-chatgpt-api

安装项目依赖:

D:\dev2023\node-chatgpt-api>npm i
npm WARN EBADENGINE Unsupported engine {
npm WARN EBADENGINE   package: '@waylaidwanderer/fetch-event-source@3.0.1',
npm WARN EBADENGINE   required: { node: '>=16.15' },
npm WARN EBADENGINE   current: { node: 'v16.14.0', npm: '8.5.2' }
npm WARN EBADENGINE }

added 163 packages, and audited 164 packages in 5s

38 packages are looking for funding
  run `npm fund` for details

found 0 vulnerabilities
npm notice
npm notice New major version of npm available! 8.5.2 -> 9.4.2
npm notice Changelog: https://github.com/npm/cli/releases/tag/v9.4.2
npm notice Run npm install -g npm@9.4.2 to update!

编辑配置文件:
将settings.example.js复制一份为settings.js

D:\dev2023\node-chatgpt-api>copy settings.example.js settings.js
已复制         1 个文件。

然后用编辑器打开settings.js文件进行编辑

export default {
    // OpenAI API 密钥
    openaiApiKey: process.env.OPENAI_API_KEY || '这里填写您的openai密钥',
    chatGptClient: {
        // (可选)在 https://platform.openai.com/docs/api-reference/completions 中描述的参数
        modelOptions: {
            // 默认情况下模型设置为 text-chat-davinci-002-20221122,但您可以在此处覆盖它和其他任何参数
            model: 'text-chat-davinci-002-20221122',
        },
        // (可选)设置自定义说明,而不是“您是 ChatGPT...”
        // promptPrefix: 'You are Bob, a cowboy in Western times...',
        // (可选)为用户设置自定义名称
        // userLabel: 'User',
        // (可选)为 ChatGPT 设置自定义名称
        // chatGptLabel: 'ChatGPT',
        // (可选)设置为 true 以启用 `console.debug()` 日志记录
        debug: false,
    },
    // Keyv 缓存的选项,详见 https://www.npmjs.com/package/keyv。
    // 这用于存储对话,并支持其他驱动程序(默认情况下,对话存储在内存中)
    cacheOptions: {},
    // API 服务器的选项
    apiOptions: {
        port: process.env.API_PORT || 3000,
        host: process.env.API_HOST || 'localhost',
        // (可选)设置为 true 以启用 `console.debug()` 日志记录
        debug: false,
    },
    // 如果设置,ChatGPTClient 将使用 `keyv-file` 将对话存储到此 JSON 文件中,而不是存储在内存中。
    // 但是,如果设置了 cacheOptions.store,它将覆盖此设置。

这里可以过时行很多配置,比如你可以给ChatGPT换一个名字,
比如:你叫小美…
完整的ChatGPT自定义说明:
"You are ChatGPT, a large language model trained by OpenAI. You answer as concisely as possible for each response (e.g. don’t be verbose). It is very important that you answer as concisely as possible, so please remember this. If you are generating a list, do not have too many items. Keep the number of items short. Knowledge cutoff: 2021-09 Current date: 2023-01-31
“你是 ChatGPT,一个由 OpenAI 训练的大型语言模型。对于每个响应,你的回答尽可能简洁(例如,不要冗长)。尽可能简洁地回答是非常重要的,所以请记住这一点。如果您正在生成一个列表,请不要有太多的项目。保持项目的数量短。知识截止日期: 2021-09 当前日期: 2023-01-31”
默认只需要填好密钥就可以进行使用了,
但是模型定义这里可能需要换成官方的付费模型text-davinci-003。
注意,此处的model默认填的 text-chat-davinci-002-20221122 这是一个泄露模型,使用不计费但是经常无法连接,所以如果你想换成正常的,可以填写 text-davinci-003,这个是计费的模型,使用会扣除帐户余额,每个帐户默认赠送18美元,用完之后需要绑定国外信用卡才能继续消费。
使用项目:
输入npm run cli启动对话

D:\dev2023\node-chatgpt-api>npm run cli

> @waylaidwanderer/chatgpt-api@1.10.5 cli
> node bin/cli.js


   ╔═══════════════╗
   ║  ChatGPT CLI  ║
   ╚═══════════════╝

Type "!" to access the command menu.
? Write a message: !
❯ !editor - Open the editor (for multi-line messages)
  !resume - Resume last conversation
  !new - Start new conversation
  !copy - Copy conversation to clipboard
  !delete-all - Delete all conversations
  !exit - Exit ChatGPT CLI

输入!符号可以看到内置了几种命令
!

editor - Open the editor (for multi-line messages) - 打开编辑器(适用于多行消息)
!resume - Resume last conversation - 恢复上一次对话
!new - Start new conversation  - 开始新对话
!copy - Copy conversation to clipboard - 将对话复制到剪贴板
!delete-all - Delete all conversations  - 删除所有对话
!exit - Exit ChatGPT CLI - 退出ChatGPT CLI

我们可以尝试一下聊天:

Type "!" to access the command menu.
? Write a message: 你好

   ┌ ChatGPT ───────────────────┐
   │  你好!我能为你做些什么?│
   └────────────────────────────┘

如果您熟悉Node.js开发,您可以将此项目嵌入到您的项目中进行开发。当然,它也可以作为一个纯粹的API接口来调用,以实现您自己的用户管理系统,管理不同用户的上下文,以及未来将要分享的自定义数据集模型训练以及训练后的使用。

// 启动一个node.js服务器
npm start 或者 npm run server 
// 启动一个docker服务器
docker-compose up

使用方法
发送消息:

{
    "message": "Hello, how are you today?",
    "conversationId": "your-conversation-id (optional)",
    "parentMessageId": "your-parent-message-id (optional)"
}

返回消息:

// HTTP/1.1 200 OK
{
    "response": "I'm doing well, thank you! How are you?",
    "conversationId": "your-conversation-id",
    "messageId": "response-message-id"
}

ChatGPT正在迅速走红,全球都在推广和关注这个项目,许多人也正在尝试从中变现获利。然而,他们所采用的方法往往都过于简单和低门槛,如“写作文”、“写求职信”等。为了实现更高水平的商业价值,我们希望尝试更复杂,更深度定制的方法。例如,我们可以通过收集数据库并进行二次训练,比如训练一个适合公司实际情况的客户服务的机器人。
因此,我们将在以后逐渐分享我们的研究步骤和操作方法,以帮助那些希望深入了解GPT模型训练的朋友。这样,他们就可以以更低的技术门槛实现更高级的商业价值。

更多精彩内容可以关注同名公众号

有关不会写代码,也能部署一个独立ChatGPT?的更多相关文章

  1. ruby - 如何在 buildr 项目中使用 Ruby 代码? - 2

    如何在buildr项目中使用Ruby?我在很多不同的项目中使用过Ruby、JRuby、Java和Clojure。我目前正在使用我的标准Ruby开发一个模拟应用程序,我想尝试使用Clojure后端(我确实喜欢功能代码)以及JRubygui和测试套件。我还可以看到在未来的不同项目中使用Scala作为后端。我想我要为我的项目尝试一下buildr(http://buildr.apache.org/),但我注意到buildr似乎没有设置为在项目中使用JRuby代码本身!这看起来有点傻,因为该工具旨在统一通用的JVM语言并且是在ruby中构建的。除了将输出的jar包含在一个独特的、仅限ruby​​

  2. ruby - 使用 Vim Rails,您可以创建一个新的迁移文件并一次性打开它吗? - 2

    使用带有Rails插件的vim,您可以创建一个迁移文件,然后一次性打开该文件吗?textmate也可以这样吗? 最佳答案 你可以使用rails.vim然后做类似的事情::Rgeneratemigratonadd_foo_to_bar插件将打开迁移生成的文件,这正是您想要的。我不能代表textmate。 关于ruby-使用VimRails,您可以创建一个新的迁移文件并一次性打开它吗?,我们在StackOverflow上找到一个类似的问题: https://sta

  3. ruby-on-rails - Rails 源代码 : initialize hash in a weird way? - 2

    在rails源中:https://github.com/rails/rails/blob/master/activesupport/lib/active_support/lazy_load_hooks.rb可以看到以下内容@load_hooks=Hash.new{|h,k|h[k]=[]}在IRB中,它只是初始化一个空哈希。和做有什么区别@load_hooks=Hash.new 最佳答案 查看rubydocumentationforHashnew→new_hashclicktotogglesourcenew(obj)→new_has

  4. ruby-on-rails - Rails - 一个 View 中的多个模型 - 2

    我需要从一个View访问多个模型。以前,我的links_controller仅用于提供以不同方式排序的链接资源。现在我想包括一个部分(我假设)显示按分数排序的顶级用户(@users=User.all.sort_by(&:score))我知道我可以将此代码插入每个链接操作并从View访问它,但这似乎不是“ruby方式”,我将需要在不久的将来访问更多模型。这可能会变得很脏,是否有针对这种情况的任何技术?注意事项:我认为我的应用程序正朝着单一格式和动态页面内容的方向发展,本质上是一个典型的网络应用程序。我知道before_filter但考虑到我希望应用程序进入的方向,这似乎很麻烦。最终从任何

  5. ruby-on-rails - 渲染另一个 Controller 的 View - 2

    我想要做的是有2个不同的Controller,client和test_client。客户端Controller已经构建,我想创建一个test_clientController,我可以使用它来玩弄客户端的UI并根据需要进行调整。我主要是想绕过我在客户端中内置的验证及其对加载数据的管理Controller的依赖。所以我希望test_clientController加载示例数据集,然后呈现客户端Controller的索引View,以便我可以调整客户端UI。就是这样。我在test_clients索引方法中试过这个:classTestClientdefindexrender:template=>

  6. ruby - Highline 询问方法不会使用同一行 - 2

    设置:狂欢ruby1.9.2高线(1.6.13)描述:我已经相当习惯在其他一些项目中使用highline,但已经有几个月没有使用它了。现在,在Ruby1.9.2上全新安装时,它似乎不允许在同一行回答提示。所以以前我会看到类似的东西:require"highline/import"ask"Whatisyourfavoritecolor?"并得到:Whatisyourfavoritecolor?|现在我看到类似的东西:Whatisyourfavoritecolor?|竖线(|)符号是我的终端光标。知道为什么会发生这种变化吗? 最佳答案

  7. ruby-on-rails - 独立 ruby​​ 脚本的配置文件 - 2

    我有一个在Linux服务器上运行的ruby​​脚本。它不使用rails或任何东西。它基本上是一个命令行ruby​​脚本,可以像这样传递参数:./ruby_script.rbarg1arg2如何将参数抽象到配置文件(例如yaml文件或其他文件)中?您能否举例说明如何做到这一点?提前谢谢你。 最佳答案 首先,您可以运行一个写入YAML配置文件的独立脚本:require"yaml"File.write("path_to_yaml_file",[arg1,arg2].to_yaml)然后,在您的应用中阅读它:require"yaml"arg

  8. ruby-on-rails - 项目升级后 Pow 不会更改 ruby​​ 版本 - 2

    我在我的Rails项目中使用Pow和powifygem。现在我尝试升级我的ruby​​版本(从1.9.3到2.0.0,我使用RVM)当我切换ruby​​版本、安装所有gem依赖项时,我通过运行railss并访问localhost:3000确保该应用程序正常运行以前,我通过使用pow访问http://my_app.dev来浏览我的应用程序。升级后,由于错误Bundler::RubyVersionMismatch:YourRubyversionis1.9.3,butyourGemfilespecified2.0.0,此url不起作用我尝试过的:重新创建pow应用程序重启pow服务器更新战俘

  9. ruby-on-rails - 如果 Object::try 被发送到一个 nil 对象,为什么它会起作用? - 2

    如果您尝试在Ruby中的nil对象上调用方法,则会出现NoMethodError异常并显示消息:"undefinedmethod‘...’fornil:NilClass"然而,有一个tryRails中的方法,如果它被发送到一个nil对象,它只返回nil:require'rubygems'require'active_support/all'nil.try(:nonexisting_method)#noNoMethodErrorexceptionanymore那么try如何在内部工作以防止该异常? 最佳答案 像Ruby中的所有其他对象

  10. ruby - 为什么 SecureRandom.uuid 创建一个唯一的字符串? - 2

    关闭。这个问题需要detailsorclarity.它目前不接受答案。想改进这个问题吗?通过editingthispost添加细节并澄清问题.关闭8年前。Improvethisquestion为什么SecureRandom.uuid创建一个唯一的字符串?SecureRandom.uuid#=>"35cb4e30-54e1-49f9-b5ce-4134799eb2c0"SecureRandom.uuid方法创建的字符串从不重复?

随机推荐