草庐IT

简单研究一下 OpenAI 的官方文档

木尧大兄弟 2023-05-01 原文

文档地址：https://platform.openai.com/docs/
接口说明：https://platform.openai.com/docs/api-reference

一、概览

OpenAI API 可直接调用模型接口，也可在线微调（不过只能微调GPT-3系列模型）。
本小节主要介绍 tokenizer 和 model。

  • Tokens：对于英语，1个token平均是4个字符，0.75个单词；中文大概是2个token一个汉字。API限制了 prompt+生成内容 的 token 总数不能超过模型的最大上下文长度（大多数上限都是 2048 个token，大约 1500 个单词）。这个地址 可以测试 token 数量。这里用的和 GPT2 类似的 tokenizer。也可以用 openai 开源的 tokenize 工具 tiktoken (真是起名鬼才)。
  • Models：详细模型列表点击这里。可用 gpttools 对比各个model的输出及相应时间。

    几个常用的：
    • gpt-4：更擅长推理，8192 tokens
    • gpt-4-32k： 更大窗口，32768 tokens
    • gpt-3.5-turbo：GPT-3.5的对话版，4096 tokens，对话时可以先通过传入类似 {"role": "system", "content":"你是一个程序员"} 引导模型身份, 然后再通过 user 和 assistant 交替的形式实现多轮对话
    • text-davinci-003：指令微调+RLHF，4097 tokens
    • text-davinci-002：只有指令微调，4097 tokens
    • code-davinci-002：代码生成，8001 tokens
    • text-embedding-ada-002：详见官网，用于文本向量化，窗口 8192 tokens，维度 1536
    • text-moderation-latest：文本审核模型，包括 hate, hate/threatening, self-harm, sexual, sexual/minors, violence, and violence/graphic 这几个类
    • 其他模型性能一般的就不过多介绍了。

二、使用

可以直接python安装openai库，也可以发送post请求

2.1 方式一：openai python 库

安装：

$ pip install openai

运行：

import os
import openai

# Load your API key from an environment variable or secret management service
openai.api_key = os.getenv("OPENAI_API_KEY")

response = openai.Completion.create(
	model="text-davinci-003", 
	prompt="Say this is a test", 
	temperature=0, # 控制多样性，越接近1 多样性越大
	max_tokens=7
)

2.2 方式二：post请求

post请求接口调用，可参考下面这个表：


以 gpt-3.5-turbo 的调用方式为例：

curl https://api.openai.com/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $OPENAI_API_KEY" \
  -d '{
    "model": "gpt-3.5-turbo",
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

必填参数是 model 和 message，可选参数如下：

  • temperature：float 类型，默认值为 1。控制采样，可选0-2之间的值，小于0.2生成的东西就很确定，大于0.8就很多样。建议和下面 top_p 二选一，不要一起用。

  • top_p：float 类型，默认值为 1。控制采样前 top_p 概率的token，可选0-1之间的值。

  • n：int 类型，默认值为 1。一次性生成多少个可选结果。

  • max_tokens：int 类型，默认值为 inf。生成的最大token数量。

  • stop：str 或 list 类型，默认值为 null。用于早停，生成内容包含stop时停止生成。

  • stream：bool 类型，默认值为 false。如果开启，就会流式返回，就跟chatGPT似的一个字儿一个字儿往外出。

  • presence_penalty：float 类型，默认值为 0。可选 -2.0 到 2.0。若为正数，越大越禁止模型生成输入中包含的重复内容，用于主题发散。

  • logit_bias：json 类型，默认值为 null。用来控制某些 token 的生成概率。数值是 -100 到 100，-100 相当于尽量别生成这个词，100 相当于一定要生成这个词。

  • frequency_penalty：float 类型，默认值为 0。可选 -2.0 到 2.0。若为正数，越大越禁止模型生成整体高频词，用于避免重复生成。

  • user：str 类型，可自己定义并标识用户id以防滥用。

此外，关于 bearer token 用于认证，可参考这篇文章。

三、限制

两者限制方式：RPM（每分钟request数）和 TPM（每分钟token数）

四、定价

详见：https://openai.com/pricing
常用的几个：

  • gpt-4 和 gpt-4-32k：8k版本平均 $0.045 / 1000 tokens，差不多 3 毛钱 500 汉字

  • gpt-3.5-turbo：ChatGPT，大约 0.0138 元 1000 tokens，差不多 1.38 元 5w 汉字

  • text-davinci-003：$0.02 / 1K tokens（比 gpt-3.5-turbo 贵 10 倍）

  • text-embedding-ada-002：$0.0004 / 1K tokens（差不多 2.8 元 100w token，50w汉字）

OpenAI简单xffcodespan人工智能python机器学习

有关简单研究一下 OpenAI 的官方文档的更多相关文章

  1. ruby - 简单获取法拉第超时 - 2

    有没有办法在这个简单的get方法中添加超时选项？我正在使用法拉第3.3。Faraday.get(url)四处寻找，我只能先发起连接后应用超时选项，然后应用超时选项。或者有什么简单的方法？这就是我现在正在做的:conn=Faraday.newresponse=conn.getdo|req|req.urlurlreq.options.timeout=2#2secondsend 最佳答案 试试这个:conn=Faraday.newdo|conn|conn.options.timeout=20endresponse=conn.get(url

  2. ruby - 用 Ruby 编写一个简单的网络服务器 - 2

    我想在Ruby中创建一个用于开发目的的极其简单的Web服务器(不，不想使用现成的解决方案)。代码如下:#!/usr/bin/rubyrequire'socket'server=TCPServer.new('127.0.0.1',8080)whileconnection=server.acceptheaders=[]length=0whileline=connection.getsheaders想法是从命令行运行这个脚本，提供另一个脚本，它将在其标准输入上获取请求，并在其标准输出上返回完整的响应。到目前为止一切顺利，但事实证明这真的很脆弱，因为它在第二个请求上中断并出现错误:/usr/b

  3. ruby-on-rails - 简单的 Ruby on Rails 问题——如何将评论附加到用户和文章？ - 2

    我意识到这可能是一个非常基本的问题，但我现在已经花了几天时间回过头来解决这个问题，但出于某种原因，Google就是没有帮助我。(我认为部分问题在于我是一个初学者，我不知道该问什么......)我也看过O'Reilly的RubyCookbook和RailsAPI，但我仍然停留在这个问题上.我找到了一些关于多态关系的信息，但它似乎不是我需要的(尽管如果我错了请告诉我)。我正在尝试调整MichaelHartl'stutorial创建一个包含用户、文章和评论的博客应用程序(不使用脚手架)。我希望评论既属于用户又属于文章。我的主要问题是:我不知道如何将当前文章的ID放入评论Controller。

  4. ruby - 使用 Ruby 通过 Outlook 发送消息的最简单方法是什么？ - 2

    我的工作要求我为某些测试自动生成电子邮件。我一直在四处寻找，但未能找到可以快速实现的合理解决方案。它需要在outlook而不是其他邮件服务器中，因为我们有一些奇怪的身份验证规则，我们需要保存草稿而不是仅仅发送邮件的选项。显然win32ole可以做到这一点，但我找不到任何相当简单的例子。 最佳答案 假设存储了Outlook凭据并且您设置为自动登录到Outlook，WIN32OLE可以很好地完成此操作:require'win32ole'outlook=WIN32OLE.new('Outlook.Application')message=

  5. Matlab imread（）读到了什么 （浅显 当复习文档了） - 2

    matlab打开matlab，用最简单的imread方法读取一个图像clcclearimg_h=imread('hua.jpg');返回一个数组（矩阵），往往是a*b*cunit8类型解释一下这个三维数组的意思，行数、数和层数，unit8：指数据类型，无符号八位整形，可理解为0~2^8的数三个层数分别代表RGB三个通道图像rgb最常用的是24-位实现方法，即RGB每个通道有256色阶（2^8）。基于这样的24-位RGB模型的色彩空间可以表现256×256×256≈1670万色当imshow传入了一个二维数组，它将以灰度方式绘制；可以把图像拆分为rgb三层，可以以灰度的方式观察它figure(1

  6. postman——集合——执行集合——测试脚本——pm对象简单示例02 - 2

    //1.验证返回状态码是否是200pm.test("Statuscodeis200",function(){pm.response.to.have.status(200);});//2.验证返回body内是否含有某个值pm.test("Bodymatchesstring",function(){pm.expect(pm.response.text()).to.include("string_you_want_to_search");});//3.验证某个返回值是否是100pm.test("Yourtestname",function(){varjsonData=pm.response.json

  7. Qt Designer的简单使用 - 2

    在前面两节的例子中，主界面窗口的尺寸和标签控件显示的矩形区域等，都是用C++代码编写的。窗口和控件的尺寸都是预估的，控件如果多起来，那就不好估计每个控件合适的位置和大小了。用C++代码编写图形界面的问题就是不直观，因此Qt项目开发了专门的可视化图形界面编辑器——QtDesigner（Qt设计师）。通过QtDesigner就可以很方便地创建图形界面文件*.ui，然后将ui文件应用到源代码里面，做到“所见即所得”，大大方便了图形界面的设计。本节就演示一下QtDesigner的简单使用，学习拖拽控件和设置控件属性，并将ui文件应用到Qt程序代码里。使用QtDesigner设计界面在开始菜单中找到「Q

  8. ruby - 使用 Ruby，计算 n x m 数组的每一列中有多少个 true 的简单方法是什么？ - 2

    给定一个nxmbool数组:[[true,true,false],[false,true,true],[false,true,true]]有什么简单的方法可以返回“该列中有多少个true？”结果应该是[1,3,2] 最佳答案 使用转置得到一个数组，其中每个子数组代表一列，然后将每一列映射到其中的true数:arr.transpose.map{|subarr|subarr.count(true)}这是一个带有inject的版本，应该在1.8.6上运行，没有任何依赖:arr.transpose.map{|subarr|subarr.in

  9. Ruby 等同于 Sphinx 文档生成器？ - 2

    Ruby有一些不错的文档生成器，例如Yard、rDoc，甚至Glyph。问题是Sphinx可以做网站、PDF、epub、LaTex等。它在重组文本中完成所有这些事情。在Ruby世界中有替​​代方案吗？也许是程序的组合？如果我也能使用Markdown就更好了。 最佳答案 自1.0版以来，Sphinx有了“域”的概念，它是从Python和/或C以外的语言标记代码实体(如方法调用、对象、函数等)的方法。有一个rubydomain,所以你可以只使用Sphinx本身。您唯一会缺少的(我认为)是Sphinx使用autodoc从源代码自动创建文档

  10. ruby - 有人可以解释一下在 Ruby 中注入(inject)的真实、通俗易懂的用法吗？ - 2

    我正在学习Ruby，遇到了inject。我正处于理解它的风口浪尖，但当我是那种需要真实世界的例子来学习一些东西的人时。我遇到的最常见的例子是人们使用inject来添加一个(1..10)范围的总和，我不太关心这个。这是一个任意的例子。在实际程序中我会用它做什么？我正在学习，所以我可以继续使用Rails，但我不必有一个以Web为中心的示例。我只需要一些我可以全神贯注的目标。谢谢大家。 最佳答案 inject有时可以通过它的“其他”名称reduce更好地理解。它是一个对Enumerable进行操作(迭代一次)并返回单个值的函数。它有许多有

随机推荐