草庐IT

打造自己的ChatGPT：逐字打印的流式处理

XBOTTER‘s 2023-03-28 原文

接口的延迟

在调用OpenAI的接口时，不免会有很慢的感觉，抛去地理位置上的网络延迟，大量的延迟往往发生在响应生成的过程中。

因此，如果使用同步接口的话，需要等待响应完全生成之后才能最终显示输出结果，虽然在对接微信或者其他需要通过接口请求的应用服务时没什么特别好的处理方案，但是如果是Web应用的话，就可以通过流式处理实现实时的数据返回，从而提升响应的优先级。

后端的流式处理

绝大部分的SDK都已经对OpenAI API的流式响应做了封装，这里以.NET 的Betalgo.OpenAI.GPT3为例，详细的配置部分不再赘述，可参考其说明文档。

//使用CreateCompletionAsStream获取 completions
var completions = openAIService.Completions.CreateCompletionAsStream(new OpenAI.GPT3.ObjectModels.RequestModels.CompletionCreateRequest
		    {
		        Prompt = BuildPrompt(input.Prompt),
		        MaxTokens = 100,
		        Temperature = 0.5f,
		        TopP = 1,
		        FrequencyPenalty = 0,
		        PresencePenalty = 0,
		        StopAsList = new List<string> { "Q:", "A:" }
		    }, Models.TextDavinciV3);
//将返回内容直接经过UTF编码写入Response
async Task ResponseWrite(string? text) {
    if (text == null) return;
    await Response.Body.WriteAsync(Encoding.UTF8.GetBytes(text));
    await Response.Body.FlushAsync();
}
//逐个获取 completion的返回，并写入到Response中
await foreach (var completionResponse in completions)
{
    if (completionResponse.Successful)
    {
        await ResponseWrite(completionResponse.Choices[0].Text);
    }else {
        await ResponseWrite("<ERR>");
        if(completionResponse.Error != null){
            await ResponseWrite(completionResponse.Error.Code);
            await ResponseWrite(completionResponse.Error.Message);
        }else {
            await ResponseWrite("<unknow>");
        }
    }
}

其中最核心的一点就是 ResponseWrite 部分，提前将内容写入到Response的Body中，并进行Flush。

另外需要注意的就是，Action 不能再有返回值（如果是.NET 7 的话，可以返回 Empty），因为已经在Action结束之前向Response写入了内容，再有返回值的话，就会报错。

前端的流式处理

同样的，后端作为流式发送，前端就需要以流式形式接收。

这里不需要使用到EventSource、WebSocket或是其他的实时通讯框架，仅需要使用普通的fetch即可。

async function send() {
    const input = document.getElementById("input").value;
    const output = document.getElementById("output");
    output.innerText = "";
    const url = "/api/stream";
    const data = { "Prompt": input };
//直接获取 Fetch 的response， 无法使用 await的话， Promise的方式也是可以的。
    const response = await fetch(url, {
        method: "POST",
        body: JSON.stringify(data),
        headers: {
            "Content-Type": "application/json"
        }
    })
	//获取UTF8的解码
    const encode = new TextDecoder("utf-8");
	//获取body的reader
	  const reader = response.body.getReader();
	// 循环读取reponse中的内容
    while (true) {
        const { done, value } = await reader.read();
        if (done) {
            break;
        }
	// 解码内容
        const text = encode.decode(value);
	// 当获取错误token时，输出错误信息
        if (text === "<ERR>") {
            output.innerText = "Error";
            break;
        } else {
	// 获取正常信息时，逐字追加输出
            output.innerText += text;
        }
    }
}

fetch获取的response可以，可以通过 response.body.getReader() 获取reader，然后循环获取reader中的响应，根据情况，将响应内容追加到界面上，就实现了逐字打印的效果了。

相关链接

  1. 以上示例代码，可参见 GPT3_demo
  2. 想要了解如何理解OpenAI的API，可参考打造自己的ChatGPT：OpenAI 的API接入技巧
  3. OpenAI 官方对于延迟处理的一些意见improving-latencies
  4. Dotnet SDK for OpenAI GPT-3 and DALL·E
逐字流式ResponseWriteawait.NET技术

有关打造自己的ChatGPT：逐字打印的流式处理的更多相关文章

  1. ruby - 如何指定 Rack 处理程序 - 2

    Rackup通过Rack的默认处理程序成功运行任何Rack应用程序。例如:classRackAppdefcall(environment)['200',{'Content-Type'=>'text/html'},["Helloworld"]]endendrunRackApp.new但是当最后一行更改为使用Rack的内置CGI处理程序时，rackup给出“NoMethodErrorat/undefinedmethod`call'fornil:NilClass”:Rack::Handler::CGI.runRackApp.newRack的其他内置处理程序也提出了同样的反对意见。例如Rack

  2. ruby-on-rails - 如何在我的 Rails 应用程序 View 中打印 ruby​​ 变量的内容？ - 2

    我是一个Rails初学者，但我想从我的RailsView(html.haml文件)中查看Ruby变量的内容。我试图在ruby​​中打印出变量(认为它会在终端中出现)，但没有得到任何结果。有什么建议吗？我知道Rails调试器，但更喜欢使用inspect来打印我的变量。 最佳答案 您可以在View中使用puts方法将信息输出到服务器控制台。您应该能够在View中的任何位置使用Haml执行以下操作:-puts@my_variable.inspect 关于ruby-on-rails-如何在我的R

  3. 亚特兰蒂斯的回声（中文版): chatGPT 的杰作 - 2

    英文版英文链接关注公众号在“亚特兰蒂斯的回声”中踏上一段难忘的冒险之旅，深入未知的海洋深处。足智多谋的考古学家AriaSeaborne偶然发现了一件古代神器，揭示了一张通往失落之城亚特兰蒂斯的隐藏地图。在她神秘的导师内森·兰登教授的指导和勇敢的冒险家亚历克斯·默瑟的帮助下，阿丽亚开始了一段危险的旅程，以揭开这座传说中城市的真相。他们的冒险之旅带领他们穿越险恶的大海、神秘的岛屿和充满陷阱和谜语的致命迷宫。随着Aria潜在的魔法能力的觉醒，她被睿智勇敢的QueenNeria的幻象所指引，她让她为即将到来的挑战做好准备。三人组揭开亚特兰蒂斯令人惊叹的隐藏文明，并了解到邪恶的巫师马拉卡勋爵试图利用其古

  4. Ruby-vips 图像处理库。有什么好的使用示例吗？ - 2

    我对图像处理完全陌生。我对JPEG内部是什么以及它是如何工作一无所知。我想知道，是否可以在某处找到执行以下简单操作的ruby​​代码:打开jpeg文件。遍历每个像素并将其颜色设置为fx绿色。将结果写入另一个文件。我对如何使用ruby​​-vips库实现这一点特别感兴趣https://github.com/ender672/ruby-vips我的目标-学习如何使用ruby​​-vips执行基本的图像处理操作(Gamma校正、亮度、色调……)任何指向比“helloworld”更复杂的工作示例的链接——比如ruby​​-vips的github页面上的链接，我们将不胜感激!如果有ruby​​-

  5. ruby - Faye WebSocket，关闭处理程序被触发后重新连接到套接字 - 2

    我有一个super简单的脚本，它几乎包含了FayeWebSocketGitHub页面上用于处理关闭连接的内容:ws=Faye::WebSocket::Client.new(url,nil,:headers=>headers)ws.on:opendo|event|p[:open]#sendpingcommand#sendtestcommand#ws.send({command:'test'}.to_json)endws.on:messagedo|event|#hereistheentrypointfordatacomingfromtheserver.pJSON.parse(event.d

  6. ruby - 如何打印 ruby​​ 对象的实例变量 - 2

    classPacketdefinitialize(name,age,number,array)@name=name@age=age@number=number@neighbors=arrayendendp1=Packet.new("n1",5,2,[1,2,3,4])putsp1.name我有上面的代码，但是每当我执行puts语句时，我都会收到nameisnotamethod的错误。我不知道任何其他方式来打印p1的名称。如何打印姓名？ 最佳答案 这里的问题是，虽然您拥有实例变量，但您并未使它们可访问。attr_reader:vari

  7. ruby - 如何打印出 Mechanized 存储的 cookie？ - 2

    我正在使用mechanize登录网站，然后检索页面。我遇到了一些问题，我怀疑这是由于cookie中的某些值造成的。当Mechanize登录网站时，我假设它存储了cookie。如何通过Mechanize打印出存储在cookie中的所有数据？ 最佳答案 代理有一个cookie方法。agent=Mechanize.newpage=agent.get("http://www.google.com/")agent.cookiesagent.cookies.to_scookie返回一个Mechanize::Cookiesobject

  8. ruby - 如何使用 Ruby HTTP::Net 处理 404 错误？ - 2

    我正在尝试解析网页，但有时会收到404错误。这是我用来获取网页的代码:result=Net::HTTP::getURI.parse(URI.escape(url))如何测试result是否为404错误代码？ 最佳答案 像这样重写你的代码:uri=URI.parse(url)result=Net::HTTP.start(uri.host,uri.port){|http|http.get(uri.path)}putsresult.codeputsresult.body这将打印状态码和正文。

  9. ruby-on-rails - 如何测试自己对 Ruby/ROR 的了解？ - 2

    是否有self验证的问题列表。看着那个，我可以确定我知道。我应该复习一下。在学习的过程中，我列了一个这样的list，但它只包含我在某处听说过的项目。我需要一段时间才能找到新的东西。 最佳答案 以下是针对ruby​​和Rails的一些测试列表。证书名称:RubyonRails谁提供:oDeskIncorporation认证费用:免费网站:https://www.odesk.com/tests/985?pos=0证书名称:RubyonRails提供者:Techgig.com(TimesBusinessSolutionsLimited(T

  10. ruby - 如何以表格格式快速打印 Ruby 哈希值？ - 2

    有没有办法快速将表格格式的ruby​​哈希打印到文件中？如:keyAkeyBkeyC...1232343451253474456...其中散列的值是不同大小的数组。还是使用双循环是唯一的方法？谢谢 最佳答案 试试我写的这个gem(在表中打印散列、ruby对象、ActiveRecord对象):http://github.com/arches/table_print 关于ruby-如何以表格格式快速打印Ruby哈希值？，我们在StackOverflow上找到一个类似的问题：

随机推荐