草庐IT

ChatGPT搭建语音智能助手

山鬼谣me 2023-08-04 原文

环境

python：3+
ffmpeg:用于处理视频和语音
gradio:UI界面和读取语音

概述

我们的目的是做一个语音智能助手

下面我们开始

准备工作

下载Visual Studio Code

Visual Studio Code

因为需要写python代码，用Visual Studio Code比较方便。

安装python

python官网

执行下载好的exe文件，可以建议选择自定义安装，这样可以修改安装路径，只要别安装到C盘就行。

记得勾选添加到环境变量

添加环境变量

假设在安装时候，忘记了勾选添加到环境变量，那么我们可以自己配置


修改subprocess.py文件


安装ffmpeg

https://ffmpeg.org/



将下载好的安装包，进行解压，然后将解压后的文件夹放到平时自己喜欢的安装目录里。

比如：我的是D盘：D:\Program Files\ffmpeg。

WINDOWS系统文字转语音WSAY

https://github.com/p-groarke/wsay/releases/tag/v1.5.0

点击下图进行下载：

使用GRADIO建立用户界面

先创建一个项目文件夹，比如我的：E:\openai\project\Chatbot


然后打开我们之前下载好的vsCode，并打开相关目录。

参照gradio官网写测试代码

https://gradio.app/quickstart/

测试代码1：页面

import gradio as gr

def greet(name):
    return "Hello " + name + "!"

demo = gr.Interface(fn=greet, inputs="text", outputs="text")

demo.launch()

执行代码：

PS E:\openai\project\Chatbot> python ui.py

可以看到控制台会打印如下信息：

Running on local URL:  http://127.0.0.1:7860

然后浏览器打开网址http://127.0.0.1:7860：

但是我们是需要做成语音的，所以我们需要调整下；

在官网找到：
https://gradio.app/docs/#audio

测试代码2：

import gradio as gr

def transcribe(audio):
    print(audio)
    return "这里显示音频"

demo = gr.Interface(
    fn=transcribe, 
    inputs=gr.Audio(source="microphone"), 
    outputs="text")

demo.launch()

执行命令：py uimp.py

浏览器刷新地址如下页面：

接入openAI：

测试代码3：

执行命令：py uifinish.py

# 最终稿：

import gradio as gr
import openai, subprocess
from pathlib import Path

# 换成你自己的api_key
openai.api_key = "XXXXXXXXXXXXXXXXXXXXXX"

messages = [{"role": "system", "content": '你是一名知识渊博，乐于助人的智能聊天机器人.你的任务是陪我聊天，请用简短的对话方式，用中文讲一段话，每次回答不超过50个字！'}]

def transcribe(audio):
    global messages

    myfile=Path(audio)
    myfile=myfile.rename(myfile.with_suffix('.wav'))
    audio_file = open(myfile,"rb")
    transcript = openai.Audio.transcribe("whisper-1", audio_file)

    messages.append({"role": "user", "content": transcript["text"]})

    response = openai.ChatCompletion.create(model="gpt-3.5-turbo", messages=messages)

    system_message = response["choices"][0]["message"]
    # print(response)
    messages.append(system_message)

    subprocess.call(["wsay", system_message['content']])

    chat_transcript = ""
    for message in messages:
        if message['role'] != 'system':
            chat_transcript += message['role'] + ": " + message['content'] + "\n\n"

    return chat_transcript

ui = gr.Interface(fn=transcribe, inputs=gr.Audio(source="microphone", type="filepath"), outputs="text")
ui.launch()

效果如下：

总结

  1. ffmpeg 来处理语音
  2. 利用WSAY，将文字转成语音
  3. 利用gradio,来生成UI页面，并提供语音输入

参考地址：

https://updayday.notion.site/Chat-GPT-WHISPER-API-GPT-3-5-TURBO-2af2630c857a4f0da92abcc763b4fd48

Whisper API cannot read files correctly

Renaming file extension using pathlib (python 3)

Path not found in Python

助手ChatGPTspanclasstokenffmpegpython

有关ChatGPT搭建语音智能助手的更多相关文章

  1. 亚特兰蒂斯的回声（中文版): chatGPT 的杰作 - 2

    英文版英文链接关注公众号在“亚特兰蒂斯的回声”中踏上一段难忘的冒险之旅，深入未知的海洋深处。足智多谋的考古学家AriaSeaborne偶然发现了一件古代神器，揭示了一张通往失落之城亚特兰蒂斯的隐藏地图。在她神秘的导师内森·兰登教授的指导和勇敢的冒险家亚历克斯·默瑟的帮助下，阿丽亚开始了一段危险的旅程，以揭开这座传说中城市的真相。他们的冒险之旅带领他们穿越险恶的大海、神秘的岛屿和充满陷阱和谜语的致命迷宫。随着Aria潜在的魔法能力的觉醒，她被睿智勇敢的QueenNeria的幻象所指引，她让她为即将到来的挑战做好准备。三人组揭开亚特兰蒂斯令人惊叹的隐藏文明，并了解到邪恶的巫师马拉卡勋爵试图利用其古

  2. ruby - Hanami link_to 助手只呈现最后一个元素 - 2

    我是HanamiWorld的新人。我已经写了这段代码:moduleWeb::Views::HomeclassIndexincludeWeb::ViewincludeHanami::Helpers::HtmlHelperdeftitlehtml.headerdoh1'Testsearchengine',id:'title'hrdiv(id:'test')dolink_to('Home',"/",class:'mnu_orizontal')link_to('About',"/",class:'mnu_orizontal')endendendendend我在模板上调用了title方法。htm

  3. ruby-on-rails - 将 Rails 路由助手作为类方法添加到类中 - 2

    我如何将像“root_path”这样的Rails路由助手作为类方法添加到像my_model.rb这样的类中？所以我的课是这样的:ClassMyModeldefself.fooreturnself.root_pathendendMyModel.foo以上不起作用，因为ClassMyModel不响应root_path这是我所知道的:我可以使用includeRails.application.routes.url_helpers，但这只会将模块的方法添加为实例方法我试过扩展Rails.application.routes.url_helpers但它没用请随时给我上课:)

  4. ruby 私有(private)类方法助手 - 2

    您好，我正在尝试创建一个帮助程序，用于将ruby​​方法大量定义为私有(private)类方法。通常，可以通过使用private_class_method键工作将方法定义为私有(private)类方法。但我想创建一个以下样式的助手:classPersondefine_private_class_methodsdodefmethod_oneenddefmethod_twoendendend我计划通过以下方式动态定义它，但根本不起作用:classObjectdefself.define_private_class_methods&blockinstance_evaldoprivate&bl

  5. ruby-on-rails - RSpec 应用程序助手测试 : Undefined local variable or method `helper` - 2

    有一段时间这似乎是一个闪烁的错误，但现在它一直出现:当我在一个相当简单的ApplicationHelper规范上运行RSpec时，我得到以下错误:%rspec--backtrace1)ApplicationHelperrendersMarkdownfromplaintextFailure/Error:expect(helper.md(plaintext)).toeq("Header\n")NameError:undefinedlocalvariableormethod`helper'for##/Users/danielsh/.rvm/gems/ruby-2.1.1@project-st

  6. 玩以太坊链上项目的必备技能（初识智能合约语言-Solidity之旅一） - 2

    前面一篇关于智能合约翻译文讲到了，是一种计算机程序，既然是程序，那就可以使用程序语言去编写智能合约了。而若想玩区块链上的项目，大部分区块链项目都是开源的，能看得懂智能合约代码，或找出其中的漏洞，那么，学习Solidity这门高级的智能合约语言是有必要的，当然，这都得在公链``````以太坊上，毕竟国内的联盟链有些是不兼容Solidity。Solidity是一种面向对象的高级语言，用于实现智能合约。智能合约是管理以太坊状态下的账户行为的程序。Solidity是运行在以太坊（Ethereum）虚拟机（EVM）上，其语法受到了c++、python、javascript影响。Solidity是静态类型

  7. 智能客服 | 浅谈人工智能聊天机器人ChatGPT - 2

    2022年底，OpenAI的预训练模型ChatGPT给人工智能领域的爱好者和研究人员留下了深刻的印象和启发，他展现的惊人能力将人工智能的研究和应用热度推向高潮，网上也充斥着和ChatGPT的各种聊天，他可以作诗、写小说、写代码、讨论疫情问题等。下面就是一些他的神回复：人命关天的坑： 写歌，留给词作者的机会不多了。。。 回答人类怎么样面对人工智能： 什么是ChatGPT？借用网上的一段介绍，ChatGPT是由人工智能研究实验室OpenAI在2022年11月30日发布的全新聊天机器人模型，一款人工智能技术驱动的自然语言处理工具。它能够通过学习和理解人类的语言来进行对话，还能根据聊天的上下文进行互动

  8. 【ChatGPT】ChatGPT 的 N 种用法 - 2

    目录ChatGPT简介技术原理应用未来发展ChatGPT的10 种用法ChatGPT简介ChatGPT是一种基于深度学习的大型语言模型，由OpenAI公司开发。技术原理GPT是GenerativePre-trainedTransformer的缩写，意为生成式预训练变压器。它的技术原理是使用了一个基于注意力机制的变压器（Trans

  9. jquery - 在 Rails 中从原型(prototype)切换到 jquery，助手呢？ - 2

    我目前从prototype切换到jquery主要是为了支持简单的ajax文件上传。我使用:https://github.com/indirect/jquery-rails95%的javascript代码是由railshelper编写的，例如:-remote_function-render:updatedo|page|-page.replace_html'id',:partial=>'content'-page['form']['name']=something-page.visual_effect:highlight,'head_success'...我知道我必须为Jquery重写5%

  10. ruby - Sinatra 助手伪造请求 - 2

    总结在Sinatra内Web应用程序，如何向应用程序发出虚拟请求并以文本形式返回响应正文？例如，这些路线...get('/foo'){"foo"}get('/bar'){"#{spoof_request'/foo'}-bar"}...当使用Web浏览器请求“/bar”时，应产生响应“foo-bar”。动机我的应用程序有一个代表错误条目的页面，其中包含关于该错误条目的大量详细信息:错误出现在哪个版本中，它有多重要，与之关联的标签是什么，错误分配给了谁等等.用户可以在此页面上以交互方式编辑单个数据。使用我的AJAXFetchjQuery插件，JavaScript使用AJAX将页面的只读部分

随机推荐