最近在用openai/whisper-small进行语音转文字任务时，想着自己下载模型在本地离线跑，但是遇到了一下问题：importwhisperimportwaveimportnumpyasnpdownload_root=r"\whisper-small"#模型路径Automati_file=r"20230302152850300.mp3"#音频路径model=whisper.load_model("small",download_root=download_root)result=model.transcribe(Automati_file,language="zh",fp16=False
概述到目前，GPT只能去接收文本的输入，但是在现实的生活当中，会有语音的需求GPT也有相关的能力接入，我们就需要一个能够将语音内容转换成文本的能力当然其他第三方的软件或者接口也是支持这个功能在OpenAI有一个语音转文本的模型叫做whisper在OpenAI它的官方网站当中，在左侧可以看到有一个Audio关于音频的API文档:https://platform.openai.com/docs/api-reference/audio/create-transcription接口:https://api.openai.com/v1/audio/transcriptions可以看到它的参数file参数
介绍github地址：https://github.com/sandrohanea/whisper.netWhisper.net.SpeechtotextmadesimpleusingWhisperModels模型下载地址：https://huggingface.co/sandrohanea/whisper.net/tree/main/classic效果测试通过环境：vs2019.NETFramework4.7.2使用ggml-tiny.bin模型文件CPU推理速度客观，最重要是官方都是需要vs2022才行，我这边直接在vs2019就可以直接跑。视频演示地址：whisper.net将语音转成文
看了好几个文章没找到下载地址，翻了下python该模块的源码找到了~~其实要是自动下载好使的话就不需要手动下载了~看自己情况而定吧，本人自动下载没好使~~{"tiny.en":"https://openaipublic.azureedge.net/main/whisper/models/d3dd57d32accea0b295c96e26691aa14d8822fac7d9d27d5dc00b4ca2826dd03/tiny.en.pt","tiny":"https://openaipublic.azureedge.net/main/whisper/models/65147644
OpenAI推出的Whisper是一个通用语音转录模型，在各种基准和音频条件下都取得了非常棒的结果。最新的large-v3模型登顶了OpenASR排行榜，被评为最佳的开源英语语音转录模型。该模型在CommonVoice15数据集的58种语言中也展现出了强大的多语言性能，在42种语言上的单词错误率(WER)低于30％。尽管转录准确度非常优秀，但推理速度非常缓慢。即使利用flashattention、半精度和分块等优化推理技术，1小时长度的音频在16GBT4GPU上也需要超过6分钟的转录时间。在本文中，我们将演示如何运用推测解码将Whisper的推理时间缩减2倍，同时在数学上确保完全取得与原模型相
OpenAI推出的Whisper是一个通用语音转录模型，在各种基准和音频条件下都取得了非常棒的结果。最新的large-v3模型登顶了OpenASR排行榜，被评为最佳的开源英语语音转录模型。该模型在CommonVoice15数据集的58种语言中也展现出了强大的多语言性能，在42种语言上的单词错误率(WER)低于30％。尽管转录准确度非常优秀，但推理速度非常缓慢。即使利用flashattention、半精度和分块等优化推理技术，1小时长度的音频在16GBT4GPU上也需要超过6分钟的转录时间。在本文中，我们将演示如何运用推测解码将Whisper的推理时间缩减2倍，同时在数学上确保完全取得与原模型相
君不言语音识别技术则已，言则必称Whisper，没错，OpenAi开源的Whisper确实是世界主流语音识别技术的魁首，但在中文领域，有一个足以和Whisper相颉顽的项目，那就是阿里达摩院自研的FunAsr。FunAsr主要依托达摩院发布的Paraformer非自回归端到端语音识别模型，它具有高精度、高效率、便捷部署的优点，支持快速构建语音识别服务，最重要的是，FunASR支持标点符号识别、低语音识别、音频-视觉语音识别等功能，也就是说，它不仅可以实现语音转写，还能在转写后进行标注，一石二鸟。FunAsr和Whisper对比Mediumvsspeech_paraformer首先配置好Pyth
君不言语音识别技术则已，言则必称Whisper，没错，OpenAi开源的Whisper确实是世界主流语音识别技术的魁首，但在中文领域，有一个足以和Whisper相颉顽的项目，那就是阿里达摩院自研的FunAsr。FunAsr主要依托达摩院发布的Paraformer非自回归端到端语音识别模型，它具有高精度、高效率、便捷部署的优点，支持快速构建语音识别服务，最重要的是，FunASR支持标点符号识别、低语音识别、音频-视觉语音识别等功能，也就是说，它不仅可以实现语音转写，还能在转写后进行标注，一石二鸟。FunAsr和Whisper对比Mediumvsspeech_paraformer首先配置好Pyth
语音识别转文本相信很多人都用过，不管是手机自带，还是腾讯视频都附带有此功能，今天简单说下：fasterwhisper地址：https://github.com/SYSTRAN/faster-whisperhttps://link.zhihu.com/?target=https%3A//github.com/SYSTRAN/faster-whisper实现功能：从麦克风获取声音进行实时语音识别转文本代码仅仅用了40多行即可实现实时语音转文本功能封装成类调用十分简单，代码如下：fwm=FasterWhisperManager()fwm.start()whileTrue:time.sleep(0.2
环境：系统ubuntu16.04，显卡是NVIDIA QuadroRTX5000目标：安装语音识别工具whipser/whipser-ctranslate2 因之前有过几次在linux和windows上有过部署whisper经验和使用经验，其中有使用GPU的，有CPU的，各自语音识别效率一言难尽，建议直接装whipser-ctranslate2。同时，感谢B站博主的（Windows系统Whisper(OpenAI)安装指南（全局python环境）-哔哩哔哩）这篇文章曾给我一些启发，有需求的小伙伴可以先参考这篇文章了解一下。一、whipser-ctranslate2介绍
