假如我们一定要说深度学习入门会有一定的门槛，那么设备成本是一个无法避开的话题。深度学习模型通常需要大量的计算资源来进行训练和推理。较大规模的深度学习模型和复杂的数据集需要更高的计算能力才能进行有效的训练。因此，训练深度学习模型可能需要使用高性能的计算设备，如图形处理器（GPU）或专用的深度学习处理器（如TPU），这让很多本地没有N卡的同学望而却步。GoogleColab是由Google提供的一种基于云的免费Jupyter笔记本环境。它可以帮助入门用户轻松地进行机器学习和深度学习的实验。尽管GoogleColab提供了很多便利和免费的功能，但也有一些限制。例如，每个会话的计算资源可能是有限的，并
近日，Bert-vits2-v2.2如约更新，该新版本v2.2主要把Emotion模型换用CLAP多模态模型，推理支持输入textprompt提示词和audioprompt提示语音来进行引导风格化合成，让推理音色更具情感特色，并且推出了新的预处理webuI，操作上更加亲民和接地气。更多情报请参见Bert-vits2官网：https://github.com/fishaudio/Bert-VITS2/releases/tag/v2.2与此同时，基于FastApi的推理web界面项目也同步适配了Bert-vits2-v2.2版本，官网如下：https://github.com/jiangyuxia
Bert-vits2更新了版本V210，修正了日/英的bert对齐问题，效果进一步优化；对底模使用的数据进行优化和加量，减少finetune失败以及电音的可能性；日语bert更换了模型，完善了多语言推理。更多情报请参考Bert-vits2官网：https://github.com/fishaudio/Bert-VITS2/releases/tag/2.1最近的事情大家也都晓得了，马督工义无反顾带头冲锋，身体力行地实践着横渠四句：为天地立心，为生民立命，为往圣继绝学，为万世开太平。本次我们基于Bert-vits2的新版本V210，复刻马督工，向他致敬。Bert-vits2V210整备数据集我们知
之前我们使用Bert-VITS2V2.0.2版本对现有的原神数据集进行了本地训练，但如果克隆对象脱离了原神角色，我们就需要自己构建数据集了，事实上，深度学习模型的性能和泛化能力都依托于所使用的数据集的质量和多样性，本次我们在本地利用Bert-VITS2V2.0.2对霉霉讲中文的音色进行克隆实践。霉霉讲中文的原始音视频地址：https://www.bilibili.com/video/BV1bB4y1R7Nu/这一段是基于HeyGen项目的AI音色克隆以及唇形合成技术，全片1分钟左右，中文和英文各30秒，因为我们只克隆中文音色部分，那么将英文部分截去，留下30秒的中文音频素材。Bert-VITS
介绍so-vits-svc是基于VITS的开源项目，VITS（VariationalInferencewithadversariallearningforend-to-endText-to-Speech）是一种结合变分推理（variationalinference）、标准化流（normalizingflows）和对抗训练的高表现力语音合成模型环境本文章使用的是腾讯云GPU计算型GN7竞价实例,竞价实例最高可比按量计费节省95%，但实例有被自动释放风险，适合做测试。具体环境如下：#系统环境Ubuntu22.04LTS#显卡环境NVIDIA-SMI470.182.03DriverVersion:4
按照固有思维方式，深度学习的训练环节应该在云端，毕竟本地硬件条件有限。但事实上，在语音识别和自然语言处理层面，即使相对较少的数据量也可以训练出高性能的模型，对于预算有限的同学们来说，也没必要花冤枉钱上“云端”了，本次我们来演示如何在本地训练Bert-VITS2V2.0.2模型。Bert-VITS2V2.0.2基于现有数据集目前Bert-VITS2V2.0.2大体上有两种训练方式，第一种是基于现有数据集，即原神各角色已经标注好的语音数据，这部分内容是公开的，但是不能商用，可以在这里下载：https://pan.ai-hobbyist.org/Genshin%20Datasets/%E4%B8%A
Bert-vits2项目近期炸裂更新，放出了v2.0.2版本的代码，修正了存在于2.0先前版本的重大bug，并且重炼了底模，本次更新是即1.1.1版本后最重大的更新，支持了三语言训练及混合合成，并且做到向下兼容，可以推理老版本的模型，本次我们基于新版V2.0.2来本地推理原神小姐姐们的音色模型。具体的更新日志请参见官网：https://github.com/fishaudio/Bert-VITS2/releases模型配置首先克隆官方最近的v2.0.2代码：gitclonehttps://github.com/fishaudio/Bert-VITS2.git随后在项目的根目录创建Data目录c
诸公可知目前最牛逼的TTS免费开源项目是哪一个？没错，是Bert-vits2，没有之一。它是在本来已经极其强大的Vits项目中融入了Bert大模型，基本上解决了VITS的语气韵律问题，在效果非常出色的情况下训练的成本开销普通人也完全可以接受。BERT的核心思想是通过在大规模文本语料上进行无监督预训练，学习到通用的语言表示，然后将这些表示用于下游任务的微调。相比传统的基于词嵌入的模型，BERT引入了双向上下文信息的建模，使得模型能够更好地理解句子中的语义和关系。BERT的模型结构基于Transformer，它由多个编码器层组成。每个编码器层都有多头自注意力机制和前馈神经网络，用于对输入序列进行多
1VITS2模型1.1摘要单阶段文本到语音模型最近被积极研究，其结果优于两阶段管道系统。以往的单阶段模型虽然取得了较大的进展，但在间歇性非自然性、计算效率、对音素转换依赖性强等方面仍有改进的空间。本文提出VITS2，一种单阶段的文本到语音模型，通过改进之前工作的几个方面，有效地合成了更自然的语音。本文提出了改进的结构和训练机制，所提出的方法在提高多说话人模型中语音特征的自然度、相似性以及训练和推理效率方面是有效的。证明了所提出方法可以显著减少以前工作中对音素转换的强依赖，允许完全端到端单阶段方法。论文地址：https://arxiv.org/pdf/2307.16430.pdf演示地址：htt
诸公可知目前最牛逼的TTS免费开源项目是哪一个？没错，是Bert-vits2，没有之一。它是在本来已经极其强大的Vits项目中融入了Bert大模型，基本上解决了VITS的语气韵律问题，在效果非常出色的情况下训练的成本开销普通人也完全可以接受。BERT的核心思想是通过在大规模文本语料上进行无监督预训练，学习到通用的语言表示，然后将这些表示用于下游任务的微调。相比传统的基于词嵌入的模型，BERT引入了双向上下文信息的建模，使得模型能够更好地理解句子中的语义和关系。BERT的模型结构基于Transformer，它由多个编码器层组成。每个编码器层都有多头自注意力机制和前馈神经网络，用于对输入序列进行多
