Bert-vits2项目又更新了，更新了一个新的分支：中文特化，所谓中文特化，即针对中文音色的特殊优化版本，纯中文底模效果百尺竿头更进一步，同时首次引入了大模型，使用国产IDEA-CCNL/Erlangshen-MegatronBert-1.3B大模型作为Bert特征提取，基本上完全解决了发音的badcase，同时在情感表达方面有大幅提升，可以作为先前V1.0.1纯中文版本更好的替代。更多情报请参见Bert-vits2项目官网：https://github.com/fishaudio/Bert-VITS2/releases/tag/Extra本次我们基于Bert-vits2中文特化版本通过40
Bert-vits2项目又更新了，更新了一个新的分支：中文特化，所谓中文特化，即针对中文音色的特殊优化版本，纯中文底模效果百尺竿头更进一步，同时首次引入了大模型，使用国产IDEA-CCNL/Erlangshen-MegatronBert-1.3B大模型作为Bert特征提取，基本上完全解决了发音的badcase，同时在情感表达方面有大幅提升，可以作为先前V1.0.1纯中文版本更好的替代。更多情报请参见Bert-vits2项目官网：https://github.com/fishaudio/Bert-VITS2/releases/tag/Extra本次我们基于Bert-vits2中文特化版本通过40
对于深度学习初学者来说，JupyterNoteBook的脚本运行形式显然更加友好，依托Python语言的跨平台特性，JupyterNoteBook既可以在本地线下环境运行，也可以在线上服务器上运行。GoogleColab作为免费GPU算力平台的执牛耳者，更是让JupyterNoteBook的脚本运行形式如虎添翼。本次我们利用Bert-vits2的最终版Bert-vits2-v2.3和JupyterNoteBook的脚本来复刻生化危机6的人气角色艾达王(adawong)。本地调试JupyterNoteBook众所周知，GoogleColab虽然可以免费提供GPU让用户用于模型训练和推理，但是每一
论文：DosovitskiyA,BeyerL,KolesnikovA,etal.Animageisworth16x16words:Transformersforimagerecognitionatscale[J].arXivpreprintarXiv:2010.11929,2020源码的Pytorch版：https://github.com/lucidrains/vit-pytorch0.前言Transformer提出后在NLP领域中取得了极好的效果，其全Attention的结构，不仅增强了特征提取能力，还保持了并行计算的特点，可以又快又好的完成NLP领域内几乎所有任务，极大地推动自然语言处理
近日，Bert-vits2发布了最新的版本2.3-final，意为最终版，修复了一些已知的bug，添加基于WavLM的Discriminator（来源于StyleTTS2），令人意外的是，因情感控制效果不佳，去除了CLAP情感模型，换成了相对简单的BERT融合语义方式。事实上，经过2.2版本的测试，CLAP情感模型的效果还是不错的，关于2.2版本，请移步：Bert-vits2-v2.2新版本本地训练推理整合包(原神八重神子英文模型miko)更多情报请关注Bert-vits2官网：https://github.com/fishaudio/Bert-VITS2/releases/tag/v2.3本
假如我们一定要说深度学习入门会有一定的门槛，那么设备成本是一个无法避开的话题。深度学习模型通常需要大量的计算资源来进行训练和推理。较大规模的深度学习模型和复杂的数据集需要更高的计算能力才能进行有效的训练。因此，训练深度学习模型可能需要使用高性能的计算设备，如图形处理器（GPU）或专用的深度学习处理器（如TPU），这让很多本地没有N卡的同学望而却步。GoogleColab是由Google提供的一种基于云的免费Jupyter笔记本环境。它可以帮助入门用户轻松地进行机器学习和深度学习的实验。尽管GoogleColab提供了很多便利和免费的功能，但也有一些限制。例如，每个会话的计算资源可能是有限的，并
近日，Bert-vits2-v2.2如约更新，该新版本v2.2主要把Emotion模型换用CLAP多模态模型，推理支持输入textprompt提示词和audioprompt提示语音来进行引导风格化合成，让推理音色更具情感特色，并且推出了新的预处理webuI，操作上更加亲民和接地气。更多情报请参见Bert-vits2官网：https://github.com/fishaudio/Bert-VITS2/releases/tag/v2.2与此同时，基于FastApi的推理web界面项目也同步适配了Bert-vits2-v2.2版本，官网如下：https://github.com/jiangyuxia
Vit比它爹Transformer步骤要简单的多，需要注意的点也要少得多，最令人兴奋的是它在代码中没有令人头疼的MASK，还有许多简化的操作，容我慢慢道来。原理1、打成patch+线性变化它所解决的核心问题就是如何将图片塞入Transformer，如果每个像素作为输入的话，那么一个小小的224*224的图片的序列长度就会是50176，而nlp的Transformer最初设定长度才是512，并且attention的复杂度是平方级的，这50176令人不敢恭维。Vit无非就是将一张图片打成一个一个的patch，将每个patch作为一个输入，仅此而已。将图片打成patch可以通过很简单的卷积实现。使用
Bert-vits2更新了版本V210，修正了日/英的bert对齐问题，效果进一步优化；对底模使用的数据进行优化和加量，减少finetune失败以及电音的可能性；日语bert更换了模型，完善了多语言推理。更多情报请参考Bert-vits2官网：https://github.com/fishaudio/Bert-VITS2/releases/tag/2.1最近的事情大家也都晓得了，马督工义无反顾带头冲锋，身体力行地实践着横渠四句：为天地立心，为生民立命，为往圣继绝学，为万世开太平。本次我们基于Bert-vits2的新版本V210，复刻马督工，向他致敬。Bert-vits2V210整备数据集我们知
之前我们使用Bert-VITS2V2.0.2版本对现有的原神数据集进行了本地训练，但如果克隆对象脱离了原神角色，我们就需要自己构建数据集了，事实上，深度学习模型的性能和泛化能力都依托于所使用的数据集的质量和多样性，本次我们在本地利用Bert-VITS2V2.0.2对霉霉讲中文的音色进行克隆实践。霉霉讲中文的原始音视频地址：https://www.bilibili.com/video/BV1bB4y1R7Nu/这一段是基于HeyGen项目的AI音色克隆以及唇形合成技术，全片1分钟左右，中文和英文各30秒，因为我们只克隆中文音色部分，那么将英文部分截去，留下30秒的中文音频素材。Bert-VITS
