VITVIT也就是visiontransformer的缩写。是第一种将transformer运用到计算机视觉的网络架构。其将注意力机制也第一次运用到了图片识别上面。其结构图如下（采用的是paddle公开视频的截图）看起来比较复杂，但实际上总体流程还是比较简单的。只需要看最右边的总的结构图，它的输入被称作imagetoken。其实也就是最左边的输入tokenembedding。如果非要说什么区别的话，imagetoken是整个网络的输入，但是tokenembedding是每一个encoder的输入，在第一个encoder的时候二者完全一样。后面也只是在重复相同的步骤，也就是在叠加encoder。
前言随着ChatGPT的爆火，AIGC（人工智能生成内容）再一次走到人们眼前。尤其是在文本、图像生成领域，通过GPT-4、Midjourney等应用生成各种令人惊叹定的文本和图片。但AI在生成方面的能力，可远非如此如此。我用长约一个小时的音频数据，训练了一个AI音色转换模型，生成了这首歌曲，效果如下所示，大家可以在评论区留言猜猜是谁？小半-AI合成视频里所使用的技术是so-vits-svc，是音频转音频，属于音色转换算法，支持正常的说话，也支持歌声的音色转换。下面具体介绍如何使用so-vits-svc。 一、准备工作训练数据很关键，越多高质量的音频数据，效果越好，建议至少准备一个小时以上的音频
人工智能AI技术早已深入到人们生活的每一个角落，君不见AI孙燕姿的歌声此起彼伏，不绝于耳，但并不是每个人都拥有一块N卡，没有GPU的日子总是不好过的，但是没关系，山人有妙计，本次我们基于Google的Colab免费云端服务器来搭建深度学习环境，制作AI特朗普，让他高唱《国际歌》。Colab（全名Colaboratory），它是Google公司的一款基于云端的基础免费服务器产品，可以在B端，也就是浏览器里面编写和执行Python代码，非常方便，贴心的是，Colab可以给用户分配免费的GPU进行使用，对于没有N卡的朋友来说，这已经远远超出了业界良心的范畴，简直就是在做慈善事业。配置ColabCol
论文名叫《ANIMAGEISWORTH16X16WORDS:TRANSFORMERSFORIMAGERECOGNITIONATSCALE》一张图片等价于 16x16的单词，顾名思义，ViT就是把图片分割成16x16的patch，然后将这些patch看作transformer的输入。下面就一起来学习一下论文吧。论文地址：https://arxiv.org/pdf/2010.11929.pdfpytorch源码：rwightman写的，被官方收录tf源码：https://github.com/google-research/vision_transformer目录Abstract1Introduc
一、背景介绍：自2017年Google提出的Transformer结构以来，迅速引发一波热潮，最初《Attentionisallyouneed》这篇论文的提出是针对于NLP领域的，通过自注意力机制代替传统处理序列数据时采用的循环神经网络结构，不仅实现了并行训练，提升了训练的效率，同时也在应用中取得很好的结果。之后的一段时间中，各种基于Transformer改进的网络结构涌现出来，在不同领域中都达到SOTA的效果。2020年Google又提出了《ANIMAGEISWORTH16X16WORDS:TRANSFORMERSFORIMAGERECOGNITIONATSCALE》这篇论文，该文章已经被收
流行天后孙燕姿的音色固然是极好的，但是目前全网都是她的声音复刻，听多了难免会有些审美疲劳，在网络上检索了一圈，还没有发现民谣歌手的音色模型，人就是这样，得不到的永远在骚动，本次我们自己构建训练集，来打造自己的音色模型，让民谣女神来唱流行歌曲，要多带劲就有多带劲。构建训练集训练集是指用于训练神经网络模型的数据集合。这个数据集通常由大量的输入和对应的输出组成，神经网络模型通过学习输入和输出之间的关系来进行训练，并且在训练过程中调整模型的参数以最小化误差。通俗地讲，如果我们想要训练民谣歌手叶蓓的音色模型，就需要将她的歌曲作为输入参数，也就是训练集，训练集的作用是为模型提供学习的材料，使其能够从输入数
前言2018年我写过一篇博客，叫：《一文读懂目标检测：R-CNN、FastR-CNN、FasterR-CNN、YOLO、SSD》，该文相当于梳理了2019年之前CV领域的典型视觉模型，比如2014R-CNN2015FastR-CNN、FasterR-CNN2016YOLO、SSD2017MaskR-CNN、YOLOv22018YOLOv3随着2019CenterNet的发布，特别是2020发布的DETR(End-to-EndObjectDetectionwithTransformers)之后，自此CV迎来了生成式下的多模态时代1月3月4月5月6月8月10月11月2020DETRDDPMDDIM
SO-VITS-SVC3.0详细安装、训练、推理使用步骤2023-3-12文档更新说明：由于特殊原因，本项目文档将停止更新，详情请见原作者首页，感谢各位的支持！本文档的Github项目地址点击前往本帮助文档为项目so-vits-svc补档的详细中文安装、调试、推理教程，您也可以直接选择官方README文档撰写：Sucial点击跳转B站主页1.环境依赖本项目需要的环境：NVIDIA-CUDAPythonPytorchFFmpeg-Cuda在cmd控制台里输入nvidia-smi.exe以查看显卡驱动版本和对应的cuda版本前往NVIDIA-Developer官网下载与系统对应的Cuda版本以Cu
SO-VITS-SVC3.0详细安装、训练、推理使用步骤2023-3-12文档更新说明：由于特殊原因，本项目文档将停止更新，详情请见原作者首页，感谢各位的支持！本文档的Github项目地址点击前往本帮助文档为项目so-vits-svc补档的详细中文安装、调试、推理教程，您也可以直接选择官方README文档撰写：Sucial点击跳转B站主页1.环境依赖本项目需要的环境：NVIDIA-CUDAPythonPytorchFFmpeg-Cuda在cmd控制台里输入nvidia-smi.exe以查看显卡驱动版本和对应的cuda版本前往NVIDIA-Developer官网下载与系统对应的Cuda版本以Cu
上期介绍了Transformer的结构、特点和作用等方面的知识，回头看下来这一模型并不难，依旧是传统机器翻译模型中常见的seq2seq网络，里面加入了注意力机制，QKV矩阵的运算使得计算并行。当然，最大的重点不是矩阵运算，而是注意力机制的出现。一、CNN最大的问题是什么CNN依旧是十分优秀的特征提取器，然而注意力机制的出现使得CNN隐含的一些问题显露了出来。CNN中一个很重要的概念是感受野，一开始神经网络渐层的的卷积核中只能看到一些线条边角等信息，而后才能不断加大，看到一个小小的“面”，看到鼻子眼睛，再到后来看到整个头部。一方面的问题是：做到这些需要网络层数不断地加深(不考虑卷积核的大小)，感
