目录一、SadTalker介绍二、准备工作三、数字人案例（图片转视频）四、展示效果五、参考资料一、SadTalker介绍SadTalker是一个开源的虚拟数字人制作工具，可以用一张图片生成数字人口播视频。SadTalker生成3DMM的三维（头部姿势、表情）系数，利用三维面部渲染器进行视频生成。SadTalker还提供了一些新的模式，例如静态模式、参考模式、调整大小模式等，以便更好地进行自定义应用程序。二、准备工作部署好AutoDL镜像并开启终端；部署教程：基于Wav2Lip+GFPGAN的AI数字人视频（以AutoDL算力云平台部署为例）从我的百度网盘中下载我的源码到AutoDL（该源码包括
设备配置：CPUE3-1240v3,RAM32G,SSD1T,GPU0Nvidia1080ti，GPU1NvidiaT4OS：Windows10专业版【python安装】1、下载安装python3.10.9https://www.python.org/ftp/python/3.10.9/python-3.10.9-amd64.exe2、下载安装githttps://git-scm.com/downloads 3、下载解压ffmpeg打开：https://github.com/GyanD/codexffmpeg/releases下载：ffmpeg-6.0-full_build-shared.zi
环境windows1064bitSadTalkertorch1.12.1+cu113安装配置创建一个全新的python虚拟环境conda create -n sadtalker python=3.8conda activate sadtalker然后，拉取源代码，并且安装对应的依赖git clone https://github.com/Winfredy/SadTalker.gitcd SadTalker# 安装gpu版的torchpip install torch==1.12.1+cu113 torchvision==0.13.1+cu113 torchaudio==0.12.1 --ext
功能说明github项目SadTalker可以根据一张图片、一段音频，合成面部说这段语音的视频。图片需要真人或者接近真人。目前项目已经支持stablediffusionwebui,可以SD出图后，结合一段音频合成面部说话的视频（抖音常见的数字人）SadTalker安装过程内访问速度比较慢，使用ghproxy加速，格式https://ghproxy.com/{githuburl}https://ghproxy.com/https://github.com/OpenTalker/SadTalker如图在extensions中填入地址，和下载后的目录名称，下载的文件将存放在{project你的项目}
孙燕姿果然不愧是孙燕姿，不愧为南洋理工大学的高材生，近日她在个人官方媒体博客上写了一篇英文版的长文，正式回应现在满城风雨的“AI孙燕姿”现象，流行天后展示了超人一等的智识水平，行文优美，绵恒隽永，对AIGC艺术表现得极其克制，又相当宽容，充满了语言上的古典之美，表现出了“任彼如泰山压顶，我只当清风拂面”的博大胸怀。本次我们利用edge-tts和Sadtalker库让AI孙燕姿朗诵本尊的博文，让流行天后念给你听。Sadtalker配置之前我们曾经使用百度开源的PaddleGAN视觉效果模型中一个子模块Wav2lip实现了人物口型与输入的歌词语音同步，但Wav2lip的问题是虚拟人物的动态效果只能
背景最近发现一个很有趣的GitHub项目SadTalker，它能够将一张图片跟一段音频合成一段视频，看起来毫无违和感，如果不仔细看，甚至很难辨别真假，预计未来某一天，一大波网红即将失业。虽然这个项目目前的主要研究方向还是基于cuda的脸部训练，生成动态的视频，但如果能够接入语音服务，利用ChatGPT实时生成对话prompt，配合这个项目实时渲染动态视频，那么一个灵动的对话机器人就产生了。想想这两个月ai正在以可怕的速度进化，未来生命以数字形式留存，机械飞升不再是科幻小说才有的场景。使用教程SadTalker上手门槛低，对新手相当友好，按照我的步骤一步步进行将确保你能够正常玩转这个项目。一、环
【论文精读】SadTalker：LearningRealistic3DMotionCoefficientsforStylizedAudio-DrivenSingleImageTalkingFaceAnimation（CVPR2023）论文：《SadTalker:LearningRealistic3DMotionCoefficientsforStylizedAudio-DrivenSingleImageTalkingFaceAnimation》github：https://github.com/Winfredy/SadTalker摘要Abstract通过人脸图像和一段语音音频生成TalkingH
