草庐IT

Controllability

全部标签

【论文阅读】VideoComposer: Compositional Video Synthesis with Motion Controllability

VideoComposer:具有运动可控性的合成视频。paper:[2306.02018]VideoComposer:CompositionalVideoSynthesiswithMotionControllability(arxiv.org)由阿里巴巴研发的可控视频生成框架,可以灵活地使用文本条件、空间条件和时序条件来生成视频,比如使用草图、深度图或运动向量等多个组合条件合成目标视频,极大地提高了视频灵活性和可控性。在多模态条件下进行视频生成。引入了一个时空条件编码器,允许各种条件的灵活组合。使得可以整合多个模态,如草图、遮罩、深度和运动矢量。通过利用多模态控制,可以生成更高质量的视频,更好