Blog

音视频联合生成

音视频联合生成(Audio-Visual Joint Generation)是生成式人工智能领域最具挑战性的方向之一,其核心在于跨越两种异构模态之间的感知鸿沟,实现时序、语义与物理层面的多维同步。本文从问题本质出发,系统梳理三条主要技术路线——视频到音频生成(V2A)、音频驱动视频生成(A2V)以及真正的音视频联合生成(JAVG)——追踪从早期回归方法到大规模扩散Transformer的演进...