音视频联合生成

一、问题本质：为何音视频联合生成如此困难

人类对世界的感知天然是多模态的：我们看到物体碰撞的同时听到撞击声，看到人说话的同时听到语音。这种音视频的自然共现性（natural co-occurrence）构成了联合生成任务的物理基础，但也揭示了其深层困难所在。

1.1 模态异构性：两种根本不同的信号

音频与视频在信号结构上存在根本差异。视频是三维时空张量 \(\mathbf{V} \in \mathbb{R}^{T \times H \times W \times C}\)，其中时间维度 \(T\) 通常以帧为单位（25-30 fps），空间分辨率 \(H \times W\) 可达数千像素；而音频是一维时序信号 \(\mathbf{a} \in \mathbb{R}^{L}\)，采样率通常为 16kHz 至 44.1kHz，即每秒包含数万个采样点。这意味着，对于一段10秒的视频，视频端有约250帧，而音频端有约160,000个采样点——两者的时间分辨率相差约640倍。

这种异构性带来了两个核心建模挑战：其一，如何在统一的潜在空间中对两种模态进行联合表征；其二，如何在去噪或生成过程中维持帧级（frame-level）的精确时序对应。音频通常被转换为Mel谱图（Mel spectrogram）以获得二维的时频表示，从而与视频帧在时间轴上建立对应关系，但这一转换本身会引入相位信息的丢失，进而影响音频质量 10。

1.2 跨模态语义对齐：从粗粒度到细粒度

音视频之间的语义关联存在多个层次。在粗粒度层面，一段”狗在奔跑”的视频应当对应犬吠声或爪子踏地声，而非人声或乐器声——这是场景级别的语义对齐。在细粒度层面，当演讲者说出某个音素时，其嘴型应当与该音素的发音方式精确匹配——这是帧级别的物理对齐。

现有方法在粗粒度语义对齐上已取得较好进展，主要依赖对比学习（如CLIP 2、CLAP 3）在共享嵌入空间中拉近对应的音视频表示。然而，细粒度的时序同步仍然是核心难题：扩散模型在去噪过程中，音频潜变量和视频潜变量各自演化，若缺乏显式的跨模态约束，两者容易发生对应漂移（Correspondence Drift）——即生成的音频与视频在语义上相关，但在时序上错位 4。

1.3 数据稀缺与标注困难

高质量的音视频对数据集是训练联合生成模型的基础，但其获取面临多重困难。首先，互联网上的视频往往包含背景噪声、混响和多声源混叠，难以直接用于监督训练。其次，精确的时序标注（如”第2.3秒出现撞击声”）需要大量人工标注成本。VGGSound 5 包含约20万个视频片段，AudioSet 6 包含约200万个片段，但两者均存在标注噪声和弱对齐问题。这一数据瓶颈促使研究者探索多模态联合训练（利用更丰富的单模态数据）和自动标注流水线等解决方案 7。

1.4 三条技术路线的形成逻辑

上述挑战催生了三条相互关联但侧重不同的技术路线，如下表所示：

---

二、视频到音频生成（V2A）：从谱图回归到多模态扩散

V2A任务的目标是给定静音视频，生成与视觉内容在语义和时序上对齐的音频。这一任务在电影工业中对应”Foley配音”——专业配音师根据画面实时制造音效。自动化Foley合成的难点在于：同一个视觉场景（如”人走路”）可能对应截然不同的音效（木地板声、石板声、草地声），模型需要从视觉上下文中推断声音的物理属性。

2.1 范式一：离散自回归生成（2021-2022）

SpecVQGAN8（Iashin & Rahtu, 2021）是V2A领域的奠基性工作，其核心思路是将音频生成问题转化为序列建模问题。具体而言，该方法首先训练一个VQ-VAE将Mel谱图压缩为离散token序列，然后训练一个Transformer以视觉特征（ResNet特征或光流特征）为条件，自回归地预测谱图token。这一范式的优势在于：离散化使得音频生成可以直接套用语言模型的成熟技术；劣势在于视觉特征仅作为全局条件注入，缺乏帧级时序对齐能力，导致生成音频与视频的时序对应较为粗糙。

2.2 范式二：对比预训练 + 潜在扩散（2023）

Diff-Foley9（Luo et al., NeurIPS 2023）是V2A领域的重要突破，其关键创新在于将对比音视频预训练（CAVP）与潜在扩散模型（LDM）相结合。CAVP的动机来自于一个关键观察：直接使用通用视觉编码器（如CLIP）提取的特征并不能有效捕捉音视频之间的时序关联，因为CLIP的训练目标是图文对齐而非音视频对齐。因此，Diff-Foley专门设计了一个对比学习目标，使视频特征在时序维度上与对应的音频特征对齐。经过CAVP预训练的视觉特征随后作为条件注入LDM的交叉注意力模块，引导谱图潜变量的去噪过程。此外，该工作还提出了”双重引导”（double guidance）策略，在推理时同时利用视觉条件和无条件预测，显著提升样本质量。

2.3 范式三：预训练T2A模型适配（2024）

随着文本到音频（T2A）大模型（如AudioLDM 10）的成熟，一种新的范式兴起：在强大的T2A先验基础上，通过轻量级适配器引入视觉条件，而非从头训练视觉-音频联合模型。这一范式的动机在于：T2A模型在大规模文本-音频数据上训练，具备丰富的声音先验知识；而高质量的视频-音频对数据相对稀缺，从头训练容易受到数据瓶颈限制。

FoleyCrafter11（Zhang et al., IJCV 2026）是该范式的代表性工作，其架构包含两个核心适配器：语义适配器（Semantic Adapter）通过并行交叉注意力将CLIP视觉特征注入T2A模型，负责语义层面的”声音是什么”；时序适配器（Temporal Adapter）将帧级视觉特征注入，负责时序层面的”声音何时出现”。两个适配器的分离设计使得语义对齐与时序对齐可以独立优化，具有较强的可解释性。

V2A-Mapper12（Wang et al., AAAI 2024）则采用了更为轻量的方案：训练一个映射网络将CLIP视觉嵌入转换到CLAP音频嵌入空间，从而直接利用预训练T2A模型的条件生成能力，无需修改模型内部结构。

2.4 范式四：多模态联合训练（2025）

MMAudio13（Cheng et al., CVPR 2025）提出了一个重要的训练范式创新：多模态联合训练（Multimodal Joint Training）。其核心动机是解决视频-音频对数据稀缺的问题——通过同时在视频-音频对和大规模文本-音频对上训练，模型可以从丰富的文本-音频数据中学习高质量的音频先验，再将其迁移到视频条件生成任务。此外，MMAudio设计了一个帧级条件同步模块（Conditional Synchronization Module），通过将视频帧特征与音频潜变量在时间维度上对齐，实现精确的帧级同步。该模型仅有157M参数，推理时生成8秒音频仅需1.23秒，在公开模型中达到SOTA性能。

AV-Link14（Haji-Ali et al., ICCV 2025）则从不同角度解决了同一问题：通过融合块（Fusion Block）在冻结的视频扩散模型和音频扩散模型之间建立双向信息通道，利用时序对齐的自注意力操作实现跨模态条件注入。这一设计的优势在于直接复用预训练扩散模型的内部特征，无需额外的特征提取器，且同一框架可以同时支持V2A和A2V两个方向。

AudioX15（Tian et al., ICLR 2026）进一步将V2A扩展为统一的”任意到音频”（Anything-to-Audio）框架，支持文本、视频、图像、音频的任意组合作为条件输入。其核心设计是多模态自适应融合（MAF）模块，能够根据输入模态的组合动态调整融合权重。为解决训练数据问题，该工作构建了包含700万样本的IF-caps数据集。

V2A技术路线的演进可以概括为以下四个阶段：

---

三、音频驱动视频生成（A2V）：从参数化中间表示到端到端扩散

A2V任务以说话人头部生成（Talking Head Generation, THG）为核心，其目标是给定参考人脸图像和音频，生成与音频内容同步的人脸视频。这一任务在数字人、视频会议、影视制作等领域具有广泛应用价值。

3.1 范式一：基于GAN的直接合成（2018-2022）

早期方法主要依赖生成对抗网络（GAN）进行端到端的音频到视频映射。Wav2Lip16（Prajwal et al., ACM MM 2020）是该范式中引用量最高的工作之一，其核心创新是唇形同步专家判别器（Lip Sync Expert Discriminator）。该判别器基于预训练的SyncNet 17 构建，能够精确评估生成视频中嘴型与音频的同步程度，从而为生成器提供强监督信号。Wav2Lip的局限在于：其生成策略是将原始视频中的嘴部区域替换为生成的嘴部，导致整体视频质量受限于原始视频，且无法生成全新的人脸视频。

3.2 范式二：基于3D形变模型的参数化方法（2022-2023）

为了克服GAN方法在视频质量和运动多样性上的局限，研究者引入了3D形变模型（3D Morphable Model, 3DMM）作为中间表示。SadTalker18（Zhang et al., CVPR 2023）是该范式的代表性工作，其设计动机是将音频驱动的人脸动画分解为两个相对独立的子问题：唇形生成（由音频内容决定）和头部运动生成（具有一定随机性，反映说话风格）。

具体而言，SadTalker包含两个核心网络：ExpNet 从音频特征预测与唇形相关的3DMM系数（表情参数），PoseVAE 则学习头部姿态的分布并采样生成自然的头部运动序列。最终，3DMM系数被用于驱动3D人脸模型，并通过渲染网络生成最终视频。这种解耦设计的优势在于：唇形与头部运动可以独立控制，生成的视频更加自然；劣势在于3DMM的参数空间有限，难以表达细腻的面部表情变化，且渲染质量受限于3DMM的精度。

GeneFace19（Ye et al., ICLR 2023）则将神经辐射场（NeRF）引入说话人头部生成，利用NeRF的隐式表示能力实现任意视角的高质量渲染，但训练和推理速度较慢。

3.3 范式三：端到端扩散模型（2024-2025）

扩散模型的兴起为说话人头部生成带来了范式转变。与基于3DMM的参数化方法不同，扩散模型可以直接在像素或潜变量空间中进行端到端的音频到视频映射，无需显式的中间表示，从而避免了参数化模型的表达瓶颈。

Hallo20（Xu et al., 2024）是扩散模型范式的开创性工作，其核心贡献是层次化音频驱动视觉合成模块（Hierarchical Audio-Driven Visual Synthesis, HADV）。该模块将音频条件分解为三个层次：唇形（lip）、表情（expression）和姿态（pose），并在不同粒度上注入扩散模型的UNet去噪器。这种层次化设计使得模型可以对不同层次的运动进行独立控制，实现更精细的个性化调整。

Hallo221（Cui et al., ICLR 2025）在此基础上解决了长时序生成的挑战。长时序生成面临两个主要问题：外观漂移（Appearance Drift）（随着帧数增加，人脸外观逐渐偏离参考图像）和时序伪影（Temporal Artifacts）（帧间不一致导致的闪烁）。Hallo2通过在条件运动帧的图像空间中引入补丁丢弃增强（Patch-Drop Augmentation）和高斯噪声，增强了模型对长时序的鲁棒性。此外，通过向量量化潜变量编码和时序对齐技术，Hallo2实现了4K分辨率的肖像视频生成，是首个支持小时级长度和4K分辨率的音频驱动肖像动画方法。

Hallo322（Cui et al., CVPR 2025）进一步将骨干网络从UNet替换为视频扩散变换器（Video Diffusion Transformer, VDiT），以应对非正面视角、动态背景等更具挑战性的场景。由于VDiT的架构与UNet差异显著，原有的身份维护、音频条件注入等模块均需重新设计：身份参考网络采用因果3D VAE结合堆叠Transformer层实现，音频条件通过专门设计的语音音频条件机制注入。

EchoMimic23（Chen et al., 2024）则探索了音频与面部锚定的联合驱动策略，支持仅音频驱动、仅锚定驱动以及两者混合驱动三种模式，增强了系统的灵活性。

在全身动画方向，AudCast24（Guan et al., CVPR 2025）将音频驱动的范围从人脸扩展到全身，采用级联扩散变换器架构，首先生成身体运动，再细化面部和手部细节。AudioAvatar25（Lee et al., CVPR 2026）则基于3D高斯溅射（3DGS）实现了个性化的全身说话人头像生成，在渲染质量和实时性之间取得了较好的平衡。

A2V技术路线的演进体现了从”参数化中间表示”到”端到端隐式建模”的根本转变：

---

四、真正的音视频联合生成（JAVG）：从并行扩散到统一变换器

JAVG是三条技术路线中最具挑战性的方向：模型需要从文本或图像出发，同时生成在语义、时序和物理层面高度一致的音频与视频。这一任务的难点不仅在于单独生成高质量的音频或视频，更在于确保两个模态之间的联合一致性（Joint Coherence）。

4.1 范式一：并行扩散模型（2023）

MM-Diffusion26（Ruan et al., CVPR 2023）是首个真正意义上的音视频联合生成框架，其核心设计是双耦合去噪自编码器：两个并行的U-Net子网络分别负责音频和视频的去噪，通过随机位移注意力块（Random-Shift Attention Block）实现跨模态信息交换。随机位移操作的动机是：音频和视频在时间轴上的对应关系具有一定的局部性，随机位移可以在不增加过多计算开销的前提下，鼓励模型学习局部时序对应关系。MM-Diffusion的局限在于：它是无条件生成模型，缺乏文本控制能力，且生成的视频分辨率较低。

CoDi27（Tang et al., NeurIPS 2023）将联合生成的范围扩展到任意模态组合，提出了可组合扩散（Composable Diffusion）框架。其核心思想是在扩散过程中构建共享的多模态潜在空间，通过”桥接对齐”（bridging alignment）使不同模态的扩散过程在共享空间中相互约束。即使训练数据中不包含某些模态组合（如视频-音频对），CoDi也可以通过组合已知的单模态或双模态对齐关系，实现对新模态组合的零样本生成。这一设计体现了可组合性（Composability）的核心思想，但其代价是每个模态的生成质量相对于专用模型有所下降。

4.2 范式二：扩散变换器的联合建模（2024-2025）

随着扩散变换器（Diffusion Transformer, DiT）28 在视频生成领域的成功，研究者开始探索基于DiT的音视频联合建模架构。相比U-Net，DiT的注意力机制更适合处理长序列，且更容易扩展到多模态场景。

SyncFlow29（2024）提出了双扩散变换器（d-DiT）架构，采用多阶段训练策略：先分别在单模态数据上训练音频DiT和视频DiT，再通过联合微调实现跨模态对齐。这种渐进式训练策略有效缓解了联合训练初期的模态不平衡问题，并展示了零样本V2A生成能力。

JavisDiT30（2025）提出了层次化时空先验同步估计器（HiST-Sypo），该模块从视频中提取全局（场景级）和细粒度（事件级）的时空先验，并将其作为同步约束注入音频生成过程。与直接在特征空间中进行跨模态对齐不同，HiST-Sypo的设计动机是：音视频同步本质上是一个物理约束问题（🤔是吗？），通过显式建模时空先验可以更有效地引导同步。

Harmony31（Hu et al., CVPR 2026）从分析联合扩散过程的失效模式出发，识别出三个核心问题：（1）对应漂移（Correspondence Drift）：并发演化的噪声潜变量阻碍了稳定的对齐学习；（2）全局注意力效率低下：标准全局注意力难以捕捉细粒度时序线索；（3）无分类器引导（CFG）的模态内偏差：传统CFG增强了单模态条件性，但不能增强跨模态同步性。针对这三个问题，Harmony分别提出了：跨任务协同训练范式（利用V2A和A2V任务的监督信号缓解漂移）、全局-局部解耦交互模块（分别处理全局语义和局部时序对齐）、以及同步增强CFG（SyncCFG）（在推理时显式放大跨模态对齐信号）。

UniAVGen32（Zhang et al., CVPR 2026）采用双分支联合合成架构，两个并行的DiT分别处理音频和视频，通过非对称跨模态交互（Asymmetric Cross-Modal Interaction, ACMI）实现双向时序对齐的跨注意力。”非对称”的设计动机在于：音频和视频对彼此的依赖程度不同——音频（尤其是语音）对视频内容（嘴型、场景）的依赖更强，而视频对音频的依赖相对较弱。此外，面部感知调制（Face-Aware Modulation, FAM）模块动态优先处理人脸区域的跨模态交互，提升唇形同步精度。值得注意的是，UniAVGen仅使用130万训练样本，却在音视频同步、音色一致性和情感一致性上优于使用3010万样本的方法，体现了架构设计对数据效率的重要影响（🤔也可能是数据质量更高？）。

4.3 范式三：专家拼接与单塔统一（2025-2026）

随着预训练视频和音频生成模型的成熟，一种新的范式兴起：通过专家拼接（Stitching of Experts, SoE）将预训练的专用模型深度融合，而非从头训练联合模型。

UniVerse-133（Wang et al., 2025）是该范式的代表，其核心思路是将预训练视频生成专家和音乐生成专家的对应块深度融合，充分利用两个专家模型的基础能力。为解决训练数据的标注问题，UniVerse-1开发了在线标注流水线，在训练过程中动态生成精确的时序对齐标注，避免了预先标注带来的对齐误差。该模型在约7600小时音视频数据上微调后，在环境音效生成和语音生成方面均展示了良好的音视频协调性。

Apollo（前称KLEAR）34（2026）则走向了另一个极端——单塔设计（Single-Tower Design）：使用统一的DiT块和全模态全注意力（Omni-Full Attention）机制，在单一模型中处理所有模态的token。单塔设计的优势在于：音频和视频token在同一注意力层中直接交互，无需显式的跨模态桥接模块，从而实现更紧密的音视频对齐。为防止单模态崩塌（unimodal collapse），Apollo采用了随机模态掩码（Random Modality Masking）的渐进式多任务训练策略，并构建了首个包含密集标注的大规模音视频数据集。

Ovi35（Low et al., 2025）采用双塔跨模态融合架构：音频塔的架构与预训练视频模型完全相同，从头在数十万小时原始音频上训练。两个塔通过块级跨模态融合进行联合训练，利用缩放RoPE嵌入交换时序信息，利用双向跨注意力交换语义信息。这种设计使音频塔能够继承视频模型的时序建模能力，同时学习音频特有的表示。

MOVA36（2026）则引入了混合专家（Mixture of Experts, MoE）架构（32B总参数，18B激活），支持图像-文本到视频-音频（IT2VA）的联合生成，在模型容量和计算效率之间取得平衡。

JAVG技术路线的架构演进可以概括为以下几个阶段：

---

五、工业级系统与前沿进展

5.1 Meta MovieGen：大规模媒体基础模型

Meta MovieGen37（Polyak et al., 2024）是工业界音视频联合生成的重要里程碑。MovieGen是一个媒体基础模型集合，其中MovieGen Audio专门负责音频生成，采用流匹配（Flow Matching）目标和DiT架构，能够生成与视频内容时序一致的电影级音频（包括对话、音效和背景音乐）。MovieGen的核心技术贡献在于：大规模多模态数据的训练策略、以及视频到音频（V2A）生成的高质量实现。

5.2 Google Veo 3：原生音视频联合生成

Google Veo 3（2025）标志着工业界JAVG进入实用阶段。与早期需要后处理添加音频的视频生成系统不同，Veo 3能够原生地同步生成环境音效、对话和背景音乐。其架构采用潜在扩散联合建模，在共享潜在空间中同时处理音频和视频信号。Veo 3的发布引发了学术界对开源JAVG系统的大量研究，UniVerse-1、Apollo等工作均以”Veo-3类模型”为目标进行开发。

5.3 JavisDiT++：多维度优化的联合生成

JavisDiT++38（2026）在JavisDiT基础上提出了三项系统性改进：模态特定混合专家（MS-MoE）在增强跨模态交互效率的同时提升单模态生成质量；时序对齐RoPE（TA-RoPE）通过在音视频token之间引入显式的帧级时序位置编码，实现精确的帧级同步；音视频直接偏好优化（AV-DPO）将人类偏好对齐引入JAVG，在质量、一致性和同步性三个维度上优化模型输出。

---

六、核心技术挑战的横向对比

6.1 时序同步机制的演进

时序同步是贯穿三条技术路线的核心挑战，不同方法采用了截然不同的解决策略：

6.2 架构设计的核心权衡

在JAVG架构设计中，存在几个根本性的权衡：

双塔 vs. 单塔：双塔架构（如UniAVGen、Ovi）为每个模态维护独立的表示空间，通过跨模态注意力进行信息交换，具有更强的模态专用性和可解释性；单塔架构（如Apollo）在统一空间中处理所有模态的token，理论上可以实现更紧密的跨模态对齐，但面临模态崩塌的风险。

从头训练 vs. 专家拼接：从头训练（如MM-Diffusion、JavisDiT）可以针对联合生成任务进行全局优化，但需要大量配对数据和计算资源；专家拼接（如UniVerse-1）充分利用预训练单模态模型的能力，训练效率更高，但可能受限于预训练模型的表示空间。

显式同步约束 vs. 隐式联合建模：显式同步约束（如SyncCFG、TA-RoPE）通过设计特定的模块或损失函数强制音视频对齐，可解释性强但灵活性有限；隐式联合建模（如全模态全注意力）依赖模型自主学习对齐关系，灵活性更强但训练难度更大。

6.3 评估体系的多维度构建

音视频联合生成的评估需要覆盖多个维度，现有主要评估指标如下：

---

七、开放问题与未来方向

尽管音视频联合生成领域已取得显著进展，仍存在若干根本性的开放问题。

物理合理性：现有模型在生成音视频时往往缺乏对物理规律的理解——例如，金属碰撞声与木头碰撞声的差异不仅取决于视觉外观，还取决于材质的物理属性（密度、弹性模量等）。PhyAVBench 39（2025）专门针对这一问题构建了基准测试，但如何将物理知识有效地融入生成模型仍是开放问题。

长时序一致性：对于超过数分钟的长视频，如何在保持音视频同步的同时维持内容的叙事一致性，是当前方法面临的重要挑战。Hallo2在肖像动画方向迈出了重要一步，但开放域的长视频联合生成仍有很大提升空间。

多说话人场景：当视频中包含多个说话人时，如何将每个人的语音与其嘴型精确对应，同时处理遮挡和交叉说话等复杂情况，是一个尚未充分解决的问题 40。

可控性与可编辑性：用户往往需要对生成内容进行精细控制，例如指定特定的音效风格、调整背景音乐的情绪，或在保持视频不变的情况下替换音频。如何在保持音视频一致性的同时提供细粒度的可控接口，是未来的重要方向。

数据与评估：高质量、精确对齐的音视频对数据集仍然稀缺，现有评估指标（如AV-Align）在捕捉人类感知的同步质量方面仍有局限。构建更全面的评估体系和更大规模的训练数据集，是推动领域进步的基础性工作。

---

八、技术演进全景

综合三条技术路线的发展历程，可以归纳出音视频联合生成领域的几条核心演进脉络：

表征演进：从手工特征（MFCC、HOG）→ 深度学习特征（CNN、Transformer）→ 对比预训练特征（CLIP、CLAP、CAVP）→ 扩散模型内部特征（AV-Link）。

生成范式演进：从回归/检索 → GAN → 自回归Transformer → 扩散模型（U-Net）→ 扩散变换器（DiT）→ 流匹配（Flow Matching）。

跨模态交互演进：从全局条件注入 → 帧级交叉注意力 → 双向跨模态注意力 → 全模态全注意力（单塔）。

训练策略演进：从单模态预训练+微调 → 对比预训练+生成微调 → 多模态联合训练 → 专家拼接+联合微调 → 渐进式多任务训练。

这些演进脉络共同指向一个目标：构建能够理解并生成物理世界中音视频自然共现关系的统一生成模型。随着Google Veo 3等工业系统的出现，这一目标已从学术愿景逐渐走向现实应用，但在物理合理性、长时序一致性和精细可控性等方面，仍有大量基础性问题有待解决。