谷歌发布SoundStorm: 高效的并行音频生成

谷歌发布SoundStorm: 高效的并行音频生成

近年来,生成式人工智能的进展使得在文本、视觉和音频等多个领域中创造新内容成为可能。这些模型通常依赖于将原始数据首先转换为一系列标记的压缩格式。在音频方面,神经音频编解码器可以将波形有效地压缩为紧凑的表示形式,这可以被反转以重构原始音频信号的近似值。通过将音频表示为一系列离散的标记,可以使用基于Transformer的序列到序列模型进行音频生成。与AutoLM等许多生成音频模型不同,SoundStorm能够并行生成标记,从而将推理时间减少了100倍,并产生了相同质量的音频和更高的语音和声学条件一致性。

谷歌发布SoundStorm: 高效的并行音频生成
正文完