AI 音乐 | 3.2 资讯

飞书用户6750

2024年3月2日修改

15%

作者：叮当不是机器猫 ｜分享AI音乐动态，探索AI与音乐的无限可能！​

公众号：智音Brook 2024-03-02 21:40 广东

85%

Voice-Swap 推出 Stem-Swap，可重塑混音曲目的人声

SALMONN：语音音频语言音乐开放神经网络

LAIVE：AI 生成器乐曲目、歌词和人声一体

Combobulator：用AI合成技术重塑音乐创作界限

Vocs AI：您的免费人工智能语音生成器和转换器

Voice-Swap 推出 Stem-Swap，可重塑混音曲目的人声

Voice-Swap 推出了 Stem-Swap 工具，允许用户从完全混音的曲目中轻松快速地更改人声。这个基于浏览器的工具可以将歌曲分成四部分，隔离人声，并将其转换为其他歌手的声音。用户可以从授权歌手名单中选择新声音，并下载完整混音或各个音轨。这一功能预计将开启前所未有的创意和合作新途径。​

SALMONN：语音音频语言音乐开放神经网络

SALMONN 是一种集成了语音和音频编码器的多模态大型语言模型（LLM），旨在理解和处理包括语音、音频事件和音乐在内的一般音频输入。该模型通过双编码器结构，结合语音识别、自动语音翻译、音频信息基础的问题回答、情感识别、说话人验证和音乐及音频描述等任务进行训练，以提高在这些领域的性能。​

SALMONN 利用了大量公开可用的数据集进行训练，包括 LibriSpeech、GigaSpeech、WavCaps、AudioCaps 和 Clotho 等，这些数据集覆盖了语音识别和音频描述等多种任务。​

SALMONN 在一系列语音和音频基准任务上进行了评估，包括自动语音识别、音频描述、情感识别和音乐描述等。实验结果显示，SALMONN 能够在这些任务上达到竞争性的性能，并在未训练的任务上展现出通用听力能力。​

结果表明，SALMONN 成功地将语音、音频事件和音乐的理解能力整合到一个单一的模型中，展现了向具备通用听力能力的人工智能迈进的一步。此外，通过激活调整阶段，SALMONN 能够缓解任务过拟合问题，并激活跨模态的突现能力，如基于音频的故事讲述和语音音频共同推理等能力。​

LAIVE：AI 生成器乐曲目、歌词和人声一体

AI 音乐 | 3.2 资讯​