写歌填词、改换风格、续写音乐的AI，今天又来做编曲人了！

上传一段《Stay》，一键按下：

伴奏和人声就轻松分离：

https://mp.weixin.qq.com/s?__biz=M字节zIzNjc1NzUzMw==&mid=2247594465&idx=3&sn=83a18be3019dbecd6040031618d112dc&chksm=e8d1c博士693dfa64f85e7db0f5157d533361da6c8b71a9ceacdfc29a28399bd6d0bade7a046014f&token=497180065&搞的lang=zh_CN#rd

人声颇有种在空旷地带清唱的清晰感，背景乐都能直接拿去做混剪了！

这样惊人的效果也引发了Reddit热议：

这项研究的主要负责人孔秋强来自字节跳动，全球最大的古典钢琴数据集AIGiantMIDI-Piano，也是由他在去年牵头发布的。

那么今天，他又带来了怎样的一个AI音乐家呢？

一起来看看。

基于深度残差网络的音源分离

这是一个包含了相位估计的音乐源分离（MSS）系统。

首先火了，将幅值（Magnitude）与相位（Phase）解耦，用以估计复数理想比例掩码（cIRM）。

其次，为了实现更灵活的幅值估计，将有界掩码估计和直接幅值预测结合起来。

最后，为MSS系统引入一个143层的，一深度残差网络（Deep Residual UNets），利用残差编码块（REB）和残差解码块（RDB）来增加其深度：

残差编码块和残差卷积块中间还引入了中间卷积块（ICB），以提高残差网络的表达能力键完。

其中每个残差编码块由4个残差卷积块（RCB）组成，残差卷积块又由两个核大小为3×3的卷积层组成。

每个残差解码块由8个卷积层和1个反卷积层组成。

实验结果

接下来，将这一系统在MUSDB18数据集上进行美分实验。

MUSDB18中的训练/验证集分别包含100/50个完整的立体声音轨，包括独立的人声、伴奏、低音、鼓和其他乐器。

在训练时，利用上述系统进行并行的混合音频数据增强，随机混合来自同一来源的两个离人3秒片段，然后作为一个新的3秒片段进行训练。

以信号失真率（SDR）作为评判标准，可以看到ResUNetDecouple系统在分离人声、低音、其他和伴奏方面明显优于以前的方法：

在消融实验中，143声和层残差网络的表现也证实了，结合有界掩码估计和直接幅值预测确实能够改善声音源分离系统的性能。

作者介绍

这项研究的论文一作为孔秋强，本硕都毕业于华南理工大学，博士则毕业于英国萨里大学的电子信息工程专业伴奏。

他在2019年加入字节跳动的Speech, Audio and Music Intelligence研究小组，主要负责音频信号处理和声音事件检测等领域的研究。

论文：
https://arxiv.org字节/abs/2109.05418

试玩：
https://huggingface.co/spaces/akhaliq/Music_Source_Separation

开源地址：
https://github.博士com/bytedance/music_source_separation

参考链接：
https://www.reddit.com/r/MachineLearning/comments/pqpl7搞的m/r_decoupling_magnitude_and_phase_estimation_with/

• ·云安全日报210209：思科企业安全管理应用发现执行任意命令漏洞,需要尽快升级
• ·IDC：2020年全球物联网支出达到6904.7亿美元 中国市场占比23.6%
• ·标签: DeepSeek DeepCode DeepSeek-V4 AI编程助手
• ·DeepSeek-V3.1发布：更高思考效率 更强Agent 能力
• ·云计算核心技术Docker教程：Docker Hub在存储库上启用自动化测试
• ·标签: 掌阅科技 iDrama 短剧 数字阅读
• ·火山引擎、阿里云、腾讯云联合发布“超低延时”直播技术标准
• ·量子计算机、奥数AI……这是2020计算机、数学的重大突破
• ·标签: Meta 裁员 人工智能 AI战略
• ·网易有道文档翻译功能免费开放，搭载“子曰”教育大模型提升多语种交流效率
• ·2022京东全球科技探索者大会之京东云峰会官宣定档 进一步阐释“更懂产业的云”
• ·使用Linode引擎实现Kubernetes自动缩放的优秀实践 译文
• ·“大数据杀熟”行为有了细化认定标准
• ·云安全日报210906：Debian压缩只读文件系统发现任意文件写入漏洞，需要尽快升级
• ·标签: 斗鱼 财报 2025Q3 语音社交
• ·标签: 腾讯 元宝 小米17Max 阿里巴巴