关闭广告

清华新作ControlAudio:声音何时响、说啥话?都能按剧本可控生成

机器之心Pro632人阅读



本文第一作者是江宇轩,清华大学博士生,研究方向为生成模型、文生音频和多模态学习,指导老师为朱军教授与窦维蓓教授。

文本到音频(Text-to-Audio, TTA)生成技术近年来取得了显著进展,从早期的简单声效合成逐步发展到基于扩散模型的高保真音频生成,能够较好地还原复杂的自然语言描述,为影视配音、游戏音效及多媒体内容创作提供了重要的技术支撑。

然而,现有 TTA 技术在精细化控制方面仍面临挑战:一方面,模型难以实现对声音事件发生时间的精确控制;另一方面,生成的语音内容往往不够清晰,缺乏可理解性。

针对这一问题,清华大学研究团队提出了 ControlAudio,一种基于渐进式扩散建模的文生音频方法。该方法通过系统性的数据构建流程与渐进式建模策略,在统一框架下实现了对时间结构与语音内容的联合建模。

目前,该工作已被 ACL 2026 Main Conference 接收,并拟推荐为口头报告。

上一页 下一页
版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

国米球员身价变更:图拉姆下跌1500万欧,博尼上涨1200万欧

懂球帝 浏览 789

“白色阔腿裤”今年夏天又火了!这样穿时髦又高级

LinkFashion 浏览 624

“车圈拼多多”盈利了,零跑汽车股价翻倍市值千亿

达摩财经 浏览 2938

解决了下雨天穿啥鞋,再来看看背啥包

黎贝卡的异想世界 浏览 1063

聚焦AI,深圳国际电子展暨嵌入式展elexcon开幕

第一财经资讯 浏览 1029

德容:梅西曾是我的偶像,对我来说他是史上最佳

懂球帝 浏览 893

刚刚!利好,直线暴涨!

中国基金报 浏览 756

55岁郑丽文当选国民党主席 其被视为"非典型国民党人"

中国青年报 浏览 828

共享电单车下沉战升级!松果出行递表港股,业务覆盖全国422个市县|港E声

时代周报 浏览 1889

这几件衣服太火了,谁穿谁好看

LinkFashion 浏览 858

长安汽车半年报:扣非净利显著增长 现金流恶化背后的央企责任

道哥说车 浏览 1015

美军突袭抓获马杜罗 三个细节值得关注

上观新闻 浏览 793

法尔克:水晶宫确实非常难对付,如果能保持零封就更完美了

懂球帝 浏览 823

《今日说法》主持人李晓东从央视离职 曾买茶叶被骗

封面新闻 浏览 608

Windows 10,即将“停服”

第一财经资讯 浏览 885

拿到标准合同,Shams:乔丹-古德温成为太阳队第14位正式名单球员

懂球帝 浏览 827

比利亚雷亚尔下赛季预算达到2.15亿欧,创下俱乐部纪录

懂球帝 浏览 770

苹果发布iPhone 17e,起售价4499元

澎湃新闻 浏览 592

阿富汗称与巴基斯坦在伊斯坦布尔举行第三轮谈判

国际在线 浏览 835

一个时代审美的终结:美人何晴,温柔亦有筋骨

仙女事件簿 浏览 837

泽连斯基赠送特朗普特殊高尔夫球杆 获回赠"白宫钥匙"

环球网资讯 浏览 1072
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
闽ICP备16027347号-4