关闭广告

清华新作ControlAudio:声音何时响、说啥话?都能按剧本可控生成

机器之心Pro758人阅读



本文第一作者是江宇轩,清华大学博士生,研究方向为生成模型、文生音频和多模态学习,指导老师为朱军教授与窦维蓓教授。

文本到音频(Text-to-Audio, TTA)生成技术近年来取得了显著进展,从早期的简单声效合成逐步发展到基于扩散模型的高保真音频生成,能够较好地还原复杂的自然语言描述,为影视配音、游戏音效及多媒体内容创作提供了重要的技术支撑。

然而,现有 TTA 技术在精细化控制方面仍面临挑战:一方面,模型难以实现对声音事件发生时间的精确控制;另一方面,生成的语音内容往往不够清晰,缺乏可理解性。

针对这一问题,清华大学研究团队提出了 ControlAudio,一种基于渐进式扩散建模的文生音频方法。该方法通过系统性的数据构建流程与渐进式建模策略,在统一框架下实现了对时间结构与语音内容的联合建模。

目前,该工作已被 ACL 2026 Main Conference 接收,并拟推荐为口头报告。

上一页 下一页
版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

真正的独立女性,从不在深夜委屈自己

她刊 浏览 781

售23.98万起 红旗天工08北京区域上市

网易汽车 浏览 1355

米兰冬奥中国体育代表团领奖装备亮相,藏着李宁的奥运“双胜”叙事

时代周报 浏览 2009

戴尔推入门游戏显示器SE2426HG、SE2726HG:FHD 240Hz Fast IPS

IT之家 浏览 881

曝古二家人被骚扰!90多岁外婆被人找上门,难怪放录音重锤王家卫

萌神木木 浏览 971

刚性需求凸显,新型储能产业发展按下快进键!多家企业加码布局

览富财经网 浏览 5421

盘点史上无冠但进年终男选手,穆塞蒂并不孤单!

网球之家 浏览 989

重兵压境与谈判信号并行 美国“极限施压”究竟想要什么

国际在线 浏览 889

网友预约26元深夜上门开锁结果被收1300元 商家回应

潇湘晨报 浏览 1076

一心为女儿铺路的李湘,竟被撕下体面?

输在感情刀 浏览 927

被坑惨了的年轻人,已经放弃找旅游搭子了

她刊 浏览 701

牛弹琴:伊朗和美以停火又悬了 有三点实在太诡异

现代快报 浏览 794

前TVB男星回应拒演电影《寻秦记》传闻

TVB剧评社 浏览 871

萨顿:枪手踢得很不错,失利会让他们变得更加强大

懂球帝 浏览 759

前三季度应收账款激增603.71%,卤味巨头煌上煌靠收购和补贴撑利润?

时代周报 浏览 1674

活塞112-105复仇绿军迎4连胜,坎宁安32+10,布朗空砍34分

懂球帝 浏览 940

推动新场景大规模应用要打通哪些堵点?专访工信部赛迪研究院胡国栋丨聚焦国常会

封面新闻 浏览 977

短剧抄袭风波升级!评论区沦陷、预告下架,网友直言早该管理了

萌神木木 浏览 912

夏天裙子不要总穿黑色,试试这几款"黄色裙装”,亮眼减龄

静儿时尚达人 浏览 415

董璇给张维伊老家亲戚买金子,男方瞬间变脸,双方经济实力差太多

萌神木木 浏览 1093

吴彦祖西湖边穿古装送花,获女游客热情拥抱

往史过眼云烟 浏览 829
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
闽ICP备16027347号-4