浙大AI余音来了它要为亚运会会歌作

北京中科白殿疯怎么走 https://yyk.99.com.cn/fengtai/68389/

如果在年第19届亚运会的现场,你听到的会歌不仅传递着不同国家的民族特色,还带有一些智能科技的新元素,会不会突然充满热血与归属感?

多曲旋律结合并非易事,但作为浙江大学AI+艺术领域的一大成就——“余音”,正努力实现这一目标,并跟一众参赛创作人员一起参与着亚运会会歌征集活动。

“余音”目前还在积极导入相关民族、体育等元素扩充着音乐库,优化音乐算法,加紧创作“亚运会会歌”。在未来,它还可能应用到更多的音乐设计中。这么有艺术感的人工智能,到底是如何为音乐赋能的呢?

00:21

智能作曲过程展示

可实现多种国家风格会歌编排

针对APP、酒店进行个性化推荐

杭州年第19届亚运会音乐作品第一阶段征集通道在六月时已经向公众开放,浙江大学计算机科学与技术学院副教授张克俊和他的团队也将带“余音”参加此次征集活动。

“余音”,取自成语“余音绕梁”,由浙江大学人工智能省部共建协同创新中心、阿里巴巴-浙江大学前沿技术联合研究中心联合研发。它属于音乐创作人工智能,只需要导入视频、图片,便可以自动生成符合相关情境的音乐。

先前,“余音”团队曾导入亚运会“三宝”照片及视频进行配乐生成,两分钟后一段原创曲目诞生——曲目风格轻快明亮,和“三宝”青春洋溢的形象较为吻合。

“余音“团队负责人张克俊副教授说:“目前‘余音’主要通过识别视频中的情境相关属性,再根据现有系统数据里的音乐素材去创造符合视频情境的音乐,用音乐将先前无声视频文件合成为有声视频(vlog)。”

03:05

余音平台首页+余音功能展示

团队目前将智能音乐创作中用到的乐器限定在这五种——钢琴、吉他、低音贝斯、弦乐与鼓,这也是目前配乐中常见的乐器搭配,“大部分是三到五种组合在一起,但之后亚运会会歌的制作,会适当融入更多的民族乐器元素。”

五年前,团队就开始积累中国民乐数据,现在已有一个较为全面的“民族音乐库”。近期,“余音”团队正汇聚东南亚、韩国、日本等国的民族特色音乐。

“除了多乐器音乐生成外,我们还将尝试在创作中融入国家特色,并应用于亚运会相关App比如酒店、餐饮及运动场馆等相关的App中,提供个性化定制服务”,团队希望“余音”能让每一个国家的人即使身处异乡,也能在使用软件或进入房间时听到他们“专属的亚运音乐”,感受到自家风格的熟悉旋律。

除了民族音乐,该团队也会继续收集含体育竞赛元素的曲子比如奥运会《我和你》《Handinhand(手拉手)》以及花样游泳、啦啦操等代表性运动的曲目,以实现会歌风格的融合。

团队期望,“‘余音’取得初步成果后,能和亚运会官方进一步沟通,进而做出让大家满意的作品。”

01:17

由余音生成的团队实地参观中国风视频

音乐生成“万花筒”

只需要一段视频、一张图片

目前“余音”还属于研究型产品,从数据库检索或生成音乐片段这一步非常迅速,只需要几秒;但是合成有声Vlog比较耗时,“如果导入Vlog有一分钟,那最终版有声Vlog导出也需要一分钟左右,系统合成速度与视频时长相关。”

“余音”识别应用情境分两步,首先是浅层理解,主要根据图片或视频包含的主要色彩及亮度进行配乐。“比如亚运会三宝‘江南忆’的颜色明亮度都较高,那它对应的音乐通常比较明快、活泼。”

接着,“余音”就需要去识别物体或人物的特点、状态等信息。团队希望系统会


转载请注明:http://www.aierlanlan.com/tzrz/2376.html