·返回首页 ·设为首页 ·加入收藏

当前位置: 首页 >资讯类别>教学科研

教学科研

“从模型到声景——数据驱动的空间音频多模态系统”(工作坊)

来源: 作者: 更新时间:2026-04-29 18:13:10 浏览次数: 【字体:

继4月9日晚的精彩讲座之后,10日晚,上海音乐学院数字媒体艺术学院副院长戴维一与该学院教师董天晟带来了一场题为《从模型到声景——数据驱动的空间音频多模态系统》的学术工作坊。如果说讲座是在观念层面打开了声音景观的理论视野,那么这场工作坊则将抽象的多模态系统落地为可感、可听、可交互的空间。

 202604291815293539.png

本次工作坊基于两位主讲人团队自主研发的"Full House"多模态数智声音景观系统展开。他们以系统的技术架构为线索,分层拆解了从“智能识别 → 视听场景构建 → 实时空间声音体验 → 动态视听叙事”的完整逻辑链条,并结合相关应用场景的迁移案例,展示了该系统在不同空间类型中的适应性与拓展性。

 202604291816037485.png

在现场演示中,一个微型三面空间成为系统落地的实验场:模型小家具置于其中,二维码识别摄像头捕捉物体位置,投影仪将画面映射至三维空间;红外摄像头则通过识别处理过的激光笔信号,让肉眼不可见的光线在屏幕画面中清晰流动。多平台协作中,Vibe Coding 运行代码、输出物体位置信息;TouchDesigner 整合位置信息并对音频素材进行随机组合与动态触发;Resolume Arena 承担投影映射。两位主讲人特别强调:AI只是实现想法的助力,思路必须由人自己迸发——培养AI思维的同时,也要对AI生成的内容保持反复调整与真伪查证的警觉。

值得一提的是,尽管整场展示以技术结构为线索,但其最终落点始终指向具体的听觉经验与空间感知——技术并非目的,而是通往身体感受与场所体验的路径。交流环节中,两位老师指出,他们所探索的并非封闭的VR,而是XR(扩展现实),在真实世界的基础上叠加、延展出新的声音与交互维度。关于未来蓝图,他们的回答令人印象深刻:"没有最终结果,只有不断尝试、不断调整、不断优化、不断更新。"

 202604291816438052.png

这场工作坊在多个层面拓展了我们的学术视野,从讲座到工作坊,从"聆听世界"到"搭建一个可以被聆听的世界",两位老师为我们呈现了数智时代声音艺术创作的前沿图景。

本次工作坊的顺利开展,为我系师生搭建了数据驱动与多模态空间音频创作的实践平台,拓宽了专业教学的交叉学科视野。未来,录音艺术系将持续依托沉浸式数字音乐音声开发与智能处理重点实验室,深耕音乐科技与录音艺术交叉领域,继续引进高水平学术交流活动,推动专业人才的培养与学科的高质量发展。


图文  录音艺术系

编辑  吕祥茹

一审一校  华伟

二审二校  戴伟

三审三校  曾娇琳


分享到:
【打印正文】