展开

产品分类

华中科技大学团队*生成范式的神经形态视觉运动感知技术

阅读： 发布时间：2025-10-15

  12日，华中科技大学人工智能与自动化学、多谱信息智能处理技术重点实验室颜露新教授团队在生成范式神经形态视觉运动感知方面的工作“Injecting Frame-Event Complementary FusionWWW.shhzy3.cn/into Diffusion for Optical Flow in Challenging Scenes”，被人工智能领域*会议The Thirty-Ninth AnnualConference 、WWW.shzy4.com/on Neural InformationWWW.shyb118.comProcessing Systems(NeurIPS)接收为亮点(spotlight)论文。该研究探索了神经形态视觉传感器与帧相机之间的互补机制，提出了生成式模型的跨模态融合运动估计方法，其性能在低光、高速等挑战性场景*。
 
  以事件相机为代表的神经形态视觉传感器具有宽动态范围和高时间分辨率的优势，上海自动化3厂在低光、高速等极端场景表现出优越的成像性能；扩散模型在退化场景的图像生成领域应用广泛，而在下游视觉任务尚缺探索。研究团队围绕极端退化场景运动估计任务，研究了事件相机与帧相机之间的表观-边缘互补性，构建了以互补融合特征为条件的扩散模型，迭代生成退化场景的高质量运动场。

图为基于扩散模型的跨模态融合生成运动估计。
 
  该研究成果具备广阔应用前景。在上海仪表4厂自动驾驶、工业检测和机器人等应用场景，该技术可在夜间、高速环境下实现稳健的运动感知与微秒级实时监测，支撑动态目标检测、高速避障和精密制造中的质量控制；在生命科学与医学成像领域，它有望辅助神经活动追踪和显微尺度的快速运动观测，为神经科学研究与医疗诊断提供新工具。
  华中科技大学人工智能与自动化学2025级直博生王浩楠为论文*作者，博士毕业生周寒宇(现在新加坡国立大学从事博士后研究)和博士生刘昊岳深度参与相关工作。论文工作得到*自然科学基金联合基金重点项目(U24B20139)资助。