NEWS
新闻

论道AI | 特斯联研发突破:以基于CLNet的自适应孪生网络跟踪技术捕捉奥运精彩瞬间

2024年8月7日

奥运赛事中,对精彩瞬间的捕捉,对运动员、球体的实时镜头跟踪,对争议动作的及时、精准判罚,均有赖于自适应视觉目标跟踪技术。然而现实场景中,视觉目标的准确跟踪,极易受到相似外观物体、光照及遮挡、复杂背景、目标尺度变化等情况的干扰,影响跟踪效果。


面对这样的挑战,近日,特斯联首席科学家、特斯联国际总裁邵岭博士及其合作团队发布最新研发成果,探索基于孪生网络(Siamese Networks)的自适应视觉目标跟踪技术,并提出一种紧凑的潜在网络(Compact Latent Network,简称:CLNet)以提高跟踪算法在复杂场景中的性能和鲁棒性。目前,该研究成果已被人工智能领域顶级学术期刊IEEE T-PAMI收录,题为:Adaptive Siamese Tracking with a Compact Latent Network。



通过紧凑潜在网络(CLNet)调整基于孪生网络的跟踪器的流程图




以下为论文原文摘录。


邵岭博士及其合作团队提供了一种直观视角,通过将跟踪任务转换为分类问题来简化基于孪生网络的跟踪器。在这一视角下,团队通过视觉模拟和真实的跟踪示例进行深入分析,发现某些挑战性情况下的失败案例可被归因于离线训练中缺少决定性样本的问题。


网球赛场的鹰眼判罚(图片来源于网络)


初始(第一)帧中的样本因其包含丰富的序列特定信息,可被视为代表整个序列的决定性样本。为快速适应基础模型以适应场景,团队通过充分利用决定性样本,提出CLNet。具体而言,团队通过有效提取序列特定信息,提出了一种基于统计的紧凑潜在特征以实现快速调整。此外,为进一步提高所提出CLNet的辨别能力,团队设计了一种全新的多样化样本挖掘策略用于训练。最后,团队提出了一种条件更新策略,以高效更新基础模型从而处理跟踪阶段的场景变化。

 

为评估该方法的泛化能力和有效性,团队采用该方法调整三个经典的基于孪生网络的跟踪器,即:SiamRPN++、SiamFC,以及SiamBAN。在六个数据集上的广泛实验结果表明,所有三个调整后的跟踪器在准确性方面均获得了卓越的性能,并同时具备高运行速度。

 

除运动竞技外,该研究成果在自动驾驶、机器人导航与交互、医疗影像分析、工业自动化、航空航天等公域现实场景中亦拥有广泛的应用前景。如,在自动驾驶汽车中,目标跟踪可以帮助车辆实时监测周围其他车辆、行人和障碍物的位置变化,对驾驶决策和避障系统至关重要;在制造业中,目标跟踪可用于自动化生产线上的工件定位、质量检测和流程控制;在航空航天领域,目标跟踪则可用于追踪和监测飞行器或卫星的运行状态,等。

 

特斯联矢志推动前沿技术的突破及面向落地的解决方案的研发,将进一步发挥其AIoT禀赋,以科技解决现实世界的真实挑战。


特斯联首席科学家邵岭受邀出席迪拜商业论坛 共话中阿绿色科技机遇

上一篇

特斯联助力高力国际打造智慧园区典范

下一篇