2026年10月,我校计算机与人工智能学院智能信息处理团队与中国科学院计算技术研究所合作完成的两项研究成果,先后发表于计算机视觉领域国际顶级期刊《IEEE视频技术电路与系统汇刊》(IEEE Transactions on Circuits and Systems for Video Technology),bw必威西汉姆联官网首页均为第一署名单位及通信单位。两项成果分别从端侧部署效率与场景化检索精度两个维度切入,针对细粒度图像检索领域的关键技术难题提出创新解决方案,形成了一系列研究突破。
针对移动端细粒度图像检索场景中“云端大模型部署难、轻量化模型精度低、知识蒸馏易负迁移”的共性难题,由我校2023级研究生张世杰担任第一作者、盛国瑞博士担任通信作者的论文“从无歧义样本中学习:面向非对称细粒度检索的选择性关系蒸馏”(Learning from the Unambiguous: Selective Relation Distillation for Asymmetric Fine-Grained Retrieval),提出了多层选择性知识蒸馏框架(MLSD)。文章指出,传统云端大模型方案存在网络传输耗时、在线计算开销较大等瓶颈,轻量化模型虽更易在移动端部署,却因结构差异难以完整继承大模型的判别能力,而现有蒸馏方法直接学习教师模型样本关系的做法,往往会将模糊样本中的不可靠信息传递给学生模型,造成负迁移。该研究通过跨层特征蒸馏对齐教师模型与轻量模型的中间层表征,使轻量模型同时兼顾局部细节与高层语义;同时依据教师模型分类结果筛选相对可靠的样本,对检索排序一致与不一致的样本分别实施关系蒸馏,有效减少噪声监督并校正错误排序。实验结果表明,该方法在食品、服装和商品检索等四个公开数据集上的检索表现均优于现有对比方法;在Pixel 4手机上完成实际部署验证时,单张图像平均推理时间约220毫秒,实现了检索精度与运行效率的双提升,为端云协同智能视觉应用提供了新的技术路径。

围绕食品图像检索领域“类别间差异细微、同类图像变化显著”的双重挑战,由我校2023级研究生王峻松担任第一作者、王丽丽教授担任通信作者的研究“TRHNet:面向细粒度食品图像检索的自适应协同双分支重建哈希网络”(TRHNet: Adaptive and Cooperative Two-Branch Reconstructive Hashing Network for Fine-Grained Food Image Retrieval),提出了自适应协同双分支重建哈希网络(TRHNet)。食品图像是细粒度检索的典型场景——不同菜品可能具有相近的食材和外观,同一道菜又会因拍摄角度、光照和摆盘方式不同呈现较大差异,现有深度哈希方法对分散在食材局部区域的细微判别信息挖掘不足,难以兼顾检索效率与精度。该网络联合学习菜品整体结构与局部细节,通过潜在语义挖掘模块自适应抑制显著区域,逐步发现易被忽略的关键判别细节,利用协同信息激活模块实现局部分支间的互补信息交流,借助通道语义聚合强化有效特征、减少冗余信息,在训练阶段引入特征重建与原始图像重建两项辅助约束提升表征稳定性,且不增加检索阶段的额外计算开销。实验结果显示,该方法在六个食品数据集与两个通用细粒度数据集上均取得更好效果,展现出兼顾准确性与紧凑编码的显著优势,为智能膳食分析与食品图像检索系统落地提供了坚实的技术支撑。(计算机与人工智能学院 通讯员:盛国瑞)
