近期，人为智能领域国际学术会议IJCAI 2023（中国推算机学会CCF A类会议）于8月19日至8月25日在中国澳门召开，亿万先生MR推算机工程与科学学院李晓强副教授课题组的钻研成就“Hierarchical Semantic Contrast for Weakly Supervised Semantic Segmentation”被该会议接管录用，并在大会进行口头汇报。IJCAI全称国际人为智能结合会议（International Joint Conference on Artificial Intelligence），该会议是是国际人为智能界最有影响力和权威性的盛会之一，在世界领域内每年召开一次，本届会议录用率约为15%。

该钻研工作受到上海市科委人为智能沉点项目支持，推算机工程与科学学院2022级硕士钻研生吴远尘为论文第一作者，李晓强副教授为唯一通讯作者。

弱监督语义宰割，是一项旨在将图像中的分歧物体或区域进行精确宰割的推算机视觉工作。与传统的监督进建分歧，弱监督语义宰割不必要精确的像素级标注，而是通过使用弱标签来实现模型训练。这一工作的关键挑战在于若何从弱标签中获取正确的宰割了局。钻研人员通常利用标签包抄框、图像级标签或点级标签等信息，来疏导宰割模型的训练过程。弱监督语义宰割技术可能有效缓解像素级数据标注成本高昂的问题，在医学图像分析、自动驾驶、环境监测等领域拥有宽泛利用潜力。该工作使用像素级此外弱标签实现语义宰割工作。

图1 宰割指标的分歧语义档次

基于像素级此外弱标签的弱监督语义宰割常见做法是利用类激活图（Class Activation Map）来天生伪像素级标签，而后用这些标签来训练宰割模型。但是，CAM通常只能覆盖物体的最显著区域，或者激活一些无关区域，影响了宰割机能。为了改善CAM的质量，作者以为宰割指标的语义蕴含多个档次，在分歧的语义档次上进行语义对迸仔助于模型进建到更好的指标模式理解。因而，团队提出了一种新的步骤，称为档次语义对比（Hierarchical Semantic Contrast），它利用对比进建思想对分歧档次的语义关系进行建模，从而使模型可能进建更全面的语义结构，并天生更精确的CAM。HSC涉及三个档次的语义对比，即感兴致区域（ROI）档次，类别档次，和像素档次。HSC还选取了交叉监督和动量原型进建来提高语义一致性和丰硕性。

图2 基于档次语义对比的CAM天生框架

作者在PASCAL VOC 2012数据集上对提出的步骤进行测试，档次语义对比框架天生CAM伪标签训练宰割模型（DeepLab ASPP），最终在测试集上实现了74.5%的mIoU，创造了新的基于图像标注的弱监督语义宰割机能纪录（SOTA）。与其他对譬喻法相比，作者的步骤在对象齐全性和天堑精度方面有显著的提升，可视化了局批注提出的步骤在单一和复杂场景下都阐发优良。

图3 分歧步骤在PASCAL VOC 2012验证集及测试集机能比力

图4 最终宰割了局

近年来，推算机学院钻研生人才造就工作正逐步深刻专业领域前沿，一些高质量科研成就在不休产出。这些成就将为推算机学院学科建设、钻研生造就起到沉要的支持作用。