医学图像以直观的方式向人们展示人体脏器、组织或细胞的形态,是疾病诊断和预后治疗中不可或缺的工具。我院王妍教授课题组瞄准下一代诊断技术,致力于推进智能医疗和智能医学影像识别。
医学影像数据的标注工作耗时且难度较高,多数小数据疾病更加需要医生的临床知识,这导致高质量、细粒度的标注样本数量受到限制,进而影响了深度学习模型的泛化能力,使得模型难以达到理想的精度水平。因此,在少量数据有标注的情况下,如何有效利用无标注数据是实现精准诊疗的关键。课题组从数据、标注、模型多角度设计高性能医学影像智能检测分割深度学习方法,从而使其在多样化的医学诊断应用场景下最大限度地发挥优势。
具体来说,针对少量标注数据和大量未标注数据经验分布不匹配问题,课题组提出了基于跨图像关联学习的半监督分析技术,并且针对不同的目标区域范围设计针对性的跨图像学习以及模型整合方法。
针对局部目标以及大范围目标分割问题,课题组分别提出了一种有标注和未标注数据双向复制粘贴的强增强策略和解剖结构先验指导的魔方立方体图像增强策略。通过从标记的图像(前景)到未标记的图像(背景)和未标记的图像(前景)到标记的图像(背景)复制-粘贴随机图像块以及保持相对位置的不变的魔方块,实现未标注数据从标注数据中学习到全面的目标语义信息,极大缓解数据间经验分布不匹配的问题。
其次,针对教师学生网络中迫使网络在模棱两可的区域保持彼此一致导致网络训练不可靠的问题,提出了基于高熵学习的在线蒸馏以及基于示例包级别的伪标签方法,通过引入温度缩放至深度互学习网络以及注意力机制引导的示例包级别伪标签,克服了医学图像任务中熵最小化的缺点以及像素级别伪标签难以容忍标签噪声的问题,极大提升了训练过程的稳定性。
课题组通过针对数据来源于不同医院形成的一个个缺乏有效互通的“数据孤岛”无法整合的问题,提出类平衡自适应伪标签学习方法,极大缓解了联邦学习中的灾难性遗忘问题。以上工作发表于2023年国际计算机视觉与模式识别大会IEEE Computer Vision and Pattern Recognition, CVPR 2023。其中,王妍教授为论文通讯作者,三篇文章的第一作者分别是白云昊(通信学院在读研究生)、陈铎文(通信学院在读研究生)、李明(通信学院上海市多维度重点实验室本科生,现前往东京大学深造),华东师范大学为第一完成单位。