物理与光电工程学院在IEEE JBHI和MICCAI 2024上发表成果
近日，物理与光电工程学院李小松副教授指导的2022级机械工程硕士黄敬学同学和2023级光学工程硕士徐宇燊同学分别以第一作者身份在生物医学领域国际顶级期刊IEEE JBHI和顶级会议MICCAI 2024上发表论文，JN江南官方为唯一单位。
多模态医学图像融合是一种结合多源信息融合、医学图像处理、计算机视觉的热门技术。该技术通过设计图像融合算法将来自不同医学模态图像的互补信息进行充分整合，得到相比于单一模态信息更丰富、全面、客观的融合图像，有助于医生进行临床医疗诊断及病灶监测。然而，现有的多模态医学图像融合研究主要针对两模态进行，例如CT/MRI、MRI/PET、MRI/SPECT的融合。实际上，相较于现有的双模态技术，三模态医学图像融合技术（如MR-T1/MR-T2/PET与MR-Gad/MR-T2/SPECT等）能提供更全面的病变视图，帮助医生更准确地评估病灶的位置、形状和生物活性。
图1 基于原语关系推理的三模态医学图像融合模型（IEEE JBHI）
课题组提出一种用于解决三模态医学图像融合的端到端生成对抗网络模型，这也是深度学习技术首次应用在三模态医学图像融合研究中，提出原语关系推理模块用于提取全局信息，同时引入多尺度挤压和激励推理注意力机制为每个模态图像生成各自能量图，最后在能量比融合策略下实现高效融合，实验结果在图像融合、多模态图像分割上具有优越表现。该成果“Generative adversarial network for trimodal medical image fusion using primitive relationship reasoning”近期发表在生物医学和健康信息学领域国际顶级期刊IEEE JBHI (IEEE Journal of Biomedical and Health Informatics，中科院二区Top，IF 6.7, CCF C类期刊) 。
图2同步实现三模态医学图像融合及超分流程图（MICCAI 2024）
此外，针对医学成像设备获取的图像质量较低、导致融合图像分辨率不足的问题，课题组提出一种三模态医学图像融合与超分模型，同步实现图像融合与超分辨率重建双任务。该模型基于扩散模型的随机迭代去噪过程，并在其中融入通道注意力来整合来自不同模态的关键信息，最后生成高质量高分辨率的三模态融合图像，大量实验表明所提方法的有效性。该成果“Simultaneous tri-modal medical image fusion and super-resolution using conditional diffusion model”已被于2024年10月6-10日在非洲摩洛哥举办的生物医学与影像计算领域顶级会议MICCAI（Medical Image Computing and Computer Assisted Intervention, CCF B类会议）接收。
上述研究得到了国家自然科学基金–青年项目（62201149）、广东省区域联合基金-地区培育项目（2023A1515140077）、广东省自然科学基金–面上项目（2024A1515011880）以及广东省教育厅特色创新项目(自然科学类)（2023KTSCX127）的资助。
（物理与光电工程学院）
联系方式