近日,实验室2019级博士生韩忠义作为第一作者的论文“Unifying Neural Learning and Symbolic Reasoning for Spinal Medical Report Generation”(作者:韩忠义,魏本征,袭肖明,Bo Chen, 尹义龙, 李硕)被中科院一区(小类)期刊Medical Image Analysis录用。Medical Image Analysis是医学图像处理领域顶刊,最新影响因子为11.148。
脊柱放射学中的自动医疗报告生成,即给定脊柱医学图像并直接生成放射科医生级别的诊断报告以支持临床决策,是人工智能在医疗领域的一项新颖而又基础的研究。然而,这是一项极其复杂的任务,涉及到视觉感知和高级推理过程,因此极具挑战性。本文提出了神经-符号学习(NSL)框架,通过将深度学习和符号逻辑推理统一起来,对脊柱医疗报告的生成进行类人学习。一般来说,NSL框架首先采用深度学习来模仿人类的视觉感知,以检测目标脊柱结构中的异常。具体来说,设计了一个对抗网络,通过嵌入先验领域知识,将符号图推理模块内插到生成式对抗网络中,实现了高复杂度和高变异性的脊柱结构的语义分割。NSL其次进行类人的符号逻辑推理,通过元解释学习实现对检测到的异常实体进行无监督的因果分析。NSL最后将检测出的目标疾病填充到统一的模板中,成功实现了综合医疗报告的生成。在实际的临床数据集中,一系列的实证研究证明了其在脊柱医疗报告生成上的能力,并表明该算法在脊柱结构的检测上明显超过了现有的方法。这些表明其作为临床工具的潜力,有助于计算机辅助脊柱疾病诊断。