广西师范大学学报(自然科学版) ›› 2022, Vol. 40 ›› Issue (3): 76-87.doi: 10.16088/j.issn.1001-6600.2021070402

• 研究论文 • 上一篇    下一篇

基于多感受野与分组混合注意力机制的肺结节分割研究

张萍, 徐巧枝*   

  1. 内蒙古师范大学 计算机科学技术学院, 内蒙古 呼和浩特 010022
  • 收稿日期:2021-07-04 修回日期:2021-10-17 出版日期:2022-05-25 发布日期:2022-05-27
  • 通讯作者: 徐巧枝(1977—),女,内蒙古呼和浩特人,内蒙古师范大学副教授。E-mail:ciecxqz@imnu.edu.cn
  • 基金资助:
    内蒙古自治区自然科学基金(2021MS06031, 2018MS08008); 国家自然科学基金(81660117)

Segmentation of Lung Nodules Based on Multi-receptive Field and Grouping Attention Mechanism

ZHANG Ping, XU Qiaozhi*   

  1. College of Computer Science and Technology, Inner Mongolia Normal University, Hohhot Inner Mongolia 010022,China
  • Received:2021-07-04 Revised:2021-10-17 Online:2022-05-25 Published:2022-05-27

摘要: 从CT图像中自动有效分割肺结节对诊断和治疗肺部肿瘤具有重要意义。鉴于肺结节在肺部所占比例很小、形态不规则、与一些邻近组织和器官在视觉上非常相似,给分割任务带来困难,本文提出一种基于多感受野与分组混合注意力机制的肺结节分割网络MRF-GMA。首先,该网络通过多感受野特征聚合模块,捕获不同尺度的结节;其次,利用分组混合注意力模块,提升对结节像素的分辨能力;最后,采用混合损失函数对训练过程进行优化,缓解了类不平衡的问题。在实验部分,本文分别将MRF-GMA与FCN、SegNet、R2U-Net和Attention U-Net等进行比较,结果表明,MRF-GMA模型在Dice相似性系数(DSC)、召回率(recall)和准确率(accuracy)等方面均表现最优,相比Attention U-Net模型,分别提高了2.25、1.19和2.98个百分点。

关键词: CT图像, 肺结节分割, 深度学习, 特征聚合, 注意力机制

Abstract: It is very important for diagnoses and treatments of lung tumors to segment lung nodules from CT images automatically and effectively. However, the lung nodules usually are very small, their shapes are irregular, and sometimes they are very similar to adjacent tissues and organs in vision, which brings difficulties to the segmentation task. This paper proposes a lung nodules segmentation network MRF-GMA based on multi-receptive field and grouped mixed attention mechanism. Firstly, the multi-receptive field feature aggregation module can capture nodules of different scales; secondly, the grouped mixed attention is used to improve the resolution of nodular pixels; finally, the hybrid loss function is used to optimize the training process to alleviate the class imbalance problem. In the experiment, MRF-GMA is respectively compared with FCN, SEGNET, R2U-NET and Attention U-NET, and the results show that MRF-GMA model has the best performance in DSC, Accuracy and Recall, and has increased by 2.25%, 1.19% and 2.98%, respectively, compared with the Attention U-Net model.

Key words: CT image, lung nodules segmentation, deep learning, feature aggregation, attention mechanism

中图分类号: 

  • R734.2
[1]CAO M M, CHEN W Q. Epidemiology of lung cancer in China[J]. Thoracic Cancer, 2019, 10(1): 3-7. DOI: 10.1111/1759-7714.12916.
[2]SIEGEL R L, MILLER K D, JEMAL A. Cancer statistics, 2020[J]. CA: A Cancer Journal for Clinicians, 2020, 70(1): 7-30. DOI: 10.3322/caac.21590.
[3]REEVES A P, CHAN A B, YANKELEVITZ D F, et al. On measuring the change in size of pulmonary nodules[J]. IEEE Transactions on Medical Imaging, 2006, 25(4):435-450. DOI: 10.1109/TMI.2006.871548.
[4]WANG S, ZHOU M, LIU Z Y, et al. Central focused convolutional neural networks: developing a data-driven model for lung nodule segmentation[J]. Medical Image Analysis, 2017, 40:172-183. DOI: 10.1016/j.media.2017.06.014.
[5]MITTAL A, HOODA R, SOFAT S. LF-SegNet: a fully convolutional encoder-decoder network for segmenting lung fields from chest radiographs[J]. Wireless Personal Communications, 2018,101(1): 511-529. DOI: 10.1007/s11277-018-5702-9.
[6]LIU M L, DONG J Y, DONG X H, et al. Segmentation of lung nodule in CT images based on mask R-CNN[C]// 2018 9th International Conference on Awareness Science and Technology (iCAST). Piscataway: IEEE, 2018:1-6. DOI: 10.1109/ICAwST.2018.8517248.
[7]SINGADKAR G, MAHAJAN A, THAKUR M, et al. Deep deconvolutional residual network based automatic lung nodule segmentation[J]. Journal of Digital Imaging, 2020, 33(3):678-684. DOI: 10.1007/s10278-019-00301-4.
[8]WANG S, ZHOU M, GEVAERT O, et al. A multi-view deep convolutional neural networks for lung nodule segmentation[C]// 2017 39th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC). Piscataway: IEEE, 2017:1752-1755. DOI: 10.1109/EMBC.2017.8037182.
[9]张花齐, 王光磊, 李艳,等. CT图像肺结节的全自动算法研究[J]. 激光杂志, 2019, 40(4):59-63.
[10]HUANG X, SUN W Q, TSENG T L B, et al. Fast and fully-automated detection and segmentation of pulmonary nodules in thoracic CT scans using deep convolutional neural networks[J]. Computerized Medical Imaging and Graphics, 2019, 74: 25-36. DOI: 10.1016/j.compmedimag.2019.02.003.
[11]RONNEBERGER O, FISCHER P, BROX T. U-Net: convolutional networks for biomedical image segmentation[C]// Medical Image Computing and Computer-Assited Intervention-MICCAI 2015. Cham: Springer, 2015:234-241. DOI: 10.1007/978-3-319-24574-4_28.
[12]HU J, SHEN L, ALBANIE S, et al. Squeeze-and-excitation networks[J]. IEEE Transation on Pattern Analysis and Machine Intelligence, 2019, 42(8):2011-2023. DOI: 10.1109/TPAMI.2019.2913372.
[13]WOO S, PARK J, LEE J Y, et al. CBAM: convolutional block attention module[C]// Computer Vision-ECCV 2018, Cham: Springer, 2018: 3-19. DOI: 10.1007/978-3-030-01234-2_1.
[14]郝晓宇,熊俊峰,薛旭东,等.融合双注意力机制3D U-Net的肺肿瘤分割[J].中国图象图形学报,2020,25(10):2119-2127. DOI: 1006-8961(2020)10-2119-09.
[15]王磐,强彦,杨晓棠,等.基于双注意力3D-UNet的肺结节分割网络模型[J].计算机工程,2021,47(2):307-313. DOI: 10.19678/j.issn.1000-3428.0057019.
[16]LI X, WANG W H, HU X L, et al. Selective kernel networks[C]// 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Piscataway: IEEE, 2020:510-519. DOI: 10.1109/CVPR.2019.00060.
[17]WU Y X, HE K M. Group normalization[J]. International Journal of Computer Vision, 2020, 128(3):742-755. DOI: 10.1007/s11263-019-01198-w.
[18]李小光. 混合损失函数支持向量回归机的性能研究[J]. 西北大学学报(自然科学版), 2011,41(2):210-214.
[19]SHELHAMER E, LONG J, DARRELL T. Fully convolutional networks for semantic segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(4):640-651. DOI: 10.1109/CVPR.2015.7298965.
[20]BADRINARAYANAN V,KENDALL A,CIPOLLA R. SegNet:a deep convolutional encoder-decoder architecture for image segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2017, 39(12): 2481-2495. DOI: 10.1109/TPAMI.2016.2644615.
[21]ALOM M Z, HASAN M, YAKOPCIC C, et al. Recurrent residual convolutional neural network based on U-Net (R2U-Net) for medical image segmentation[EB/OL].(2018-02-20)[2021-05-30]. https://arxiv.org/abs/1802.06955v1. DOI: 10.48550/arXiv.1802.06955.
[22]OKTAY O, SCHLEMPER J, FOLGOC L L, et al. Attention U-Net: learning where to look for the pancreas[EB/OL].(2018-04-11)[2021-05-30].https://arxiv.org/abs/1804.03999v1. DOI: 10.48550/arXiv.1804.03999.
[1] 李正光, 陈恒, 林鸿飞. 基于双向语言模型的社交媒体药物不良反应识别[J]. 广西师范大学学报(自然科学版), 2022, 40(3): 40-48.
[2] 万黎明, 张小乾, 刘知贵, 宋林, 周莹, 李理. 基于高效通道注意力的UNet肺结节CT图像分割[J]. 广西师范大学学报(自然科学版), 2022, 40(3): 66-75.
[3] 李永杰, 周桂红, 刘博. 基于YOLOv3模型的人脸检测与头部姿态估计融合算法[J]. 广西师范大学学报(自然科学版), 2022, 40(3): 95-103.
[4] 孔亚钰, 卢玉洁, 孙中天, 肖敬先, 侯昊辰, 陈廷伟. 面向强化当前兴趣的图神经网络推荐算法研究[J]. 广西师范大学学报(自然科学版), 2022, 40(3): 151-160.
[5] 吴军, 欧阳艾嘉, 张琳. 基于多头注意力机制的磷酸化位点预测模型[J]. 广西师范大学学报(自然科学版), 2022, 40(3): 161-171.
[6] 闫龙川, 李妍, 宋浒, 邹昊东, 王丽君. 基于Prophet-DeepAR模型的Web流量预测[J]. 广西师范大学学报(自然科学版), 2022, 40(3): 172-184.
[7] 路凯峰, 杨溢龙, 李智. 一种基于BERT和DPCNN的Web服务分类方法[J]. 广西师范大学学报(自然科学版), 2021, 39(6): 87-98.
[8] 吴玲玉, 蓝洋, 夏海英. 基于卷积神经网络的眼底图像配准研究[J]. 广西师范大学学报(自然科学版), 2021, 39(5): 122-133.
[9] 陈文康, 陆声链, 刘冰浩, 李帼, 刘晓宇, 陈明. 基于改进YOLOv4的果园柑橘检测方法研究[J]. 广西师范大学学报(自然科学版), 2021, 39(5): 134-146.
[10] 杨州, 范意兴, 朱小飞, 郭嘉丰, 王越. 神经信息检索模型建模因素综述[J]. 广西师范大学学报(自然科学版), 2021, 39(2): 1-12.
[11] 邓文轩, 杨航, 靳婷. 基于注意力机制的图像分类降维方法[J]. 广西师范大学学报(自然科学版), 2021, 39(2): 32-40.
[12] 薛涛, 丘森辉, 陆豪, 秦兴盛. 基于经验模态分解和多分支LSTM网络汇率预测[J]. 广西师范大学学报(自然科学版), 2021, 39(2): 41-50.
[13] 唐熔钗, 伍锡如. 基于改进YOLO-V3网络的百香果实时检测[J]. 广西师范大学学报(自然科学版), 2020, 38(6): 32-39.
[14] 张明宇, 赵猛, 蔡夫鸿, 梁钰, 王鑫红. 基于深度学习的波浪能发电功率预测[J]. 广西师范大学学报(自然科学版), 2020, 38(3): 25-32.
[15] 李维勇, 柳斌, 张伟, 陈云芳. 一种基于深度学习的中文生成式自动摘要方法[J]. 广西师范大学学报(自然科学版), 2020, 38(2): 51-63.
Viewed
Full text


Abstract

Cited

  Shared   
  Discussed   
[1] 艾艳, 贾楠, 王媛, 郭静, 潘东东. 多性状多位点遗传关联分析的统计方法研究及其应用进展[J]. 广西师范大学学报(自然科学版), 2022, 40(1): 1 -14 .
[2] 白德发, 徐欣, 王国长. 函数型数据广义线性模型和分类问题综述[J]. 广西师范大学学报(自然科学版), 2022, 40(1): 15 -29 .
[3] 曾庆樊, 秦永松, 黎玉芳. 一类空间面板数据模型的经验似然推断[J]. 广西师范大学学报(自然科学版), 2022, 40(1): 30 -42 .
[4] 张治飞, 段谦, 刘乃嘉, 黄磊. 基于Jackknife互信息的高维非线性回归模型研究[J]. 广西师范大学学报(自然科学版), 2022, 40(1): 43 -56 .
[5] 杨迪, 方扬鑫, 周彦. 基于MEB和SVM方法的新类别分类研究[J]. 广西师范大学学报(自然科学版), 2022, 40(1): 57 -67 .
[6] 陈钟秀, 张兴发, 熊强, 宋泽芳. 非对称DAR模型的估计与检验[J]. 广西师范大学学报(自然科学版), 2022, 40(1): 68 -81 .
[7] 杜锦丰, 王海荣, 梁焕, 王栋. 基于表示学习的跨模态检索方法研究进展[J]. 广西师范大学学报(自然科学版), 2022, 40(3): 1 -12 .
[8] 李慕航, 韩萌, 陈志强, 武红鑫, 张喜龙. 面向复杂高效用模式的挖掘算法综述[J]. 广西师范大学学报(自然科学版), 2022, 40(3): 13 -30 .
[9] 晁睿, 张坤丽, 王佳佳, 胡斌, 张维聪, 韩英杰, 昝红英. 中文多模态知识库构建[J]. 广西师范大学学报(自然科学版), 2022, 40(3): 31 -39 .
[10] 李正光, 陈恒, 林鸿飞. 基于双向语言模型的社交媒体药物不良反应识别[J]. 广西师范大学学报(自然科学版), 2022, 40(3): 40 -48 .
版权所有 © 广西师范大学学报(自然科学版)编辑部
地址:广西桂林市三里店育才路15号 邮编:541004
电话:0773-5857325 E-mail: gxsdzkb@mailbox.gxnu.edu.cn
本系统由北京玛格泰克科技发展有限公司设计开发