|
医学影像技术在疾病早期诊断、分期分期和疗效评估中发挥重要作用，已经成为疾病诊断和疗效评估中不可缺少的临床技术之一。医学影像技术包括成像技术（Medical Imaging）、图像处理& #40;Imaging Processing& #41;、图像分析& #40;Imaging Analysis& #41;和人工智能化决策（AI Decision-making）等。医学图像分析是一门以医学影像、数字图像处理与分析、数值算法、数学建模和人工智能等学科为基础的交叉学科。在医学图像分析领域，主要包括图像分割、图像配准、图像去噪、图像融合、图像纹理分析、时序图像分析和基于图像内容的图像检索，以及图像理解，图像识别和智能化决策等研究方向。随着医学影像技术的快速发展，医学图像分析已经步入大数据（Big Data）时代，如何从海量医学图像数据中挖掘出（Data Mining）有用的图像特征或影像生物标志物（Biomarker），从而为临床诊断、治疗方案制订（临床决策）和精准定量化疗效评估提供更充分的科学依据。这些已经成为了医学和医学图像分析领域研究的重点和热点。深度学习（Deep Learning）是人工智能（Artificial Intelligence，AI）领域的一个分支，它的理论基础是上世纪60年代提出的人工神经网络（Artificial Neuro Network），近年来大数据和计算能力的增加使得人工神经网络技术在实际应用中发挥了巨大作用，同时深度学习也成为机器学习& #40;Machine Learning, ML& #41;和人工智能领域中的核心话题，它能使用复杂的神经网络架构以前所未有的准确率建模数据中的模式。在医疗健康领域，深度学习在医学影像的应用往往表现为辅助诊断或者影像检测的应用，如辅助影像诊断医生筛查早期肿瘤，或是帮助完成病例电子化、流程无人化等，同时深度学习也已经被用于医学图像分析和临床智能化决策研究中。本文主要介绍深度学习在图像分析和临床诊断智能化决策中应用进展。
1. 深度学习
（1）深度学习概念： 深度学习的概念源于人工神经网络（Artificial Neural Network，ANN））的研究。深度学习是机器学习中一种基于对数据进行表征学习的方法，使得感知能力得到进一步提升与巨大突破的核心技术。一幅医学图像观测值可以使用多种方式来表示，如每个像素强度值的向量，或者更抽象地表示成一系列边、特定形状的区域等，而使用某些特定的表示方法更容易从实例中学习任务（例如，病灶边界和内部分布特征）。深度学习的优势是利用深层网络自动提取与目标相关的特征（Deep Learned Feature），从而在一定程度上替代了手工获取特征的工作。深度学习经历早期感知器算法（Perceptron）、反向传播算法（Backpropagation）、深度置信网络（Deep Belief Nets，DBNs）到现在卷积神经网络（Convolutional Neural Networks，CNNs），循环神经网络（Recurrent Neural network，RNN），已经被用于图像分类、图像分割、图像配准、图像超分辨、图像标注、目标检测与识别、文本处理、从文字到图和Alpha Go等领域。
（2）深度学习与机器学习和人工智能之间的关系
机器学习是一门多领域交叉学科，涉及概率论、统计学、信息学、自动化控制、逼近论、凸分析、算法复杂度理论和生物学等多门学科。它专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，并重新组织已有的知识结构使之不断改善自身的性能。另外，它也是人工智能的重要组成部分，是使计算机具有智能的途径之一，其应用遍及人工智能的各个领域。机器学习最基本的做法：使用算法来解析数据、从中学习，然后对真实世界中的事件做出决策和预测。一般来说，机器学习的可释性数学框架包括数据处理、模型构建、算法优化和模型评估等四个部分。与传统为解决特定任务、硬编码的软件程序不同，机器学习是用大量的数据来“训练”，通过各种算法从数据中学习如何完成任务。机器学习直接来源于早期的人工智能领域，传统算法包括决策树学习、推导逻辑规划、聚类、强化学习和贝叶斯网络等等。深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。同机器学习方法一样，深度机器学习方法也有监督学习（Supervised Learning）与无监督学习（Unsupervised Learning）之分。监督学习是指从标记的（Labeling）训练数据（Training Data）来推断一个功能的机器学习任务。不同的学习框架下建立的学习模型很是不同。例如，CNN就是一种深度的监督学习下的机器学习模型，而DBNs就是一种无监督学习下的机器学习模型。但是，需要注意的是机器学习与深度学习之间追求的理念不同：机器学习在中小规模的数据上追求精度与效率，所以花费大量时间研究数据的先验特性；而深度学习的理念是在中大规模数据集上追求简单、新颖和通用，不强调数据的先验性。
人工智能是研究开发用于模拟、延伸和扩展人的智能的理论、方法和技术，以及应用系统的一门新的技术科学。它可以对人的意识、思维的信息过程进行模拟。人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能从诞生以来，理论和技术日益成熟，并且被广泛应用于医学图像分析和辅助诊断等领域。
图1展示人工智能、机器学习和深度学习之间的内在关系示意图。可以看出深度学习是人工智能、机器学习的核心技术。 
图1. 深度学习与人工智能、机器学习关系示意图
2. 深度学习在医学图像分析中应用
深度学习含多隐层的多层感知器。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。深度学习已经被用于医学图像的图像分割、图像配准、计算机辅助诊断等领域，促进医学图像分析技术进入智能化阶段，进一步推动精准医学的发展。 a. 图像分割：Middleton等介绍采用结合神经网络（多层感知器）和snake模型的算法对肺的MR图像进行分割。自动提取脑胶质瘤病灶方法对于脑胶质瘤手术、放射治疗和疗效评估，以及脑胶质瘤放射组学数据自动化分析和进行智能化决策非常重要。Pereira等报道对脑胶质瘤MR图像病灶采用卷积神经网络（CNNs）的方法来自动提取病灶，克服人工处理存在的费时、重复性差的缺点。Zhao和Jia介绍类似的CNNs方法从脑胶质瘤MR图像自动提取病灶，并且取得满意的结果。采用CNNs技术在一定程度上初步解决了病灶自动提取的技术问题。Liang等采用CNNs技术对脑梗塞病灶MRI扩散加权图像（Diffusion-weighted MR Imaging，DWI）进行自动化提取,为建立智能化决策提供有效手段。Dolz等介绍采用CNNS对MRI脑3D图像亚皮质进行自动提取方法，并且与标准数据库进行比较，结果表明与标准数据库结果有很好的一致性。
b. 图像配准：在对不同模式医学图像或多参数医学图像进行图像融合前，必须对图像进行精确配准。Wu等介绍采用非监督学习方法提取图像特征，并进行图像配准。在Wu等研究结果的基础上，Shun等提出采用卷积神经网络回归的方法来进行2D或3D图像配准。先对局部特征进行训练，然后学习将复杂特征采用分层方式进行分解。采用该方法对潜在的临床应用进行定量化评估。Ghesu等介绍采用深度强化学习的方法对CT图像配准的技术，明显提高图像配准的精准度。
c. 病灶检测和辅助诊断：计算机辅助病灶探测& #40;Computer-Aided Detection，CADe& #41;或诊断（Computer-Aided Diagnosis, CADx）帮助临床医师明显提高临床诊断的准确性，但是CAD在临床应用也明显存在假阳性和假阴性诊断结果。采用深度学习方法能够显著提高CADe/CADx临床诊断的准确性。Hua和Kumar介绍采用深度学习方法提高对肺癌临床诊断效能。Huynh等用CNN技术提高对乳腺癌辅助诊断（ROC曲线下面积AUC:0.86）效能。Wang 等报道168例肺癌PET/CT扫描患者，选择1397个淋巴结，以病理作为标准，判断有无转移，并选择4种机器学习和深度学习CNN方法，以10倍数据作为训练组。最后将CNN方法与医师阅读片方法进行比较。结果表明传统方法优于纹理特征分析方法，CNN方法优于医师阅片方法，但是CNN与医师阅读方法之间没有显著差异。机器学习方法具有高的灵敏度，但是特异性比较低。深度学习还有一个优势就是不需要对病灶进行分割，降低误差并明显提高工作效率。 d. 影像组学生物标志物提取：影像组学需要提取大量的病灶影像特征，通过深度学习技术能够加速将影像组学应用到临床实际工作中去。Parmar等在对影像组学研究经验的基础上，采用深度学习技术理念，对464例肺癌患者CT图像研究。他们将肺癌病灶分成4类，共提取440个影像特征。464例其中310例作为训练组，154例作为验证组，并选择12个分类器对14个特征进行分析，优化分类器和图像特征,验证机器具有很好的诊断效能。Velazquez等介绍肺癌CT图像影像特征与突变基因（EGFR、KRAS）之间的联系。作者对763例肺癌病灶组织进行研究，结果表明采用CT影像组学能够预测肺癌突变基因类型，该方法简单、方便、重复性好，性价比高。
3. 深度学习在医学图像分析中挑战和展望
深度学习正在推动医学图像分析朝着智能化决策的方向应用和发展。智能化决策是提高临床诊断效能和精准疗效评估的基础。影像组学是医学图像分析的研究方向之一，它将机器学习，将来是深度学习的理念、技术和方法运用于影像组学特征提取和智能化决策中，这将会加快CADe/CADx技术在临床当中的应用。但是，目前缺少高质量，标准化的标注所谓训练样本，同时由于样本量的限制，训练的模型会出现“过拟合”& #40;Overfitting& #41;的问题。这种以数据本身作为训练组，再获得模型后用于验证或预测，也就是从数据到数据建立模型。换句话，目前深度学习在医学图像分析中应用最大的挑战是如何建立符合真实的模型。人体组织、细胞和基因的表达是非常复杂的，而且迄今很多疾病的发病机理并不清楚，这就需要以免疫组化、基因表达作为“金标准”建立模型，而不是机械的从数据到数据，将工程学研究的模型、方法搬到医学领域中。随着人工智能、机器学习和深度学习等技术和方法的快速发展，以及对疾病在基因水平研究的突破，将会加速以“基因表达”作为标准建立模型进行预测的研究方法。
综上所述，深度学习是机器学习和人能智能技术的核心技术。深度学习已经被广泛用于医学图像处理，特别是智能化决策中。尽管采用深度学习在图像生物标志物优化、预测模型完善还需要很多工作，但是相信深度学习将加速和推动医学图像分析技术的发展和在临床实际中的应用。
参考文献 1. 焦李成 赵进 杨淑媛 刘芳 著 深度学习、优化与识别. 清华大学出版社. 2017年 北京.
2. 王庚 王敏生 著. 现代数学建模方法. 科学出版社 2015年（第三版） 北京.
3. 周志华 著 机器学习 清华大学出版社 2016年 北京
4. 李航 著 统计学习方法 清华大学出版社 2017年 北京
5. Pereira S, Pinto A, Alves V, Silva CA. Brain tumor segmentation using convolutional neural networks in MRI images. IEEE Trans Med Imaging 2016;35:1240-1251
6. Moeskops P, Viergever MA, Mendrik AM, de Vries LS, Benders MJ, Isgum I. Automatic segmentation of MR brain images with a convolutional neural network. IEEE Trans Med Imaging 2016;35:1252-1261
7. Bogoni L, Ko JP, Alpert J, Anand V, Fantauzzi J, Florin CH, et al. Impact of a computer-aided detection& （CAD）; system integrated into a picture archiving and communication system（PACS）on reader sensitivity and efficiency for the detection of lung nodules in thoracic CT exams. J Digit Imaging 2012;25:771-781
8. Middleton I, Damper RI. Segmentation of magnetic resonance images using a combination of neural networks and active contour models. Med Eng Phys 2004;26:71-86
9. Zhao L, Jia K. Multiscale CNNs for Brain Tumor Segmentation and Diagnosis. Comput Math Methods Med. 2016;8356294
10. Liang C, Paul B and Daniel R.Fully automatic acute ischemic lesion segmentation in DWI using convolutional neural networks. NeuroImage: Clinical .2017;15: 633–643
11. Dolz J, Desrosiers C and Ben Ayed . 3D fully convolutional networks for subcortical segmentation in MRI: A large-scale study. Neuroimage. 2017 Apr 24. pii: S1053-8119（17）30332-4
12. Wu G, Kim MJ,Wang Q. et al. Scalable high performance image registration framework by unsupervised deep feature representations learning.
13. Shun Miao, Wang ZJ, Rui Liao. A CNN regression approach for real-time 2D/3D registration. IEEE Trans Med Imaging 2016;35:1352-1363
14. Ghesu FC, Georgescu B, Mansi T, et al. An artificial agent for anatomical landmark detection in medical images. In International Conference on Medical Image Computing and Computer-Assisted Intervention. 2016; 229–237.
15. Hua KL, Hsu CH, Hidayati SC, Cheng WH, Chen YJ. Computer-aided classification of lung nodules on computed tomography images via deep learning technique. Onco Targets Ther 2015;8:2015-2022
16. Kumar D, Wong A, Clausi DA, eds. Lung Nodule Classification Using Deep Features in CT Images. Proceedings of 2015 12th Conference on Computer and Robot Vision; IEEE, 2015:133-138
17. Huynh BQ，Li H and Giger ML. Digital mammographic tumor classification using transfer learning from deep convolutional neural networks. Journal of Medical Imaging 2016;3（3）, 034501-5
18. Wang HK, Zhou ZW, Li YC, et al. Comparison of machine learning methods for classifying mediastinal lymph node metastasis of non-small cell lung cancer from 18F-FDG PET/CT images. EJNMMI Research. 2017;7:11
19. Parmar C, Grossmann P, Bussink J, et al. Machine Learning methods for Quantitative Radiomic Biomarkers. Scientific Reports , 2015;5:13087
20. Velazquez ER, Parmar C, Liu Y, et al. Somatic Mutations Drive Distinct Imaging Phenotypes in Lung Cancer Cancer Res; 2016；77（14）; 1–9.
21. Dou, Qi, et al. "3d deeply supervised network for automatic liver segmentation from ct volumes." International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer International Publishing, 2016.
22. Chappelow J, Viswanath S, Monaco J, et al. Improving supervised classification accuracy using non-rigid multimodal image registration: detecting prostate cancer[J]. Proceedings of SPIE, 2008, 6915（1）.
|
