基于深度卷积神经网络和条件随机场模型的PolSAR图像地物分类方法

胡涛 李卫华 秦先祥 王鹏 余旺盛 李军

引用本文:
Citation:

基于深度卷积神经网络和条件随机场模型的PolSAR图像地物分类方法

    作者简介: 胡 涛(1994–),男,湖南浏阳人,空军工程大学信息与导航学院硕士,研究方向为计算机视觉。E-mail: 1862965@163.com;李卫华(1964–),男,空军工程大学信息与导航学院教授,研究方向为指挥信息系统。E-mail: lwh_kgd@163.com ;秦先祥(1986–),男,广西阳朔人,空军工程大学信息与导航学院讲师,研究方向为SAR图像处理与分析。E-mail: qinxianxiang@126.com;王 鹏(1985–),男,空军工程大学信息与导航学院副教授,硕士生导师,研究方向为信息融合处理与分布式协同控制。E-mail: wangpeng@163.com;余旺盛(1985–),男,湖南平江人,空军工程大学信息与导航学院讲师,研究方向为计算机视觉与图像处理。E-mail: 853994682@qq.com;李 军(1983–),男,湖南邵阳人,空军工程大学信息与导航学院讲师,研究方向为信息处理技术。E-mail: 108857769@qq.com.
    通讯作者: 秦先祥, qinxianxiang@126.com
  • 基金项目:

    国家自然科学基金(41601436, 61403414, 61703423),陕西省自然科学基础研究计划(2018JM4029)

  • 中图分类号: TP391

Terrain Classification of Polarimetric Synthetic Aperture Radar Images Based on Deep Learning and Conditional Random Field Model

    Corresponding author: QIN Xianxiang, qinxianxiang@126.com ;
  • Fund Project: The National Natural Science Foundation of China (41601436, 61403414, 61703423), The Natural Science Foundation Research Project of Shaanxi Province (2018JM4029)

    CLC number: TP391

  • 摘要: 近年来,极化合成孔径雷达(PolSAR)图像地物分类得到了深入研究。传统的PolSAR图像地物分类方法采用的特征往往需要针对具体问题进行设计,特征表征性不强。因此,该文提出一种基于卷积神经网络(CNN)和条件随机场(CRF)模型的PolSAR图像地物分类方法。利用预训练好的实现图像分类任务的卷积神经网络模型(VGG-Net-16)提取表征能力更强的图像特征,再通过CRF模型对多特征及上下文信息的有效利用来实现图像的地物分类。实验结果表明,与3种利用传统经典特征的方法相比,该方法能够提取更有效的特征,取得了更高的总体分类精度和Kappa系数。
  • 图 1  深度CRF模型流程图

    Figure 1.  The flow chart of deep CRF model

    图 2  Flevoland数据分类结果对比图

    Figure 2.  Comparison of Flevoland data classification results

    图 3  Oberpfaffenhofen数据分类结果对比图

    Figure 3.  Comparison of Oberpfaffenhofendata classification results

    图 4  不同层特征分类精度对比图

    Figure 4.  Accuracy comparison results of different layer classification results

    表 1  传统方法中用到的特征

    Table 1.  The features used in the traditional methods

    Cloude分解Freeman分解协方差矩阵对角线
    $H,\alpha ,A,{\lambda _{1}},{\lambda _{{2}}},{\lambda _{{3}}}$Ps, Pd, PvC11, C22, C33
    下载: 导出CSV

    表 2  Flevoland数据分类精度

    Table 2.  The classification accuracy of Flevoland data

    类别方法1方法2方法3方法4方法5本文方法
    豆类0.9710.8330.9670.8630.9200.808
    森林0.7590.9400.7330.9430.9450.868
    土豆0.6800.8400.8210.5780.8720.808
    苜蓿0.6090.8920.7190.7810.9320.990
    小麦0.9340.8810.8640.7920.9360.981
    裸地0.5140.8710.9030.9800.9980.899
    甜菜0.9130.9030.8950.9050.8970.978
    油菜籽0.5720.7820.6270.7580.9340.964
    豌豆0.5890.8210.8200.8010.9010.854
    草地0.9620.7740.8380.9120.8020.968
    水体0.7010.9700.5260.7030.9880.888
    总精度0.7510.8700.7780.7970.9330.905
    Kappa系数0.7200.8540.7520.7740.9110.890
    训练(s)798771877121170661052
    测试(s)2.92.73.04.18.43.8
    下载: 导出CSV

    表 3  Oberpfaffenhofen数据分类精度

    Table 3.  The classification accuracy of Oberpfaffenhofen data

    类别方法1方法2方法3本文方法
    建筑区域0.6960.6450.7120.903
    林地0.8950.8960.7000.777
    开放区域0.6220.8430.8740.947
    总精度0.6910.8040.8000.903
    Kappa系数0.5290.6800.6680.834
    下载: 导出CSV
  • [1] NOVAK L M and BURL M C. Optimal speckle reduction in polarimetric SAR imagery[J]. IEEE Transactions on Aerospace and Electronic Systems, 1990, 26(2): 293–305. doi: 10.1109/7.53442
    [2] RANSON K J, SUN G, WEISHAMPEL J F, et al. An evaluation of AIRSAR and SIR-C/XSAR images for northern forest ecological studies in Maine, USA[C]. Proceedings of 1995 International Geoscience and Remote Sensing Symposium, IGARSS’95. Quantitative Remote Sensing for Science and Applications, Firenze, Italy, 1995: 994–996. doi: 10.1109/IGARSS.1995.521118.
    [3] YANG W, ZHANG X, CHEN L J, et al. Semantic segmentation of polarimetric SAR imagery using conditional random fields[C]. Proceedings of 2010 IEEE International Geoscience and Remote Sensing Symposium, Honolulu, HI, USA, 2010: 1593–1596. doi: 10.1109/IGARSS.2010.5652378.
    [4] CLOUDE S R and POTTIER E. An entropy based classification scheme for land applications of polarimetric SAR[J]. IEEE Transactions on Geoscience and Remote Sensing, 1997, 35(1): 68–78. doi: 10.1109/36.551935
    [5] ZHAO L W, ZHOU X G, JIANG Y M, et al. Iterative classification of polarimetric SAR image based on the freeman decomposition and scattering entropy[C]. Proceedings of the 1st Asian and Pacific Conference on Synthetic Aperture Radar, Huangshan, China, 2007: 473–476. doi: 10.1109/APSAR.2007.4418653.
    [6] LEE J S, GRUNES M R, and KWOK R. Classification of multi-look polarimetric SAR imagery based on complex wishart distribution[J]. International Journal of Remote Sensing, 1994, 15(11): 2299–2311. doi: 10.1080/01431169408954244
    [7] BEAULIEU J M and TOUZI R. Segmentation of textured polarimetric SAR scenes by likelihood approximation[J]. IEEE Transactions on Geoscience and Remote Sensing, 2004, 42(10): 2063–2072. doi: 10.1109/tgrs.2004.835302
    [8] WU Y H, JI K F, YU W X, et al. Region-based classification of polarimetric SAR images using wishart MRF[J]. IEEE Geoscience and Remote Sensing Letters, 2008, 5(4): 668–672. doi: 10.1109/LGRS.2008.2002263
    [9] 周晓光, 匡纲要, 万建伟. 极化SAR图像分类综述[J]. 信号处理, 2008, 24(5): 806–812. doi: 10.3969/j.issn.1003-0530.2008.05.023ZHOU Xiao-guang, KUANG Gang-yao, and WAN Jian-wei. A review of polarimetric SAR image classification[J]. Signal Processing, 2008, 24(5): 806–812. doi: 10.3969/j.issn.1003-0530.2008.05.023
    [10] 胡涛, 李卫华, 秦先祥, 等. 基于深度CRF模型的图像语义分割方法[J]. 空军工程大学学报(自然科学版), 2018, 19(5): 52–57.HU Tao, LI Wei-hua, QIN Xian-xiang, et al. An image semantic segmentation based on deep CRF model[J]. Journal of Air Force Engineering University (Natural Science Edition), 2018, 19(5): 52–57.
    [11] XIE W, JIAO L C, HOU B, et al. POLSAR image classification via wishart-AE model or wishart-CAE model[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2017, 10(8): 3604–3615. doi: 10.1109/JSTARS.2017.2698076
    [12] ZHAO Z Q, JIAO L C, ZHAO J Q, et al. Discriminant deep belief network for high-resolution SAR image classification[J]. Pattern Recognition, 2017, 61: 686–701. doi: 10.1016/j.patcog.2016.05.028
    [13] GAO F, HUANG T, WANG J, et al. Dual-branch deep convolution neural network for polarimetric SAR image classification[J]. Applied Sciences, 2017, 7(5): 447. doi: 10.3390/app7050447
    [14] ZHOU Y, WANG H P, XU F, et al. Polarimetric SAR image classification using deep convolutional neural networks[J]. IEEE Geoscience and Remote Sensing Letters, 2016, 13(12): 1935–1939. doi: 10.1109/LGRS.2016.2618840
    [15] ZHANG Z M, WANG H P, XU F, et al. Complex-valued convolutional neural network and its application in polarimetric SAR image classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2017, 55(12): 7177–7188. doi: 10.1109/TGRS.2017.2743222
    [16] WANG L, XU X, DONG H, et al. Multi-pixel simultaneous classification of PolSAR image using convolutional neural networks[J]. Sensors, 2018, 18(3): 769. doi: 10.3390/s18030769
    [17] KRIZHEVSKY A, SUTSKEVER I, and HINTON G E. ImageNet classification with deep convolutional neural networks[C]. Proceedings of the 25th International Conference on Neural Information Processing Systems, Lake Tahoe, Nevada, USA, 2012: 1097–1105. doi: 10.1145/3065386.
    [18] SZEGEDY C, LIU W, JIA Y Q, et al.. Going deeper with convolutions[C]. Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Recognition, Boston, MA, USA, 2015: 1–9. doi: 10.1109/CVPR.2015.7298594.
    [19] SIMONYAN K and ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[J]. arXiv preprint arXiv:1409.1556, 2014.
    [20] RAZAVIAN A S, AZIZPOUR H, SULLIVAN J, et al. CNN features off-the-shelf: An astounding baseline for recognition[C]. Proceedings of 2014 IEEE Conference on Computer Vision and Pattern Recognition Workshops, Columbus, OH, USA, 2014: 512–519. doi: 10.1109/CVPRW.2014.131.
    [21] MIKA S, SCHÖLKOPF B, SMOLA A, et al.. Kernel PCA and de-noising in feature spaces[C]. Proceedings of 1998 Conference on Advances in Neural Information Processing Systems II, Cambridge, MA, USA, 1999: 536–542.
    [22] LAFFERTY J D, MCCALLUM A, and PEREIRA F C N. Conditional random fields: Probabilistic models for segmenting and labeling sequence data[C]. Proceedings of the 18th International Conference on Machine Learning, San Francisco, CA, USA, 2001: 282–289.
    [23] LI S Z. Markov Random Field Modeling in Computer Vision[M]. New York: Springer, 1995.
    [24] PLATT J C. Probabilistic outputs for support vector machines and comparisons to regularized likelihood methods[C]. Proceedings of the Advances in large Margin Classifiers, Cambrige, MA, USA, 1999: 61–74.
    [25] DOMKE J. Learning graphical model parameters with approximate marginal inference[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(10): 2454–2467. doi: 10.1109/TPAMI.2013.31
    [26] VEDALDI A and LENC K. MatConvNet: Convolutional neural networks for MATLAB[C]. Proceedings of the 23rd ACM International Conference on Multimedia, Brisbane, Australia, 2015: 689–692. doi: 10.1145/2733373.2807412.
    [27] 韩萍, 韩宾宾. 基于典型散射差异指数的PolSAR图像Lee滤波[J]. 系统工程与电子技术, 2018, 40(2): 287–294.HAN Ping and HAN Bin-bin. Lee filter of PolSAR image based on typical scattering difference index[J]. Systems Engineering and Electronics, 2018, 40(2): 287–294.
  • [1] 邹焕新罗天成张月周石琳 . 基于组合条件随机场的极化SAR图像监督地物分类. 雷达学报, 2017, 6(5): 541-553. doi: 10.12000/JR16109
    [2] 田壮壮占荣辉胡杰民张军 . 基于卷积神经网络的SAR图像目标识别研究. 雷达学报, 2016, 5(3): 320-325. doi: 10.12000/JR16037
    [3] 滑文强王爽侯彪 . 基于半监督学习的SVM-Wishart极化SAR图像分类方法. 雷达学报, 2015, 4(1): 93-98. doi: 10.12000/JR14138
    [4] 邢艳肖张毅李宁王宇胡桂香 . 一种联合特征值信息的全极化SAR图像监督分类方法. 雷达学报, 2016, 5(2): 217-227. doi: 10.12000/JR16019
    [5] 陶臣嵩陈思伟李永祯肖顺平 . 结合旋转域极化特征的极化SAR地物分类. 雷达学报, 2017, 6(5): 524-532. doi: 10.12000/JR16131
    [6] 徐丰王海鹏金亚秋 . 深度学习在SAR目标识别与地物分类中的应用. 雷达学报, 2017, 6(2): 136-148. doi: 10.12000/JR16130
    [7] 滑文强王爽郭岩河谢雯 . 基于邻域最小生成树的半监督极化SAR图像分类方法. 雷达学报, 2019, 8(4): 458-470. doi: 10.12000/JR18104
    [8] 杨文钟能严天恒杨祥立 . 基于黎曼流形的极化SAR图像分类. 雷达学报, 2017, 6(5): 433-441. doi: 10.12000/JR17031
    [9] 张向荣于心源唐旭侯彪焦李成 . 基于马尔科夫判别谱聚类的极化SAR图像分类方法. 雷达学报, 2019, 8(4): 425-435. doi: 10.12000/JR19059
    [10] 张腊梅张思雨董洪伟朱厦 . 基于Pinball损失函数支持向量机的极化SAR图像鲁棒分类. 雷达学报, 2019, 8(4): 448-457. doi: 10.12000/JR19055
    [11] 徐真王宇李宁张衡张磊 . 一种基于CNN的SAR图像变化检测方法. 雷达学报, 2017, 6(5): 483-491. doi: 10.12000/JR17075
    [12] 肖东凌刘畅 . 基于精调的膨胀编组-交叉CNN的PolSAR地物分类. 雷达学报, 2019, 8(4): 479-489. doi: 10.12000/JR19039
    [13] 洪文 . 基于混合极化架构的极化SAR:原理与应用(中英文). 雷达学报, 2016, 5(6): 559-595. doi: 10.12000/JR16074
    [14] 张杰张晰范陈清孟俊敏 . 极化SAR在海洋探测中的应用与探讨. 雷达学报, 2016, 5(6): 596-606. doi: 10.12000/JR16124
    [15] 赵娟萍郭炜炜柳彬崔世勇张增辉郁文贤 . 基于概率转移卷积神经网络的含噪标记SAR图像分类. 雷达学报, 2017, 6(5): 514-523. doi: 10.12000/JR16140
    [16] 计科峰王海波冷祥光邢相薇康利鸿 . 星载简缩极化SAR船舶目标检测技术研究. 雷达学报, 2016, 5(6): 607-619. doi: 10.12000/JR16083
    [17] 陈诗强洪文 . 基于极化轴比参数的圆极化波发射误差分析方法. 雷达学报, 2019, 8(): 1-11. doi: 10.12000/JR19063
    [18] 师君阙钰佳周泽南周远远张晓玲孙铭芳 . 近场毫米波三维成像与异物检测方法. 雷达学报, 2019, 8(5): 578-588. doi: 10.12000/JR18089
    [19] 苏宁远陈小龙关键牟效乾刘宁波 . 基于卷积神经网络的海上微动目标检测与分类方法. 雷达学报, 2018, 7(5): 565-574. doi: 10.12000/JR18077
    [20] 王思雨高鑫孙皓郑歆慰孙显 . 基于卷积神经网络的高分辨率SAR图像飞机目标检测方法. 雷达学报, 2017, 6(2): 195-203. doi: 10.12000/JR17009
  • 加载中
图(4)表(3)
计量
  • 文章访问数:  1014
  • HTML浏览量:  60
  • PDF下载量:  140
  • 被引次数: 0
出版历程
  • 收稿日期:  2018-08-31
  • 录用日期:  2018-12-26
  • 刊出日期:  2019-08-28

基于深度卷积神经网络和条件随机场模型的PolSAR图像地物分类方法

    通讯作者: 秦先祥, qinxianxiang@126.com
    作者简介: 胡 涛(1994–),男,湖南浏阳人,空军工程大学信息与导航学院硕士,研究方向为计算机视觉。E-mail: 1862965@163.com;李卫华(1964–),男,空军工程大学信息与导航学院教授,研究方向为指挥信息系统。E-mail: lwh_kgd@163.com ;秦先祥(1986–),男,广西阳朔人,空军工程大学信息与导航学院讲师,研究方向为SAR图像处理与分析。E-mail: qinxianxiang@126.com;王 鹏(1985–),男,空军工程大学信息与导航学院副教授,硕士生导师,研究方向为信息融合处理与分布式协同控制。E-mail: wangpeng@163.com;余旺盛(1985–),男,湖南平江人,空军工程大学信息与导航学院讲师,研究方向为计算机视觉与图像处理。E-mail: 853994682@qq.com;李 军(1983–),男,湖南邵阳人,空军工程大学信息与导航学院讲师,研究方向为信息处理技术。E-mail: 108857769@qq.com
  • ①. 空军工程大学信息与导航学院   西安   710077
  • ②. 国防科技大学电子对抗学院   合肥   230037
基金项目:  国家自然科学基金(41601436, 61403414, 61703423),陕西省自然科学基础研究计划(2018JM4029)

摘要: 近年来,极化合成孔径雷达(PolSAR)图像地物分类得到了深入研究。传统的PolSAR图像地物分类方法采用的特征往往需要针对具体问题进行设计,特征表征性不强。因此,该文提出一种基于卷积神经网络(CNN)和条件随机场(CRF)模型的PolSAR图像地物分类方法。利用预训练好的实现图像分类任务的卷积神经网络模型(VGG-Net-16)提取表征能力更强的图像特征,再通过CRF模型对多特征及上下文信息的有效利用来实现图像的地物分类。实验结果表明,与3种利用传统经典特征的方法相比,该方法能够提取更有效的特征,取得了更高的总体分类精度和Kappa系数。

English Abstract

    • 极化合成孔径雷达(Polarimetric Synthetic Aperture Radar, PolSAR)是一种先进的遥感信息获取手段[1]。与单极化相比,它通过测量每个分辨单元在不同收发极化组合下的散射特性,更完整地记录了目标后向散射信息,为详尽分析目标散射特性提供了良好的数据支持[2]。PolSAR图像地物分类的目的在于将图像划分成一系列具有特定语义信息的图像区域,是PolSAR图像理解和解译过程中的重要内容[3]

      传统的PolSAR图像地物分类方法主要通过目标分解和统计分布来实现。极化数据的目标分解方法有很多,如Cloude分解[4]和Freeman分解等[5]。统计分布模型主要有Wishart分布[6]和K分布[7]等。Lee等人[6]将目标分解和分布模型结合,提出了$H/\alpha$-Wishart方法,有效提高了地物分类精度。然而,这类方法没有考虑图像的上下文信息,易受相干斑噪声影响,因此很多研究者开始关注利用上下文信息的地物分类方法[3,8]。文献[3]在融合极化特征的基础上通过条件随机场(Conditional Random Field, CRF)模型利用上下文信息,能够得到区域一致性好的结果。上述方法利用的特征主要包括基于极化矩阵的组合变换、基于目标分解理论的特征参数和纹理特征等[9]。这些特征通常是针对具体问题进行设计,对先验知识的依赖程度较高,在很多情况下其表征能力往往不尽人意。解决该问题的一种常用思路是从PolSAR图像中提取多种特征向量堆叠成一个高维特征向量用于地物分类,但提取的高维特征往往包含大量冗余不相关信息,将导致部分特征向量的分类能力减弱或丧失[10]。因此,如何提取更具表达性的特征是当前提高图像地物分类方法性能的关键途径。

      目前,深度学习技术在PolSAR图像处理任务上的应用受到普遍关注,自编码器[11](Auto Encoders, AE)、深度信念网络[12] (Deep Belief Network, DBN)和卷积神经网络[13](Convolutional Neural Network, CNN)等多种深度神经网络模型相继用于PolSAR图像处理,其中CNN在图像处理中应用最为广泛。近年来有很多学者将CNN用于PolSAR图像地物分类[1416]。由于CNN网络输入一般为实数,在考虑相干矩阵各元素的基础上,文献[14]将PolSAR图像的复数相干矩阵转换为6维实向量来作为CNN模型的输入,提升了地物分类精度。文献[15]将CNN推广到复数域,有效利用了PolSAR图像通道间相干相位差蕴含的丰富信息。尽管上述基于深度学习的方法在地物分类精度上取得了显著提升,但与基于传统人工特征的方法相比,这些方法实现地物分类的速度普遍较慢。

      针对图像地物分类问题,一些学者设计了直接实现光学图像地物分类的CNN模型,并展现出优异的性能[1719]。考虑到不同类型图像之间往往存在共性,可认为,一个经过大型数据量训练好的CNN的前端网络可以作为图像特征提取的有效模型[20]。基于此并考虑到CRF的多特征和上下文信息利用优势,本文提出一种结合预训练CNN和CRF模型的图像地物分类方法。首先利用经典的CNN模型—VGG-Net-16来提取图像深层次特征,再通过CRF对多特征及上下文信息有效利用来完成图像的地物分类。

    • 针对传统图像地物分类方法受限于人工特征表征能力不强的问题,本文提出一种基于深度CRF模型的图像地物分类方法,采用VGG-Net-16提取图像深度特征,将提取到的特征用于训练CRF模型,实现图像地物分类。具体流程如图1所示,主要包含图像预处理、深度特征提取和分类3个阶段。

      <