基于卷积神经网络的高分辨率SAR图像飞机目标检测方法

王思雨 高鑫 孙皓 郑歆慰 孙显

王思雨, 高鑫, 孙皓, 郑歆慰, 孙显. 基于卷积神经网络的高分辨率SAR图像飞机目标检测方法[J]. 雷达学报, 2017, 6(2): 195-203. doi: 10.12000/JR17009
引用本文: 王思雨, 高鑫, 孙皓, 郑歆慰, 孙显. 基于卷积神经网络的高分辨率SAR图像飞机目标检测方法[J]. 雷达学报, 2017, 6(2): 195-203. doi: 10.12000/JR17009
Wang Siyu, Gao Xin, Sun Hao, Zheng Xinwei, Sun Xian. An Aircraft Detection Method Based on Convolutional Neural Networks in High-Resolution SAR Images[J]. Journal of Radars, 2017, 6(2): 195-203. doi: 10.12000/JR17009
Citation: Wang Siyu, Gao Xin, Sun Hao, Zheng Xinwei, Sun Xian. An Aircraft Detection Method Based on Convolutional Neural Networks in High-Resolution SAR Images[J]. Journal of Radars, 2017, 6(2): 195-203. doi: 10.12000/JR17009

基于卷积神经网络的高分辨率SAR图像飞机目标检测方法

doi: 10.12000/JR17009
基金项目: 国家自然科学基金青年基金(41501485)
详细信息
    作者简介:

    王思雨(1992–),女,山西人,中国科学院电子学研究所硕士研究生,研究方向为SAR图像飞机目标检测识别。E-mail: siyuwang92@163.com

    高 鑫(1966–),男,辽宁人,北京师范大学理学博士,现任中国科学院电子学研究所研究员,研究方向为SAR场景分类、目标检测识别、解译标注。E-mail: gaxi@mail.ie.ac.cn

    孙   皓(1984–),男,山东人,中国科学院大学工学博士,现任中国科学院电子学研究所副研究员,研究方向为遥感图像理解。E-mail: sun.010@163.com

    郑歆慰(1987–),男,福建人,中国科学院大学工学博士,现任中国科学院电子学研究所助理研究员,研究方向为大规模遥感图像解译。E-mail: zxw_1020@163.com

    孙   显(1981–),男,浙江人,中国科学院大学工学博士,现任中国科学院电子学研究所副研究员,研究方向为计算机视觉与遥感图像理解、地理空间大数据解译。E-mail: sunxian@mail.ie.ac.cn

    通讯作者:

    高鑫   gaxi@mail.ie.ac.cn

  • 中图分类号: TP753

An Aircraft Detection Method Based on Convolutional Neural Networks in High-Resolution SAR Images

Funds: The National Natural Science Foundation of China (41501485)
  • 摘要: 传统的合成孔径雷达(Synthetic Aperture Radar, SAR)图像飞机检测方法一般利用像素对比度信息进行图像分割,从而提取待定目标。然而这些方法只考虑了像素亮度信息而忽视了目标的结构特征,进而导致目标的不精确定位和大量虚警的产生。基于上述问题,该文构建了一个全新的SAR图像飞机目标检测算法框架。首先,针对大场景SAR图像应用需求,提出了改进的显著性预检测方法,从而实现SAR图像候选飞机目标多尺度快速粗定位;然后,设计并调优了含4个权重层的卷积神经网络(Convolutional Neural Network, CNN),实现对候选目标的精确检测和鉴别;最后,因为SAR数据量有限、易导致过拟合,提出4种适用于SAR图像的数据增强方法,具体包括平移、斑点加噪、对比度增强和小角度旋转。实验证实该飞机检测算法在高分辨率TerraSAR-X数据集上效果显著,与传统的SAR飞机检测方法相比,该方法检测效率更高,泛化能力更强。
  • 图  1  SAR飞机检测框架的整体流程图

    Figure  1.  Overall flowchart of our SAR aircraft detection framework

    图  2  显著性变换

    Figure  2.  Saliency transformation

    图  3  改进的显著性预检测方法流程图

    Figure  3.  Flowchart of improved saliency-based pre-detection method

    图  4  数据增强示例

    Figure  4.  Demonstration of data augmentation

    图  5  本文CNN的网络结构设计

    Figure  5.  Structure of our CNN

    图  6  训练集示例

    Figure  6.  Demonstration of training set

    图  7  Selective search方法、原始显著性预检测方法和改进后的预检测方法

    Figure  7.  Comparison among the Selective search method, the basic saliency-based method and improved saliency-based method

    图  8  不同方法的ROC曲线图

    Figure  8.  ROC curves of different methods

    图  9  本文框架的检测结果

    Figure  9.  Detection result of our framework

    表  1  CNN参数

    Table  1.   Parameters of our CNN

    层结构 核结构 输出尺寸
    输入层 120×120
    C1 32@5×5 116×116
    S1 2×2 58×58
    C2 64@5×5 54×54
    S2 2×2 27×27
    C3 128@6×6 22×22
    S3 2×2 11×11
    下载: 导出CSV

    表  2  不同预检测方法性能比较

    Table  2.   The performance of different pre-detection methods

    方法 预检测 正确率(%) 候选目标 个数 预检测 时间(s)
    Selective search 100 569 47.50
    原始显著性预检测 94.12 298 6.07
    改进的显著性预检测 100 242 10.67
    下载: 导出CSV

    表  3  不同数据增强方法的检测正确率

    Table  3.   Accuracy rates of CNN with different augmentation methods

    操作 检测正确率(%)
    原始 86.33
    平移 92.01
    斑点加噪 93.74
    对比度增强 93.64
    小角度旋转 92.76
    综合4种增强方法 96.36
    下载: 导出CSV

    表  4  不同网络层数的检测正确率比较

    Table  4.   Accuracy rates of CNN with different number of layers

    网络结构 检测正确率(%)
    C1: 32@5×5, S1, C2: 64@5×5, S2, C3: 128@6×6, S3, C4: 256@6×6, S4 95.99
    C1: 32@5×5, S1, C2: 64@5×5, S2, C3: 128@6×6, S3 (本文) 96.36
    C1: 32@5×5, S1, C2: 64@5×5, S2 93.70
    下载: 导出CSV

    表  5  不同卷积核个数的检测正确率比较

    Table  5.   Accuracy rates of CNN with different number of kernels

    网络结构 检测正确率(%)
    C1: 16@5×5, S1, C2: 32@5×5, S2, C3: 64@6×6, S3 93.93
    C1: 32@5×5, S1, C2: 64@5×5, S2, C3: 128@6×6, S3 (本文) 96.36
    C1: 64@5×5, S1, C2: 128@5×5, S2, C3: 256@6×6, S3 95.05
    下载: 导出CSV

    表  6  不同卷积核大小的检测正确率比较

    Table  6.   Accuracy rates of CNN with different size of kernels

    网络结构 检测正确率(%)
    C1: 32@3×3, S1, C2: 64@3×3, S2, C3: 128@3×3, S3 95.96
    C1: 32@5×5, S1, C2: 64@5×5, S2, C3: 128@6×6, S3 (本文) 96.36
    C1: 32@5×5, S1, C2: 64@5×5, S2, C3: 128@5×5, S3 96.16
    下载: 导出CSV

    表  7  不同方法在同一数据集上的平均检测率

    Table  7.   Average detection rates of different methods on the same dataset

    方法 检测正确率(%)
    CNN 96.36
    SVM 92.64
    HOG+SVM 93.79
    AdaBoost 92.28
    下载: 导出CSV
  • [1] El-Darymli K, McGuire P, Power D, et al. Target detection in synthetic aperture radar imagery: A state-of-the-art survey[J].Journal of Applied Remote Sensing, 2013, 7(1): 071598. doi:  10.1117/1.JRS.7.071598
    [2] Steenson B O. Detection performance of a mean-level threshold[J].IEEE Transactions on Aerospace and Electronic Systems, 1968, 4(4): 529–534.
    [3] Gandhi P P and Kassam S A. Analysis of CFAR processors in homogeneous background[J].IEEE Transactions on Aerospace and Electronic Systems, 1988, 24(4): 427–445. doi:  10.1109/7.7185
    [4] Novak L M and Hesse S R. On the performance of order-statistics CFAR detectors[C]. IEEE 25th Asilomar Conference on Signals, Systems and Computers, Pacific Grove, California, USA, Nov. 1991: 835–840.
    [5] Smith M E and Varshney P K. VI-CFAR: A novel CFAR algorithm based on data variability[C]. IEEE National Radar Conference, Syracuse, NY, May 1997: 263–268.
    [6] Ai Jia-qiu, Qi Xiang-yang, Yu Wei-dong, et al. A new CFAR ship detection algorithm based on 2-D joint log-normal distribution in SAR images[J].IEEE Geoscience and Remote Sensing Letters, 2010, 7(4): 806–810. doi:  10.1109/LGRS.2010.2048697
    [7] di Bisceglie M and Galdi C. CFAR detection of extended objects in high-resolution SAR images[J].IEEE Transactions on Geoscience and Remote Sensing, 2005, 43(4): 833–843. doi:  10.1109/TGRS.2004.843190
    [8] Jung C H, Kwag Y K, and Song W Y. CFAR detection algorithm for ground target in heterogeneous clutter using high resolution SAR image[C]. 3rd International Asia-Pacific Conference on Synthetic Aperture Radar (APSAR), Seoul, South Korea, Sep. 2011: 1–4.
    [9] Olson C F and Huttenlocher D P. Automatic target recognition by matching oriented edge pixels[J].IEEE Transactions on Image Processing, 1997, 6(1): 103–113. doi:  10.1109/83.552100
    [10] Kaplan L M. Improved SAR target detection via extended fractal features[J].IEEE Transactions on Aerospace and Electronic Systems, 2001, 37(2): 436–451. doi:  10.1109/7.937460
    [11] Sandirasegaram N M. Spot SAR ATR using wavelet features and neural network classifier[R]. Defence Research and Development Canada Ottawa (Ontario), 2005.
    [12] Tan Yi-hua, Li Qing-yun, Li Yan-sheng, et al. Aircraft detection in high-resolution SAR images based on a gradient textural saliency map[J].Sensors, 2015, 15(9): 23071–23094. doi:  10.3390/s150923071
    [13] Jao J K, Lee C E, and Ayasli S. Coherent spatial filtering for SAR detection of stationary targets[J].IEEE Transactions on Aerospace and Electronic Systems, 1999, 35(2): 614–626. doi:  10.1109/7.766942
    [14] Zhao Q and Principe J C. Support vector machines for SAR automatic target recognition[J].IEEE Transactions on Aerospace and Electronic Systems, 2001, 37(2): 643–654. doi:  10.1109/7.937475
    [15] Sun Yi-jun, Liu Zhi-peng, Todorovic S, et al. Adaptive boosting for SAR automatic target recognition[J].IEEE Transactions on Aerospace and Electronic Systems, 2007, 43(1): 112–125. doi:  10.1109/TAES.2007.357120
    [16] Keydel E R, Lee S W, and Moore J T. MSTAR extended operating conditions: A tutorial[C]. Proc. SPIE 2757, Algorithms for Synthetic Aperture Radar Imagery III, Orlando, FL, Apr. 1996: 228–242.
    [17] Krizhevsky A, Sutskever I, and Hinton G E. ImageNet classification with deep convolutional neural networks[C]. International Conference on Neural Information Processing Systems, South Lake Tahoe, Nevada, USA, Dec. 2012: 1097–1105.
    [18] Ding Jun, Chen Bo, Liu Hong-wei, et al. Convolutional neural network with data augmentation for SAR target recognition[J].IEEE Geoscience and Remote Sensing Letters, 2016, 13(3): 364–368.
    [19] Chen Si-zhe, Wang Hai-peng, Xu Feng, et al. Target classification using the deep convolutional networks for SAR images[J].IEEE Transactions on Geoscience and Remote Sensing, 2016, 54(8): 4806–4817. doi:  10.1109/TGRS.2016.2551720
    [20] Diao Wen-hui, Sun Xian, Zheng Xin-wei, et al. Efficient saliency-based object detection in remote sensing images using deep belief networks[J].IEEE Geoscience and Remote Sensing Letters, 2016, 13(2): 137–141. doi:  10.1109/LGRS.2015.2498644
    [21] Chen Jie-hong, Zhang Bo, and Wang Chao. Backscattering feature analysis and recognition of civilian aircraft in TerraSAR-X images[J].IEEE Geoscience and Remote Sensing Letters, 2015, 12(4): 796–800. doi:  10.1109/LGRS.2014.2362845
    [22] Srivastava N, Hinton G, Krizhevsky A, et al. Dropout: A simple way to prevent neural networks from overfitting[J].The Journal of Machine Learning Research, 2014, 15(1): 1929–1958.
    [23] Glorot X, Bordes A, and Bengio Y. Deep sparse rectifier neural networks[C]. 14th International Conference on Artificial Intelligence and Statistics, Fort Lauderdale, FL, USA, 2011: 315–323.
    [24] Qian Ning. On the momentum term in gradient descent learning algorithms[J].Neural Networks, 1999, 12(1): 145–151. doi:  10.1016/S0893-6080(98)00116-6
  • [1] 罗迎, 倪嘉成, 张群.  基于“数据驱动+智能学习”的合成孔径雷达学习成像 . 雷达学报, 2020, 9(1): 107-122. doi: 10.12000/JR19103
    [2] 郭倩, 王海鹏, 徐丰.  SAR图像飞机目标检测识别进展 . 雷达学报, 2020, 9(3): 497-513. doi: 10.12000/JR20020
    [3] 张晓玲, 张天文, 师君, 韦顺军.  基于深度分离卷积神经网络的高速高精度SAR舰船检测 . 雷达学报, 2019, 8(6): 841-851. doi: 10.12000/JR19111
    [4] 苏宁远, 陈小龙, 关键, 牟效乾, 刘宁波.  基于卷积神经网络的海上微动目标检测与分类方法 . 雷达学报, 2018, 7(5): 565-574. doi: 10.12000/JR18077
    [5] 王岩飞, 刘畅, 詹学丽, 韩松.  无人机载合成孔径雷达系统技术与应用 . 雷达学报, 2016, 5(4): 333-349. doi: 10.12000/JR16089
    [6] 詹学丽, 王岩飞, 王超, 刘碧丹.  一种基于脉冲压缩的机载条带SAR重叠子孔径实时成像算法 . 雷达学报, 2015, 4(2): 199-208. doi: 10.12000/JR14126
    [7] 丁振宇, 谭维贤, 王彦平, 洪文, 吴一戎.  基于波数域子孔径的机载三维SAR偏航角运动误差补偿 . 雷达学报, 2015, 4(4): 467-473. doi: 10.12000/JR15016
    [8] 赵雨露, 张群英, 李超, 纪奕才, 方广有.  视频合成孔径雷达振动误差分析及补偿方案研究 . 雷达学报, 2015, 4(2): 230-239. doi: 10.12000/JR14153
    [9] 詹学丽, 王岩飞, 王超, 李和平.  一种用于合成孔径雷达的数字去斜方法 . 雷达学报, 2015, 4(4): 474-480. doi: 10.12000/JR14117
    [10] 王肖洋, 高贵, 周石琳, 邹焕新.  一种基于双通道DPCA 的SAR-GMTI 杂波抑制方法 . 雷达学报, 2014, 3(2): 241-248. doi: 10.3724/SP.J.1300.2014.13121
    [11] 秦记东, 赖涛, 赵拥军, 黄洁, 白冰.  基于通道误差校准的空域导向矢量多通道SAR-GMTI 杂波抑制方法 . 雷达学报, 2014, 3(1): 70-77. doi: 10.3724/SP.J.1300.2014.130118
    [12] 杨震, 杨汝良.  HJ-1-C 卫星SAR 系统的内定标 . 雷达学报, 2014, 3(3): 314-319. doi: 10.3724/SP.J.1300.2014.14028
    [13] 李学仕, 孙光才, 邵鹏, 吴玉峰, 邢孟道.  基于数字阵列雷达的同时多模式SAR 成像体制研究 . 雷达学报, 2014, 3(4): 480-489. doi: 10.3724/SP.J.1300.2014.13113
    [14] 李海英, 张珊珊, 李世强, 张华春.  环境一号C 卫星合成孔径雷达相干性分析 . 雷达学报, 2014, 3(3): 320-325. doi: 10.3724/SP.J.1300.2014.13060
    [15] 禹卫东, 杨汝良, 邓云凯, 赵凤军, 雷宏.  HJ-1-C 卫星合成孔径雷达载荷的设计与实现 . 雷达学报, 2014, 3(3): 256-265. doi: 10.3724/SP.J.1300.2014.14020
    [16] 贾丽, 贾鑫, 许小剑, 何永华.  机场场景SAR原始数据模拟 . 雷达学报, 2014, 3(5): 565-573. doi: 10.3724/SP.J.1300.2014.14071
    [17] 种劲松, 周晓中.  合成孔径雷达图像海洋内波探测研究综述 . 雷达学报, 2013, 2(4): 406-421. doi: 10.3724/SP.J.1300.2013.13012
    [18] 汪丙南, 向茂生.  地球同步轨道圆迹SAR 三维分辨特性分析 . 雷达学报, 2012, 1(3): 314-322. doi: 10.3724/SP.J.1300.2012.20044
    [19] 邓云凯, 赵凤军, 王宇.  星载SAR技术的发展趋势及应用浅析 . 雷达学报, 2012, 1(1): 1-10. doi: 10.3724/SP.J.1300.2012.20015
    [20] 朱敏慧.  SAR 的海洋动力探测研究及应用浅析 . 雷达学报, 2012, 1(4): 342-352. doi: 10.3724/SP.J.1300.2012.20088
  • 加载中
图(9) / 表 (7)
计量
  • 文章访问数:  2847
  • HTML全文浏览量:  668
  • PDF下载量:  1420
  • 被引次数: 0
出版历程
  • 收稿日期:  2017-01-20
  • 修回日期:  2017-03-05
  • 网络出版日期:  2017-05-02
  • 刊出日期:  2017-04-28

基于卷积神经网络的高分辨率SAR图像飞机目标检测方法

doi: 10.12000/JR17009
    基金项目:  国家自然科学基金青年基金(41501485)
    作者简介:

    王思雨(1992–),女,山西人,中国科学院电子学研究所硕士研究生,研究方向为SAR图像飞机目标检测识别。E-mail: siyuwang92@163.com

    高 鑫(1966–),男,辽宁人,北京师范大学理学博士,现任中国科学院电子学研究所研究员,研究方向为SAR场景分类、目标检测识别、解译标注。E-mail: gaxi@mail.ie.ac.cn

    孙   皓(1984–),男,山东人,中国科学院大学工学博士,现任中国科学院电子学研究所副研究员,研究方向为遥感图像理解。E-mail: sun.010@163.com

    郑歆慰(1987–),男,福建人,中国科学院大学工学博士,现任中国科学院电子学研究所助理研究员,研究方向为大规模遥感图像解译。E-mail: zxw_1020@163.com

    孙   显(1981–),男,浙江人,中国科学院大学工学博士,现任中国科学院电子学研究所副研究员,研究方向为计算机视觉与遥感图像理解、地理空间大数据解译。E-mail: sunxian@mail.ie.ac.cn

    通讯作者: 高鑫   gaxi@mail.ie.ac.cn
  • 中图分类号: TP753

摘要: 传统的合成孔径雷达(Synthetic Aperture Radar, SAR)图像飞机检测方法一般利用像素对比度信息进行图像分割,从而提取待定目标。然而这些方法只考虑了像素亮度信息而忽视了目标的结构特征,进而导致目标的不精确定位和大量虚警的产生。基于上述问题,该文构建了一个全新的SAR图像飞机目标检测算法框架。首先,针对大场景SAR图像应用需求,提出了改进的显著性预检测方法,从而实现SAR图像候选飞机目标多尺度快速粗定位;然后,设计并调优了含4个权重层的卷积神经网络(Convolutional Neural Network, CNN),实现对候选目标的精确检测和鉴别;最后,因为SAR数据量有限、易导致过拟合,提出4种适用于SAR图像的数据增强方法,具体包括平移、斑点加噪、对比度增强和小角度旋转。实验证实该飞机检测算法在高分辨率TerraSAR-X数据集上效果显著,与传统的SAR飞机检测方法相比,该方法检测效率更高,泛化能力更强。

English Abstract

王思雨, 高鑫, 孙皓, 郑歆慰, 孙显. 基于卷积神经网络的高分辨率SAR图像飞机目标检测方法[J]. 雷达学报, 2017, 6(2): 195-203. doi: 10.12000/JR17009
引用本文: 王思雨, 高鑫, 孙皓, 郑歆慰, 孙显. 基于卷积神经网络的高分辨率SAR图像飞机目标检测方法[J]. 雷达学报, 2017, 6(2): 195-203. doi: 10.12000/JR17009
Wang Siyu, Gao Xin, Sun Hao, Zheng Xinwei, Sun Xian. An Aircraft Detection Method Based on Convolutional Neural Networks in High-Resolution SAR Images[J]. Journal of Radars, 2017, 6(2): 195-203. doi: 10.12000/JR17009
Citation: Wang Siyu, Gao Xin, Sun Hao, Zheng Xinwei, Sun Xian. An Aircraft Detection Method Based on Convolutional Neural Networks in High-Resolution SAR Images[J]. Journal of Radars, 2017, 6(2): 195-203. doi: 10.12000/JR17009
    • 合成孔径雷达(Synthetic Aperture Radar, SAR)可以不受气候、天气、光照等条件影响,获得高分辨率雷达图像。与光学传感器相比,SAR在侦察、监视和跟踪等军事领域更具优势。然而SAR图像成像机理较为复杂,目标由较少的散射点组成而没有清晰轮廓,图像存在斑点噪声,这使得SAR飞机检测困难重重。

      传统的SAR图像目标检测方法可以分为3类[1]。第1种基于单特征的方法通常利用雷达散射截面积(Radar Cross Section, RCS)信息挑选对比度较亮的部分作为候选目标。其中大多数检测方法使用恒虚警率(Constant False Alarm Rate, CFAR)算法做图像分割和候选目标定位。CFAR包含多种衍生算法,包括CA-CFAR (Cell-average CFAR)[2], SO-CFAR (Smallest of CFAR), GO-CFAR (Greatest of CFAR)[3], OS-CFAR (Order-statistic CFAR)[4]和VI-CFAR(Variability Index CFAR)[5]。CFAR具有恒虚警率和自适应阈值的特性[68]。然而CFAR检测器只考虑像素对比度而忽略了目标的结构信息,从而导致了目标的不精确定位。第2种是基于多特征的方法。多种特征如几何结构[9],扩展分形(Extended Fractal, EF)[10],小波系数[11]等可以融合起来检测目标。文献[12]中作者将梯度纹理显著图与CFAR相结合来检测停机坪上的飞机目标。综合而言,设计特征是复杂且耗时的,并且同种特征组合不一定适用于所有的场景。第3种是基于先验的方法,先验知识如成像参数、经纬度信息等需要协同加入检测流程[13]。这类方法较复杂且实际中应用较少。

      随着人工智能的发展,机器学习被引入了SAR目标检测领域。支持向量机(Support Vector Machine, SVM)[14]和AdaBoost(Adaptive Boosting)[15]等常用方法在MSTAR(Moving and Stationary Target Acquisition and Recognition)[16]数据集上表现良好。虽然这些方法比传统方法性能有所提升,但它们仅适用于小样本情况,设计具有高泛化能力的特征难度较高。卷积神经网络 (Convolutional Neural Network, CNN)[17]可以自动学习结构化特征并取得较好的性能。文献[18,19]中作者使用CNN对MSTAR数据集进行分类并取得较好的效果。

      本文构建了一个完整的SAR图像飞机目标检测框架。总体流程如图1所示,本文的主要工作如下。首先,提出了一种改进的显著性预检测方法,实现在大场景中多尺度粗略快速地搜索候选目标。与滑动窗方法相比,该方法有效提升了检测效率并实现了多尺度定位。然后,设计并调校了适用于SAR图像的CNN模型,实现对预检测候选目标的精确检测,实验证实本文的CNN检测精度高于其他常用的检测方法。此外,为了应对SAR数据量有限的问题,提出了4种适用于SAR图像的数据增强方法,包括平移、加噪、对比度增强和小角度旋转。实验结果表明,该检测框架在TerraSAR-X数据集上有效减小了过拟合现象的影响,显著提升了飞机目标的检测率。

      图  1  SAR飞机检测框架的整体流程图

      Figure 1.  Overall flowchart of our SAR aircraft detection framework

    • 在预检测阶段,滑动窗方法通常用于获取可能的候选目标。该方法机械地在待检测图像上,按预设步长和窗口大小,从左向右、从上向下滑动并裁切候选样本。然而,滑动窗法计算量很大,在大场景遥感图像中预检测效率较低。

      为了解决上述问题,分别在训练和测试阶段前引入了一种基于显著性的预检测方法[20],以便快速粗略地定位候选目标。文献[20]中作者首先计算每个像素的显著值并得到整幅图像的显著图,飞机切片的显著图如图2所示。相同大小的初始方形窗口被不重不漏地覆盖在显著图上。然后,迭代计算每个窗口的几何中心pc并将窗口中心移动到新的pc,直到pcpc之间的距离小于预设值 $\delta $。迭代结束后,所有飞机目标都被窗口框定,图中还存在一些不包含真实目标的虚警。

      图  2  显著性变换

      Figure 2.  Saliency transformation

      该方法的缺点是用固定尺寸的窗口检测不同尺寸的飞机。考虑到停机坪区域停放不同尺寸飞机的情况,本文在原有算法的基础上加入多尺度预检测模块。首先不同大小窗口的单尺度预检测分别进行,然后是第1次窗口融合。融合采用非极大值抑制算法(Non-Maximum Suppression, NMS),将包含同一目标的不同窗口融合为一个。当所有单尺度预检测结束后,将进行第2次窗口融合。

      改进的显著性预检测方法的简要流程图如图3所示。所有选中的切片将被保存为候选目标图像以备后续CNN的精确检测。与滑动窗方法相比,该方法在大尺度SAR图像检测中更为高效。此外,改进后的方法因二次窗口融合,虚警率显著降低,且可以精确地定位不同尺寸的飞机目标。

      图  3  改进的显著性预检测方法流程图

      Figure 3.  Flowchart of improved saliency-based pre-detection method

    • 深度学习在训练集较大时能够取得较好效果,但与光学图像相比SAR图像相对较少,易导致严重的过拟合。不同于常用的数据增强方法,由于SAR图像与光学图像成像原理差别较大,需要引入新的数据增强方法。本文提出适用于SAR图像的4种数据增强方法来扩充已标注数据集。4种数据增强方法如下所示。

    • 在目标不超过图像边界的条件下,对原始图像执行平移操作。假设原始图像 $P \in {{\rm{R}}^{m \times n}}$大小为m×n,则平移后的图像 $P' \in {{\rm{R}}^{m \times n}}$可以表示为:

      $${P'\!\!_{i,j}} = {P_{i + x,j + y}}$$ (1)

      其中,(x, y)是位移尺度,(i, j)是平移后坐标。图4(a)图4(b)给出了平移前后的目标示例。

    • 由于特殊的成像特性,SAR图像总是带有斑点噪声。斑点噪声是白色散斑状的乘性噪声。加噪后的图像 $P' \in {{\rm{R}}^{m \times n}}$可以被表示为:

      $$P' = P + N \times P$$ (2)

      其中,P表示原始图像,N表示斑点噪声。N为均值为0方差为v的均匀分布的随机噪声。由于加噪越严重图像越模糊,必须确保噪声的强度低于预设值。图4给出了基于原始图像图4(a)的加噪示例图4(c)

    • 同一地点拍摄的SAR图像可能有不同的亮度。因此本文利用像素对比度信息进行数据增强。对比度增强可以通过非线性变换来实现,具体变换可以表示如下:

      $$P' = P + {\rm{k}}({{I}} - P) \times P$$ (3)

      其中,P表示原始图像,P′ 表示对比度增强后的图像。k是用户预定义的可调节因子,其值在0和1之间。 I 是与P具有相同维数的单位矩阵。此外,PP ′ 范围均为(0, 1)。图4(a)图4(d)给出了对比度增强的示例。

    • 雷达散射特性随着物体和传感器之间相对姿态的变化而变化。然而文献[21]中作者证明了飞机目标后向散射特性的位置和强度在至少5°内是旋转不变的。旋转坐标与原始坐标的映射关系可以表示为:

      $$\left\{\!\!\!\! {\begin{array}{*{20}{c}}{X' = X\cos \theta + Y\sin \theta }\\{Y' = - X\sin \theta + Y\cos \theta }\end{array}} \right.$$ (4)

      其中, $(X',Y')$和 $(X,Y\;\,)$分别表示旋转后的坐标和原始坐标。 $\theta $表示旋转角度,赋值为逆时针5°以保持旋转不变性。图4(a)图4(e)给出了小角度旋转变换示例。

      图  4  数据增强示例

      Figure 4.  Demonstration of data augmentation

    • 基于LeNet-5网络,改进后的网络更适用于SAR图像飞机检测。由于SAR数据较少,大量的实验表明网络超过6层会发生过拟合。如图5所示,本文的CNN网络由4个可训练参数层组成。为了减小过拟合的影响,引入了dropout方法[22]。此外,用修正线性单元(Rectified Linear Units, ReLU)在实践中能很好地应对饱和问题[23],将其代替sigmoid函数。本文基于典型的随机梯度下降法,引入改进算法如动量法[24]以最小化损失函数。具体实现细节如下。

    • 在卷积层中,将输入X和一组滤波器W进行卷积,然后与偏置b相加。W表示可训练滤波器,b表示可训练偏差。最后,将上述结果传递给非线性激活函数f。公式如下:

      $${Y_{i'j'}} = f\left({b_{k'}} + \mathop \sum \limits_{i = 1}^m \mathop \sum \limits_{j = 1}^n {W_{ijk'}}{X_{i' + i,j' + j}}\right)$$ (5)

      其中, $f( \cdot )$是修正线性单元(ReLU),函数由式(6)给出:

      $$f({x_{ij}}) = \max \left\{ {0,{x_{ij}}} \right\}$$ (6)

      ReLU缩短了训练时间,并且在没有无监督预训练时效果较好[23]

    • Max-pooling在卷积层之后执行降采样操作。Max-pooling层计算出m×n局部切片内区域的最大值,公式如下:

      $${Y_{i'j'}} = \mathop {\max }\limits_{1 < i < m,1 < j < n} {X_{i' + i,j' + j}}$$ (7)

      其中,(m, n)表示局部区域的大小,Y表示pooling操作的输出。

    • Softmax分类器在输出层后对切片进行二分类。它求出每类的判别概率并选择最大值作为最终输出。Softmax函数公式如下:

      $${Y_i} = {{\exp \left( {{X_i}} \right)} \mathord{\left/ {\vphantom {{\exp \left( {{X_i}} \right)} {\sum\limits_{j = 1}^k {\exp } \left( {{X_j}} \right)}}} \right. } {\sum\limits_{j = 1}^k {\exp } \left( {{X_j}} \right)}}$$ (8)

      其中,Xi 表示最后隐藏层的输出,k表示类的数量,Yi 表示类i的判别概率。

    • 本文CNN的结构如图5所示,它由3个卷积层和3个pooling层组成。第1个卷积层的卷积核大小为5×5,并有32个输出图。相似地,第2个卷积层的卷积核尺寸也是5×5且有64个输出图。最后一个卷积层有128个输出图,卷积核大小为6×6。每个卷积层后连着2×2的Max-pooling层。输入图像切片的大小为120×120。它们在第1个卷积层后变为116×116,在第1个pooling层之后变为58×58。循环往复,Softmax层前输出两个大小为11×11的特征图。表1列出了CNN的具体结构数据。网络训练时间约30 min,测试时间约几秒钟。

      图  5  本文CNN的网络结构设计

      Figure 5.  Structure of our CNN

      表 1  CNN参数

      Table 1.  Parameters of our CNN

      层结构 核结构 输出尺寸
      输入层 120×120
      C1 32@5×5 116×116
      S1 2×2 58×58
      C2 64@5×5 54×54
      S2 2×2 27×27
      C3 128@6×6 22×22
      S3 2×2 11×11
    • 本文使用的数据集是高分辨率TerraSAR-X卫星数据。所有数据含30张原始图像,大小约20000×20000,覆盖几个常见机场,分辨率为0.5 m×0.5 m。本文数据集包含多种类型、多种朝向的飞机。首先,基于原始图像手动标记飞机目标并保存真值文件。在手工标注中我们参考了SAR解译人员的意见,以保证样本真值的可靠性。然后将切片分为两类:1000个目标和16000个非目标。之后,随机地将样本按照4:1的比例分为训练集和测试集。图6给出了训练集的示例。可以看到,正样本包含了各种形态的飞机,负样本包含了各种复杂场景。

      图  6  训练集示例

      Figure 6.  Demonstration of training set

    • 在大尺度遥感图像中,滑动窗方法一般用于候选目标预检测。显著性预检测方法的性能比滑动窗方法更好。显著性预检测方法可以快速定位候选目标并显著减少虚警。通过比较两种方法后发现,给定一个大小为8000×8000的SAR图像,显著性预检测方法在42.95 s内选出1489个候选目标。相同情况下,滑动窗口方法在80.06 s内筛选出611524个候选目标。

      在原始显著性预检测方法的基础上,本文提出了多尺度算法来检测不同尺寸的飞机目标。为了适应在未知场景中不同尺寸飞机的情况,对原始算法进行了基于多尺度的改进。表2表示了不同预检测方法在大小为3708×3951的SAR图像上的性能比较。Selective Search方法采用图像分割和层次算法,虽能适应不同尺度,但处理流程复杂、运算速度较慢,虚警较多,为535个,框定的飞机目标不够完整,检测框尺寸波动过于明显;显著性预检测方法计算快速,但漏检2架飞机,虚警266个;改进后的显著性预检测方法可以搜索出所有真实目标,虚警相对原始显著性方法减少58个,检测框长宽比合适,范围可以人工设置,不会出现极小或极大的窗口。Selective search方法、原始显著性预检测方法和改进后的预检测方法的实验效果示例如图7所示,可以看到改进后的显著性方法预检测性能更好。

      表 2  不同预检测方法性能比较

      Table 2.  The performance of different pre-detection methods

      方法 预检测 正确率(%) 候选目标 个数 预检测 时间(s)
      Selective search 100 569 47.50
      原始显著性预检测 94.12 298 6.07
      改进的显著性预检测 100 242 10.67

      图  7  Selective search方法、原始显著性预检测方法和改进后的预检测方法

      Figure 7.  Comparison among the Selective search method, the basic saliency-based method and improved saliency-based method

    • 在数据增强阶段,800个原始训练正样本首先按照0.01的方差斑点加噪,然后顺时针旋转5°,再向上平移5个像素,最后以k=0.5对比度增强。按这种方式,原始的训练正样本扩展16倍至12800个,同样地,原始训练负样本由200个扩展到3200个。

      为了比较不同数据增强方法,本文对每一种增强方法做了单独实验,同时与4种增强方法合用进行对比,实验结果如表3所示。

      表 3  不同数据增强方法的检测正确率

      Table 3.  Accuracy rates of CNN with different augmentation methods

      操作 检测正确率(%)
      原始 86.33
      平移 92.01
      斑点加噪 93.74
      对比度增强 93.64
      小角度旋转 92.76
      综合4种增强方法 96.36

      没有施加任何数据增强方法时,CNN的检测正确率为86.33%。分析可得:每种数据增强方法对最后检测正确率的提升都有作用,斑点加噪的提升作用更大。当把4种增强方法结合起来时,检测正确率达到了96.36%,超过了单独使用每种数据增强方法的性能。

    • 在训练前,将具有不同尺寸的候选目标调整为统一尺寸120×120。本文做了大量实验以获取最佳参数。当基本学习率为0.01, momentum为0.9, batchsize大小为50,迭代次数为5000时检测性能最佳。训练集包含25600个样本,测试集包含6400个样本。CNN部分的实验在具有Tesla k40M GPU和251 GB存储器的CAFFE框架上实现。实验的其余部分在具有32 GB存储器的3.1 GHz CPU上实现。

      表4表5表6分别探究了不同网络结构、不同卷积核个数和不同卷积核大小对检测性能的影响。实验发现,分别改变网络层数、卷积核个数、卷积核大小后检测正确率均低于本文方法的性能指标。

      表 4  不同网络层数的检测正确率比较

      Table 4.  Accuracy rates of CNN with different number of layers

      网络结构 检测正确率(%)
      C1: 32@5×5, S1, C2: 64@5×5, S2, C3: 128@6×6, S3, C4: 256@6×6, S4 95.99
      C1: 32@5×5, S1, C2: 64@5×5, S2, C3: 128@6×6, S3 (本文) 96.36
      C1: 32@5×5, S1, C2: 64@5×5, S2 93.70

      表 5  不同卷积核个数的检测正确率比较

      Table 5.  Accuracy rates of CNN with different number of kernels

      网络结构 检测正确率(%)
      C1: 16@5×5, S1, C2: 32@5×5, S2, C3: 64@6×6, S3 93.93
      C1: 32@5×5, S1, C2: 64@5×5, S2, C3: 128@6×6, S3 (本文) 96.36
      C1: 64@5×5, S1, C2: 128@5×5, S2, C3: 256@6×6, S3 95.05

      表 6  不同卷积核大小的检测正确率比较

      Table 6.  Accuracy rates of CNN with different size of kernels

      网络结构 检测正确率(%)
      C1: 32@3×3, S1, C2: 64@3×3, S2, C3: 128@3×3, S3 95.96
      C1: 32@5×5, S1, C2: 64@5×5, S2, C3: 128@6×6, S3 (本文) 96.36
      C1: 32@5×5, S1, C2: 64@5×5, S2, C3: 128@5×5, S3 96.16

      为了验证方法的高效性,将本文的CNN网络与在SAR图像处理中广泛使用的其它机器学习方法(例如SVM和AdaBoost)作了对比。SVM使用径向基函数(Radial Basis Function, RBF)作为核函数,AdaBoost使用决策树作为弱分类器。方向梯度直方图(Histogram of Oriented Gradient, HOG)加SVM方法也加入了比较。表7列出了各种常用方法的检测正确率。实验证实,本文CNN的检测正确率达到96.36%,并且优于其他常用的SAR飞机检测方法。

      表 7  不同方法在同一数据集上的平均检测率

      Table 7.  Average detection rates of different methods on the same dataset

      方法 检测正确率(%)
      CNN 96.36
      SVM 92.64
      HOG+SVM 93.79
      AdaBoost 92.28

      不同方法的ROC曲线如图8所示,可以看到我们的CNN方法与横轴所围面积最大,检测性能最好,其余由高到底依次是HOG+SVM, SVM和AdaBoost方法。

      图  8  不同方法的ROC曲线图

      Figure 8.  ROC curves of different methods

      当把上述所有算法合为一体时,最终得到SAR图像飞机目标的完整检测算法框架。图9表示了该检测方法在某停机坪区域的检测结果。在这样的复杂场景下,虽然存在少量虚警但并无漏警。总之,本文的飞机检测框架在大场景SAR图像中可以取得较为理想的效果。

      图  9  本文框架的检测结果

      Figure 9.  Detection result of our framework

    • 本文构建了一个完整的SAR飞机目标检测算法框架。首先,提出了一种改进的显著性预检测方法,实现在大规模SAR场景中粗略快速地定位候选飞机目标。实验证实该方法与滑动窗方法相比更为高效,改进后多尺度的加入提升了对待测场景的适应性。然后,设计并调优了含4个权重层的CNN网络,实现对候选目标的精确检测并得到最终的检测结果。此外,为了丰富训练集并防止过拟合,提出了4种数据增强方法。具体包括平移、斑点加噪、对比度增强和小角度旋转。实验结果证实,本文的飞机检测算法框架取得了96.36%的检测正确率,并优于其他常用的SAR飞机检测方法。

参考文献 (24)

目录

    /

    返回文章
    返回