基于深度形状先验的高分辨率SAR飞机目标重建

窦方正 刁文辉 孙显 张跃 付琨

窦方正, 刁文辉, 孙显, 张跃, 付琨. 基于深度形状先验的高分辨率SAR飞机目标重建[J]. 雷达学报, 2017, 6(5): 503-513. doi: 10.12000/JR17047
引用本文: 窦方正, 刁文辉, 孙显, 张跃, 付琨. 基于深度形状先验的高分辨率SAR飞机目标重建[J]. 雷达学报, 2017, 6(5): 503-513. doi: 10.12000/JR17047
Dou Fangzheng, Diao Wenhui, Sun Xian, Zhang Yue, Fu Kun. Aircraft Reconstruction in High Resolution SAR Images Using Deep Shape Prior[J]. Journal of Radars, 2017, 6(5): 503-513. doi: 10.12000/JR17047
Citation: Dou Fangzheng, Diao Wenhui, Sun Xian, Zhang Yue, Fu Kun. Aircraft Reconstruction in High Resolution SAR Images Using Deep Shape Prior[J]. Journal of Radars, 2017, 6(5): 503-513. doi: 10.12000/JR17047

基于深度形状先验的高分辨率SAR飞机目标重建

doi: 10.12000/JR17047
基金项目: 国家自然科学基金重点项目(61331017)
详细信息
    作者简介:

    窦方正(1990–),女,山东淄博人,中国科学院电子学研究所博士研究生。研究方向为遥感图像解译、机器学习与深度学习。E-mail: doufangzheng@126.com

    刁文辉(1988–),男,山东莱芜人,中国科学院电子学研究所博士毕业,现为中国科学院电子学研究所助理研究员。研究方向为遥感图像解译、机器学习与深度学习、计算机视觉。E-mail: whdiao@mail.ie.ac.cn

    孙   显(1982–),男,浙江绍兴人,中国科学院电子学研究所博士毕业,现为中国科学院电子学研究所副研究员。研究方向为遥感图像解译、机器学习与深度学习、计算机视觉;参加工作以来,一直从事高分辨率遥感图像理解方面的前沿技术研究,作为项目负责人主持国家自然科学基金1项,高分青年创新基金1项,以及SAR目标检测识别技术相关的国防预研课题3项。作为技术负责人组织国家高分重大专项应用基础支撑技术测试评估总体技术、海上目标检测识别技术测试评估技术等项目的开展,并主持撰写国家高分重大专项测试评估方面2项标准规范。E-mail: sunxian@mail.ie.ac.cn

    张   跃(1990–),男,河南许昌人,中国科学院电子学研究所博士研究生。研究方向为遥感图像解译、机器学习与深度学习、计算机视觉。E-mail: zhangyuereal@163.com

    付   琨(1974–),男,湖北襄阳人,中国科学院电子学研究所博士毕业,现为中国科学院电子学研究所研究员。研究方向为计算机视觉与遥感图像理解,地理空间信息挖掘与可视化;长期从事我国航天/航空遥感地面处理和应用系统技术相关领域的研究工作,多次担任中国遥感卫星系列地面系统的型号总师/副总师、学术带头人,承担或参与了10多项国家重大遥感地面系统型号建设任务,包括我国第1套SAR卫星地面系统、第1套多星多传感器一体化地面应用系统、第1套面向全国分布式多中心的地面系统等,此外,获得国家各类基金、863、预研项目支持20多项,参与973项目2项。E-mail: kunfuiecas@gmail.com

    通讯作者:

    窦方正   doufangzheng@126.com

  • 中图分类号: TN957.52

Aircraft Reconstruction in High Resolution SAR Images Using Deep Shape Prior

Funds: The National Natural Science Foundation of China (61331017)
  • 摘要: 目标重建是合成孔径雷达图像分析中的重要研究内容。该文提出了一种新的基于深度形状先验的高分辨率合成孔径雷达图像飞机目标重建方法。该方法分为两个阶段,在形状先验建模阶段,利用产生式的深度玻尔兹曼机模型进行深度形状先验建模;在目标重建阶段,提出了一种新的目标重建框架,该框架将深度形状先验作为约束融入重建过程中。为了解决目标旋转问题,该文提出了一种新的姿态估计方法获取目标的候选姿态,避免了姿态的穷举搜索。除此之外,该文构造了融合散射区域项和形状先验项的能量函数,并利用迭代优化算法进行函数优化,从而获取目标重建结果。该文提出的方法框架是首次利用深度形状先验在高分辨率合成孔径雷达图像中实现复杂目标的重建。在TerraSAR-X数据集上的实验结果表明,该文提出的方法具有较高的重建精度和鲁棒性。
  • 图  1  TerraSAR-X数据集部分切片展示

    Figure  1.  Part of the TerraSAR-X data set

    图  2  8种特定角度下10种不同种类的飞机目标黑白二值模板(从上到下角度依次是0°, 315°, 270°, 225°, 180°, 135°, 90°和45°)

    Figure  2.  Original black and white binary templates of ten types of aircrafts in 8 different poses (Poses, from top to bottom, are 0°, 315°, 270°, 225°, 180°, 135°, 90° and 45°)

    图  3  形状对齐结果(第1行和第2行分别表示0°姿态下原始形状模板和形状对齐后的结果图像)

    Figure  3.  Results of shape alignment (The first and second rows represent the original templates and the results of shape alignment respectively)

    图  4  3层深度玻尔兹曼机网络结构

    Figure  4.  The structure of three-layered deep Boltzmann machine

    图  5  本文方法的流程图

    Figure  5.  The framework of the proposed aircraft reconstruction method

    图  6  姿态估计结果

    Figure  6.  Results of the pose estimation

    图  7  不同目标重建方法的结果对比(第1行与第2行分别对应提取目标区域的轮廓图和提取到的目标区域图)

    Figure  7.  Comparison of reconstruction results of different methods (The first and the second rows correspond to the contour of the extracted aircraft area and the extracted aircraft area)

    图  8  目标重建结果

    Figure  8.  Reconstruction results

    表  1  算法1:目标重建中的优化算法

    Table  1.   The optimization algorithm in object reconstruction

    输入:通过预训练和候选姿态选择得到的深度形状先验参数,融合变换因子 ${\rm{\{ }}{{W}^1},{{W}^2},{{a}^1},{{a}^2},{b}{\rm{\} }}$,姿态估计的输出图像u
     步骤1 初始化:q为形状模板均值, ${{h}^{\bf{2}}}{\bf{ = 0}}$, ${η} = \left\{ {0.2{\rm{e}} - 5,\;} \right.$ $\left. {3{\rm{e}} - 5,\;3{\rm{e}} - 5,\;0.01{\rm{e}} - 5} \right\}$, $φ = \left\{ {{x_0},{y_0},{h_{{\rm{init}}}},0} \right\}$, ${E^{\rm new}} = 0$, $\tau = 0.1$, ${{I}_1}$, ${{I}_2}$。
     步骤2 优化:重复(a)到(c)直到 $|{E^{\rm new}} - E_1^{\rm old}| < \varepsilon $或者达到最大迭代次数 ${{I}_1}$:
      (a) 计算 ${W}_φ^1$,并令 $E_1^{\rm old} = {E^{\rm ew}}$;
      (b) 重复(i)到(v)直到 $|{E^{\rm new}} - E_1^{\rm old}| < \varepsilon $或者达到最大迭代次数 ${{I}_2}$:
       (i) $E_2^{\rm old} = {E^{\rm new}}$,
       (ii) ${h^1} = \sigma {\rm{ }}{\left( {{q^{\rm{T}}}W_\varphi ^1 + {W^2}{h^2} + {a^1}} \right)^{\rm{T}}}$,
       (iii) $q = \arg \min |\nabla q{|_{\rm{e}}} + \alpha {q^{\rm{T}}}s - \beta ({q^{\rm{T}}}W_\varphi ^1{h^1} + {q^{\rm{T}}}b)$,
       (iv) ${h^2} = \sigma \left( {{h^{{1^{\rm{T}}}}}{W^2} + {a^2}} \right)$,
       (v) 根据式(4)计算 ${E^{\rm new}}$;
      (c) 梯度下降法更新 $φ $:
       (i) 利用下面公式计算 $\nabla φ = \left\{ {\nabla x,\nabla y,\nabla h,\nabla \theta } \right\}$:
        $\begin{array}{l}\nabla x = \beta {{q}^{\rm T}}{{W}_{x}}{{h}^{{1^{\rm T}}}},\nabla y = \beta {{q}^{\rm T}}{{W}_{\!\! {y}}}{{h}^{{1^{\rm T}}}}\\\nabla h{{ = }}{W}_{x}^{\rm T}({x}{π} \cos \theta - {y}\sin \theta ) + {W}_{y}^{\rm T}({x}\sin \theta + {y}\cos \theta )\\\nabla \theta {{ = }}h\left\{ {{W}_{x}^{\rm T}( - {x}\sin \theta {\rm{ - }}{y}\cos \theta ) + {W}_{y}^{\rm T}({x}\cos \theta - {y}\sin \theta )} \right\}\end{array}$
        $({\rm ii}) \ {\text {计算}}φ = φ - {η} \nabla φ {\text{。}}$
    输出:最新的形状q
    下载: 导出CSV

    表  2  算法:算法1步骤2(b)(iii)算法

    Table  2.   The algorithm for step 2(b)(iii) in Tab. 1

    输入:各变量值
     步骤1 初始化:设置参数 $\alpha $, $\beta $。
     步骤2 重复步骤(a)到(e)直到 $\parallel{{q}^{k + 1}} - {{q}^k}{\parallel^2} < \varepsilon $
      (a) 计算 ${{z}^k} = {(c_1^k - {u})^2} - {(c_2^k - {u})^2} - \beta ({W}_{\! φ}^{{1}}{{h}^{{1}}}{\bf{ + }}{b})$
      (b) 最优化 $({{q}^{k + 1}},{\overrightarrow {d} ^{k + 1}}) = \arg \min |\overrightarrow {d} {|_{\rm{e}}} + \alpha {{q}^{\rm T}}{{z}^k} + \frac{\lambda }{2}\parallel\overrightarrow {d} - \nabla {q} - {\overrightarrow {e} ^k}{\parallel^2}$
       (i) 最优化 ${{q}^{k + 1}} = \arg \min \alpha {{q}^{\rm T}}{{z}^k} + \frac{\lambda }{2}\parallel{\overrightarrow {d} ^k} - \nabla {q} - {\overrightarrow {e} ^k}{\parallel^2}$, ${{q}^{k + 1}} = {\rm GS}({{z}^k},{\overrightarrow {d} ^k},{\overrightarrow {e} ^k})$
       (ii) 最优化 ${\overrightarrow {d} ^{k + 1}} = \arg \min |\overrightarrow {d} | + \frac{\lambda }{2}\parallel\overrightarrow {d} - \nabla {{q}^{k + 1}} - {\overrightarrow {e} ^k}{\parallel^2}$ ${\overrightarrow {d} ^{k + 1}} = {\rm shrin}{{\rm k}_g}({\overrightarrow {e} ^k} + \nabla {{q}^{k + 1}},\lambda )$
      (c) 计算 ${\overrightarrow {e} ^{k + 1}} = {\overrightarrow {e} ^k} + \nabla {{q}^{k + 1}} - {\overrightarrow {d} ^{k + 1}}$
      (d) 计算 ${Ω}_{τ} ^{ k} = \{ {x}:{{q}^{k + 1}}({x}) > \tau \} $
      (e) 更新 $c_1^{k + 1} = \int_{{Ω} _\tau ^{\!\! k}} {{u}{\mathop{\rm d}\nolimits} {x}}, \ c_2^{k + 1} = \int_{{Ω} /{Ω}_\tau ^{\! k}} {{u}{\mathop{\rm d}\nolimits} {x}} $
    输出:最新的q
    下载: 导出CSV

    表  3  不同目标重建方法的性能比较

    Table  3.   Performance of different reconstruction methods

    方法 平均像素误分比(%)
    GraphCut方法 40.3
    SG-ACM 14.6
    去除形状项的本文方法 31.8
    本文方法 8.0
    下载: 导出CSV
  • [1] 邓云凯, 赵凤军, 王宇. 星载SAR技术的发展趋势及应用浅析[J]. 雷达学报, 2012, 1(1): 1–10. http://radars.ie.ac.cn/CN/abstract/abstract18.shtmlDeng Yunkai, Zhao Fengjun, and Wang Yu. Brief analysis on the development and application of spaceborne SAR[J]. Journal of Radars, 2012, 1(1): 1–10. http://radars.ie.ac.cn/CN/abstract/abstract18.shtml
    [2] Chen Jiehong, Zhang Bo, and Wang Chao. Backscattering feature analysis and recognition of civilian aircraft in TerraSAR-X images[J]. IEEE Geoscience and Remote Sensing Letters, 2015, 12(4): 796–800. doi:  10.1109/LGRS.2014.2362845
    [3] Chang Y L, Chiang C Y, and Chen K S. SAR image simulation with application to target recognition[J]. Progress in Electromagnetics Research, 2011, 119: 35–57. doi:  10.2528/PIER11061507
    [4] Tang Kan, Sun Xian, Sun Hao, et al.. A geometrical-based simulator for target recognition in high-resolution SAR images[J]. IEEE Geoscience and Remote Sensing Letters, 2012, 9(5): 958–962. doi:  10.1109/LGRS.2012.2187426
    [5] Zhang Yue, Sun Xian, Thiele A, et al.. Stochastic geometrical model and Monte Carlo optimization methods for building reconstruction from InSAR data[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2015, 108: 49–61. doi:  10.1016/j.isprsjprs.2015.06.004
    [6] 王思雨, 高鑫, 孙皓, 郑歆慰, 孙显. 基于卷积神经网络的高分辨率SAR图像飞机目标检测方法[J]. 雷达学报, 2017, 6(2):195-203. http://radars.ie.ac.cn/CN/abstract/abstract424.shtmlWang Siyu, Gao Xin, Sun Hao, et al. An aircraft detection method based on convolutional neural networks in high-resolution sar images[J]. Journal of Radars, 2017, 6(2): 195-203 http://radars.ie.ac.cn/CN/abstract/abstract424.shtml
    [7] 杜康宁, 邓云凯, 王宇, 李宁. 基于多层神经网络的中分辨SAR图像时间序列建筑区域提取[J]. 雷达学报, 2016, 5(4):410-418. http://radars.ie.ac.cn/CN/abstract/abstract364.shtmlDu Kangning, Deng Yunkai, Wang Yu, et al.. Medium Resolution SAR Image Time-series Built-up Area Extraction Based on Multilayer Neural Network[J]. Journal of Radars, 2016, 5(4): 410-418. http://radars.ie.ac.cn/CN/abstract/abstract364.shtml
    [8] 田壮壮, 占荣辉, 胡杰民, 张军. 基于卷积神经网络的SAR图像目标识别研究[J]. 雷达学报, 2016, 5(3):320-325. http://radars.ie.ac.cn/CN/abstract/abstract351.shtmlTian Zhuangzhuang, Zhan Ronghui, Hu Jiemin, et al.. SAR ATR Based on Convolutional Neural Network[J]. Journal of Radars, 2016, 5(3): 320-325. http://radars.ie.ac.cn/CN/abstract/abstract351.shtml
    [9] 徐丰, 王海鹏, 金亚秋. 深度学习在SAR目标识别与地物分类中的应用[J]. 雷达学报, 2017, 6(2):136-148. http://radars.ie.ac.cn/CN/abstract/abstract420.shtmlXu Feng, Wang Haipeng, Jin Yaqiu. Deep learning as applied in sar target recognition and terrain classification[J]. Journal of Radars, 2017, 6(2): 136-148. http://radars.ie.ac.cn/CN/abstract/abstract420.shtml
    [10] Salakhutdinov R and Hinton G. Deep Boltzmann machines[J]. Journal of Machine Learning Research, 2009, 5(2): 448–455.
    [11] Zhang Zhengdong, Liang Xiao, Ganesh A, et al.. TILT: Transform invariant low-rank textures[C]. Proceedings of Asian Conference on Computer Vision, Berlin, Heidelberg, 2010: 314–328.
    [12] Goldstein T, Bresson X, and Osher S. Geometric applications of the split bregman method: Segmentation and surface reconstruction[J]. Journal of Scientific Computing, 2010, 45(1): 272–293.
    [13] Eslami S M A, Heess N, Williams C K I, et al.. The shape boltzmann machine: A strong model of object shape[J]. International Journal of Computer Vision, 2014, 107(2): 155–176. doi:  10.1007/s11263-013-0669-1
    [14] Liu Ge, Sun Xian, Fu Kun, et al.. Interactive geospatial object extraction in high resolution remote sensing images using shape-based global minimization active contour model[J]. Pattern Recognition Letters, 2013, 34(10): 1186–1195. doi:  10.1016/j.patrec.2013.03.031
    [15] Chen Fei, Yu Huimin, Hu R, et al.. Deep learning shape priors for object segmentation[C]. Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, Portland, OR, USA, 2013: 1870–1877.
    [16] Kuttikkad S and Chellappa R. Non-gaussian CFAR techniques for target detection in high resolution SAR images[C]. Proceedings of IEEE International Conference on Image Processing, Austin, TX, USA, 1994: 910–914.
    [17] Cremers D, Schmidt F R, and Barthel F. Shape priors in variational image segmentation: Convexity, Lipschitz continuity and globally optimal solutions[C]. Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, Anchorage, AK, USA, 2008: 1–6.
    [18] Jones III G and Bhanu B. Recognizing articulated objects in SAR images[J]. Pattern Recognition, 2001, 34(2): 469–485. doi:  10.1016/S0031-3203(99)00218-6
    [19] Boykov Y Y and Jolly M P. Interactive graph cuts for optimal boundary & region segmentation of objects in N-D images[C]. Proceedings of IEEE International Conference on Computer Vision, Vancouver, BC, Canada, 2001: 105–112.
    [20] Wu Qichang, Diao Wenhui, Dou Fangzheng, et al.. Shape-based object extraction in high-resolution remote-sensing images using deep Boltzmann machine[J]. International Journal of Remote Sensing, 2016, 37(24): 6012–6022. doi:  10.1080/01431161.2016.1253897
  • [1] 郭倩, 王海鹏, 徐丰.  SAR图像飞机目标检测识别进展 . 雷达学报, 2020, 9(3): 497-513. doi: 10.12000/JR20020
    [2] 李萌, 刘畅.  基于特征复用的膨胀-残差网络的SAR图像超分辨重建 . 雷达学报, 2020, 9(2): 363-372. doi: 10.12000/JR19110
    [3] 李宁, 牛世林.  基于局部超分辨重建的高精度SAR图像水域分割方法 . 雷达学报, 2020, 9(1): 174-184. doi: 10.12000/JR19096
    [4] 孙豆, 路东伟, 邢世其, 杨潇, 李永祯, 王雪松.  基于稀疏重构的全极化SAR联合多维重建 . 雷达学报, 2020, 9(5): 865-877. doi: 10.12000/JR20092
    [5] 施天玥, 刘惠欣, 刘衍琦, 毛新华.  基于先验相位结构信息的双基SAR两维自聚焦算法 . 雷达学报, 2020, 9(): 1-11. doi: 10.12000/JR20048
    [6] 马琳, 潘宗序, 黄钟泠, 韩冰, 胡玉新, 周晓, 雷斌.  基于子孔径与全孔径特征学习的SAR多通道虚假目标鉴别 . 雷达学报, 2020, 9(): 1-14. doi: 10.12000/JR20106
    [7] 李晓峰, 张彪, 杨晓峰.  星载合成孔径雷达遥感海洋风场波浪场 . 雷达学报, 2020, 9(3): 425-443. doi: 10.12000/JR20079
    [8] 李永祯, 黄大通, 邢世其, 王雪松.  合成孔径雷达干扰技术研究综述 . 雷达学报, 2020, 9(5): 753-764. doi: 10.12000/JR20087
    [9] 黄岩, 赵博, 陶明亮, 陈展野, 洪伟.  合成孔径雷达抗干扰技术综述 . 雷达学报, 2020, 9(1): 86-106. doi: 10.12000/JR19113
    [10] 卫扬铠, 曾涛, 陈新亮, 丁泽刚, 范宇杰, 温育涵.  典型线面目标合成孔径雷达参数化成像 . 雷达学报, 2020, 9(1): 143-153. doi: 10.12000/JR19077
    [11] 张金松, 邢孟道, 孙光才.  一种基于密集深度分离卷积的SAR图像水域分割算法 . 雷达学报, 2019, 8(3): 400-412. doi: 10.12000/JR19008
    [12] 邢孟道, 林浩, 陈溅来, 孙光才, 严棒棒.  多平台合成孔径雷达成像算法综述 . 雷达学报, 2019, 8(6): 732-757. doi: 10.12000/JR19102
    [13] 张新征, 谭志颖, 王亦坚.  基于多特征-多表示融合的SAR图像目标识别 . 雷达学报, 2017, 6(5): 492-502. doi: 10.12000/JR17078
    [14] 曾丽娜, 周德云, 李枭扬, 张堃.  基于无训练单样本有效特征的SAR目标检测 . 雷达学报, 2017, 6(2): 177-185. doi: 10.12000/JR16114
    [15] 徐丰, 王海鹏, 金亚秋.  深度学习在SAR目标识别与地物分类中的应用 . 雷达学报, 2017, 6(2): 136-148. doi: 10.12000/JR16130
    [16] 赵晓辉, 姜义成, 朱同宇.  基于表征转换机的SAR图像目标分割方法 . 雷达学报, 2016, 5(4): 402-409. doi: 10.12000/JR16066
    [17] 张增辉, 郁文贤.  稀疏微波SAR图像特征分析与目标检测研究 . 雷达学报, 2016, 5(1): 42-56. doi: 10.12000/JR15097
    [18] 任笑真, 杨汝良.  一种基于幅度和相位迭代重建的四维合成孔径雷达成像方法 . 雷达学报, 2016, 5(1): 65-71. doi: 10.12000/JR15135
    [19] 韩萍, 王欢.  基于改进的稀疏保持投影的SAR目标特征提取与识别 . 雷达学报, 2015, 4(6): 674-680. doi: 10.12000/JR15068
    [20] 金添.  叶簇穿透合成孔径雷达增强成像方法 . 雷达学报, 2015, 4(5): 503-508. doi: 10.12000/JR15114
  • 加载中
图(8) / 表 (3)
计量
  • 文章访问数:  1232
  • HTML全文浏览量:  469
  • PDF下载量:  646
  • 被引次数: 0
出版历程
  • 收稿日期:  2017-04-17
  • 修回日期:  2017-05-10
  • 网络出版日期:  2017-06-07
  • 刊出日期:  2017-10-28

基于深度形状先验的高分辨率SAR飞机目标重建

doi: 10.12000/JR17047
    基金项目:  国家自然科学基金重点项目(61331017)
    作者简介:

    窦方正(1990–),女,山东淄博人,中国科学院电子学研究所博士研究生。研究方向为遥感图像解译、机器学习与深度学习。E-mail: doufangzheng@126.com

    刁文辉(1988–),男,山东莱芜人,中国科学院电子学研究所博士毕业,现为中国科学院电子学研究所助理研究员。研究方向为遥感图像解译、机器学习与深度学习、计算机视觉。E-mail: whdiao@mail.ie.ac.cn

    孙   显(1982–),男,浙江绍兴人,中国科学院电子学研究所博士毕业,现为中国科学院电子学研究所副研究员。研究方向为遥感图像解译、机器学习与深度学习、计算机视觉;参加工作以来,一直从事高分辨率遥感图像理解方面的前沿技术研究,作为项目负责人主持国家自然科学基金1项,高分青年创新基金1项,以及SAR目标检测识别技术相关的国防预研课题3项。作为技术负责人组织国家高分重大专项应用基础支撑技术测试评估总体技术、海上目标检测识别技术测试评估技术等项目的开展,并主持撰写国家高分重大专项测试评估方面2项标准规范。E-mail: sunxian@mail.ie.ac.cn

    张   跃(1990–),男,河南许昌人,中国科学院电子学研究所博士研究生。研究方向为遥感图像解译、机器学习与深度学习、计算机视觉。E-mail: zhangyuereal@163.com

    付   琨(1974–),男,湖北襄阳人,中国科学院电子学研究所博士毕业,现为中国科学院电子学研究所研究员。研究方向为计算机视觉与遥感图像理解,地理空间信息挖掘与可视化;长期从事我国航天/航空遥感地面处理和应用系统技术相关领域的研究工作,多次担任中国遥感卫星系列地面系统的型号总师/副总师、学术带头人,承担或参与了10多项国家重大遥感地面系统型号建设任务,包括我国第1套SAR卫星地面系统、第1套多星多传感器一体化地面应用系统、第1套面向全国分布式多中心的地面系统等,此外,获得国家各类基金、863、预研项目支持20多项,参与973项目2项。E-mail: kunfuiecas@gmail.com

    通讯作者: 窦方正   doufangzheng@126.com
  • 中图分类号: TN957.52

摘要: 目标重建是合成孔径雷达图像分析中的重要研究内容。该文提出了一种新的基于深度形状先验的高分辨率合成孔径雷达图像飞机目标重建方法。该方法分为两个阶段,在形状先验建模阶段,利用产生式的深度玻尔兹曼机模型进行深度形状先验建模;在目标重建阶段,提出了一种新的目标重建框架,该框架将深度形状先验作为约束融入重建过程中。为了解决目标旋转问题,该文提出了一种新的姿态估计方法获取目标的候选姿态,避免了姿态的穷举搜索。除此之外,该文构造了融合散射区域项和形状先验项的能量函数,并利用迭代优化算法进行函数优化,从而获取目标重建结果。该文提出的方法框架是首次利用深度形状先验在高分辨率合成孔径雷达图像中实现复杂目标的重建。在TerraSAR-X数据集上的实验结果表明,该文提出的方法具有较高的重建精度和鲁棒性。

English Abstract

窦方正, 刁文辉, 孙显, 张跃, 付琨. 基于深度形状先验的高分辨率SAR飞机目标重建[J]. 雷达学报, 2017, 6(5): 503-513. doi: 10.12000/JR17047
引用本文: 窦方正, 刁文辉, 孙显, 张跃, 付琨. 基于深度形状先验的高分辨率SAR飞机目标重建[J]. 雷达学报, 2017, 6(5): 503-513. doi: 10.12000/JR17047
Dou Fangzheng, Diao Wenhui, Sun Xian, Zhang Yue, Fu Kun. Aircraft Reconstruction in High Resolution SAR Images Using Deep Shape Prior[J]. Journal of Radars, 2017, 6(5): 503-513. doi: 10.12000/JR17047
Citation: Dou Fangzheng, Diao Wenhui, Sun Xian, Zhang Yue, Fu Kun. Aircraft Reconstruction in High Resolution SAR Images Using Deep Shape Prior[J]. Journal of Radars, 2017, 6(5): 503-513. doi: 10.12000/JR17047
    • 目标重建是合成孔径雷达(Synthetic Aperture Radar, SAR)[1]图像解译的重要应用之一,该应用能够获取目标的姿态、尺寸、轮廓等信息。这些信息能够用在图像解译的其他应用中,如目标检测、目标识别,从而提高目标解译精度,因此目标重建具有重要的研究意义。

      然而,在SAR图像中,目标表现为一些强散射点,因此可以利用的信息和特征有限。我们难以像光学目标解译一样利用目标的纹理和轮廓等传统特征信息实现计算机辅助SAR目标解译。研究表明,人类在SAR图像目标解译的过程中通常会借助于先验知识。因此,合理地利用先验信息对于计算机辅助SAR图像目标解译是至关重要的。

      其中,如何将先验知识表达为合理的数学表示是亟需解决的难题。研究人员利用的先验信息主要包括强散射点的分布规律,强散射点的强度分布规律,目标形状信息等。在此基础上,Chen等人[2]提出了一种基于关键点检测和特征匹配策略的SAR飞机目标识别方法,该方法将强散射点视为一种关键点特征,然后利用强散射点的分布信息使用模板匹配策略进行目标识别。Chang和Tang等人[3,4]通过SAR图像仿真,研究SAR散射特征规律,从而实现SAR图像目标识别。这些方法虽然取得了一定的成果,但SAR图像中的散射点信息会随着成像条件和参数等信息的变化而变化,并且仅利用散射点难以获得鲁棒的结果。Zhang等人[5]提出了一种自上而下的SAR图像房屋目标重建的方法,该方法成功地将房屋屋顶形状先验融入到目标重建模型中,获得了很好的实验结果。在SAR图像中,我们可以利用强散射点和目标形状对目标进行重建,与单纯利用散射点相比,这类方法的解译鲁棒性较高。然而,对于房屋屋顶这类形状较为简单的目标,我们可以用较为简单的数学模型进行表达,但是对于飞机这类结构较为复杂的目标,形状先验建模较为困难。在SAR图像目标解译研究中,深度学习模型已被广泛用于目标检测[6]、目标提取[7]、目标识别[8,9]等应用中,并取得了很好的解译性能。本文为了解决以上问题,将深度学习模型用于SAR飞机目标形状先验建模中,提出了一种基于深度形状先验的SAR飞机目标重建方法,其主要的创新点和贡献总结如下:

      首先,本文引入了深度学习建模方法解决飞机这类复杂目标的形状建模问题,这是SAR图像目标重建过程中第1次引入深度模型建模的形状约束。其中,产生式的深度玻尔兹曼机(Deep Boltzmann Machine, DBM)[10]用来建模飞机目标形状的全局和局部结构以及形状变化。该深度形状先验将由深度玻尔兹曼机的参数来表示,在目标重建阶段,这些参数将被作为形状约束项融入图像能量函数中。

      其次,飞机目标在机场中的停靠角度不同,因此SAR图像中的飞机目标存在旋转问题,给目标重建带来了一定的困难。为此,本文提出了一种姿态估计策略,该策略在目标重建之前提出一种姿态估计方法获取候选姿态,并在目标重建中融入局部姿态估计技巧。其中,姿态估计方法分为两步,在粗姿态估计中,我们利用变换不变低秩纹理(Transform Invariant Low-rank Textures, TILT)方法[11]将目标的姿态限定在8个特定的数值中,对应4种对称方式;在精细姿态估计中,变换后的图像利用图像相关性分析方法确定目标的对称方式,得到两个特定的候选姿态。局部姿态估计将姿态变换参数融入能量函数中并采用梯度下降法进行优化。该策略能够有效解决对目标姿态进行穷举搜索而导致的目标重建效率低下问题,并能够提高目标重建的精度。

      再次,如何将深度形状先验融入目标重建中是解译的难题,为此本文引入了一种目标重建框架,该框架分为两个主要的步骤。第1步,通过姿态估计得到候选姿态,然后确定候选深度形状先验作为目标重建中的形状先验。第2步,通过融合形状能量项和散射能量项构造目标重建的能量函数。在能量函数优化中,本文采用了基于近似推断和Split Bregman算法的迭代优化方法[12]

      为了验证本文方法的有效性,我们在分辨率为0.5 m和1.0 m的TerraSAR-X数据集上进行目标重建实验。实验结果表明,该方法能够以较高的精度实现SAR飞机目标的重建。此外,我们将该方法与基于轮廓分割的传统方法进行比较,结果显示深度形状先验的使用极大地提高了目标重建的精度。

    • 在机场中,飞机停靠角度并不固定。如图1所示,不同目标类型和目标姿态的测试切片来源于0.5 m和1.0 m分辨率的TerraSAR-X图像。分析可知,数据集中的目标姿态多样,具有丰富的目标细节信息,同时也有噪声的干扰。例如,飞机的头部、两翼和尾部等结构清晰,肉眼可区分,这是飞机目标重建的基础。但是,这些部件的部分区域,如机身、两翼等散射特征不明显。因此形状先验成为有缺失或有噪声切片中目标重建的重要信息,能够辅助获取完整的目标轮廓。

      图  1  TerraSAR-X数据集部分切片展示

      Figure 1.  Part of the TerraSAR-X data set

      实验使用的形状模板数据集包含10类飞机目标,共8组对应8个角度;测试数据集是从Terra SAR-X图像中获取的约100幅数据切片,分辨率为1.0 m或0.5 m。如图2所示,本文利用的形状先验是飞机目标的黑白二值模板。图中从上而下依次对应目标角度0°, 315°, 270°, 225°, 180°, 135°, 90°和45°,其中机头朝上为0°,按顺时针方向递增。从模板数据分析可得,飞机目标具有相似的十字交叉结构,以及不同的尺寸和部件外观,如两翼后掠角、发动机的有无和分布、头部的形状等。这些明显的结构相似性和结构差异性的存在使得通过多层神经网络对这些形状模板进行建模是有效的。

      图  2  8种特定角度下10种不同种类的飞机目标黑白二值模板(从上到下角度依次是0°, 315°, 270°, 225°, 180°, 135°, 90°和45°)

      Figure 2.  Original black and white binary templates of ten types of aircrafts in 8 different poses (Poses, from top to bottom, are 0°, 315°, 270°, 225°, 180°, 135°, 90° and 45°)

      本文中,我们利用深度玻尔兹曼机预先训练图2所示的形状模板集合获取深度形状先验模型的参数,8个角度对应8组深度形状模型参数。这些预先得到的参数集合将作为形状先验候选集合,并利用姿态估计结果选择候选形状先验构造图像能量函数的形状能量项。

    • 在目标解译领域中,形状是一种典型特征,能够用来表征目标的不同结构,也可以用来表征某一类目标的细节结构。研究表明,产生式形状先验模型,能够产生真实样本。因此,深度玻尔兹曼机能够用于形状先验建模并产生形状样本域中有别于训练集形状样本的真实形状[13]

      一般而言,图像的分辨率已知,这意味着形状的尺寸是固定的,因此我们只需要对形状进行对齐操作。本文采用了Liu等人[14]的方法实现二值形状模板的重心对齐操作。重心的计算公式如下:

      $${x_{\rm{c}}} = \frac{{\displaystyle\sum\limits_{i = 1}^m {\sum\limits_{j = 1}^n {{x_{i,j}}S({x_{i,j}})} } }}{{\displaystyle\sum\limits_{i = 1}^m {\sum\limits_{j = 1}^n {S({x_{i,j}})} } }}, \ {y_{\rm{c}}} = \frac{{\displaystyle\sum\limits_{i = 1}^m {\sum\limits_{j = 1}^n {{y_{i,j}}S({y_{i,j}})} } }}{{\displaystyle\sum\limits_{i = 1}^m {\sum\limits_{j = 1}^n {S({y_{i,j}})} } }}$$ (1)

      其中, $({x_{\rm{c}}},\, {y_{\rm{c}}})$是模板的重心, ${x_{i,j}}$, ${y_{i,j}}$则表示像素S的 $x, \, y$坐标,即 $({x_{i,j}},\, {y_{i,j}})$, S为像素值的大小。尺度对齐的计算公式如下:

      $$\left. \begin{array}{l}{s_x} = {\left( {\frac{{\displaystyle\sum\limits_{i = 1}^m {\sum\limits_{j = 1}^n {{{({x_{i,j}} - {x_{\rm{c}}})}^2}S({x_{i,j}})} } }}{{\displaystyle\sum\limits_{i = 1}^m {\sum\limits_{j = 1}^n {S({x_{i,j}})} } }}} \right)^{\scriptsize\displaystyle\frac{1}{2}}}\\{s_y} = {\left( {\frac{{\displaystyle\sum\limits_{i = 1}^m {\sum\limits_{j = 1}^n {{{({y_{i,j}} - {y_{\rm{c}}})}^2}S({y_{i,j}})} } }}{{\displaystyle\sum\limits_{i = 1}^m {\sum\limits_{j = 1}^n {S({y_{i,j}})} } }}} \right)^{\scriptsize\displaystyle\frac{1}{2}}}\end{array} \right\}$$ (2)

      其中,尺度对齐参数用 ${s_x}$和 ${s_y}$表示。对齐操作的结果如图3所示,该图是0°姿态下的二值模板形状对齐的结果。

      图  3  形状对齐结果(第1行和第2行分别表示0°姿态下原始形状模板和形状对齐后的结果图像)

      Figure 3.  Results of shape alignment (The first and second rows represent the original templates and the results of shape alignment respectively)

      深度玻尔兹曼机是一种产生式的深度模型,模板数据在形状对齐之后输入到3层的深度玻尔兹曼机网络中进行深度形状先验建模,并利用吉布斯采样近似推断方法实现该形状先验模型的预训练,该方法的具体实现原理和步骤请参见[10,15]。该模型结构如图4所示,其中隐藏层节点h1, h2数目均设定为100, W1, W2表示层之间的权重参数。预训练结束后,深度玻尔兹曼机的参数能够用于表征形状模板的局部和全局的结构特征,在目标重建中这些参数将作为形状约束融入到图像能量函数中。

      图  4  3层深度玻尔兹曼机网络结构

      Figure 4.  The structure of three-layered deep Boltzmann machine

    • 本文提出的方法框架如图5所示,该框架主要分为3个部分。在深度形状先验建模中,深度形状先验通过深度玻尔兹曼机训练得到的参数进行表征,并作为目标重建阶段中的形状约束;在姿态估计阶段,由粗到细的姿态估计方法确定两个候选的姿态,该方法使本文提出的目标重建框架对目标旋转具有较高的鲁棒性;在目标重建阶段,通过融合候选姿态选取的深度形状先验作为形状能量项与姿态估计之后得到的散射能量项构造能量函数,并利用基于近似推断和Split Bregman的迭代优化算法进行能量函数的优化,从而实现目标重建。

      图  5  本文方法的流程图

      Figure 5.  The framework of the proposed aircraft reconstruction method

      为了解决目标旋转问题,本文提出了一种由粗到细的姿态估计方法。该方法通过对称变化和对称性检测将目标的姿态限制为两个特定值,其原理是左右对称、上下对称、主对角线对称、副对角线对称分别对应0°和180°, 90°和270°, 135°和315°, 45°和225°,即一种对称方式对应两个角度,且二者之间相差180°。基于上述原理,近似对称图像可以通过变换不变低秩纹理算法变换为上述4种对称模式之一,变换得到的图像记为X,并作为目标重建部分的输入。

      粗估计中的对称变换操作仅能够将目标姿态限定在上述8个角度中。如上所述,目标在切片中一般不处于中心位置。因此,在本文的精细估计中,我们利用对称变换和平移变换将图像矩阵X变换为XS,D,随后通过相关系数公式计算二者的相关性,相关性最大的一组变换参数即目标的对称模式和平移距离,对称模式对应的角度即为候选角度。结合上述过程的描述,定义计算公式如下:

      $$v(S,D) = \mathop {\max }\limits_S^4 \left\{ {\mathop {\max }\limits_{D = - N}^N {\Big |}{\rm corr}\left( {{X},{{X}_{S,D}}} \right){\Big |}} \right\}$$ (3)

      其中, ${\rm corr}\left( {{X},{{X}_{S,D}}} \right)$是粗估计得到的X与对称、平移变换得到的 ${{X}_{S,D}}$之间的相关系数。SD表示对称类型和平移距离,即对称轴位置,其中S取值从1到4分别表示左右、上下、主对角线、副对角线对称,D取值从–NN, N为设定的阈值,实验中设置为20,它是根据数据集图像的大小和目标尺寸范围进行设定。式(3)通过计算所有对称模式和平移距离参数SD组合下的变换图像 ${{X}_{S,D}}$与X之间的图像相似度,选择与X相关性最大的图像对应的SD参数,即得到对称类型和对称轴位置。

      图5所示,变量h1, h2q分别表示深度玻尔兹曼机第1个隐层和第2个隐层,以及目标形状。DBM和TILT为深度玻尔兹曼机和变换不变低秩纹理的缩写形式。在姿态估计中输入的测试切片利用恒虚警率算法[16]实现背景噪声的去除,该预处理操作能够抑制噪声对重建精度的影响。姿态估计阶段的输出包括目标候选姿态和变换后图像,二者将与形状先验模型一起输入到能量函数中。我们利用候选姿态从深度形状先验集合中选择特定的深度形状先验作为待构造的图像能量的形状先验项,而变换后的图像则通过定义散射区域项和强散射点边缘项构造SAR图像能量函数的目标散射项。本文采用的图像能量函数将以经典的概率形状表示法[15,17]为基础,并融入形状先验项和目标散射项来进行修改和增强,其函数表达式如下:

      $$\begin{array}{c}E({q},{{h}^{{1}}},{{h}^{{2}}},φ ;{Θ} ) = \underbrace {\parallel \! \nabla {q}\!{\parallel _{\rm{e}}} + \alpha {{q}^{\rm T}}{s}}_{{\rm{scattering {\scriptsize{-}} term}}} - \underbrace {\beta ({{q}^{\rm T}}{W}_φ^1{{h}^1} + {{h}^1}^{^{\large\rm{T}}}{{W}^2}{{h}^2} + {{a}^1}^{^{\large\rm T}}{{h}^1} + {{a}^2}^{^{\large\rm T}}{{h}^2} + {{q}^{\rm T}}{b})}_{{\rm{shape {\scriptsize{-}} term}}}\end{array}$$ (4)

      其中,形状模型参数 ${Θ} {\rm{ = \{ }}{{W}^1}{,}{{W}^2}{,}{{a}^1}{,}{{a}^2},{b}{\rm{\} }}$通过深度玻尔兹曼机训练得到。由于研究人员已经证实,在某一方位角范围内的强散射中心的位置和强度在统计上是准不变的[18]。因此,我们将权重W1替换为 ${W}_φ ^1$,变量 $φ$为局部变换矩阵,其定义如下:

      φ = \left[\!\! {\begin{array}{*{20}{c}}1&0&x\\0&1&y\end{array}} \!\!\right]\left[\!\! {\begin{array}{*{20}{c}}h&0&0\\0&h&0\\0&0&1\end{array}} \!\!\right]\left[ \!\!{\begin{array}{*{20}{c}}{\cos \theta }&{ - \sin \theta }&0\\{\sin\theta }&\quad {\cos \theta }&0\\0&\quad 0&1\end{array}} \!\!\right]$ (5)

      其中,局部变换参数 $\left\{ {x,y,h,\theta } \right\}$分别表示第1维度坐标、第2维度坐标、尺度和旋转角度。

      目标散射项中的 $\parallel \nabla {q}{\parallel _{\rm{e}}}$表示目标散射区域的轮廓,公式定义如下:

      $$\parallel \nabla {q}{\parallel _{\rm{e}}} = \int_{Ω} {{{r}_{\rm{e}}} \cdot |\nabla {q}|} {\mathop{\rm d}\nolimits} {x}$$ (6)

      目标散射项中的s是区分目标散射区域和背景区域的差异矩阵,其公式定义如下:

      $${s} = {({c_1} - {u})^2} - {({c_2} - {u})^2}$$ (7)

      其中,变量 ${{r}_{\rm{e}}}$和 $|\nabla {q}|$为轮廓指示符和目标散射区域的梯度,具体来说变量 ${{r}_{\rm{e}}} = 1/\left( {1 + |\nabla {u}|} \right)$。变量 ${Ω} $表示图像空间,而变量c1c2被用来表征目标散射区域和背景区域的平均强度,且定义为 ${c_1} = \displaystyle\int_{{{Ω} _\tau }} {{u}{\mathop{\rm d}\nolimits} {x}} $和 ${c_2} = \displaystyle\int_{{Ω} {/}{{Ω} _\tau }} {{u}{\mathop{\rm d}\nolimits} {x}} $。变量u是姿态估计后的输出图像,而变量 ${{Ω} _\tau }$则定义了目标散射区域空间,公式表示为 ${{Ω} _\tau } = \left\{ {{x}{{:}}{q} \ge \tau } \right\}$,变量 $\tau $是一个预定义的阈值。

    • 本节我们将详细介绍函数优化和目标重建过程中的算法,迭代最小化方法被用于能量函数的优化从而获得目标重建结果。在本文函数优化的整个过程中,通过引入深度玻尔兹曼机的近推断方法[15]计算每一个隐层单元,并通过引入Split Bregman算法计算目标形状。算法1详细阐述了能量函数优化的整个过程,算法2则是算法1步骤2 (b)(iii)中目标形状q最优化问题的Split Bregman算法的实现细节(见表1表2)。

      表 1  算法1:目标重建中的优化算法

      Table 1.  The optimization algorithm in object reconstruction

      输入:通过预训练和候选姿态选择得到的深度形状先验参数,融合变换因子 ${\rm{\{ }}{{W}^1},{{W}^2},{{a}^1},{{a}^2},{b}{\rm{\} }}$,姿态估计的输出图像u
       步骤1 初始化:q为形状模板均值, ${{h}^{\bf{2}}}{\bf{ = 0}}$, ${η} = \left\{ {0.2{\rm{e}} - 5,\;} \right.$ $\left. {3{\rm{e}} - 5,\;3{\rm{e}} - 5,\;0.01{\rm{e}} - 5} \right\}$, $φ = \left\{ {{x_0},{y_0},{h_{{\rm{init}}}},0} \right\}$, ${E^{\rm new}} = 0$, $\tau = 0.1$, ${{I}_1}$, ${{I}_2}$。
       步骤2 优化:重复(a)到(c)直到 $|{E^{\rm new}} - E_1^{\rm old}| < \varepsilon $或者达到最大迭代次数 ${{I}_1}$:
        (a) 计算 ${W}_φ^1$,并令 $E_1^{\rm old} = {E^{\rm ew}}$;
        (b) 重复(i)到(v)直到 $|{E^{\rm new}} - E_1^{\rm old}| < \varepsilon $或者达到最大迭代次数 ${{I}_2}$:
         (i) $E_2^{\rm old} = {E^{\rm new}}$,
         (ii) ${h^1} = \sigma {\rm{ }}{\left( {{q^{\rm{T}}}W_\varphi ^1 + {W^2}{h^2} + {a^1}} \right)^{\rm{T}}}$,
         (iii) $q = \arg \min |\nabla q{|_{\rm{e}}} + \alpha {q^{\rm{T}}}s - \beta ({q^{\rm{T}}}W_\varphi ^1{h^1} + {q^{\rm{T}}}b)$,
         (iv) ${h^2} = \sigma \left( {{h^{{1^{\rm{T}}}}}{W^2} + {a^2}} \right)$,
         (v) 根据式(4)计算 ${E^{\rm new}}$;
        (c) 梯度下降法更新 $φ $:
         (i) 利用下面公式计算 $\nabla φ = \left\{ {\nabla x,\nabla y,\nabla h,\nabla \theta } \right\}$:
          $\begin{array}{l}\nabla x = \beta {{q}^{\rm T}}{{W}_{x}}{{h}^{{1^{\rm T}}}},\nabla y = \beta {{q}^{\rm T}}{{W}_{\!\! {y}}}{{h}^{{1^{\rm T}}}}\\\nabla h{{ = }}{W}_{x}^{\rm T}({x}{π} \cos \theta - {y}\sin \theta ) + {W}_{y}^{\rm T}({x}\sin \theta + {y}\cos \theta )\\\nabla \theta {{ = }}h\left\{ {{W}_{x}^{\rm T}( - {x}\sin \theta {\rm{ - }}{y}\cos \theta ) + {W}_{y}^{\rm T}({x}\cos \theta - {y}\sin \theta )} \right\}\end{array}$
          $({\rm ii}) \ {\text {计算}}φ = φ - {η} \nabla φ {\text{。}}$
      输出:最新的形状q

      表 2  算法:算法1步骤2(b)(iii)算法

      Table 2.  The algorithm for step 2(b)(iii) in Tab. 1

      输入:各变量值
       步骤1 初始化:设置参数 $\alpha $, $\beta $。
       步骤2 重复步骤(a)到(e)直到 $\parallel{{q}^{k + 1}} - {{q}^k}{\parallel^2} < \varepsilon $
        (a) 计算 ${{z}^k} = {(c_1^k - {u})^2} - {(c_2^k - {u})^2} - \beta ({W}_{\! φ}^{{1}}{{h}^{{1}}}{\bf{ + }}{b})$
        (b) 最优化 $({{q}^{k + 1}},{\overrightarrow {d} ^{k + 1}}) = \arg \min |\overrightarrow {d} {|_{\rm{e}}} + \alpha {{q}^{\rm T}}{{z}^k} + \frac{\lambda }{2}\parallel\overrightarrow {d} - \nabla {q} - {\overrightarrow {e} ^k}{\parallel^2}$
         (i) 最优化 ${{q}^{k + 1}} = \arg \min \alpha {{q}^{\rm T}}{{z}^k} + \frac{\lambda }{2}\parallel{\overrightarrow {d} ^k} - \nabla {q} - {\overrightarrow {e} ^k}{\parallel^2}$, ${{q}^{k + 1}} = {\rm GS}({{z}^k},{\overrightarrow {d} ^k},{\overrightarrow {e} ^k})$
         (ii) 最优化 ${\overrightarrow {d} ^{k + 1}} = \arg \min |\overrightarrow {d} | + \frac{\lambda }{2}\parallel\overrightarrow {d} - \nabla {{q}^{k + 1}} - {\overrightarrow {e} ^k}{\parallel^2}$ ${\overrightarrow {d} ^{k + 1}} = {\rm shrin}{{\rm k}_g}({\overrightarrow {e} ^k} + \nabla {{q}^{k + 1}},\lambda )$
        (c) 计算 ${\overrightarrow {e} ^{k + 1}} = {\overrightarrow {e} ^k} + \nabla {{q}^{k + 1}} - {\overrightarrow {d} ^{k + 1}}$
        (d) 计算 ${Ω}_{τ} ^{ k} = \{ {x}:{{q}^{k + 1}}({x}) > \tau \} $
        (e) 更新 $c_1^{k + 1} = \int_{{Ω} _\tau ^{\!\! k}} {{u}{\mathop{\rm d}\nolimits} {x}}, \ c_2^{k + 1} = \int_{{Ω} /{Ω}_\tau ^{\! k}} {{u}{\mathop{\rm d}\nolimits} {x}} $
      输出:最新的q

      如算法1中的各个步骤所示,我们首先对变量和参数进行初始化,变换参数中,由于数据分辨率已知,因此尺度h初始化为与目标分辨率相关的特定数值; $x,y$和 $\theta $默认设置为0,若获取的数据集切片中目标不在中心位置,则我们将利用姿态估计得到的参数D即对称轴位置对 $x,y$进行初始化,例如,若对称轴为 $x = {a_x}$或者 $y = {b_y}$,则 $x,y$为x0= ${a_x},{y_0} = 0$或者 ${x_0} = 0,{y_0} = {b_y}$。目标形状初始化为当前姿态下形状模板的平均形状。隐层单元参数则被初始化为0。然后,优化过程将根据算法1的步骤继续执行,为了实现局部自适应,当使用梯度下降法来更新参数 $φ $时,学习率设为较小的值。随后整个优化过程将持续迭代,直到达到收敛条件或达到最大迭代次数。

      本文中上述过程将仅仅被执行两次,并从中选择能量函数值较小的一个对应的姿态和目标重建结果作为本文实验的最终结果。

    • 本节展示本文实验结果并对结果进行分析。为了验证基于深度形状先验的目标重建方法框架的有效性,我们在高分辨率SAR图像目标切片中实现飞机目标的重建,在此基础上本节的实验将分为3个部分,首先,由粗到细的姿态估计方法;其次,本文方法与去除形状先验的本文方法和无形状先验的方法,如GraphCut方法[19]的对比结果;最后,本文方法与非深度形状先验方法,如SG-ACM[14]方法的对比结果。

      在第1部分的实验中,图6展示的是本文提出的姿态估计方法的实验结果。其中,图6(a)为不同类型和姿态的飞机目标切片,图6(b)是CFAR预处理操作之后进行姿态估计的变换图像,飞机目标均变换到某一对称模式,从而得到两个候选姿态。举例说明,图6(b)第1列的红色实线表示估计得到的目标姿态,对应0°和180°两个候选姿态。后续实验结果表明,该方法简化了目标重建过程,并能够有效解决目标旋转的问题。

      图  6  姿态估计结果

      Figure 6.  Results of the pose estimation

      第2部分实验对目标的重建结果进行了定量分析。本文为此从1.0 m和0.5 m分辨率TerraSAR-X项中裁切了100多幅高分辨率飞机目标切片,同时进行人工标注,区分目标区域和背景区域,以便分析目标重建结果的精确性。这些标注后的图像将作为真值与实验结果进行对比。本文采用平均像素误分比[20]作为重建精度的评价标准,其定义如下:

      $${\rm{PMP}} = \left(1 + \frac{{|{B_{\rm{o}}} \cap {B_{\rm{s}}}| + |{F_{\rm{o}}} \cap {F_{\rm{s}}}|}}{{|{B_{\rm{o}}}| + |{F_{\rm o}}|}}\right) \times 100\% $$ (8)

      其中, $ \cap $和 $|\! \cdot \! |$为两个图像区域的交集和图像区域内像素值不为0的点的个数。 ${B_{\rm{o}}}$和 ${F_{\rm{o}}}$是真值标注图像的背景区域和目标区域的像素。而 ${B_{\rm{s}}}$和 ${F_{\rm{s}}}$则是各个方法中目标重建结果的背景区域和目标区域像素。分析可得,目标重建结果越准确,则平均像素误分比的数值越低,反之越高。

      为了验证本文提出的方法框架和形状先验利用的有效性,传统的基于分割GraphCut[19]方法,以及去除先验项的本文的方法将与本文方法进行对比。本节中,我们将从定量和定性两个方面进行实验结果的展示和分析。

      为此,表3依次列出了上述两种对比方法和本文方法的重建精确度,图7则更加直观地展示了目标重建的效果,包括目标轮廓图和目标区域图。上述实验结果表明,本文的方法能够准确提取SAR图像中的飞机目标,而GraphCut方法由于无法将SAR图像中目标的强散射点组合起来,从而难以提取出完整的目标轮廓,并且,如果去除形状先验项,本文的方法也将获得与GraphCut方法相近的结果。上述分析表明,本文采用的方法框架和形状先验能够显著地提高目标重建的精确性。另外,如图6所示,本文的姿态估计方法的提出使得目标重建效率很高,并能够用于不同角度数据的目标重建,从而解决了SAR图像中目标旋转的问题。

      表 3  不同目标重建方法的性能比较

      Table 3.  Performance of different reconstruction methods

      方法 平均像素误分比(%)
      GraphCut方法 40.3
      SG-ACM 14.6
      去除形状项的本文方法 31.8
      本文方法 8.0

      图  7  不同目标重建方法的结果对比(第1行与第2行分别对应提取目标区域的轮廓图和提取到的目标区域图)

      Figure 7.  Comparison of reconstruction results of different methods (The first and the second rows correspond to the contour of the extracted aircraft area and the extracted aircraft area)

      第3部分实验将验证基于深度学习方法建模形状先验的鲁棒性,本节实验使用的数据与上述实验相同。在该部分实验中,本文方法将与非深度形状先验的SG-ACM方法进行对比,此方法是用主成分分析方法进行形状先验建模。如图8表3所示,分析可得,SG-ACM方法由于使用了形状先验,因此其重建效果远远好于GraphCut方法和去除形状先验的本文方法,这也验证了形状先验的有效性,但是该方法无法达到本文方法的效果。如上所述SG-ACM方法使用主成分分析方法进行先验建模,实验表明在SAR飞机目标重建应用中,其鲁棒性较差,而本文采用的基于深度学习方法建模形状先验的方法具有较高的鲁棒性。

      图  8  目标重建结果

      Figure 8.  Reconstruction results

      另外,SG-ACM不能处理目标旋转的问题,因此,实验中的切片是人工旋转到0°方向的,其效果如图8(a)所示。

    • 本文提出了一种基于深度形状先验的高分辨率SAR飞机目标重建方法,该方法主要分为两个阶段。在形状先验建模阶段,本文使用产生式的深度学习方法,深度玻尔兹曼机,对形状模板进行建模,模型训练得到的参数用于表征深度形状先验。在目标重建阶段,本文提出了一种新的目标重建框架。该框架主要分为两步,首先,利用目标的对称特性解决了目标重建中的目标旋转和平移问题实现目标姿态估计,提高了目标重建的效率和精度。然后,由形状能量项和散射能量项组成的能量函数通过深度玻尔兹曼机的近似推断技巧进行迭代函数优化,并在迭代过程中融入了Split Bregman算法解决目标形状的最优化计算。实验结果表明,本文提出的目标重建方法能够以较高的重建准确率得到较为完整的目标形状,同时获取目标的姿态。

      在未来的研究中,我们还将研究如何利用目标重建的信息实现目标的识别与检测等应用,同时对形状模板进行扩展。

参考文献 (20)

目录

    /

    返回文章
    返回