基于局部超分辨重建的高精度SAR图像水域分割方法

李宁 牛世林

李宁, 牛世林. 基于局部超分辨重建的高精度SAR图像水域分割方法[J]. 雷达学报, 2020, 9(1): 174–184. doi:  10.12000/JR19096
引用本文: 李宁, 牛世林. 基于局部超分辨重建的高精度SAR图像水域分割方法[J]. 雷达学报, 2020, 9(1): 174–184. doi:  10.12000/JR19096
LI Ning and NIU Shilin. High-precision water segmentation from synthetic aperture radar images based on local super-resolution restoration technology[J]. Journal of Radars, 2020, 9(1): 174–184. doi:  10.12000/JR19096
Citation: LI Ning and NIU Shilin. High-precision water segmentation from synthetic aperture radar images based on local super-resolution restoration technology[J]. Journal of Radars, 2020, 9(1): 174–184. doi:  10.12000/JR19096

基于局部超分辨重建的高精度SAR图像水域分割方法

doi: 10.12000/JR19096
基金项目: 国家自然科学基金(U1604145, 61871175, 61601437),河南省高等学校重点科研项目(18B520010, 19A420005),河南省科技攻关计划项目(182102210233, 192102210082),河南省青年人才托举工程(2019HYTP006),河南大学研究生教育创新与质量提升计划项目(SYL18060127)
详细信息
    作者简介:

    李 宁(1987–),男,安徽人,毕业于中国科学院电子学研究所,获得博士学位,现为河南大学教授,研究方向为多模式合成孔径雷达成像及其应用技术。E-mail: lining_nuaa@163.com

    牛世林(1993–),男,河南人,河南大学计算机与信息工程学院硕士研究生,主要研究方向为合成孔径雷达图像处理及其应用技术。E-mail: nsl1993@foxmail.com

    通讯作者:

    李宁 lining_nuaa@163.com

  • 中图分类号: TN959.1; TP183

High-precision Water Segmentation from Synthetic Aperture Radar Images Based on Local Super-resolution Restoration Technology

Funds: The National Natural Science Foundation of China (U1604145, 61871175, 61601437), The College Key Research Project of Henan Province (18B520010, 19A420005), The Plan of Science and Technology of Henan Province (182102210233, 192102210082), The Youth Talent Lifting Project of Henan Province (2019HYTP006), The Graduate Education Innovation and Quality Improvement Program of henan University (SYL18060127)
More Information
  • 摘要: 合成孔径雷达(SAR)图像水域分割在水资源调查、灾害监测等领域具有重要意义。针对中低分辨率星载SAR图像水域提取精度不足的难题,该文融合基于轻量级残差卷积神经网络(CNN)的图像超分辨率重建技术和传统SAR图像水域分割技术的优点,提出了一种基于局部超分辨重建的SAR图像水域分割方法,显著提升了SAR图像水域分割的精度。为了验证上述方法的有效性,该文以南水北调中线工程水源地丹江口水库为应用对象,基于国产高分三号(GF-3)卫星的8 m分辨率标准条带(SS)模式图像和欧空局Sentinel-1卫星20 m分辨率干涉宽幅(IW)模式图像,开展了水域分割的实验验证和精度评估工作。实验结果表明,该文所提方法可在中低分辨率SAR图像中获取更精确的水域分割结果,其水域分割性能较传统方法有大幅提升。
  • 图  1  基于局部超分辨重建的SAR图像高精度水域分割方法示意图

    Figure  1.  The structure of local SR based high-precision water extraction method for SAR image

    图  2  局部分块方法示意图

    Figure  2.  Schematic diagram of local block method

    图  3  LRSR网络结构图

    Figure  3.  The structure of the LRSR network

    图  4  精细分割水域边界融合方法

    Figure  4.  Merging method of the refined water boundaries

    图  5  SAR图像3倍超分辨重建结果

    Figure  5.  SR result of SAR images with upscaling factor of 3

    图  6  研究区域

    Figure  6.  Location of study area

    图  7  SAR图像水域分割结果

    Figure  7.  Water extraction results of SAR images

    表  1  LRSR网络卷积与反卷积参数设置

    Table  1.   Convolution and deconvolution parameters of the LRSR

    数据处理层[卷积数目:深度× (${I_i}$×${O_i}$),
    卷积核大小:(${F_i}$×${F_i}$)]
    paddingstride
    特征提取层 [(1×64), (5×5)]01
    特征压缩层 [(64×16), (1×1)]01
    特征映射层 [m×(16×16), (3×3)]11
    特征扩张层 [(1×64), (1×1)]01
    超分辨重建层 [(64×1), (9×9)]4k
    下载: 导出CSV

    表  2  LRSR网络训练参数

    Table  2.   Convolution and deconvolution parameters of the LRSR

    卷积学
    习率
    卷积偏置
    学习率
    反卷积
    学习率
    反卷积偏置
    学习率
    权值衰减最大迭代
    次数
    10–310–410–42 × 10–410–410–7
    下载: 导出CSV

    表  3  LRSR网络MSE损失训练结果

    Table  3.   LRSR training results of MSE loss

    km
    45678
    20.017670.017250.017540.018470.01894
    30.090770.089390.088560.088660.08978
    40.258420.252200.250340.256390.25464
    下载: 导出CSV

    表  4  实验使用的SAR图像详细参数

    Table  4.   Detailed parameters of experimental SAR data

    SAR图像1SAR图像2
    卫星Sentinel-1GF-3
    成像模式干涉宽测绘带(Interferometric Wide-swath, IW)标准条带 (Stand Stripmap, SS)
    成像日期2019年2月8日2017年7月14日
    标称分辨率20 m8 m
    图像尺寸3824×2255像素7428×5221像素
    极化方式VVHH
    下载: 导出CSV

    表  5  对比试验方法

    Table  5.   Comparison test methods

    对比方法方法详情
    方法1水域粗分割(FCM聚类)+ACM精细分割
    方法2水域粗分割(相干斑滤波+FCM聚类+ROI提取)+ACM精细分割
    方法3水域粗分割(相干斑滤波+FCM聚类+ROI提取)+水域边界局部分块法+ACM精细分割
    本文方法水域粗分割(相干斑滤波+FCM聚类+ROI提取)+水域边界局部分块法+图像超分辨重建+ACM精细分割
    下载: 导出CSV

    表  6  定量分析结果

    Table  6.   Results of quantitative analysis

    SAR图像编号对比方法1对比方法2对比方法3本文方法
    虚警率(%)准确率(%)轮廓平均偏
    移像素(个)
    虚警率(%)准确率(%)轮廓平均偏移
    像素(个)
    虚警率(%)准确率(%)轮廓平均偏移
    像素(个)
    虚警率(%)准确率(%)轮廓平均偏
    移像素(个)
    120.4385.232.171410.5991.061.54110.6898.690.79570.01499.650.1543
    29.2790.151.62283.2892.431.36520.9198.830.74680.03499.720.1403
    下载: 导出CSV
  • [1] 牛世林, 郭拯危, 李宁, 等. 星载SAR水域分割研究进展与趋势分析[J]. 聊城大学学报: 自然科学版, 2018, 118(2): 75–89.NIU Shilin, GUO Zhengwei, LI Ning, et al. Research progress and trend analysis of water extraction by spaceborne SAR[J]. Journal of Liaocheng University:Natural Science Edition, 2018, 118(2): 75–89.
    [2] LI Ning, NIU Shilin, GUO Zhengwei, et al. Dynamic waterline mapping of inland great lakes using time-series SAR data from GF-3 and S-1A satellites: A case study of DJK reservoir, China[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2019, 12(11): 4297–4314. doi:  10.1109/JSTARS.2019.2952902
    [3] 邓云凯, 赵凤军, 王宇. 星载SAR技术的发展趋势及应用浅析[J]. 雷达学报, 2012, 1(1): 1–10. doi:  10.3724/SP.J.1300.2012.20015DENG Yunkai, ZHAO Fengjun, and WANG Yu. Brief analysis on the development and application of spaceborne SAR[J]. Journal of Radars, 2012, 1(1): 1–10. doi:  10.3724/SP.J.1300.2012.20015
    [4] GUO Yaru and ZHANG Jixian. A new 2D OTSU for water extraction from SAR image[J]. ISPRS - International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 2017, XLII-2/W7: 733–736. doi:  10.5194/isprs-archives-XLII-2-W7-733-2017
    [5] LI Ning, WANG R, DENG Yunkai, et al. Waterline mapping and change detection of Tangjiashan dammed lake after Wenchuan earthquake from multitemporal high-resolution airborne SAR imagery[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2014, 7(8): 3200–3209. doi:  10.1109/JSTARS.2014.2345417
    [6] 冷英, 刘忠玲, 张衡, 等. 一种改进的ACM算法及其在鄱阳湖水域监测中的应用[J]. 电子与信息学报, 2017, 39(5): 1064–1070. doi:  10.11999/JEIT160870LENG Ying, LIU Zhongling, ZHANG Heng, et al. Improved ACM algorithm for Poyang lake monitoring[J]. Journal of Electronics &Information Technology, 2017, 39(5): 1064–1070. doi:  10.11999/JEIT160870
    [7] 冷英, 李宁. 一种改进的变化检测方法及其在洪水监测中的应用[J]. 雷达学报, 2017, 6(2): 204–212. doi:  10.12000/JR16139LENG Ying and LI Ning. Improved change detection method for flood monitoring[J]. Journal of Radars, 2017, 6(2): 204–212. doi:  10.12000/JR16139
    [8] 张金松, 邢孟道, 孙光才. 一种基于密集深度分离卷积的SAR图像水域分割算法[J]. 雷达学报, 2019, 8(3): 400–412. doi:  10.12000/JR19008ZHANG Jinsong, XING Mengdao, and SUN Guangcai. A water segmentation algorithm for SAR image based on dense depthwise separable convolution[J]. Journal of Radars, 2019, 8(3): 400–412. doi:  10.12000/JR19008
    [9] SZILAGYI L, BENYÓ Z, SZILAGYI S M, et al. MR brain image segmentation using an enhanced fuzzy C-means algorithm[C]. The 25th Annual International Conference of the IEEE Engineering in Medicine and Biology Society, Cancun, Mexico, 2015, 1: 724–726. doi: 10.1109/IEMBS.2003.1279866.
    [10] CHEN Jiaqi, WANG Qingwei, WANG Jian, et al. Change detection of water index in danjiangkou reservoir using mixed log-normal distribution based active contour model[J]. IEEE Access, 2019, 7: 95430–95442. doi:  10.1109/ACCESS.2019.2929178
    [11] DONG Chao, LOY C C, HE Kaiming, et al. Image super-resolution using deep convolutional networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2014, 38(2): 295–307. doi:  10.1109/TPAMI.2015.2439281
    [12] DONG Chao, LOY C C, and TANG Xiaoou. Accelerating the super-resolution convolutional neural network[C]. The 14th European Conference on Computer Vision (ECCV’16), Amsterdam, The Netherlands, 2016: 391–407. doi: 10.1007/978-3-319-46475-6_25.
    [13] KIM J, LEE J K, and LEE K M. Accurate image super-resolution using very deep convolutional networks[C]. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR’16), Las Vegas, USA, 2016: 1646–1654. doi: 10.1109/CVPR.2016.182.
    [14] LEDIG C, THEIS L, HUSZÁR F, et al. Photo-realistic single image super-resolution using a generative adversarial network[C]. 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Honolulu, USA, 2017: 105–114. doi: 10.1109/CVPR.2017.19.
    [15] LIM B, SON S H, KIM H W, et al. Enhanced deep residual networks for single image super-resolution[C]. 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), Honolulu, USA, 2017: 1132–1140. doi: 10.1109/CVPRW.2017.151.
    [16] FENG Hongxiao, HOU Biao, and GONG Maoguo. SAR Image despeckling based on local homogeneous-region segmentation by using pixel-relativity measurement[J]. IEEE Transactions on Geoscience and Remote Sensing, 2011, 49(7): 2724–2737. doi:  10.1109/TGRS.2011.2107915
    [17] ZEILER M D and FERGUS R. Visualizing and understanding convolutional networks[C]. The 13th European Conference on Computer Vision (ECCV), Zurich, Switzerland, 2014: 818–833. doi: 10.1007/978-3-319-10590-1_53.
    [18] 郭玥秀, 杨伟, 刘琦, 等. 残差网络研究综述[J/OL]. 计算机应用研究: 1–8. http://kreader.cnki.net/Kreader/CatalogViewPage.aspx?dbCode=CJFQ&filename=JSYJ20190606001&tablename=CAPJLAST&compose=&first=1&uid=, 2019.GUO Yuexiu, YANG Wei, LIU Qi, et al. Survey of residual network[J/OL]. Application Research of Computers: 1–8. http://kreader.cnki.net/Kreader/CatalogViewPage.aspx?dbCode=CJFQ&filename=JSYJ20190606001&tablename=CAPJLAST&compose=&first=1&uid=, 2019.
    [19] HE Kaiming, ZHANG Xingyu, REN Shaoqing, et al. Delving deep into rectifiers: Surpassing human-level performance on imagenet classification[C]. 2015 IEEE International Conference on Computer Vision (ICCV), Santiago, Chile, 2015: 1026–1034. doi: 10.1109/ICCV.2015.123.
  • [1] 李晓峰, 张彪, 杨晓峰.  星载合成孔径雷达遥感海洋风场波浪场 . 雷达学报, 2020, 9(3): 425-443. doi: 10.12000/JR20079
    [2] 卫扬铠, 曾涛, 陈新亮, 丁泽刚, 范宇杰, 温育涵.  典型线面目标合成孔径雷达参数化成像 . 雷达学报, 2020, 9(1): 143-153. doi: 10.12000/JR19077
    [3] 戴牧宸, 冷祥光, 熊博莅, 计科峰.  基于改进双边网络的SAR图像海陆分割方法 . 雷达学报, 2020, 9(): 1-12. doi: 10.12000/JR20089
    [4] 李永祯, 黄大通, 邢世其, 王雪松.  合成孔径雷达干扰技术研究综述 . 雷达学报, 2020, 9(): 1-11. doi: 10.12000/JR20087
    [5] 黄岩, 赵博, 陶明亮, 陈展野, 洪伟.  合成孔径雷达抗干扰技术综述 . 雷达学报, 2020, 9(1): 86-106. doi: 10.12000/JR19113
    [6] 李萌, 刘畅.  基于特征复用的膨胀-残差网络的SAR图像超分辨重建 . 雷达学报, 2020, 9(2): 363-372. doi: 10.12000/JR19110
    [7] 李玮杰, 杨威, 黎湘, 刘永祥.  一种噪声环境下的雷达目标高分辨率距离像鲁棒识别方法 . 雷达学报, 2020, 9(4): 622-631. doi: 10.12000/JR19093
    [8] 师君, 阙钰佳, 周泽南, 周远远, 张晓玲, 孙铭芳.  近场毫米波三维成像与异物检测方法 . 雷达学报, 2019, 8(5): 578-588. doi: 10.12000/JR18089
    [9] 邢孟道, 林浩, 陈溅来, 孙光才, 严棒棒.  多平台合成孔径雷达成像算法综述 . 雷达学报, 2019, 8(6): 732-757. doi: 10.12000/JR19102
    [10] 胡涛, 李卫华, 秦先祥, 王鹏, 余旺盛, 李军.  基于深度卷积神经网络和条件随机场模型的PolSAR图像地物分类方法 . 雷达学报, 2019, 8(4): 471-478. doi: 10.12000/JR18065
    [11] 张晓玲, 张天文, 师君, 韦顺军.  基于深度分离卷积神经网络的高速高精度SAR舰船检测 . 雷达学报, 2019, 8(6): 841-851. doi: 10.12000/JR19111
    [12] 张金松, 邢孟道, 孙光才.  一种基于密集深度分离卷积的SAR图像水域分割算法 . 雷达学报, 2019, 8(3): 400-412. doi: 10.12000/JR19008
    [13] 唐江文, 邓云凯, 王宇, 赵硕, 李宁.  高分辨率滑动聚束SAR BP成像及其异构并行实现 . 雷达学报, 2017, 6(4): 368-375. doi: 10.12000/JR16053
    [14] 王思雨, 高鑫, 孙皓, 郑歆慰, 孙显.  基于卷积神经网络的高分辨率SAR图像飞机目标检测方法 . 雷达学报, 2017, 6(2): 195-203. doi: 10.12000/JR17009
    [15] 窦方正, 刁文辉, 孙显, 张跃, 付琨.  基于深度形状先验的高分辨率SAR飞机目标重建 . 雷达学报, 2017, 6(5): 503-513. doi: 10.12000/JR17047
    [16] 杜康宁, 邓云凯, 王宇, 李宁.  基于多层神经网络的中分辨SAR图像时间序列建筑区域提取 . 雷达学报, 2016, 5(4): 410-418. doi: 10.12000/JR16060
    [17] 任笑真, 杨汝良.  一种基于幅度和相位迭代重建的四维合成孔径雷达成像方法 . 雷达学报, 2016, 5(1): 65-71. doi: 10.12000/JR15135
    [18] 田壮壮, 占荣辉, 胡杰民, 张军.  基于卷积神经网络的SAR图像目标识别研究 . 雷达学报, 2016, 5(3): 320-325. doi: 10.12000/JR16037
    [19] 金添.  叶簇穿透合成孔径雷达增强成像方法 . 雷达学报, 2015, 4(5): 503-508. doi: 10.12000/JR15114
    [20] 贾颖新, 王岩飞.  超高分辨率机载SAR 宽带激励源设计与实现 . 雷达学报, 2013, 2(1): 77-85. doi: 10.3724/SP.J.1300.2012.20100
  • 加载中
图(7) / 表 (6)
计量
  • 文章访问数:  1674
  • HTML全文浏览量:  501
  • PDF下载量:  194
  • 被引次数: 0
出版历程
  • 收稿日期:  2019-11-06
  • 修回日期:  2020-02-02
  • 网络出版日期:  2020-02-27
  • 刊出日期:  2020-02-28

基于局部超分辨重建的高精度SAR图像水域分割方法

doi: 10.12000/JR19096
    基金项目:  国家自然科学基金(U1604145, 61871175, 61601437),河南省高等学校重点科研项目(18B520010, 19A420005),河南省科技攻关计划项目(182102210233, 192102210082),河南省青年人才托举工程(2019HYTP006),河南大学研究生教育创新与质量提升计划项目(SYL18060127)
    作者简介:

    李 宁(1987–),男,安徽人,毕业于中国科学院电子学研究所,获得博士学位,现为河南大学教授,研究方向为多模式合成孔径雷达成像及其应用技术。E-mail: lining_nuaa@163.com

    牛世林(1993–),男,河南人,河南大学计算机与信息工程学院硕士研究生,主要研究方向为合成孔径雷达图像处理及其应用技术。E-mail: nsl1993@foxmail.com

    通讯作者: 李宁 lining_nuaa@163.com
  • 中图分类号: TN959.1; TP183

摘要: 合成孔径雷达(SAR)图像水域分割在水资源调查、灾害监测等领域具有重要意义。针对中低分辨率星载SAR图像水域提取精度不足的难题,该文融合基于轻量级残差卷积神经网络(CNN)的图像超分辨率重建技术和传统SAR图像水域分割技术的优点,提出了一种基于局部超分辨重建的SAR图像水域分割方法,显著提升了SAR图像水域分割的精度。为了验证上述方法的有效性,该文以南水北调中线工程水源地丹江口水库为应用对象,基于国产高分三号(GF-3)卫星的8 m分辨率标准条带(SS)模式图像和欧空局Sentinel-1卫星20 m分辨率干涉宽幅(IW)模式图像,开展了水域分割的实验验证和精度评估工作。实验结果表明,该文所提方法可在中低分辨率SAR图像中获取更精确的水域分割结果,其水域分割性能较传统方法有大幅提升。

English Abstract

李宁, 牛世林. 基于局部超分辨重建的高精度SAR图像水域分割方法[J]. 雷达学报, 2020, 9(1): 174–184. doi:  10.12000/JR19096
引用本文: 李宁, 牛世林. 基于局部超分辨重建的高精度SAR图像水域分割方法[J]. 雷达学报, 2020, 9(1): 174–184. doi:  10.12000/JR19096
LI Ning and NIU Shilin. High-precision water segmentation from synthetic aperture radar images based on local super-resolution restoration technology[J]. Journal of Radars, 2020, 9(1): 174–184. doi:  10.12000/JR19096
Citation: LI Ning and NIU Shilin. High-precision water segmentation from synthetic aperture radar images based on local super-resolution restoration technology[J]. Journal of Radars, 2020, 9(1): 174–184. doi:  10.12000/JR19096
    • 内陆地表水资源是人类赖以生存的重要自然资源,在地球的水文和生物化学循环中起着举足轻重的作用。实现快速、准确的水资源调查对环境监测、灾害预警等具有重要意义[1,2]。合成孔径雷达(Synthetic Aperture Radar, SAR)是一种主动式微波成像传感器,不受云、雨、雾以及光照等因素的影响,可以实现全天时、全天候对地观测。星载SAR装载于卫星平台,具有不受空域限制、观测范围广、周期性重访等特点,已被广泛应用于地球观测的各个领域[3]

      发展到目前,多种SAR图像水域分割方法被相继提出,主要分为以下几类:阈值分割法、主动轮廓模型法(Active Contour Mode, ACM)、聚类分割法、深度学习法。(1)阈值分割法通过设置一个或多个阈值,在灰度级上完成对SAR图像的分割,该方法由于操作简单、计算效率高,通常被视为最常用的方法之一,其缺点在于难以选择最优阈值以及易受SAR图像相干斑噪声的影响[4];(2)基于ACM的SAR图像水域分割方法主要通过粗分割与精细分割两个步骤完成,首先获取大致的水域边界,然后根据梯度信息对轮廓线进行迭代演化,最终获取更准确的水域边界。该方法的优点在于可获取连续、平滑的水域边界,缺点在于运算量大且对初始轮廓的依赖性较强[5,6];(3)聚类分割法基于欧式距离,计算像素与聚类中心之间相似度完成对SAR图像中相似地物的分类。该方法可无监督的实现SAR图像地物分类,其缺点在于大尺度图像运算效率低,且易受相干斑噪声的干扰[7];(4)基于深度学习的分割方法通过人工制作大量训练样本以及手动标定标签图,训练网络模型,对输入图像中的水域进行识别。该方法的优点在于鲁棒性强、不易受相干斑噪声影响,缺点是需要事先制作大量样本集,人力成本高[8]

      传统水域分割方法一般在图像的像素级尺度上开展,可实现像素级精度的水域分割,其分割精度受到分辨率的限制。一般情况下,星载SAR系统受最小天线孔径积的限制,可用于大型水体观测的SAR图像(覆盖面积一般为万平方千米量级),其空间分辨率通常在十米量级。上述中低分辨率(Middle-Low Resolution, MLR) SAR图像的水域分割结果,往往无法满足实际的应用需求。

      针对上述问题,本文提出了一种基于局部超分辨重建(Super-resolution Restoration, SR)的SAR图像水域分割方法,所提方法在传统水域分割技术的基础上,融入了基于卷积神经网络(Convolutional Neural Network, CNN)的图像超分辨重建技术,通过对局部图像进行超分辨重建,突破了传统方法受SAR图像分辨率的限制,显著提升了水域分割结果的精度。本文方法首先对SAR图像相干斑进行抑制,并基于模糊C均值(Fuzzy C-Means, FCM)聚类算法对水域进行粗分割;然后构建并训练一种新型的局部图像超分辨重建网络模型,利用该模型对包含局部水域边界的MLR-SAR图像切片进行图像超分辨重建,从而获得更高分辨率的超分辨图像;最后利用一种改进ACM分割算法在超分辨SAR图像切片中获取更精细的水域边界。为了验证本文新型图像超分辨重建网络模型和高精度水域分割方法的有效性,以南水北调中线工程水源地丹江口水库作为研究区域,基于国产高分三号(GF-3)卫星和欧空局Sentinel-1卫星获取的SAR数据集,开展了SAR图像超分辨重建实验和水域边界提取实验。实验结果表明,本文所提图像超分辨重建网络模型在图像重建质量上具有较好的效果;同时,本文所提水域分割方法的准确率与虚警率均明显优于对比算法,轮廓平均偏移均小于对比方法。

    • 传统FCM算法通过多次迭代,可无监督的将图像$I$的像素划分为$c$个类别,其优点为性能稳定,缺点为对大尺度图像分类时,计算效率较低。为了提高其运算效率,文献[9]提出一种加强的FCM算法(Enhanced FCM, EnFCM),将计算像素与聚类中心的距离转移至计算灰度级与聚类中心的距离[9],随后在灰度级上完成对图像的分类。其目标函数${J_m}$可表示为

      $${J_m} = \sum\limits_{i = 1}^Q {\sum\limits_{j = 1}^c {{\gamma _i}u_{ji}^m{{\left( {{Q_i} - {v_j}} \right)}^2}} } $$ (1)

      其中,$Q$是图像的灰度级总数,${\gamma _i}$是具有灰度值$i$的像素数。${v_j}$表示第$j$个聚类中心。$m$为模糊指数,通常为2。${u_{ji}}$表示第$j$个聚类中心与第$i$个灰度值的隶属度,隶属度求解方程为

      $$ {u_{ji}} = \frac{{{{\left( {{Q_i} - {v_j}} \right)}^{2/\left( {m - 1} \right)}}}}{{\displaystyle\sum\limits_{k = 1}^c {{{\left( {{Q_i} - {v_k}} \right)}^{2/\left( {m - 1} \right)}}} }} $$ (2)
      $$ {v_j} = \frac{{\displaystyle\sum\limits_{i = 1}^Q {{\gamma _i}u_{ji}^m{Q_i}} }}{{\displaystyle\sum\limits_{i = 1}^Q {{\gamma _i}u_{ji}^m} }}\hspace{37pt} $$ (3)
    • ACM根据能量函数的不同,可分为基于区域和基于边缘两类。基于区域的ACM可利用全局信息对图像进行分割,基于边缘的ACM可根据梯度信息和边缘停止函数对目标进行分割。然而,SAR相干斑噪声使得图像灰度分布不均匀,基于传统模型的ACM算法往往无法获得理想的分割结果。文献[10]证明了混合对数正态分布模型对SAR图像的分布具有较好的拟合效果,并且融合了基于区域和基于边缘两类能量函数的优势,提出了一种基于混合对数正态分布的ACM (Mixed Log-normal Distribution based ACM, MLD-ACM)分割算法。首先假设曲线$C$将整个图像域$\Omega $分为${\Omega _1}$${\Omega _2}$两部分,分别服从对数正态分布$\lg {p_1}$$\lg {p_2}$。然后引入水平集函数$\phi $,使${\Omega _1} = \{ \phi > 0\} $${\Omega _2} = \{ \phi < 0\} $,则轮廓$C = \{ \phi = 0\} $。归纳MLD-ACM的能量函数表达式为

      $$ \begin{split} E(\phi (x)) =\,& {\rm{ }}{E_{{\rm{lgNMM}} }}(\phi (x)) + {E_{\rm b}}(\phi (x)) \\ =\,& {\rm{ }}\int\limits_{{\Omega _1}} {\lg {p_1}H(\phi ){\rm{d}}} y - \int\limits_{{\Omega _2}} {\lg {p_2}(1 - H(\phi )){\rm{d}}y} \\ \,& +\mu \int\limits_\Omega {\frac{1}{4}(|\nabla \phi {|^2} - 1){\rm{d}}x} \\ \,& +\eta \int\limits_\Omega {g(x){\delta _\varepsilon }(\phi (x))|\nabla \phi (x){\rm{d}}x} \\ \,& +\rho (x)\int\limits_\Omega {g(x)H( - \phi (x)){\rm{d}}x} \\[-23pt] \end{split} $$ (4)
      $$ \rho (x) = \alpha {{\rm e}^{ - \beta |{u_{\rm in}}(x) - {u_{\rm out}}(x)|}} + d $$ (5)

      其中,$\mu ,\eta ,\alpha ,\beta ,d$均为常数参数。${E_{{\rm{lgNMM}} }}$${E_{\rm b}}$分别为基于区域混合对数正态分布的能量函数和基于边缘信息的能量函数。$H$为Heaviside函数,$\delta $为Dirac函数,$g(x)$为基于梯度信息的边缘停止函数。$\rho (x)$为可变区域系数,${u_{\rm in}}$${u_{\rm out}}$分别代表轮廓内外的均值。

      根据变分法原则[10],能量函数$E(\phi (x)){\rm{ }}$对应的水平集函数为

      $$ \begin{split} \frac{{\partial \phi }}{{\partial t}} =\,& {\delta _\varepsilon }(\phi )[\lg {p_1} - \lg {p_2}] + \frac{\mu }{4}{(|\nabla \phi {|^2} - 1)^2} \\ & +\eta {\delta _\varepsilon }{\rm div}\left(g(x)\frac{{\nabla \phi (x)}}{{|\nabla \phi (x)|}}\right) + {\delta _\varepsilon }(\phi )\rho (x)g(x) \end{split} $$ (6)
    • 超分辨率重建的难点在于图像边缘保持。随着CNN技术的发展,文献[11]首次提出了基于CNN的超分辨模型(SR by CNN, SRCNN),该模型首先利用Bicubic插值放大目标图像,然后利用一种3层的CNN模型(特征提取层、非线性映射层和图像重建层),重建更清晰的图像。随后,文献[12]提出了一种快速SRCNN模型(Fast SRCNN, FSRCNN),通过加深非线性映射层深度与减小特征尺寸,可在提高边缘保持性能的同时加快运行速度。文献[13]提出了一种基于深卷积网络的超分辨模型(SR by Very Deep convolutional network, VDSR),通过一个20层深度的网络,增加了网络的感受野,从而提高了超分辨重建的效果。文献[14]将生成对抗网络(Generative Adversarial Network, GAN)应用在超分辨重建问题中,提出了一种基于GAN的超分辨模型(SR by GAN, SRGAN)。该模型利用感知损失和对抗损失,更好地保留了图像的高频细节,使重建结果有更好的视觉感。文献[15]结合残差网络提出了一种增强型深度超分辨率网络(Enhanced Deep network for SR, EDSR),该模型去除了常规残差网络中的归一化处理,并采用L1范数式的损失函数优化网络,使模型紧凑的同时实现更好的结果,性能得到显著提升。基于CNN的超分辨模型结合了多层感知机理论的优势,可更好地训练各层卷积核的权重,使超分辨重建结果达到最优。目前基于CNN的图像超分辨重建模型发展较为成熟,在多个公开数据集上均取得了较好的实验结果。

    • 本文所提高精度SAR图像水域分割方法结构如图1所示。对输入的MLR-SAR图像先进行水域的粗分割,然后对目标区域进行局部超分辨重建,最后再对水域进行精细分割,提取更高精度的水域边界。

      图  1  基于局部超分辨重建的SAR图像高精度水域分割方法示意图

      Figure 1.  The structure of local SR based high-precision water extraction method for SAR image

    • 水域粗分割主要包含3个步骤,分别是相干斑滤波、基于EnFCM算法的水域粗分割和感兴趣区域(Region Of Interest, ROI)提取。

      (1) 相干斑滤波:SAR图像中固有的相干斑噪声会对图像分割造成不利影响,在分割之前对相干斑噪声进行抑制尤为必要。相干斑噪声是一种乘性噪声,会导致图像分布不均,影响图像的正确解译。传统均值滤波在抑制相干斑噪声的同时,会造成边缘信息的破坏,导致边缘模糊。随着相干斑滤波技术的发展,基于非局域(Non-Local, NL)理论的SAR图像滤波技术取得了较好的效果,该类算法在保证同质区域均匀的同时,可较好地保留非同质区域间的边界。本文采用一种基于比值距离的NL-SAR相干斑滤波算法[16]实现SAR图像的相干斑抑制。

      (2) EnFCM聚类:对滤波后的SAR图像进行水域初步提取,随机设置3个聚类中心,迭代次数设置为15。完成迭代后,将图像分为目标水体、背景、过渡区域。

      (3) ROI提取:上述结果中,一些雷达阴影与相干斑噪声会被误判为目标水体。为了消除这些影响,采用文献[4]中的ROI提取方法,标记最大区域面积为${S_{\max }}$,定义一个面积阈值$T = \lambda \cdot {S_{\max }}$,只有面积大于$T$的区域才会被标定为ROI区域,即最终的水域粗分割结果。在本文中,令$\lambda = 0.2$

    • 局部SAR图像超分辨重建主要包含两个步骤。第1步,图像分块,即围绕粗分割获取的水域边界信息,获取一系列部分重叠的图像切片;第2步,局部图像超分辨重建,即基于一种轻量级残差CNN的超分辨重建(Lightweight Resnet based SR, LRSR)网络模型,对SAR图像切片进行超分辨率重建。

    • 经过水域的粗分割处理,实际的目标区域仅为粗分割水域边界线的邻域。为了降低后续图像超分辨重建和水域精分割等步骤的运算量,本文提出一种基于粗分割水域边界信息的局部图像分块方法,如图2所示。具体操作流程如下:

      图  2  局部分块方法示意图

      Figure 2.  Schematic diagram of local block method

      步骤1 设定带状区域 以粗分割水域边界为中心线,形成一条宽度为E的带状区域,如图2所示。其中,为了保证带状区域包含真实水域边界,$E/2$应大于粗分割水域边界与真实边界对应位置的最大距离。

      步骤2 粗分割水域边界分段直线拟合 如图2(b)所示,蓝色曲线为粗分割水域边界。以粗分割水域边界的第1个边界点为起点,按同一个方向,连续取${n_1}$个边界点的坐标,直到起始点和终止点之间的直线距离范围在E$1.5E$。将这些像素点的坐标记为集合${N_1}$,采用最小二乘法,对集合${N_1}$进行直线拟合。所得直线如图2(b)中红色线段所示,其方程记为${f_{N_1}}(x)$

      步骤3 计算分段直线的端点与中点坐标 根据集合${N_1}$中起始点和终止点的横坐标,带入步骤2获得的方程${f_{N_1}}(x)$中,获得红色线段首点①的坐标和尾点③的坐标。然后,根据点①和点③的坐标,利用中点公式,计算中点②的坐标。

      步骤4 遍历粗分割水域边界 取上一个步骤中集合的终止点为起点,按步骤2拟合直线,如图2(b)中黑色线段所示。然后按步骤3计算点④、点⑤和点⑥的坐标。循环执行该步骤,直到完全遍历粗分割水域边界。

      步骤5 计算图像切片位置 如图2(b)所示,图中黑色阴影区域表示局部带状区域,红色、黄色和蓝色框表示分块后的图像切片。以红色框为例,将经过点①和点③,且可以截断带状区域的两条竖直的平行线作为边界,以包含点①和点③之间所有带状区域的另外两条水平的平行线作为边界,通过四条边界确定图像切片位置。同理,黄色框根据点②、点⑤和带状区域确定,蓝色框根据点④、点⑥和带状区域确定。

    • LRSR网络模型主要包含6个部分,结构如图3所示,分别是特征提取层、特征压缩层、特征映射层、特征扩张层、累加层和超分辨率重建层。图3${\rm{Conv}}(F,I,O)$${\rm{Deconv}}(F,I,O)$分别表示卷积函数与反卷积函数,F表示卷积核尺寸,I表示输入特征的维度,$O$表示输出特征的维度。LRSR网络直接对MLR-SAR图像进行多维特征的提取,并根据特征重建超分辨率图像,各部分详细结构如下:

      图  3  LRSR网络结构图

      Figure 3.  The structure of the LRSR network

      (1) 特征提取层:采用64个5×5的卷积进行特征提取。输入数据为MLR-SAR图像,经过Conv(5, 1, 64)函数提取64维的特征图。

      (2) 特征压缩层:${\rm{Conv}}(1,64,16)$函数将64维的特征图压缩至16维,缩小了参与第3部分非线性映射的特征维度,减小了计算量,从而加快了运行效率。

      (3) 特征映射层:特征的非线性映射是图像超分辨重建的重要步骤,其中两个最重要的参数分别是卷积核大小和特征映射层的深度m。文献[11]验证了SRCNN模型在单层特征映射的结构下,特征映射层的卷积核大小为5×5时,其SR性能优于卷积核大小为1×1时[11]。随后,文献[12]验证了FSRCNN模型的特征映射层深度为4,且卷积核大小为3×3时,其SR性能最优[12]。因此,本文基于3×3的卷积对特征进行非线性映射。从模型参数量的角度分析,两个3×3的卷积层串联的效果相当于一个5×5的卷积层,但前者的参数量只有后者的72%。更重要的是,两个3×3的卷积层比一个5×5的卷积层可实现更多的非线性映射。第2个重要参数m决定了网络的复杂度与SR性能,其数值的设定易受网络结构、超分辨重建倍数等因素的影响,需通过实验探寻最优值。最终,该层通过m${\rm{Conv}}(3,16,16)$函数串联,实现对特征压缩层输出的16维特征图进行非线性映射。

      (4) 特征扩张层:将上步非线性映射输出的16维特征图输入${\rm{Conv}}(1,16,64)$函数,扩张至64维的特征图。特征扩张层的引入为LRSR网络的第5部分实现残差网络模型提供了基础。

      (5) 累加层:通过捷径通道R,将特征提取层的输出与特征扩张层的输出相加,从而构建残差网络模型。

      (6) 超分辨率重建层:${\rm{Deconv}}(9,64,1)$函数由64个9×9的反卷积核组成,对累加层的输出进行整合与上采样,输出一幅完整的超分辨率图像。反卷积可视为卷积的逆运算。对于卷积而言,在图像上以步长(stride) k运算时,将以1/k的频率输出。相反的,将输入和输出交换位置,那么获得输出的结果将是输入的k倍。因此超分辨率重建倍数由反卷积步长k决定。

      LRSR网络采用PReLU作为激活函数,其表达式为$f(x) = \max (x,0) + a\min (0,x)$。相比于传统ReLU激活函数,PReLU通过增加系数$a$,保留了特征的负数部分,改进了经ReLU激活函数运算后输出为0的情况,避免了“dead features” [17]的出现。损失函数采用均方误差(Mean Square Error, MSE)计算。网络模型参数的优化采用随机梯度下降算法与反向传播机制完成。

      LRSR网络通过增加捷径通道R实现了残差结构,有效缓解了传统CNN模型中梯度消失与梯度爆炸的问题,增加了网络结构的稳定性[18]。此外,通过特征压缩与扩张,在保证运算效率的同时,实现了小维度特征的多层非线性映射。最后通过一组经过训练的反卷积函数,实现图像的超分辨重建。

    • 水域精分割主要包含2个步骤,分别是基于MLD-ACM[9]算法的水域精分割和水域边界切片融合。

      基于MLD-ACM算法的水域精分割流程如下:

      (1) 对MLD-ACM算法的参数进行初始化[9]。在本文中,令$\mu = 0.2$, $\eta = 1$, $\alpha = 10$, $\beta = 3$, $d = 0.25$

      (2) 读取经过SR后的SR-SAR图像切片;

      (3) 根据水域粗分割结果,初始化水平集函数$\phi $

      (4) 根据式(6)迭代演化轮廓线,直至收敛;

      (5) 重复步骤(1),直至完成所有SR-SAR图像切片的水域精分割。

      上述处理获得的水域边界为一系列子块图像(即图像切片)的分割结果,要获得完整和连续的水域边界,需要融合所有图像切片的分割结果。如图4所示,在融合过程中,对相邻图像切片重叠的水域边界进行平均处理,形成一个连续的SR水域边界。最后,通过比例映射,将SR水域边界映射到原始MLR-SAR图像中,获得最终的高精度水域边界线。

      图  4  精细分割水域边界融合方法

      Figure 4.  Merging method of the refined water boundaries

    • 首先,制作数据集。以两景覆盖丹江口区域的国产GF-3卫星超精细条带模式图像(3 m空间分辨率)为数据源,从中截取200幅具有清晰纹理和边缘(如岸边、城市群)的子图像,且尺寸统一为200×200。然后,采用文献[19]的数据增强方法,对数据集进行扩充。

      其次,制作样本集。对数据集进行k倍的降采样(k等价于超分辨重建倍数),分别将原始数据集和降采样数据集均分为5份,记为${S_{{\rm{HR1}} - {\rm{HR5}}}}$${S_{{\rm{LR1}} - {\rm{LR5}}}}$。取${S_{{\rm{LR1}} - {\rm{LR4}}}}$${S_{{\rm{HR1}} - {\rm{HR4}}}}$作为训练样本和训练标签,${S_{{\rm{LR5}}}}$${S_{{\rm{HR5}}}}$作为测试样本和测试标签。

    • LRSR网络中卷积与反卷积函数的padding与stride参数设定如表1所示,网络模型的训练参数如表2所示。所有卷积核的初始化值采用MSRA[19]函数进行填充,反卷积核的初始化采用均值为0,标准差为${10^{ - 3}}$的标准高斯分布进行随机填充。

      表 1  LRSR网络卷积与反卷积参数设置

      Table 1.  Convolution and deconvolution parameters of the LRSR

      数据处理层[卷积数目:深度× (${I_i}$×${O_i}$),
      卷积核大小:(${F_i}$×${F_i}$)]
      paddingstride
      特征提取层 [(1×64), (5×5)]01
      特征压缩层 [(64×16), (1×1)]01
      特征映射层 [m×(16×16), (3×3)]11
      特征扩张层 [(1×64), (1×1)]01
      超分辨重建层 [(64×1), (9×9)]4k

      表 2  LRSR网络训练参数

      Table 2.  Convolution and deconvolution parameters of the LRSR

      卷积学
      习率
      卷积偏置
      学习率
      反卷积
      学习率
      反卷积偏置
      学习率
      权值衰减最大迭代
      次数
      10–310–410–42 × 10–410–410–7
    • 以MSE损失为评价指标,训练网络模型,训练结果如表3所示。超分辨重建质量评价指标采用峰值信噪比(Peak Signal-to-Noise-Ratio, PSNR)[12]

      表 3  LRSR网络MSE损失训练结果

      Table 3.  LRSR training results of MSE loss

      km
      45678
      20.017670.017250.017540.018470.01894
      30.090770.089390.088560.088660.08978
      40.258420.252200.250340.256390.25464

      为了验证LRSR网络对实测SAR图像的超分辨重建效果。选取国产GF-3卫星在丹江口地区获取精细条带I模式的5 m空间分辨率的SAR图像进行验证,结果如图5所示。第1步对SAR图像进行相干斑抑制,并获取局部SAR图像切片,如图5中第1列虚线框所示;第2步进行3倍的降采样以获得MLR-SAR图像,降采样结果如图5中第2列虚线框所示;第3步对MLR图像进行超分辨重建操作,重建结果如图5第3列虚线框所示。SAR图像超分辨重建结果的平均PSNR达到了38.676 dB,与第1列中虚线框中原始图像对比可发现,LRSR网络对SAR图像具有较好的超分辨重建性能。

      图  5  SAR图像3倍超分辨重建结果

      Figure 5.  SR result of SAR images with upscaling factor of 3

    • 本文以我国南水北调中线工程水源地丹江口水库作为研究区域,验证所提方法的有效性,如图6中黄色虚线框所示。丹江口水库为南水北调工程沿线4个省市的20多座大中城市提供生活和生产用水,对其覆盖水域进行持续监测与快速调查具有重要意义。本文以欧空局Sentinel-1卫星和国产GF-3卫星获取的丹江口水库SAR图像为数据源,开展实验验证。实验数据详细信息如表4所示。

      表 4  实验使用的SAR图像详细参数

      Table 4.  Detailed parameters of experimental SAR data

      SAR图像1SAR图像2
      卫星Sentinel-1GF-3
      成像模式干涉宽测绘带(Interferometric Wide-swath, IW)标准条带 (Stand Stripmap, SS)
      成像日期2019年2月8日2017年7月14日
      标称分辨率20 m8 m
      图像尺寸3824×2255像素7428×5221像素
      极化方式VVHH

      图  6  研究区域

      Figure 6.  Location of study area

    • 实验中,设置图像分块参数$E = 100$,超分辨率重建网络模型参数$k = 3,\;m = 6$。本文通过4组对比试验,验证了所提方法的有效性,各对比方法的详细信息如表5所示。其中,对比方法1采用了FCM聚类算法进行水域粗分割,并将粗分割结果作为初始边界输入ACM算法,进行水域的精细分割。对比方法2在对比方法1的粗分割流程中,加入了相干斑滤波技术和ROI提取技术。对比方法3在对比方法2的基础之上,加入了本文所提的水域边界局部分块法。最后为本文所提方法,在对比方法3的基础之上,加入了超分辨重建模型。实验结果如图7所示,其中,图7(a)图7(c)分别为图像1和图像2的水域提取结果,图中蓝色区域代表提取的水域。从整体效果上看,4种方法都可成功地提取水域,但其它方法受雷达阴影和相干斑噪声的影响较大。相较之下,本文方法在非水域区域具有更强的稳定性与鲁棒性。为了更加清晰地观察试验结果,将水域边界叠加在原始SAR图像中,分别在图像1和图像2中各选取5个典型的子区域进行放大观察,如图7(a)图7(c)中区域A至区域J所示。放大结果如图7(b)图7(d)所示,黄色曲线代表对比方法1提取到的水域边界,绿色曲线为对比方法2提取到的水域边界,蓝色曲线为对比方法3提取到的水域边界,红色曲线为本文方法提取到的水域边界。对比发现,本文方法提取的水域较为整齐,轮廓较为平滑,且误判现象较少。为了获得更详细的观察,在每个子区域中随机选取一个区域再次放大,结果如每个子区域结果图中右下角所示。对比发现,本文所提方法鲁棒性与稳定性更强,能够获取更精确的水域边界。

      表 5  对比试验方法

      Table 5.  Comparison test methods

      对比方法方法详情
      方法1水域粗分割(FCM聚类)+ACM精细分割
      方法2水域粗分割(相干斑滤波+FCM聚类+ROI提取)+ACM精细分割
      方法3水域粗分割(相干斑滤波+FCM聚类+ROI提取)+水域边界局部分块法+ACM精细分割
      本文方法水域粗分割(相干斑滤波+FCM聚类+ROI提取)+水域边界局部分块法+图像超分辨重建+ACM精细分割

      图  7  SAR图像水域分割结果

      Figure 7.  Water extraction results of SAR images

    • 为了定量分析所提方法的精度,本文采用文献[5]中的评估方法,对上述实验结果进行精度评估。其中,虚警率与漏检率用来评估整体水域提取质量,轮廓的平均像素偏移距离用来评估局部水域边界质量,评估结果如表6所示。从表中方法1和方法2的结果可知,传统方法的分割结果受雷达阴影与相干斑噪声影响较大。在传统方法的粗分割过程中加入相干斑滤波和ROI提取技术,可减少部分雷达阴影和相干斑噪声的影响。从表中方法3的结果可知,在引入了本文所提水域边界局部分块法后,可有效地抑制了目标区域外的雷达阴影与相干斑噪声影响。并且,ACM算法仅在局部图像切片中计算水域,在轮廓演化次数相同的情况下,可获取更高精度的水域轮廓。从表中本文方法的结果可知,在融入了超分辨重建技术后,增加了局部图像的分辨率,最终的分割精度在方法3的基础上,得到了进一步的提升。其中,虚警率小于0.04%,准确率大于99%,轮廓平均偏移指标大幅降低,可以实现高精度的水域边界提取。

      表 6  定量分析结果

      Table 6.  Results of quantitative analysis

      SAR图像编号对比方法1对比方法2对比方法3本文方法
      虚警率(%)准确率(%)轮廓平均偏
      移像素(个)
      虚警率(%)准确率(%)轮廓平均偏移
      像素(个)
      虚警率(%)准确率(%)轮廓平均偏移
      像素(个)
      虚警率(%)准确率(%)轮廓平均偏
      移像素(个)
      120.4385.232.171410.5991.061.54110.6898.690.79570.01499.650.1543
      29.2790.151.62283.2892.431.36520.9198.830.74680.03499.720.1403

      相比之下,传统方法的水域分割精度偏低,且虚警率偏高,其原因可归结为以下几点:(1)传统方法的分割精度受限于图像的空间分辨率,易受模糊的水域边界影响;(2)传统方法在对整幅图像进行分割时,既增加了运算量,也提高了将相干斑噪声和雷达阴影误判为水域的概率;(3)传统方法基于灰度信息对图像进行分割,鲁棒性较差,雷达阴影、相干斑噪声和水面风浪造成的局部散射增强等易造成虚警。

    • 本文提出了一种高精度的SAR图像水域分割方法,并结合实测SAR图像,进行了精度和鲁棒性验证。结合基于深度学习的图像超分辨重建模型,本文所提方法的分割精度较传统方法提升了一个数量级。同时,基于粗分割水域边界的图像分块技术,大幅降低了图像超分辨重建步骤的计算量,提高了本文方法的整体运算效率。对于中低分辨率星载SAR图像大型水域分割应用,所提方法具有重要的实用意义。

参考文献 (19)

目录

    /

    返回文章
    返回