广西师范大学学报（自然科学版） ›› 2022, Vol. 40 ›› Issue (2): 81-90.doi: 10.16088/j.issn.1001-6600.2020121505

• • 上一篇    下一篇

基于卷积神经网络的逆光图像增强研究

马铖旭, 曾上游*, 赵俊博, 陈红阳   

  1. 广西师范大学 电子工程学院,广西 桂林 541004
  • 收稿日期:2020-12-15 修回日期:2021-02-08 发布日期:2022-05-31
  • 通讯作者: 曾上游(1974—),男,湖南双峰人,广西师范大学教授,博士。E-mail:zsy@mailbox.gxnu.edu.cn
  • 基金资助:
    国家自然科学基金(61976063)

Research on Backlight Image Enhancement Based on Convolutional Neural Network

MA Chengxu, ZENG Shangyou*, ZHAO Junbo, CHEN Hongyang   

  1. College of Electronic Engineering, Guangxi Normal University, Guilin Guangxi 541004, China
  • Received:2020-12-15 Revised:2021-02-08 Published:2022-05-31

PDF (PC)

38

摘要： 现有的大部分算法只能针对特定照度的逆光图像有出色的增强效果,不能高效率地解决各类照度的逆光图像。因此,本文提出一种基于卷积神经网络的图像增强算法,并构建一种集分解、恢复、调节为一体的新型网络架构。利用Retinex理论设计一个分解网络,将逆光图像与其对应的高光图像都分解为反射图和光照图。采用高光图反射分量作为去噪参考,修复暗光缺陷,并添加颜色饱和度模块,最大程度地保留图像恢复过程中的颜色等细节。逆光图像的光照图可依据用户喜好自适应调节亮度,设置增强比率(目标光源与图像光源间的比值)作为调节指标,将逆光图像增强至高光图像时,增强比率要大于1。在多个公开数据集(LOL、DICM、NPE)上验证,研究表明本文方法可有效增强逆光图像亮度,改善图像质量,保证图像细节不丢失,避免颜色失真。在不同照度的逆光图像上均有较好的效果,主观和客观评价指标上的结果优于对比算法,对智慧城市的安防以及人工智能的发展有应用价值。

关键词: 逆光图像增强, 卷积神经网络, Retinex, 色彩饱和度, 人工智能

Abstract: Most of the existing algorithms can only enhance the backlight images with specific illumination, but cannot solve the backlight images with various illuminations efficiently. Therefore, an image enhancement algorithm based on convolutional neural network is proposed in this paper, and a new network architecture that integrates decomposition, recovery and adjustment is built at the same time. Using Retinex theory, a decomposition network is designed to decompose the backlight image and its corresponding highlight image into reflectance map and illumination map. The reflectance component of highlight image is used as the denoising reference to repair the dark light defect, and the color saturation module is added to retain the color and other details in the image restoration process. The brightness of the backlight images can be adjusted adaptively according to the user's preference. The enhancement ratio (the ratio between the target light source and the image light source) is set as the adjustment index. When the backlight images are enhanced to the high-light images, the enhancement ratio should be greater than 1. Validated on multiple public datasets (LOL, DICM, NPE), the research shows that this method can effectively enhance the brightness of backlight images, improve image quality, ensure that image details are not lost, and avoid color distortion. It has good effects on backlight images with different illuminations, and the results of subjective and objective evaluation indicators are better than the existing algorithms, which has application value for the development of smart city security and artificial intelligence.

Key words: backlight image enhancement, convolutional neural network, Retinex, color saturation, artificialintelligence

中图分类号: 

  • TP391.41
[1] RAHMAN Z U, JOBSON D J, WOODELL G A, et al. Retinex processing for automatic image enhancement[J]. Journal of Electronic Imaging, 2004, 13(1): 100-110. DOI: 10.1117/1.1636183.
[2] TSAI C M, YEH Z M. Contrast enhancement by automatic and parameter-free piecewise linear transformation for color images[J]. IEEE Transactions on Consumer Electronics, 2008, 54(2): 213-219. DOI: 10.1109/TCE.2008.4560077.
[3] 庞小龙, 贺志华, 王玄, 等. 基于直方图均衡算法的低照度巡检图像增强方法[J]. 设备管理与维修, 2020(18): 76-77. DOI: 10.16621/j.cnki.issn1001-0599.2020.09D.43.
[4] 郭倩, 朱振峰, 常冬霞, 等. 融合全局与局部区域亮度的逆光图像增强算法[J]. 信号处理, 2018, 34(2): 140-147. DOI: 10.16798/j.issn.1003-0530.2018.02.003.
[5] 玛利亚木古丽·麦麦提, 吐尔洪江·陈布都克力木, 阿卜杜如苏力·奥斯曼, 等. 结合小波变换和同态滤波的医学图像增强算法[J]. 电子设计工程, 2020, 28(24):1-5. DOI: 10.14022/j.issn1674-6236.2020.24.001.
[6] JOBSON D J, RAHMAN Z, WOODELL G A. A multiscale retinex for bridging the gap between color images and the human observation of scenes[J]. IEEE Transactions on Image Processing, 1997, 6(7): 965-976. DOI: 10.1109/83.597272.
[7] 张红颖, 赵晋东. HSV空间的RetinexNet低照度图像增强算法[J]. 激光与光电子学进展, 2020, 57(20): 294-301.
[8] 刘佳敏, 何宁, 尹晓杰. 基于Retinex-UNet算法的低照度图像增强[J]. 计算机工程与应用, 2020, 56(22): 211-216.
[9] 杨微, 姚冰莹, 朱晓凤. 基于Retinex理论的低照度图像增强技术研究[J]. 现代计算机, 2020(29): 48-54.
[10] 闫保中, 韩旭东, 何伟. 基于Retinex理论改进的低照度图像增强算法[J]. 应用科技, 2020, 47(5): 74-78.
[11] 韩梦妍, 李良荣, 蒋凯. 基于光照图估计的Retinex低照度图像增强算法研究[J]. 计算机工程, 2021, 47(10): 201-206.
[12] GUO X J, LI Y, LING H B. LIME: Low-light image enhancement via illumination map estimation[J]. IEEE Transactions on Image Processing, 2017, 26(2): 982-993. DOI: 10.1109/TIP.2016.2639450.
[13] WANG W J, WEI C, YANG W H, et al. GLADNet: Low-light enhancement network with global awareness[C]// 2018 13th IEEE International Conference on Automatic Face & Gesture Recognition (FG 2018). Piscataway, NJ: IEEE, 2018: 751-755. DOI: 10.1109/FG.2018.00118.
[14] WEI C, WANG W J, YANG W H, et al. Deep retinex decomposition for low-light enhancement[EB/OL]. (2018-08-14)[2021-02-08]. https://arxiv.org/pdf/1808.04560.pdf.
[15] ZHANG Y H, ZHANG J W, GUO X J. Kindling the darkness: A practical low-light image enhancer[C]// Proceedings of the 27th ACM International Conference on Multimedia. New York, NY: Association for Computing Machinery, 2019: 1632-1640. DOI: 10.1145/3343031.3350926.
[16] RONNEBERGER O, FISCHER P, BROX T. U-Net: Convolutional networks for biomedical image segmentation[C]// Medical Image Computing and Computer-Assisted Intervention -MICCAI 2015. Berlin: Springer, 2015: 234-241. DOI: 10.1007/978-3-319-24574-4_28.
[17] 梁晓萍, 罗晓曙. 基于遗传自适应的维纳滤波图像去模糊算法[J]. 广西师范大学学报(自然科学版), 2017, 35(4): 17-23. DOI: 10.16088/j.issn.1001-6600.2017.04.003.
[18] 薛洋, 曾庆科, 夏海英, 等. 基于卷积神经网络超分辨率重建的遥感图像融合[J]. 广西师范大学学报(自然科学版), 2018, 36(2): 33-41. DOI: 10.16088/j.issn.1001-6600.2018.02.005.
[19] 孙妤喆, 卢磊, 罗晓曙, 等. 结合非局部均值滤波的双边滤波图像去噪方法[J]. 广西师范大学学报(自然科学版), 2017, 35(2): 32-38. DOI: 10.16088/j.issn.1001-6600.2017.02.005.
[20] 吴若有, 王德兴, 袁红春. 基于注意力机制和卷积神经网络的低照度图像增强[J]. 激光与光电子学进展, 2020, 57(20): 214-221.
[21] LEE C, LEE C, KIM C S. Contrast enhancement based on layered difference representation[C]// 2012 19th IEEE International Conference on Image Processing. Piscataway, NJ: IEEE, 2012: 965-968. DOI: 10.1109/ICIP.2012.6467022.
[22] WANG S H, ZHENG J, HU H M, et al. Naturalness preserved enhancement algorithm for non-uniform illumination images[J]. IEEE Transactions on Image Processing, 2013, 22(9): 3538-3548. DOI: 10.1109/TIP.2013.2261309.
[23] WANG Z, BOVIK A C, SHEIKH H R, et al. Image quality assessment: From error visibility to structural similarity[J]. IEEE Transactions on Image Processing, 2004, 13 (4): 600-612. DOI: 10.1109/TIP.2003.819861.
[24] YAO S S, LIN W S, ONG E P, et al. Contrast signal-to-noise ratio for image quality assessment[C]// IEEE International Conference on Image Processing 2005. Piscataway, NJ: IEEE, 2005. DOI: 10.1109/ICIP.2005.1529771.
[25] MITTAL A, SOUNDARARAJAN R, BOVIK A C. Making a “completely blind” image quality analyzer[J]. IEEE Signal Processing Letters, 2013, 20(3): 209-212. DOI: 10.1109/LSP.2012.2227726.
[1] 周圣凯, 富丽贞, 宋文爱. 基于深度学习的短文本语义相似度计算模型[J]. 广西师范大学学报（自然科学版）, 2022, 40(3): 49-56.
[2] 彭涛, 唐经, 何凯, 胡新荣, 刘军平, 何儒汉. 基于多步态特征融合的情感识别[J]. 广西师范大学学报（自然科学版）, 2022, 40(3): 104-111.
[3] 陈文康, 陆声链, 刘冰浩, 李帼, 刘晓宇, 陈明. 基于改进YOLOv4的果园柑橘检测方法研究[J]. 广西师范大学学报（自然科学版）, 2021, 39(5): 134-146.
[4] 王金艳, 胡春, 高健. 一种面向知识编译的OBDD构造方法[J]. 广西师范大学学报（自然科学版）, 2021, 39(4): 47-54.
[5] 杨州, 范意兴, 朱小飞, 郭嘉丰, 王越. 神经信息检索模型建模因素综述[J]. 广西师范大学学报（自然科学版）, 2021, 39(2): 1-12.
[6] 邓文轩, 杨航, 靳婷. 基于注意力机制的图像分类降维方法[J]. 广西师范大学学报（自然科学版）, 2021, 39(2): 32-40.
[7] 严浩, 许洪波, 沈英汉, 程学旗. 开放式中文事件检测研究[J]. 广西师范大学学报（自然科学版）, 2020, 38(2): 64-71.
[8] 范瑞,蒋品群,曾上游,夏海英,廖志贤,李鹏. 多尺度并行融合的轻量级卷积神经网络设计[J]. 广西师范大学学报（自然科学版）, 2019, 37(3): 50-59.
[9] 武文雅, 陈钰枫, 徐金安, 张玉洁. 基于高层语义注意力机制的中文实体关系抽取[J]. 广西师范大学学报（自然科学版）, 2019, 37(1): 32-41.
[10] 薛洋,曾庆科,夏海英,王文涛. 基于卷积神经网络超分辨率重建的遥感图像融合[J]. 广西师范大学学报（自然科学版）, 2018, 36(2): 33-41.
[11] 张仁津, 唐翠芳, 刘彬. 基于人工神经网络游戏程序的研究和设计[J]. 广西师范大学学报（自然科学版）, 2011, 29(2): 119-124.
Viewed
Full text


Abstract

Cited
  Shared   
  Discussed   
[1] 胡锦铭, 韦笃取. 不同阶次分数阶永磁同步电机的混合投影同步[J]. 广西师范大学学报（自然科学版）, 2021, 39(4): 1 -8 .
[2] 武康康, 周鹏, 陆叶, 蒋丹, 闫江鸿, 钱正成, 龚闯. 基于小批量梯度下降法的FIR滤波器[J]. 广西师范大学学报（自然科学版）, 2021, 39(4): 9 -20 .
[3] 刘东, 周莉, 郑晓亮. 基于SA-DBN的超短期电力负荷预测[J]. 广西师范大学学报（自然科学版）, 2021, 39(4): 21 -33 .
[4] 张伟彬, 吴军, 易见兵. 基于RFB网络的特征融合管制物品检测算法研究[J]. 广西师范大学学报（自然科学版）, 2021, 39(4): 34 -46 .
[5] 王金艳, 胡春, 高健. 一种面向知识编译的OBDD构造方法[J]. 广西师范大学学报（自然科学版）, 2021, 39(4): 47 -54 .
[6] 逯苗, 何登旭, 曲良东. 非线性参数的精英学习灰狼优化算法[J]. 广西师范大学学报（自然科学版）, 2021, 39(4): 55 -67 .
[7] 李莉丽, 张兴发, 李元, 邓春亮. 基于高频数据的日频GARCH模型估计[J]. 广西师范大学学报（自然科学版）, 2021, 39(4): 68 -78 .
[8] 李松涛, 李群宏, 张文. 三自由度碰撞振动系统的余维二擦边分岔与混沌控制[J]. 广西师范大学学报（自然科学版）, 2021, 39(4): 79 -92 .
[9] 赵红涛, 刘志伟. λ重完全二部3-一致超图λK(3)n,n分解为超图双三角锥[J]. 广西师范大学学报（自然科学版）, 2021, 39(4): 93 -98 .
[10] 李梦, 曹庆先 , 胡宝清. 1960—2018年广西大陆海岸线时空变迁分析[J]. 广西师范大学学报（自然科学版）, 2021, 39(4): 99 -108 .
版权所有 © 广西师范大学学报（自然科学版）编辑部
地址：广西桂林市三里店育才路15号　邮编：541004
电话：0773-5857325　E-mail: gxsdzkb@mailbox.gxnu.edu.cn
本系统由北京玛格泰克科技发展有限公司设计开发