基于光度立体和级数展开法的金属表面缺陷检测方法

doi:10.16088/j.issn.1001-6600.2020.06.003

摘要/Abstract

摘要： 在具有粗糙纹理的金属表面缺陷检测中,在线机器视觉检测系统会出现误检、漏检,甚至无法检出的问题。另外,光度立体在金属表面三维形貌重构时,存在重构曲面扭曲、翘曲等问题。本文针对这些问题提出一种基于光度立体和级数展开法的金属表面缺陷检测方法。该方法首先利用光度立体原理对金属表面进行三维重构,其次利用级数展开法对重构曲面进行拟合,最后将拟合曲面转为点云数据,对点云数据进行处理,完成缺陷检测。实验结果表明,该方法解决了重构曲面的扭曲及翘曲问题,同时,提高了金属表面缺陷检测的能力。相较于曲面拟合前,采用该方法的缺陷检出率提高了 4个百分点。

关键词: 光度立体, 级数展开法, 点云数据, 金属表面缺陷, 检测

Abstract: In the detection of metal surface defects with rough textures, the online machine vision inspection system encounters the problems of error detection, missing detection. In addition, photometric solids have problems such as distortion and warpage of reconstructed curved surfaces when reconstructing the three-dimensional topography of metal surfaces. To address these problems, a metal surface defect detection method based on photometric solid and series expansion is proposed. Firstly, this method uses the photometric stereo principle to reconstruct the metal surface in three dimensions. Secondly, uses the series expansion method to fit the reconstructed surface. Then, the fitted surface is converted into point cloud data. Finally, the point cloud data is processed to complete defect detection.Experimental results show that this method solves the problem of distortion and warpage of reconstructed surfaces, and at the same time, improves the ability to detect defects on metal surfaces. Compared with the method without surface fitting, the defect detection rate of this method has increased by more than 4 percentage points.

Key words: photometric stereo, series expansion, point cloud data, metal surface defects, detection

中图分类号:

TP391

朱勇建, 罗坚, 秦运柏, 秦国峰, 唐楚柳. 基于光度立体和级数展开法的金属表面缺陷检测方法[J]. 广西师范大学学报（自然科学版）, 2020, 38(6): 21-31.

ZHU Yongjian, LUO Jian, QIN Yunbai, QIN Guofeng, TANG Chuliu. A Method for Detecting Metal Surface Defects Based on Photometric Stereo and Series Expansion Methods[J]. Journal of Guangxi Normal University(Natural Science Edition), 2020, 38(6): 21-31.

参考文献

[1] WOODHAM R J. Photometric method for determining surface orientation from multiple images[J]. Optical Engineering, 1980,19(1): 191139. DOI:10.1117/12.7972479.
[2] 冯青春, 陈建, 李翠玲, 等. 基于光度立体视觉的蔬菜秧苗叶片形态测量方法[J]. 农业机械学报, 2018, 49(5): 43-50. DOI:10.6041/j.issn.1000-1298.2018.05.005.
[3] 蔡轶珩, 张琳琳, 盛楠, 等. 基于光度立体法的中医舌体三维表面重建[J]. 电子与信息学报, 2015, 37(11): 2564-2570. DOI:10.11999/JEIT150124.
[4] 杨晓波, 黄秀宝. 基于光度立体视觉的起皱织物表面形态重建研究[J].东华大学学报(自然科学版), 2002, 28(2): 48-55. DOI:10.3969/j.issn.1671-0444.2002.02.011.
[5] 黄秀玲, 陆宏建, 任超, 等. 基于四光源光度立体法的药品泡罩包装中铝箔缺陷检测方法[J]. 包装学报, 2018, 10(3): 47-51.
[6] 程耀瑜, 常国立, 田晓杰. 基于光度立体技术的地板疵点检测方法[J]. 科学技术与工程, 2017, 17(30): 263-267. DOI:10.3969/j.issn.1671-1815.2017.30.040.
[7] 刘根, 蔡念, 肖盼, 等. 基于光度立体和图像显著性的皮革缺陷检测[J]. 计算机工程与应用, 2019, 55(8): 215-219. DOI:10.3778/j.issn.1002-8331.1712-0413.
[8] 岳珂娟, 郑明才, 肖建华, 等. 结合背景先验和对象先验的显著性检测[J]. 应用科学学报, 2016, 34(4): 451-460. DOI:10.3969/j.issn.0255-8297.2016.04.010.
[9] 王磊, 徐科. 基于光度立体的带钢表面缺陷三维检测方法[C]// 第十届中国钢铁年会暨第六届宝钢学术年会论文集.北京: 冶金工业出版社, 2015: 599-603.
[10] SOUKUP D, HUBER-MÖRK R. Convolutional neural networks for steel surface defect detection from photometric stereo images[C]// Advances in Visual Computing: Lecture Notes in Computer Science Volume 8887.Berlin: Springer, 2014: 668-677. DOI:10.1007/978-3-319-14249-4_64.
[11] 关月, 江鹏, 董雪. 基于视觉的小模数样板花键参数检测的研究[J]. 组合机床与自动化加工技术, 2017(6): 106-109, 113. DOI:10.13462/j.cnki.mmtamt.2017.06.027.
[12] 朱勇建, 彭柯, 漆广文, 等. 基于机器视觉的太阳能网版缺陷检测[J]. 广西师范大学学报(自然科学版), 2019, 37(2): 105-112. DOI:10.16088/j.issn.1001-6600.2019.02.012.
[13] 李健, 马泳潮, 马文. 基于光度立体法的织物三维数字化研究[J]. 陕西科技大学学报(自然科学版), 2014,32(5): 152-155, 160. DOI:10.3969/j.issn.1000-5811.2014.05.032.
[14] 李健, 张博文, 何斌. 基于偏微分法的光度立体三维重建[J]. 陕西科技大学学报, 2018, 36(6): 170-175, 182. DOI:10.19481/j.cnki.issn2096-398x.2018.06.028.
[15] FRANKOT R T, CHELLAPPA R. A method for enforcing integrability in shape from shading algorithms[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1988, 10(4): 439-451. DOI:10.1109/34.3909.
[16] HARKER M, O’LEARY P. Regularized reconstruction of a surface from its measured gradient field[J]. Journal of Mathematical Imaging and Vision, 2015, 51(1): 46-70. DOI:10.1007/s10851-014-0505-4.
[17] 朱勇建, 朱立新, 钟建平, 等. 条纹反射法测量三维面形中的积分算法[J]. 光子学报, 2018, 47(11): 1112001. DOI:10.3788/gzxb20184711.1112001.
[18] QUÉAU Y, DUROU J D, AUJOL J F. Normal integration: a survey[J]. Journal of Mathematical Imaging and Vision, 2018, 60(4): 576-593. DOI: 10.1007/s10851-017-0773-x.
[19] BÄHR M, BREUβ M, QUÉAU Y, et al. Fast and accurate surface normal integration on non-rectangular domains[J]. Computational Visual Media, 2017, 3(2): 107-129. DOI:10.1007/s41095-016-0075-z.
[20] DUROU J D, AUJOL J F, COURTEILLE F. Integrating the normal field of a surface in the presence of discontinuities[C]// Energy Minimization Methods in Computer Vision and Pattern Recognition: Lecture Notes in Computer Science Volume 5681. Berlin: Springer, 2009: 261-273. DOI:10.1007/978-3-642-03641-5_20.
[21] 郭良贤, 卫俊杰, 唐培. Zernike圆域多项式镜面拟合仿真与精度研究[J]. 光学与光电技术, 2018, 16(6): 56-62. DOI:10.19519/j.cnki.1672-3392.2018.06.010.
[22] 韩路, 田爱玲, 聂凤明, 等. Zernike多项式的条纹反射三维面形重建算法研究[J]. 西安工业大学学报, 2019, 39(2): 137-144. DOI:10.16185/j.jxatu.edu.cn.2019.02.003.
[23] ZHANG Z. A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(11): 1330-1334. DOI:10.1109/34.888718.
[24] 夏海英, 刘伟涛, 朱勇建. 一种改进的快速SUSAN棋盘格角点检测算法[J]. 广西师范大学学报(自然科学版), 2018, 36(1): 44-52. DOI:10.16088/j.issn.1001-6600.2018.01.006.
[25] 成宽洪, 周慧鑫, 秦翰林, 等. 基于曲率滤波和梯度变换的图像增强[J]. 光子学报, 2017, 46(7): 0710001. DOI:10.3788/gzxb20174607.0710001.
[26] 邵闯, 王生怀, 徐风华, 等. 基于图像处理的混凝土表面裂缝检测研究[J]. 湖北汽车工业学院学报, 2019, 33(2): 47-50, 59. DOI:10.3969/j.issn.1008-5483.2019.02.010.

相关文章 15

[1]	唐熔钗, 伍锡如. 基于改进YOLO-V3网络的百香果实时检测[J]. 广西师范大学学报（自然科学版）, 2020, 38(6): 32-39.
[2]	白捷, 高海力, 王永众, 杨来邦, 项晓航, 楼雄伟. 基于多路特征融合的Faster R-CNN与迁移学习的学生课堂行为检测[J]. 广西师范大学学报（自然科学版）, 2020, 38(5): 1-11.
[3]	马玲, 罗晓曙, 蒋品群. 一种基于PNN的点阵喷码字符识别方法[J]. 广西师范大学学报（自然科学版）, 2020, 38(4): 32-41.
[4]	张永生, 朱文焌, 史若琪, 杜振华, 张瑞, 王志. 基于可信度的Android恶意代码多模型协同检测方法[J]. 广西师范大学学报（自然科学版）, 2020, 38(2): 19-28.
[5]	严浩, 许洪波, 沈英汉, 程学旗. 开放式中文事件检测研究[J]. 广西师范大学学报（自然科学版）, 2020, 38(2): 64-71.
[6]	刘英璇, 伍锡如, 雪刚刚. 基于深度学习的道路交通标志多目标实时检测[J]. 广西师范大学学报（自然科学版）, 2020, 38(2): 96-106.
[7]	肖逸群, 宋树祥, 夏海英. 基于多特征的快速行人检测方法及实现[J]. 广西师范大学学报（自然科学版）, 2019, 37(4): 61-67.
[8]	朱勇建, 彭柯, 漆广文, 夏海英, 宋树祥. 基于机器视觉的太阳能网版缺陷检测[J]. 广西师范大学学报（自然科学版）, 2019, 37(2): 105-112.
[9]	刘金龙, 郭岩, 余智华, 刘悦, 俞晓明, 程学旗. 基于词聚类的跨媒体突发事件检测方法[J]. 广西师范大学学报（自然科学版）, 2019, 37(1): 23-31.
[10]	岳天驰, 张绍武, 杨亮, 林鸿飞, 于凯. 基于两阶段注意力机制的立场检测方法[J]. 广西师范大学学报（自然科学版）, 2019, 37(1): 42-49.
[11]	林越, 刘廷章, 黄莉荣, 奚晓晔, 潘建. 基于双向KL距离聚类算法的变压器状态异常检测[J]. 广西师范大学学报（自然科学版）, 2018, 36(4): 20-26.
[12]	夏海英,刘伟涛,朱勇建. 一种改进的快速SUSAN棋盘格角点检测算法[J]. 广西师范大学学报（自然科学版）, 2018, 36(1): 44-52.
[13]	李子彦, 刘伟铭. 一种基于局部HOG特征的运动车辆检测方法[J]. 广西师范大学学报（自然科学版）, 2017, 35(3): 1-13.
[14]	刘祎, 叶雪梅, 肖咪云, 吕丽君, 侯澄友, 陆祖军. 快速荧光测定初筛高刺桐碱积累量菌株[J]. 广西师范大学学报（自然科学版）, 2017, 35(3): 141-148.
[15]	杨莉婷, 何丽, 何海宁, 吴琼. 流式细胞术对生乳中微生物检测的应用研究[J]. 广西师范大学学报（自然科学版）, 2017, 35(2): 112-116.

Metrics

Viewed

Full text

Abstract

Cited

Shared

Discussed