基于机器视觉及SVM的零件产品计数系统

　　摘要：针对小型零件产品计数问题，设计一套基于机器视觉及SVM，通过机器学习，利用图像实现零件自动计数的通用系统。以Opencv库函数为基础，采用SVM实现图像中目标与背景分割得到并保存分割模型，将分割图像二值化处理后并基于漫水填充法对前景的连通域进行标记计数，再以各个目标连通域所组成像素点数和，所确定的阈值进行筛选过滤，最后剩下连通域即为零件个数。实验测试结果表明：该系统计数方法在不同类型噪声干扰下计数以及在目标颜色多彩化情况下进行分类计数，都有很好的效率和准确率。

　　关键词：机器视觉；支持向量机；连通域；计数；筛选过滤

　　目前国内有一些针对钢管、烟支等基于图像的软件计数方法进行研究。如王昱棠实现对仓库物料的计数，再如苗娇娇等实现对螺丝钉的计数，但对零件产品计数系统开发的相关文献偏少。然而实际应用场景却很多，比如在线对一箱箱零件产品，对一板板胶囊药片等进行计数，或通过计数判断是否装满，有没有漏装等情况。

　　考察到这些问题以及满足工业工厂在生产线上对某些小型零件统计计数的需要，并替代以前出错率高、效率低、强度大的人工计数方式。本文设计一种通用的计数检测系统，即基于机器视觉及支持向量机，通过人机交互，对生产线上摆放无规律但不重叠的零件产品利用机器学习和图像处理实现对零件自动计数。

　　本文计数系统结构主要由图像采集模块、图像分割模块、计数模块组成。硬件结构运行流程如图1(a)所示；其中图像采集模块包括光源、工业相机、镜头等硬件设备。相机采用Basler工业相机获取检测目标的二维图像，使用接口连接到计算机，通过I/O（输入/输出）线材触发，通过相机标定获得内外参数进行畸变校正提高拍摄精度；软件部分：基于visual studio 2013平台、运用Qt设计界面、利用OpenCV视觉库开发系统软件如图1(b)所示。

　　图1 计数系统组成部分

　　计数系统首先通过图像采集模块在线拍摄送料盒中的零件产品获得第一张图片，作为原始图像。通过机器学习对样本数据进行采集和训练以及图像填充处理，得到合适的模型和相关阈值参数，并进行设定。其工作流程如图2所示。

　　计数任务设定好之后开始运行，其运行流程如图3所示。计数系统可以对同种类型产品在线进行自动计数，随着送料盒不断地投送零件产品，采集模块对图像不断的采集和更新，产品计数也在不断的循环累加。
 

　　本文使用的是SVM的分类功能。数据集只有两类，即是二维的，因此选取线性内核K(xi,xj)=xixj是最合理的。假设两类的训练样本集为(xi,xj)，i=1,2,3,…,n输入样本xi对应标记为yi={-1,1}，当xi属于前景目标时，yi=1，当xi属于背景时，yi=-1。则分类超平面可以表示为：

　　βTx+β0         (1)

　　将超平面方程归一化，使得判断函数：

　　Yi（βTxi+β0)≥1          (2)

　　其中β为权重向量，β0为偏置，利用Lagrange将优化求最优分类问题变成求解极值问题，在和aj≥0情况下，求得：

　　其中ai为拉格朗日系数，求解Q(α)的最大值，得到最优解ai ，则SVM最优分类判断表达式为：
 

　　图像分割，是利用SVM对图像中的每一个像素进行分类来实现的。采用图像像素点的颜色特征来描述样本的信息，用图像的颜色特征作为训练样本的特征属性。提取每个像素点在对应的R、G、B三个通道的特征值。其SVM实现图像分割流程如图4所示。

　　SVM算法是一种有监督的分类算法，在应用于图像分割时需要人工为SVM模型选取少量训练样本，通过人为地判断目标和背景区域，随机在图像中任意目标区域上选取n≥1样本点代表正样本，在背景上取n≥1个样本点代表负样本。

　　正样本label=1，负样本label=-1。将采样中提取的特征向量和对应的类别标记作为训练样本进行训练，获得SVM分类器。使用核函数对分类器进行训练，对整幅待分割图像中的像素点进行分类预测。每个像素点三通道的特征值可表示：

　　其中i,j=1,2,3,…,n，根据分类器预测结果，重新对前景目标（response=1）和背景（response=-1）的像素点赋值，即：

　　将分割后的图像二值化，其主要作用是为接下来图像处理做准备；因SVM分割后的图像前景像素点C(i,j)=255，背景像素点C(i,j)=0，其二值化阈值在0～255区间任取一值即可，将三通道变为单通道图像可以进一步减少图像数据量，提高处理效率。

　　基于二值图像对目标标记最重要的方法就是连通区域标记算法。通过遍历，对二值图像中白色像素（目标）进行标记，让每个独立的连通区域形成一个被标识的块。本文使用漫水填充法对连通域颜色标记。其算法过程为：

　　1）指定种子点Point（x,y）。

　　2）比较与种子相连通像素点的灰度值，若满足：|v-v0|≤d0，则将其填充。其中v0为种子点灰度值，v为领域点的像素灰度值；本文选用四邻域对二值化图像目标填充，当d0=0，即v=v0时，进行颜色填充。

　　3）将已填充的点作为新种子点，重复1）、2）步骤直到白色目标区域像素全部找出为止。

　　3.2  连通域筛选阈值的确定

　　受成像设备与外部环境等因素干扰会使图片上出现一些随机的、离散的、孤立的噪声点。通常高斯滤波、中值滤波、均值滤波等模板是常用的图像去噪方法。

　　但本文方法无需对图像进行预处理。

　　本文将所组成连通域面积（像素点数和）作为筛选阈值。漫水填充法通过遍历将每个连通域已标记，因此前景上的每个连通域所包含像素面积可知。对于噪声，其像素面积与检测目标像素面积相比，显然不在同一个数量级上；同时为严格控制由于人工选点的随机性以及图像前、背景色差不大或两者小面积区域颜色相同时，可能造成SVM分割模型模糊，最后带来的计数偏差，因此通过统计确定合理的筛选阈值。假设获取第一张原始图像分割后前景上连通区域的像素面积为Ti，i=1,2,3,…,n。即：
       

　　其中p为检测目标的个数，在的情况下，将连通域全部清除；剩余连通域数即为零件产品个数。

　　实验检测所用操作系统为Windows 10，并在Inteli5-2520M、2.50GHz主频的CPU，4GB内存的64位操作系统平台上运行。以常见易得的圆形饮料瓶盖为实物检测对象，实验测试设备如图5(a)所示；图5(b)所示检测类型1（图像大小：302×281）的样本图；由于图5(b)中目标单一，故图5(c)所示检测类型2的图像（图像大小：302×281）中包含有2类多彩目标。

　　第一组实验测试环境相对理想，即类型1图片中零件产品数比较少量，零散且原始图像中不存在较大噪声。利用产生的分割模型对图中只有1个、3个、5个、10个零件产品进行分割并自动计数；主要目的是测试算法准确率和分割时间。分割所用时间和计数准确率如表1所示，在零件少量时准确率达到100%，效率也较高。

　　4.2.1  目标相互紧贴

　　第二组实验主要针对当类型1的零件产品在清点平台上紧密连在一起的情况。由于该计数目标自身的结构特点，人为将零件互相贴在一起时并不影响分割。为便于观察，采用Scharr算子对该检测图进行边缘检测，发现目标边缘互相贴在一起，如图6(a)所示。从图6(b)SVM分割效果和图6(c)最后标记筛选效果来看，当目标之间相互贴在一起时，同样可以计数。经过20次分割测试，最快一次分割时间210ms，平均分割时间617ms，计数准确率100%。

　　4.2.2  不同程度噪声

　　第三组实验分别对类型1的检测图像加入典型的斑点噪声、高斯噪声、彩色椒盐噪声进行试验。为保证零件图有特征可提取，在对应方差范围下，所添加噪声的方差分别为0.1(0.01～1.0）、0.5（0.001～0.5）、0.1（0.001～0.8），其效果图分别如图7(a)、(b)、(c)所示。然后分别进行分割训练测试30次，得到对应具有代表性的SVM分割效果模型如图7(d)、(e)、(f)所示。最后计数结果如表2所示。

　　经测试，该系统计数方法在不同程度噪声的影响下具有一定的鲁棒性。

　　第四组实验为了测试类型2，当检测目标本身颜色多彩化需分类计数。

　　在对多彩化图像进行分割时，对比几种分割效果较好的算法。从图8中分割效果对比不难发现，图8(c)所示的采用人工选取样本点实现svm分割效果明显比图8(a)、(b)分割效果要好。为便于观察，svm图像分割保留前景目标原来颜色，将背景设置为C(i,j)=0。其中三种典型的分割效果分别如图9(a)、(b)、(c)所示；经填充、确定合适的阈值筛选，最后分别得到如图9(e)、(d)、(f)所示的计数效果。可以看出，对多彩化目标或其中某一目标计数时，通过人工选取样本、机器训练学习，得到合适分割模型情况下，分割和计数效果也很好。

　　本文设计开发的基于机器视觉及SVM的零件计数系统。一方面可以充分利用零件产品自身特征（颜色）信息，选取少量样本通过机器学习得到训练好的分割模型并保存后，可以对大量同类型图像进行分割，优化了图像处理过程；另一方面系统采用连通域标记计数的办法，将像素面积作为筛选阈值进行去噪筛选，很大程度上提高计数的精度。经实验验证，本文系统计数方法对某些零件产品在不同噪声影响下，以及当目标多彩化情况下分类计数，其计数准确率好且稳定。该系统对工业上利用机器视觉来对零件产品等计数具有参考价值。