一种基于卷积神经网络的车牌识别技术

卷积神经网络论文范文第三篇：一种基于卷积神经网络的车牌识别技术

　　摘要：针对现有的车牌识别方法存在车牌无法定位且车牌字符无法正确分割等情况，提出了一种基于卷积神经网络的车牌识别技术。首先，设计了一套图像处理流程实现车牌定位和字符分割，然后，利用提出的卷积神经网络对车牌字符集进行训练、识别。所提方法可以达到98.54%以上的准确率，极大提高适用性和准确率。

　　关键词：车牌识别；卷积神经网络；深度学习；车牌定位； .

　　作者简介：李涛涛（1996-），男，浙江绍兴人，硕士研究生，研究方向：智能制造。E-mail:13262213809@163.com;

　　Abstract:In view of the existing license plate recognition methods,the license plate cannot be located and the license plate characters cannot be correctly separated.This paper proposes a license plate recognition technology based on convolutional neural network.Firstly,a set of image processing flow is designed to realize license plate location and character segmentation.Then,the proposed convolutional neural network is used to train and recognize the license plate character set.The proposed method can achieve more than 98.54% accuracy,greatly improving the applicability and accuracy.

　　Keyword:license plate recognition; convolutional neural network; deep learning; license plate location;

　　0 引言

　　伴随着交通行业的飞速发展，车牌识别技术已然成为一项非常重要的研究课题，并在日常生活中有着广泛的应用。车牌识别技术的主要问题包括车牌定位和字符识别。从本质上讲，车牌定位的算法分为3种，一种是基于图像边缘的，一种是基于图像颜色的，一种是基于机器学习。Abolghasemi[1]等提出的基于边缘以及颜色辅助的车牌定位方法增加了对车牌可疑区域的比较，但是，该方法受光照的影响比较大。基于模板匹配的方法[2]广泛用于车牌字符识别技术中，但是该类方法易受噪声等因素的影响。支持向量机（supportvectormachine,SVM）分类器也被应用于车牌字符识别[3].基于SVM的车牌字符识别方法需要指定提取的特征，不同特征的选择将直接关系到车牌字符识别的效果。

　　本文采用的车牌识别流程主要包括以下几个部分：车牌图像预处理、车牌定位、车牌字符分割、车牌字符识别，如图1所示。

　　图1 车牌识别流程

　　Fig.1 License plate recognition process

　　1 车牌定位和字符分割

　　本文针对生活中经常出现的车牌，设计了一套车牌图像预处理及车牌定位流程，具体流程如图2所示。

　　图2 车牌图像预处理及车牌定位过程

　　Fig.2 License plate image preprocessing and license plate location process

　　1.1 车牌图像预处理

　　由于自然环境、拍摄设备和拍摄方位等客观因素，在获取车牌图像的过程中会出现图像模糊不清的情况，需对图像进行一定程度的预处理操作[4].

　　1.1.1 彩色图转灰度图

　　将三通道的彩色图像转换成单通道的灰度图。将采集的车牌图片转换成灰度图，转换结果如图3所示。

　　图3 彩色图转灰度图

　　Fig.3 Color picture to gray picture

　　1.1.2 高斯滤波

　　高斯滤波是一种线性平滑滤波，可以消除高斯噪声。图4是灰度图经过高斯滤波后的图像。

　　图4 高斯滤波

　　Fig.4 Gaussian filter

　　1.1.3 边缘化检测

　　常用的边缘检测算子有Canny算子、Sobel算子、Laplacian算子等[5],本文采用Canny算子进行边缘检测。Canny算子边缘检测结果如图5所示。

　　图5 Canny算子边缘检测

　　Fig.5 Canny operator edge detection

　　1.2 车牌定位

　　1.2.1 图像形态学操作

　　对预处理完的图像进行开运算，进行先腐蚀后膨胀的过程。开运算可以用来消除小物体，在纤细点处分离物体，并且在平滑较大物体的边界的同时不明显改变其面积。

　　1.2.2 查找轮廓，精确定位

　　根据车牌的面积、长宽比等对所得的矩形进行过滤。车牌定位结果如图6所示。

　　图6 车牌定位结果

　　Fig.6 License plate location result

　　1.3 车牌字符分割

　　字符分割的目的就是将车牌中所有的文字分割开来，形成单一的字符块，图7为字符分割过程。

　　图7 字符分割过程

　　Fig.7 Character segmentation process

　　图8为字符分割的最终结果。

　　图8 车牌字符分割结果

　　Fig.8 License plate character segmentation results

　　2 基于卷积神经网络的字符识别

　　卷积神经网络（ConvolutionNeuralNetwork,CNN）一般由多个卷积层以及池化层交替而成，最后，再通过全连接BP神经形成输出。其整体架构是一种多层监督学习的神经网络，通过学习大量的输入输出样本，用卷积神经网络进行训练，再根据新的输入，输出拟合之后的结果。本文提出的基于卷积神经网络的车牌字符识别方法由2部分构成：第1部分，输入待训练图像集训练分类模型；第2部分，将待识别的车牌字符图像输入训练好的模型进行识别。

　　2.1 卷积层

　　在卷积层，前一层的特征图与一个可学习的核进行卷积，卷积的结果经过激活函数后的输出形成这一层的特征图。一般地，卷积层的形式如：

　　2.2 池化层的计算

　　池化是缩小高、长方向的空间的运算。将2×2的区域集约成1个元素，缩小空间大小。本次车牌定位使用的最大池化（max_pool）也就是选取最大值的运算。步幅的大小是2,车牌的图像大小都是136×36,在经过2次池化后，得到的是34×9.池化层和卷积层不同，没有要学习的参数。池化只是从目标区域中取最大值或者平均值，所以不存在要学习的参数。池化有一个优点是对微笑位置的变化具有鲁棒性，输入数据发生微笑偏差时，池化仍会返回相同的结果。池化会细搜输入数据的偏差。

　　2.3 全连接层

　　全连接层中需要先把前两个卷积层的输出结果全部flatten,这里使用tensorflow.reshape使每个样本变成一维向量。在全连接层最后得到一个2列的矩阵。

　　2.4 训练模型字符识别

　　本文将总共12000张图片（包括省份、数字和字母图片）作为数据集，其中9000张作为训练集，剩余3000张图片作为测试集，并通过shuffle函数随机将数据集排列，最终保存训练后的权重。卷积使用tensorflow.nn.conv2d函数，池化使用tensorflow.max_pool函数，最后添加softmax函数可以使模型的准确率提高。图9为训练模型字符识别结果。

　　图9 训练模型字符识别结果

　　Fig.9 Training model character recognition results

　　3 结论

　　本文在充分利用车牌特征的基础上，实现了车牌定位和字符分割，提出了一种基于CNN的车牌识别方法。实验表明，此方法识别车牌准确率高。由于目前在车牌识别中主要针对的是国内车牌，无法识别国外以及新能源车牌。在实际应用中，还需进一步增加样本数量及网络训练次数[6],改变网络结构，以进一步提高正确率。

　　参考文献

　　[1] Abolghasemi V, Ahmadyfard A. An edge-based color-aided method for license plate detection[J]. Image Vis Comput, 2008, 27（8）： 1134-1142.

　　[2] XingJ, LiJ, Xie Z, et al. Research and implementation of an improved radon transform for license plate recognition[C]. 2016 8th International Conference on Intelligent Human-Machine Systems and Cybernetics （IHMSC）， Hangzhou, 2016, pp. 42-45, doi: 10.1109/1HMSC .2016.52.

　　[3] Khan M A, Sharif M, Javed M Y, et al. License number plate recognition system using entropy-based features selection approach with SVM[J]. IET ImageProcessing, 2018, 12（2）： 200-209.

　　[4]白璐，衣姝颖，李天平于深度学习的车牌识别技术研究[J].山东师范大学学报（自然科学版），2018.33（4）-438-442.

　　[5]程云，冷雪飞。 OpenC V3编程入门[M]北京：电子工业出版社，2015.

　　[6]吴聪，股浩，黄中勇，等基于人工神经网络的车牌识别[J].计算机技术与发展2016,26（12）：160-163,168.