(12)发明专利申请
(10)申请公布号(10)申请公布号 CN 104021375 A(43)申请公布日 2014.09.03
(21)申请号 201410238905.2(22)申请日 2014.05.29
(71)申请人银江股份有限公司
地址310012 浙江省杭州市西湖区益乐路
223号1幢1层(72)发明人李建元 陈涛 王辉 倪升华
李丹 薛依赵 钱涛 陆俊杰(74)专利代理机构杭州斯可睿专利事务所有限
公司 33241
代理人王利强(51)Int.Cl.
G06K 9/00(2006.01)G06K 9/66(2006.01)G06T 7/20(2006.01)
权利要求书3页 说明书8页 附图1页权利要求书3页 说明书8页 附图1页
(54)发明名称
一种基于机器学习的车型识别方法(57)摘要
一种基于机器学习的车型识别方法,包括以下步骤:1)采用背景差分法进行车辆检测,进行运动目标轮廓跟踪,获得运动目标的外部轮廓特征,并对目标图像进行车辆预判和图像预处理;2)车辆特征提取,(2.1)车辆几何特征提取;(2.2)车辆的7个不变矩特征提取;3)车型分类训练:采用基于metric learning的KNN分类器对输入的15维车型特征样本进行训练,并获得4种车型分类4)基于局部线性重构误差最小化的车型分类:采用重构误差最小化方法对新进测试样本进行局部线性重构误差计算并分类。本发明提供了一种在类型较多时具有较高的准确性和良好的实时性的基于机器学习的车型识别方法。CN 104021375 ACN 104021375 A
权 利 要 求 书
1/3页
1.一种基于机器学习的车型识别方法,其特征在于:所述识别方法包括以下步骤:1)采用背景差分法进行车辆检测,进行运动目标轮廓跟踪,获得运动目标的外部轮廓特征,并对目标图像进行车辆预判和图像预处理;
2)车辆特征提取
(2.1)车辆几何特征提取(2.1.1)车长、车高、车辆长高比:根据运动目标轮廓定位结果,车长L是目标轮廓左右边界的最大值与最小值之差,车高H是目标轮廓上下边界的最大值与最小值之差,即:
L=(Li)max-(Li)min (2)H=(Hi)max-(Hi)min (3)再加入车辆长高比R为:R=L/H(2.1.2)车型图像周长、面积和分散度:根据运动目标轮廓定位结果,车型图像的周长P为轮廓边界的像素个数,车型图像面积A为轮廓所包含区域内像素点得到个数,车型图像分散度定义为F=P2/A;
(2.1.3)车辆图像的轴间距、轴间距与车长之比:利用Hough变换对车辆图像进行圆检测,并标出两个圆心的位置,则车辆图像的轴间距Z=(Zi)max-(Zj)min,轴间距与车长之比为U=Z/L;
(2.2)车辆的7个不变矩特征提取:采用Freeman链码计算图像(p+q)阶矩mpq,并进而计算车辆图像的7个Hu不变矩;
3)车型分类训练
采用基于metric learning的KNN分类器对输入的15维车型特征样本进行训练,并获得4种车型分类,过程如下:
(3.1)训练数据归一化,将所有训练数据按照维度归一化为方差1;(3.2)训练数据标定
对部分车型数据进行4类标定,以用作后续训练,4种车型及其标签分别为:特种车型标签为1;小型车标签为2;中型车标签为3;大型车标签为4;
(3.3)对训练数据进行基于成对约束的距离度量学习,获得半正定的对角矩阵A,作为设xi和xj分别为两个样本,如果xi和xj属于同类,记为S={(xi,xj)},若果xi和xj不属于同类,则记为D={(xi,xj)},矩阵A满足下式:
利用牛顿-拉夫逊(Newton-Raphson)法求解对角矩阵A,如下式:
(3.4)对数据进行特征加权,以对车型样本中各个特征维度重要性进行区分,如下式:Y=AX (14)
其中X为未进行特征加权的数据集,Y为进行特征加权后的数据集,利用特征加权后的数据集,进行步骤4)的分类;
2
CN 104021375 A
权 利 要 求 书
2/3页
4)基于局部线性重构误差最小化的车型分类:采用重构误差最小化方法对新进测试样本进行局部线性重构误差计算并分类,令f(·)表示一个返回训练样本标签的函数,令δl(wij)返回一个标量值,即:
过程如下:
(4.1)对于测试样本yi,找到它的k个最近邻居样本集{yj},即{yj}=KNN(yi),其中j=1,2,3...,k;
(4.2)计算重构系数向量wij,如下式:
其中,wij表示样本yj对样本yi的重构系数,并且约束yj∈KNN(yi),使得每一个样本yi只能由其近邻来重构;
(4.3)计算yi与每一类最近邻居样本yi的重构误差
(4.4)通过比较最小重构误差,输出yi所在类别的标签:li=argminl(el);(4.5)重复(4.2)~(4.4),完成对测试样本集{yi}的分类。2.如权利要求1所述的基于机器学习的车型识别方法,其特征在于:所述步骤(1)的过程如下:
(1.1)对于视频图像中运动目标较少的背景图片,采用统计中值法建立背景模型;对于运动目标较多的背景图片,采用混合高斯模型建立背景模型;
(1.2)去除阴影:取一帧无车的彩色图像作为背景,将背景帧与当前帧的像素点从RGB空间转换到HSV空间进行阴影检测,然后应用公式(1)
将当前图像的像素值同背景对应的像素值相比较的方法来检测阴影,在公式中(1),Ih(x,y)、Is(x,y)、Iv(x,y)分别表示当前图像在HSV空间中的H、S、V分量,Bh、Bs、Bv分别表示背景图像在HSV中的H、S、V分量,此时阴影检测的背景为无车的一帧图像,调整并确定ts、th以及α、β的值,去除视频图像中车辆的阴影;
(1.3)运动目标边界定位和图像预处理:采用Freeman方向链码进行运动目标轮廓跟踪,获得运动目标的外部轮廓特征,并对目标图像进行车辆预判和图像预处理。
3.如权利要求1或2所述的基于机器学习的车型识别方法,其特征在于:所述(2.2)中,车辆的7个不变矩特征提取过程如下:
设二维图像为f(x,y),将车辆图像转换为二值车辆图像,车辆像素值为1,其他像素值为0,则图像矩阵的(p+q)阶矩mpq和(p+q)阶中心矩μpq表示为:
3
CN 104021375 A
权 利 要 求 书
3/3页
其中p,q=0,1,2...,经过计算,推导出mpq和μpq之间的关系如下:μ00=m00,μ10=m01
=0,
m00表示图像矩阵的(0+0)阶矩,μ00表示图像矩阵的(0+0)阶中心矩,依此类推;从上述表达式中看出,图像矩阵的(p+q)阶中心矩μpq用图像矩阵的(p+q)阶矩mpqmpq来表示,进而得到
从而得到7个不变矩特征T1~T7,分别为:
T1=η20+η02 (6)
T2=(η20-η02)2+4η112 (7)
T3=(η30-3η12)2+(3η21-η03)2 (8)T4=(η30+η12)2+(η21+η03)2 (9)
T5=(η30-3η12)(η30+η12)[(η30+η12)2-3(η21+η03)2]+ (10)(3η21-η03)(η21+η03)[3(η30+η12)2-(η21+η03)2]
T6=(η20-η02)[(η30+η12)2-(η21+η03)2]+4η11(η30+η12)(η21+η03)(11)T7=(3η21-η03)(η30+η12)[(η30+η12)2-3(η21+η03)2]+ (12)。(3η12-η30)(η21+η03)[3(η30+η12)2-(η21+η03)2]
4
CN 104021375 A
说 明 书
一种基于机器学习的车型识别方法
1/8页
技术领域
[0001]
本发明涉及智能交通识别领域,尤其是一种车型识别方法。
背景技术
智能交通系统的关键功能之一是能够准确地进行车型识别。车型识别是通过检测
车辆本身固有的参数,在一定的车辆分类标准下运用适当的分类识别算法,主动地对车辆进行分类。车型识别技术可应用于高速公路、过桥过路等各类车辆收费站以及大型停车场的自动收费系统,从而提高交通资源利用,在现代交通监控和管理中有着非常广阔的应用前景和重要的研究和应用意义。[0003] 当前,利用视频处理技术进行车辆识别的方法大致可以分为两类:基于图像匹配的方法和基于模式识别的方法。其中,基于图像匹配的方法主要有基于Harris角点特征检测的车型识别和基于车辆SIFT特征的车型识别。这两种方法共同的优点是不容易受摄像机姿态和光照条件的影响,对噪声敏感度较低。但是在实际应用过程中,由于部分中型车与大型车的外部轮廓比较接近,使得利用Harris角点特征进行车型识别的方法,在两者的区分上识别准确率很低。而SIFT特征虽然能够对车辆类型进行较为详细的分类,但前期需要对识别车型建立较大的样本库,且在识别过程中计算量较大,当数据库中的车辆类型较多时,所需识别时间较长,限制了其在实际中的运用。
[0004] 基于模式识别的方法主要以支持向量机(Support Vector Machine,SVM)作为分类器设计的车型分类方法,能够快速有效地识别车辆类型。但是SVM主要是针对两类的分类问题提出的,对于多种不同类型的车型,则需要设计多层的SVM分类器进行分类,并且传统的SVM算法在每次有新数据加入时,都需要对所有样本进行重新训练,容易导致大量的资源消耗。另外,随着样本数量的逐渐增大,训练时间也不断增加,使得系统的实时性要求得不得满足。
[0005] 同时,从上述已有的工作中还可以看出,目前的车型识别方法多为直接采用提取的原始特征空间在经典的机器学习分类器上进行学习和判断,其本质是利用欧式空间的良好性质进行学习器的训练,不一定能够很好地反映出样本之间的相似性,不同程度地影响了分类器的性能。
[0002]
发明内容
为了克服已有车型识别方法的在类型较多时无法满足准确性和实时性要求的不
足,本发明提供了一种在类型较多时具有较高的准确性和良好的实时性的基于机器学习的车型识别方法。
[0007] 本发明解决其技术问题所采用的技术方案是:[0008] 一种基于机器学习的车型识别方法,所述识别方法包括以下步骤:[0009] 1)采用背景差分法进行车辆检测,进行运动目标轮廓跟踪,获得运动目标的外部轮廓特征,并对目标图像进行车辆预判和图像预处理;
[0006]
5
CN 104021375 A[0010]
说 明 书
2/8页
2)车辆特征提取
[0011] (2.1)车辆几何特征提取[0012] (2.1.1)车长、车高、车辆长高比:根据运动目标轮廓定位结果,车长L是目标轮廓左右边界的最大值与最小值之差,车高H是目标轮廓上下边界的最大值与最小值之差,即:[0013] L=(Li)max-(Li)min (2)
H=(Hi)max-(Hi)min (3)
[0015] 再加入车辆长高比R为:R=L/H[0016] (2.1.2)车型图像周长、面积和分散度:根据运动目标轮廓定位结果,车型图像的周长P为轮廓边界的像素个数,车型图像面积A为轮廓所包含区域内像素点得到个数,车型图像分散度定义为F=P2/A;
[0017] (2.1.3)车辆图像的轴间距、轴间距与车长之比:利用Hough变换对车辆图像进行圆检测,并标出两个圆心的位置,则车辆图像的轴间距Z=(Zi)max-(Zj)min,轴间距与车长之比为U=Z/L;
[0018] (2.2)车辆的7个不变矩特征提取:采用Freeman链码计算图像(p+q)阶矩mpq,并进而计算车辆图像的7个Hu不变矩;[0019] 3)车型分类训练
[0020] 采用基于metric learning的KNN分类器对输入的15维车型特征样本进行训练,并获得4种车型分类,过程如下:[0021] (3.1)训练数据归一化,将所有训练数据按照维度归一化为方差1;[0022] (3.2)训练数据标定
[0023] 对部分车型数据进行4类标定,以用作后续训练,4种车型及其标签分别为:特种车型标签为1;小型车标签为2;中型车标签为3;大型车标签为4;[0024] (3.3)对训练数据进行基于成对约束的距离度量学习,获得半正定的对角矩阵A,作为
[0025] 设xi和xj分别为两个样本,如果xi和xj属于同类,记为S={(xi,xj)},[0026] 若果xi和xj不属于同类,则记为D={(xi,xj)}。矩阵A满足下式:
[0014]
[0027]
[0028] [0029] [0030]
利用牛顿-拉夫逊(Newton-Raphson)法求解对角矩阵A,如下式:
(3.4)对数据进行特征加权,以对车型样本中各个特征维度重要性进行区分,如下
式:
Y=AX (14)
[0032] 其中X为未进行特征加权的数据集,Y为进行特征加权后的数据集,利用特征加权后的数据集,进行步骤4)的分类;
[0033] 4)基于局部线性重构误差最小化的车型分类:采用重构误差最小化方法对新进
[0031]
6
CN 104021375 A
说 明 书
3/8页
测试样本进行局部线性重构误差计算并分类,令f(·)表示一个可以返回训练样本标签的函数,令δl(wij)返回一个标量值,即:
[0034]
过程如下:
[0036] (4.1)对于测试样本yi,找到它的k个最近邻居样本集{yj},即{yj}=KNN(yi),其中j=1,2,3...,k;
[0037] (4.2)计算重构系数向量wij,如下式:
[0035] [0038]
其中,wij表示样本yj对样本yi的重构系数,并且约束yj∈KNN(yi),使得每一个样本yi只能由其近邻来重构;
[0039] [0040] [0041]
(4.3)计算yi与每一类最近邻居样本yi的重构误差
(4.4)通过比较最小重构误差,输出yi所在类别的标签:li=argminl(el)。
[0042] (4.5)重复(4.2)~(4.4),完成对测试样本集{yi}的分类。[0043] 进一步,所述步骤(1)的过程如下:
[0044] (1.1)对于视频图像中运动目标较少的背景图片,采用统计中值法建立背景模型;对于运动目标较多的背景图片,采用混合高斯模型建立背景模型;[0045] (1.2)去除阴影:取一帧无车的彩色图像作为背景,将背景帧与当前帧的像素点从RGB空间转换到HSV空间进行阴影检测,然后应用公式(1)
[0046]
将当前图像的像素值同背景对应的像素值相比较的方法来检测阴影,在公式中(1),Ih(x,y)、Is(x,y)、Iv(x,y)分别表示当前图像在HSV空间中的H、S、V分量,Bh、Bs、Bv分别表示背景图像在HSV中的H、S、V分量,此时阴影检测的背景为无车的一帧图像,调整并确定ts、th以及α、β的值,去除视频图像中车辆的阴影;[0048] (1.3)运动目标边界定位和图像预处理:采用Freeman方向链码进行运动目标轮廓跟踪,获得运动目标的外部轮廓特征,并对目标图像进行车辆预判和图像预处理。[0049] 再进一步,所述(2.2)中,车辆的7个不变矩特征提取过程如下:[0050] 设二维图像为f(x,y),将车辆图像转换为二值车辆图像,车辆像素值为1,其他像素值为0,则图像矩阵的(p+q)阶矩mpq和(p+q)阶中心矩μpq可以表示为:
[0047] [0051]
7
CN 104021375 A[0052] [0053] [0054]
说 明 书
4/8页
其中p,q=0,1,2...,经过计算,可以推导出mpq和μpq之间的关系如下:μ00=m00,μ10=m01=0,
m00表示图像矩阵的(0+0)阶矩,μ00表示图像矩阵的(0+0)
阶中心矩,依此类推;从上述表达式可以看出,图像矩阵的(p+q)阶中心矩μpq可以用图像矩阵的(p+q)阶矩mpq来表示,进而得到T7,分别为:
[0055] [0056] [0057] [0058] [0059] [0060] [0061] [0062] [0063] [0064] [0065]
从而得到7个不变矩特征T1~
T1=η20+η02 (6)T2=(η20-η02)2+4η112 (7)
T3=(η30-3η12)2+(3η21-η03)2 (8)T4=(η30+η12)2+(η21+η03)2 (9)
T5=(η30-3η12)(η30+η12)[(η30+η12)2-3(η21+η03)2]+ (10)(3η21-η03)(η21+η03)[3(η30+η12)2-(η21+η03)2]
T6=(η20-η02)[(η30+η12)2-(η21+η03)2]+4η11(η30+η12)(η21+η03)(11)
T7=(3η21-η03)(η30+η12)[(η30+η12)2-3(η21+η03)2]+ (12)。(3η12-η30)(η21+η03)[3(η30+η12)2-(η21+η03)2]本发明的有益效果主要表现在:在类型较多时,具有较高的准确性和良好的实时
性。附图说明
图1是车型识别过程流程图
[0067] 图2是车型图像基础处理部分效果图,其中,(a)是原图,(b)是处理后的图。
[0066]
具体实施方式
[0068] 下面结合附图对本发明作进一步描述。[0069] 参照图1和图2,一种基于机器学习的车型识别方法,所述识别方法包括以下步骤:
[0070] 1)采用背景差分法进行车辆检测,过程如下:[0071] (1.1)对于视频图像中运动目标较少的背景图片,采用统计中值法建立背景模型;对于运动目标较多的背景图片,采用混合高斯模型建立背景模型。[0072] (1.2)去除阴影:取一帧无车的彩色图像作为背景,将背景帧与当前帧的像素点从RGB空间转换到HSV空间进行阴影检测,然后应用公式(1)
8
CN 104021375 A
说 明 书
5/8页
[0073]
将当前图像的像素值同背景对应的像素值相比较的方法来检测阴影。在公式中
(1),Ih(x,y)、Is(x,y)、Iv(x,y)分别表示当前图像在HSV空间中的H、S、V分量,Bh、Bs、Bv分别表示背景图像在HSV中的H、S、V分量,此时阴影检测的背景为无车的一帧图像,调整并确定ts、th以及α、β的值,去除视频图像中车辆的阴影。[0075] (1.3)运动目标边界定位和图像预处理:采用Freeman方向链码进行运动目标轮廓跟踪,获得运动目标的外部轮廓特征,并对目标图像进行车辆预判和图像预处理,为车辆特征提取做好准备。
[0076] 2)车辆特征提取
[0077] 本发明对所有车辆提取的车型特征主要包括2类特征共同构成的15维车辆特征。2类特征分别为几何特征和矩特征。其中几何特征主要包括:①车长;②车高;③车辆长高比;④车型图像周长;⑤车型图像面积;⑥车型图像分散度(车型图像周长的平方与面积之比)⑦车型图像的轴间距;⑧车型图像的轴间距与车长之比。车型的矩特征主要包括车辆
[0074]
的7个不变特征距。
[0078] (2.1)车辆几何特征提取[0079] (2.1.1)车长、车高、车辆长高比:根据步骤(1.3)得到的运动目标轮廓定位结果,车长L可以看做是目标轮廓左右边界的最大值与最小值之差,车高H可以看做是目标轮廓上下边界的最大值与最小值之差,即:[0080] L=(Li)max-(Li)min (2)
[0081] H=(Hi)max-(Hi)min (3)为了消除在拍摄图像时镜头与车辆间的距离、角度的微小变化对车型识别造成的影响,再加入车辆长高比R为:R=L/H[0082] (2.1.2)车型图像周长、面积和分散度:根据步骤(1.3)得到的运动目标轮廓定位结果,车型图像的周长P为轮廓边界的像素个数,车型图像面积A为轮廓所包含区域内像素点得到个数,车型图像分散度定义为F=P2/A,反映了目标形状的紧凑度,相同面积的物体周长越小则越紧凑。
(2.1.3)车辆图像的轴间距、轴间距与车长之比:利用Hough变换对车辆图像进行
圆检测,并标出两个圆心的位置,则车辆图像的轴间距Z=(Zi)max-(Zj)min,轴间距与车长之比为U=Z/L。
[0084] (2.2)车辆的7个不变矩特征提取
[0085] 本发明采用Freeman链码计算图像(p+q)阶矩mpq,并进而计算车辆图像的7个Hu不变矩的快速算法,大大提高了不变矩特征的计算速度。过程如下:[0086] 设二维图像为f(x,y),通过步骤(1.3)的预处理之后,得到二值车辆图像,车辆像素值为1,其他像素值为0,则图像矩阵的(p+q)阶矩和(p+q)阶中心距可以表示为:
[0083] [0087]
9
CN 104021375 A[0088] [0089] [0090]
说 明 书
6/8页
其中p,q=0,1,2...,经过计算,可以推导出mpq和μpq之间的关系如下:μ00=m00,μ10=m01=0,
m00表示图像矩阵的(0+0)阶矩,μ00表示图像矩阵的(0+0)
阶中心矩,依此类推;从上述表达式可以看出,图像矩阵的(p+q)阶中心矩μpq可以用图像矩阵的(p+q)阶矩mpq来表示,进而得到为:
T1=η20+η02 (6)
22
[0092] T2=(η20-η02)+4η11 (7)
22
[0093] T3=(η30-3η12)+(3η21-η03) (8)
22
[0094] T4=(η30+η12)+(η21+η03) (9)
[0091]
从而得到7个不变矩特征,分别
T5=(η30-3η12)(η30+η12)[(η30+η12)2-3(η21+η03)2]+ (10)
22
[0096] (3η21-η03)(η21+η03)[3(η30+η12)-(η21+η03)]
22
[0097] T6=(η20-η02)[(η30+η12)-(η21+η03)]+4η11(η30+η12)(η21+η03)[0098] (11)
22
[0099] T7=(3η21-η03)(η30+η12)[(η30+η12)-3(η21+η03)]+ (12)
22
[0100] (3η12-η30)(η21+η03)[3(η30+η12)-(η21+η03)][0101] 3)车型分类训练
[0102] 本发明采用了一种基于metric learning的KNN分类器对输入的15维车型特征样本进行训练,并获得4种车型分类。主要过程如下:[0103] (3.1)训练数据归一化,将所有训练数据按照维度归一化为方差1。[0104] (3.2)训练数据标定
[0105] 本发明需要对部分车型数据进行4类标定,以用作后续训练,4种车型及其标签分别为:特种车型(如摩托车、农用车等)标签为1;小型车标签为2;中型车标签为3;大型车标签为4。
[0095] [0106]
(3.3)对训练数据进行基于成对约束的距离度量学习,获得半正定的对角矩阵A,
作为
设xi和xj分别为两个样本,如果xi和xj属于同类,记为S={(xi,xj)},
[0108] 若果xi和xj不属于同类,则记为D={(xi,xj)}。矩阵A满足下式:
[0107]
[0109]
[0110] 利用牛顿-拉夫逊(Newton-Raphson)法求解对角矩阵A,如下式:
10
CN 104021375 A[0111] [0112]
说 明 书
7/8页
(3.4)对数据进行特征加权,以对车型样本中各个特征维度重要性进行区分,如下
式:
Y=AX (14)
[0114] 其中X为未进行特征加权的数据集,Y为进行特征加权后的数据集,利用特征加权后的数据集,进行步骤4)的分类;
[0115] 4)基于局部线性重构误差最小化的车型分类:采用重构误差最小化方法对新进测试样本进行局部线性重构误差计算并分类,令f(·)表示一个可以返回训练样本标签的函数,令δl(wij)返回一个标量值,即:
[0113] [0116]
过程如下:
[0118] (4.1)对于测试样本yi,找到它的k个最近邻居样本集{yj},即{yj}=KNN(yi),其中j=1,2,3...,k;
[0117] [0119]
(4.2)计算重构系数向量wij,如下式:
[0120]
其中,wij表示样本yj对样本yi的重构系数,并且约束yj∈KNN(yi),使得每一个
样本yi只能由其近邻来重构;
[0121] [0122] [0123]
(4.3)计算yi与每一类最近邻居样本yi的重构误差
(4.4)通过比较最小重构误差,输出yi所在类别的标签:li=argminl(el)。
[0124] (4.5)重复(4.2)~(4.4),完成对测试样本集{yi}的分类。[0125] 本发明利用混合高斯模型和统计中值法建立背景模型,利用用HSV空间检测阴影,并利用背景差分法获得运动目标物体。利用Freeman链码检测运动目标轮廓,进行车辆预判和图像预处理,获取车辆的几何特征和不变矩特征共15维特征向量。利用监督的度量学习获得重构对角矩阵,最后利用基于KNN的最小重构误差法进行分类。本实施例中对于164个训练样本,度量学习平均训练时间为5.3s。对于60个待分类样本,最小化重构误差完成分类的平均时间为0.006s,传统的KNN分类器完成分类的平均时间为0.008s。[0126] 表1是本发明实施例与其他方法对比结果:
[0127]
11
CN 104021375 A
说 明 书
8/8页
[0128] 表1。
12
CN 104021375 A
说 明 书 附 图
1/1页
图1
图2
13
因篇幅问题不能全部显示,请点此查看更多更全内容