一种视频检测车辆位置违章的几何方法

小型微型计算机系统Journal of Ch inese Computer System s 2009年3月第3期V o l 130N o . 32009

一种视频检测车辆位置违章的几何方法

严捷丰, 陈 功, 刘学亮, 周荷琴

(中国科学技术大学自动化系, 安徽合肥230027) . ustc . edu . cn E 2m ail :yanjf @m ail

摘 要:针对交通视觉监控系统中普遍存在的遮挡与三维信息缺失问题, 用一种三维矩形近似描述模型对车辆建模, 基于此模

型推导出在自遮挡和交互遮挡情况下, 车辆整体轮廓、底部轮廓和单一底边的恢复规则和方法. 提出将车辆运动视为其车辆底部在道路平面上的二维共面运动, 通过分析车辆底部与道路标线的相对位置关系, 得到位置违章的两个检测判据与检测算法. 实验结果表明, 该几何模型能很好的逼近车辆底边, 有效的解决了遮挡的影响; 该位置违章检测算法避免了以往质心检测判据与区域判据的缺陷, 检测效果很好.

关键词:位置违章; 遮挡恢复; 图像理解; 几何方法

中图分类号:T P 391     文献标识码:A       文章:10002(Geom etr ica l M ethod for V ideo -ba sed D V YAN J ie 2feng , CH EN , L H e (D ep a rt m en t of to S T of Ch ina , H ef ei 230027, Ch ina )

Abstract :O 2D r m on lo st w idely exists in visual traffic surveillance system . By using a novel app roxi m ate 32D rectangular veh model , th is paper analyzes the situati on of self occlusi on and m utual occlusi on , p ropo ses the rules of oc 2clusi on reso lvability . A ssum ing that the veh icle ’s bo ttom and the road m ark s w ere cop lanar on the road p lane , by analyzing the po siti onal relativity of veh icle ’s bo ttom edges and the road m ark s , th is paper gains tw o detecting criteri ons , and p ropo ses an algo rithm fo r detecting po siti on vi o lati ons . Experi m ental results show that , by p referably app roxi m ating the bo ttom of the ve 2h icle , the geom etrical model can reso lve the influence of occlusi ons ; the p resented detecting m ethod is better than the centro id m ethod and the area m ethod .

Key words :po siti on vi o lati ons ; occlusi on reso lvability ; i m age understanding ; geom etrical m ethods

1 引 言

车辆违章过程可视为一个事件, 一般涉及5个事件要素:时间、地点、车辆、行为、行为规则. 车辆的行为要素主要包括:

(1) 车辆的存在及其位置

(2) 速度(位置随时间变化的快慢及方向) (3) 路线(位置按时间顺序组成的轨迹) .

(1) 因物体高度和深度不同造成的遮挡粘连

(2) 三维信息缺失, 二维信息不足以理解真实场景.

表1 车辆违章分类

T able 1 C lassificati on of veh icle vi o lati ons

压实车道线、双黄线等纵向线(隐含:变道压实位置违章速度违章路线违章

红灯时压路口横向停止线(隐含:指定车道闯停车时压停车位的四条边线(隐含:电子桩考违章停车(在禁停区内车速持续为0) 车速大于或小于某个限定值(超高速、超低速速度方向违规(逆向行驶)

违章变道行驶(包括右侧超车, 近路口变道等) 违章拐弯或调头(尤其是未从指定车道拐弯) 某类车辆未按指定路线行驶(如:黄牌车、水泥据此, 可将车辆违章行为分类, 见表1. 本文中的位置违章是指, 在当前时间的某个具体场景下, 车辆位置与各种道路标线之间的相对位置关系不符合交通规则. 实际上, 跨实线变道、闯红灯等行为都必定包含有位置违章为先导; 另一方面,

要获得车辆的速度和轨迹, 必须进行跟踪(定位、匹配) , 而跟踪的前提是准确的车辆位置信息. 因此, 车辆位置的获取及位置违章行为的检测是整个交通违章检测系统中最基本的工作. 交通监控视频是真实三维交通场景在某一个视角的二维图像序列, 这在从图像序列理解真实场景语义时(物体分割、跟踪、事件检测等) 会存在两个问题:

  在分割与跟踪方面, L ou [2]使用三维车辆模型来进行车

(0602) 资助 作  收稿日期:2007210230 基金项目:中科院自动化所-中国科学技术大学智能科学与技术联合实验室自主研究课题基金A 者简介:严捷丰, 男, 1978年生, 博士研究生, 研究方向为视频图像理解、智能交通系统; 陈 功, 男, 1980年生, 博士研究生, 研究方向为智能交通系统; 刘学亮, 男, 1982年生, 硕士研究生, 研究方向为智能交通系统; 周荷琴, 女, 1946年生, 教授, 研究方向为智能交通系统、医学图像处理.

3期       严捷丰等:一种视频检测车辆位置违章的几何方法  499

辆跟踪, 模型需要先验设定或学习形成, 而且三维信息处理需要复杂的计算. [2]只探讨了轿车模型, 实际应用中需要多种不同模型, 计算将更复杂. Fang [3]假设物体运动满足二维共面运动条件, 再通过粒子滤波跟踪处理物体之间的交互遮挡, 然而该假设需要摄像机在很高的距离垂直物体运动平面进行拍摄, 这在交通工程中难以保证, 实际上物体之间存在交互遮挡正是因为不满足该假设.

在违章事件检测方面, Zhang [4]通过背景差分检测车辆的存在, 再通过质心与道路标线的距离变化检测违章行为, 但并未考虑车辆高度引起的投影质心偏移与车辆间的遮挡粘连.

L i m [5]希望用车辆先后通过的不同区域来处理所有类型的路

针对以上情况, 本文提出将车辆底面视为一个二维的无

高度物体, 车辆运动即可满足在路面上的共面运动假设. 除非摄像机视轴与路平面共面, 车辆底面与道路标线之间的相对位置关系在像平面上将得到保持. 最近, Pang [1]等人提出一种车辆的几何轮廓描述模型, 将车辆近似为长方体, 并用来研究遮挡情况下的车辆计数问题. 受此启发, 本文针对位置违章检测中车辆底面的提取问题对这一模型做改进, 并探讨在自遮挡和交互遮挡情况下车辆底部边界的可恢复性条件与对应的恢复规则, 继而通过分析车辆底面与道路标线之间的相对位置关系检测车辆的位置违章行为.

口违章, 区域划分需要事先设计, 摄像机的安装参数也有严格要求. 但这实际上只能检测路线违章, 并不能检测所有的位置违章, 而且也没有考虑到遮挡问题.

2 交通违章的视频检测系统流程

1来描述. 在位置违章检测中, ,

物体分割与遮挡

图1 车辆违章检测系统示意

F ig . 1 Concep tual diagram of veh icle vi o lati ons detecting system

恢复是关键, 跟踪过程提供位置预测可起辅助分割的作用. 本文主要探讨位置违章检测方法, 不涉及与跟踪过程相关的部分.

在图1描述的系统中, 背景估计采用混合高斯模型, 在背景图像中标注车道线、停止线、指示线等道路标记. 用到的摄像机参数相对简单, 只需要路平面上的一条消失线P x 2P y 和与路平面垂直方向的灭点P z . P y 为车道线灭点, P x 可由与路面上与车道垂直方向的一组平行线(停止线) 获得, P x , P y 的连线即为消失线; 再由与路平面垂直的一组平行线(路灯杆) 获得灭点P z , 见图2.

车辆分割模块在背景差分后使用纹理分

个单连通区域的轮廓标记串先进行串型分解, 得到单一车辆的轮廓描述串, 并识别其串型(图4, 5) , 再根据该串型对应的恢复规则尝试恢复其底部边界. 最后, 根据车辆底部边界与

表2 轮廓标记规则

T able 2 R ule of contour m ark s

P x ’

P y ’a A

P z b B

引出指向

c C

道路标线在路平面上的相对位置关系检测车辆是否位置违章. 下面着重介绍车辆轮廓描述模型、车辆底边恢复规则与车辆位置违章检测方法.

3 车辆轮廓描述模型

本文用长方体近似真实世界的车辆, 则图像中的车辆为三维长方体在二维像平面上的镜像投影[1]. 长方体三个方向正交棱线的延长线在图像中分别相交于三个灭点, 其中P x ’, 在消失线P x 2P y 上, P z ’与P z 重合, 对图像中车辆的轮廓线P y ’

图2 消失线P x 2P y , 灭点P z

F ig . 2 V anish line P x 2P y , vanish po int P z

沿逆时针方向按表2的规则做标记, 见图3, 可以得到长方体在图像中的轮廓描述串为“aBc A bC ”, 同一描述串按逆时针循环等价. 在实际图像中只对延长线交汇于灭点P x ’, P y ’, P z 点的车辆轮廓线段用描述串标记, 忽略那些不通过任一灭点的轮廓线段. 对于延长后经过两个及两个以上灭点的轮廓线段, 依然按逆时针的引出与指向顺序用联合标记描述, 如图5(5)

割来祛除投射阴影[6], 经形态学处理后得到二值m ask 图像. 对车辆m ask 图像使用[1]中的切线斜率滤波方法得到其近似轮廓, 保留那些延长后交汇于P x ’, P y ’P z 点的轮廓线段, 并按表2的规则赋予其标号, 丢弃其他部分. 恢复模型对得到的每

500         小 型 微 型 计 算 机 系 统       2009年

中的”与图5(6) 中的”.

在交通监控应用中,

摄像机一般从高于车顶一定的高度

在交互遮挡. 车辆轮廓线的每一条边在图像中有三种状态:完全被遮挡(occ ) , 部分被遮挡(p occ ) , 完全可见(av ) . 某条边存在记为ex ist =av or p occ . n occ 表示物体轮廓中被完全遮挡的边的数目, 其余状态边的数目类似表示. R o , R b , R 12分别为车辆完整轮廓、完整底部和单一完整底边V 1V 2的可恢复标志. 轮廓线被遮挡的部分, 可根据长方体镜像投影模型, 利用三组平行边的三个灭点进行恢复. 车辆完整边界、完整底面边界和完整单一底边可恢复条件如下:4. 1 车辆完整边界恢复规则

(1) S 6, 1, 1, S 6, 1, 2, if n occ ≤1, R o =1, else R o =0;

(2) S 6, 2, 1, S 6, 2, 2, if ①c , C =exist and ②c 或C 位于a 与A 之间and ③n occ ≤1, R o =1, else R o =0;

(3) S 5, 1, S 5, 2, if n occ =0, R o 1, o =0. 4. ) 6, 1, if B , a , b n 1, R b =1, else R b =

0. 2, 3=, B , a , C , b =ex 2, 其他类型的推导过程类

图3 车辆轮廓描述

F ig . 3 D escri p ti on of veh icle outline

以某一角度俯拍, 摄像机有三类六种可能的方位(图4) , 其中

侧平面P

1和P 2S 6, 1, 1, S 6, 1, 2表示摄像机在车辆上平面P 4之上、

;

(2) S 6, 1, 2, if V 1, V 2, V 3=av Ζ六条边中的B , c , A , b =ex 2ist o r n occ ≤1, R b =1, else R b =0;

(3) S 6, 2, 1, S 6, 2, 2, 同4. 1(2) ;

(4) S 5, 1, S 5, 2, 同4. 1(3) . 4. 3 完整单一底边恢复规则

图4 不同视角的轮廓外形类型

F ig . 4 O utline types from deferent cam era angles

(1) S 6, 1, 1,

之外区域拍摄, 这类情形最为常见; 其次是S 6, 2, 1, S 6, 2, 2, 表示摄像机在车辆上平面P 4之上, 但夹在两个侧平面P 1和P 2之间的区域拍摄, 摄像机视轴与中轴面P

3共面时可归入S 6, 2, 1

①V 1V 2:if B , a , C =ex ist o r n occ ≤1, R 12=1, else R 12=0. 推导过程如下, 若要V 1=ex ist , 至少须B , a =ex ist , 同理, 若要V 2=ex ist , 至少须a , C =ex ist , 即B , a , C =ex ist , 或者完整边界可恢复条件成立, 其他边的推导过程类似;

②V 2V 3:if a , C , b =ex ist o r n occ ≤1, R 23=1, else R 23=

0;

③V 1V 4:if B , a , C , b =ex ist o r B , a , c , A =ex ist o r n occ

≤1, R 14=1; else R 14=0;

④V 3V 4:if C , b , B , a =ex ist o r C , b , c , A =ex ist o r n occ

≤1, R 34=1; else R 34=0.

(2) S 6, 1, 2,

①V 1V 2:if B , c , A =ex ist o r n occ ≤1, R 12=1, else R 12=

0;

②V 2V 3:if c , A , b =ex ist o r n occ ≤1, R 23=1, else R 23=

图5 不同视角的轮廓外形及描述串

F ig . 5 D escri p ti on strings of deferent outline types 或S 6, 2, 2; S 5, 1, S 5, 2表示摄像机视轴与车辆某一侧面共面, 这类情形较少发生, 即使发生, 时间也较短. 图5是六种外观图像及其对应的轮廓描述串.

0;

③V 1V 4:if B , c , A , b =ex ist o r B , c , a , C =ex ist o r n occ

≤1, R 14=1; else R 14=0;

④V 3V 4:if b , A , B , c =ex ist o r b , A , a , C =ex ist o r n occ

≤1, R 34=1; else R 34=0.

(3) S 6, 2, 1, ①V 1V 2:if B , C , b =ex ist o r 4. 1(2) 成立, R 12=1, else R 12=0;

②V 2V 3:if C , b , A , c =ex ist o r C , b , c , a , B =ex ist , R 23

=1; else R 23=0;

4 车辆底边恢复

一方面, 车辆背向摄像机的一侧因自遮挡在图像中不可见, 从图5可知此时车辆至多有两个底边完全可见; 另一方面, 交通场景中车辆之间以及车辆与背景物体之间普遍的存

3期       严捷丰等:一种视频检测车辆位置违章的几何方法  501

③V 1V 4:if B , C , c , a =ex ist o r B , C , b , A , c =ex ist o r 4. 1(2) 成立, R 14=1; else R 14=0;

④V 3V 4:if 4. 1(2) 成立, R 34=1; else R 34=0. (4) S 6, 2, 2,

对4. 3(3) 中S 6, 2, 1情况下c 与C 互换, 其他条件不变.

(5) S 5, 1,

①V 1V 2:if , C , b =ex ist o r n occ =0, R 12=1, else R 12=

0;

②V 2V 3:if C , b , A , c =ex ist o r n occ =0, R 23=1; else R 23

=0;

③V 1V 4:if n occ =0, R 14=1; else R 14=0; ④V 3V 4:if n occ =0, R 34=1; else R 34=0. (6) S 5, 2,

①V 1V 2:if B , c , =ex ist o r n occ =0, R 12=1, else R 12=

0;

任取一个标记位为起点, 与图4, 5中的六种串型做匹配, 按顺序增加一个标记位, 直到与任一串型都不匹配为止即为某单一车辆轮廓描述串; 如此进行直到标记位开始循环. 对得到最后一个串型和第一个串型如能合并为单一串型, 则合并为一个车辆; 如有共同串位但不能合并为单一串型, 则该串位为两个车辆共有; 否则为两个串型.

Step 4. 对Step 3得到的每一个单一车辆描述串根据其串型做恢复测试, if R o =1, 转Step . 5; else if R b =1, 转Step 5; else if R ij =1(i , j =1, 2, 3, 4; i ≠j ) , 转Step 6; else 转

Step 7.

Step 5. 测试违章判据1, Yes 生成报警信号. Step 6. 测试违章判据2, Yes 生成报警信号.

Step 7. , 转Step 1.

6, 计算, . 然后每隔2秒截, , 进行车辆压线行为检. 为得到足够数量的同一场景下的压线行为图像, 实验中用一个虚线车道场景来代替实线车道场景.

②V 2V 3:if n occ =0, R 23=1; else R 23=0;

③V 1V 4:if a , B , c , C =ex ist o

=1; R =0;

④V 3V 4:occ R 34R 34=.

5图1中的底边恢复模块及违章检测模块的算法流程如图6所示. 其中恢复规则库由第4节的恢复规则组成; 违章判据1为:车辆底面边界与车道线或停止线是否相交; 违章判据2为:参考同一灭点方向, 车辆某侧底边在其同侧车道线或停止线的相同一侧是否存在.

图6 位置违章检测算法流程图

F ig . 6 D iagram of po siti on vi o lati on detecting algo rithm

结合图1、图6, 本文方法完整的具体算法步骤为:

Step 1. 前景提取. 对背景差分后图像做纹理分割去除阴影, 经形态学处理后, 参考跟踪预测位置得到前景物体即车辆的二值连通m ask .

Step 2. 轮廓提取. 对每一块连通m ask 轮廓作切线曲率滤波, 对轮廓线按第3节中的规则作标记, 得到轮廓线的连续描述串.

Step 3. 描述串分解与串型识别. 对每个m ask 的描述串,

图7(a ) 是第一段视频的第37帧, (b ) 为前景及近似三维矩形轮廓, 属于图5(2) 的S 6, 1, 2类型. 若简单地认为图像中车辆运动满足二维共面运动假设, 在二维图像上看, 货车不但压线, 而且几乎占满了左侧的两个车道, 将判定货车压线违章. 然而, 做自遮挡恢复处理后, (c ) 为货车的近似三维轮廓, 从(d ) 可见, 虽然货车的质心(图中黑点) 位置偏向左侧车道内, 但其底面完全处于中间车道内, 本文算法判定货车并未违章.

类似的, 图8(a ) 是第二段视频第108帧中左下侧的近视角区域, 虽然面包车的质心及大部分车体都在左侧车道, 但经本文算法检测出其底面与车道线相交, 面包车的右侧底边完

502         小 型 微 型 计 算 机 系 统       2009年

全位于左车道的右车道线之右侧, 可判定其违章, 见图8(b ) , 黑点为其近似质心位置.

从图7, 8中可以看出, 本文中方法得到的车辆轮廓在车辆顶部通常包括一些非车辆区域, 但在底部比较接近车辆实际边界, 这是因为大多数车辆车体中最长最宽的部分在其底部, 这也说明本文方法得到的车辆底部信息能够比较接近实际情况

.

为人眼判定为违章的车辆数; D 1, D 2分别是两种情况下本文方法检测为违章的车辆数; FR 1=(N 12D 1) N 1, 是N 1中被误检为违章的误检率, FR 2=(N 22D 2) N 2是N 2中未被检测到的漏检率; TR =D 2 N 2为违章行为的总体检测率, FR =[D 1

(N 1+N 2) 为总体误检率. 统计数据为每张图像+(N 22D 2) ]

的车辆数累加, 未剔除同一车辆在几帧图像中的重复违章. 总体来看, 本文方法的平均检测率达到约99%, 平均误检率仅约2. 4%.发生误检的原因主要有:

(1) 三维矩形模型虽然是车辆轮廓较好的近似, 但也不能满足所有的情况, 例如视频2中出现了好几辆水泥搅拌车、超宽装货的卡车等;

(2) 无法恢复完整底部, , 人眼无法判断, 但算法检测为违章;

(3) 大.

(a )          (b )

图8 车辆压线检测

F ig . 8 D etecti on of veh line

, 提出一种车辆轮廓的几何描述模型, 利用该模型推导出车辆的底部边界, 根据车辆底部与道路标线的位置关系检测车辆的位置违章行为. 实验显示, 相对于质心判据和区域判据, 该方法检测性能突出, 巧妙的解决了视觉监控系统中二维共面运动假设不满足的问题, 在很大程度上消除了普遍存在的自遮挡和交互遮挡的影响, 检测效果很好. 在后继工作中, 我们将在本文模型基础上研究对遮挡情况下车辆的鲁棒跟踪算法, 探求车辆违章行为检测的整体解决方案.

References :

[1]Pang C C C , L am W W L , Yung N H C . A m ethod fo r veh icle

count in the p resence of m ulti p le 2veh icle occlusi ons in traffic i m 2ages [J ]. IEEE T ransacti on on Intelligent T ranspo rtati on Sys 2tem s , 2007, 26(3) :4412459.

[2]L ou J , T an T , H u W , et al . T raffic 32D model 2based veh icle

track ing [J ]. IEEE T ransacti on on I m age P rocessing , 2005, 14(10) :156121569.

[3]Fang Shuai , Ch i J ian 2nan , Xu X in 2he . M oving target track ing

algo rithm in video surveillance [J ]. Contro l and D ecisi on , 2005, 20(12) :138821396.

[4]Zhang Dong 2p ing , Fu P ing , L i J iang , et al . T raffic peccancy

p rocessing system based on i m age recogniti on [C ]. 1205.

[5]L i m D , Cho i S , Jun J . A utom ated detecti on of A ll k inds of vi o 2

lati ons at A street intersecti on [C ]. F ifth IEEE Symp . A nalysis and Interp retati on, 2002, 1262129.

[6]L am W W L , Pang C C C , Yung N H C . H igh ly accurate tex 2

ture 2based veh icle segm entati on m ethod [J ]. SP IE . Op tical En 2gineering , 2004, 43(3) :5912603.

1. 14%2. 82%

I m age IEEE P ro 2

ceedings of Intelligent T ranspo rtati on System , 2003, 12002

图9, 中(a ) ; b ) 为发生遮, 二值图; (c ) 是该区域的轮廓线, 经切线斜率滤波后得到(d )

,

图9 交互遮挡恢复

F ig . 9 M utual occlusi on and detecti on of veh icle on w ay line

保留其中延长经过灭点P x ’, P y ’, P z (附近的一个邻域) 的线段得到(e ) ; 经过串型分解后得到(f ) 、(g ) , 识别其串型皆为S 6, 1, 2, 且都可以完整恢复其三维矩形轮廓; (f ) 是经遮挡恢复后得到的轮廓线, 两辆车的底面都与车道线相交, 可判定其违章.

对两段视频各600帧图像进行检测的统计结果见表3,

表3 本文检测方法性能

T able 3 Perfo r m ance of the p ropo sed m ethod 视频

12

无违章或无法判断

1497856

1625

11. 21%2. 92%

22867

违章

22866

20%1. 5%

检测率误检率

100%98. 5%

附中文参考文献:

[3]方 帅, 迟健男, 徐心和. 视频监控中的运动目标跟踪算法[J].

其中, N 1为人眼判定违章或不能确定是否违章的车辆数, N 2

控制与决策, 2005, 20(12) :138821396.


© 2024 实用范文网 | 联系我们: webmaster# 6400.net.cn