基于图像处理技术的行人运动轨迹提取方法

谢玮，成艳英，陈柯，张玉春(西南交通大学地球科学与环境工程学院，四川成都610031 )摘要：为了实现复杂场景中多运动彳亍人目标的检测和跟

踪，采用计算机视觉技术对真实场景下行人运动视频进行处理

利用基于高斯混合模型的背景消减法提取运动目标前景，并通过

形态学运算进行目标清晰化处理采用基于预测的Kalman滤波 算法对运动目标进行跟踪，并对画面中泊人数进行实时统计和更

新「输出多运动行人目标的实时坐标和运动轨迹.研究结果表 明：本文提出的算法能够快速准确地检测和追踪多运动行人目标,

初步提取行人运动轨迹关键词：目标检测；目标跟踪;轨迹提取；图像处理；人员疏散

中图分类号：X913.4,TP391.4文献标志码：A文章编号：1009-0029(2019)01-0044-04人员安全疏散是建筑消防安全设计时必须考虑的问 题。特别是在商场、学校、地铁站等人员密集场所，一旦发

生火灾等紧急情况，往往导致重大的人员伤亡和财产损 失。因此，紧急情况下的人员疏散行为特性受到了国内外 学者的广泛关注。一方面随着计算机技术的进步，研究者

们不断更新和完善了一系列的人员疏散模型。例如，社会

力模型、元胞自动机模型、磁场力模型等，为研究分析某些 特定场景下的人员疏散提供了高效便捷的手段。另一方 面，相对于疏散模型研究，少量的疏散实验研究相继开

展。通过疏散实验，研究者获取了更真实的人员疏散数

据，包括疏散时间、运动速度、人员密度以及人员疏散行为 特性等。但是，疏散实验数据的提取和还原是消防研究面

临的一个共同的难题。目前，对于实验人员运动特征的提 取方法主要有两种：一种是基于人工观察和统计的方法，

该方法耗时耗力且误差较大；另…种是基于计算机视觉的 图像处理方法，即通过获取的实验视频对行人运动进行识 别和跟踪，进一步获取人员的运动参数，该方法高效且准

确率高。Hoogendoom等开展了一系列特定场景下的人员疏

散实验，运用自主开发的视频处理技术对人员的运动轨迹

进行提取；刘轩等分别利用mean-shift算法和光流法分 析了疏散实验中人员的微观运动特性参数。相较于疏散

实验，通过建筑智能视频监控系统获取的行人运动视频更 符合真实情况，且来源广泛。目前，智能监控视频系统结 合相关领域的应用已经成为学者们研究的热点。人员疏

散方面的研究工作主要包括基于图像处理技术的建筑人 员荷载实时监测、人员行为预测、人员运动轨迹的追踪和基金项目:国家H然科学基金项目(51578464)44提取。上述研究将在一定时期内处于发展阶段，目前大多

可解决单一场景下的运动个体检测和追踪问题，对于真实 复杂场景下的多个运动行人目标检测，还有待开展更多的 研究工作。针对真实场景下多个运动行人目标识别和追踪问题,

基于计算机视觉技术，探究了运动行人目标检测的算法, 提出了基于视频图像处理技术的人员运动轨迹提取方

法。该方法能够有效地应用于多个运动行人目标检测，并

快速地获取真实复杂场景下的行人运动轨迹。研究结果 对于行人运动参数的获取提供了有效的技术手段，对于智

能监控视频系统结合消防领域的应用具有一定的指导 意义。1模型介绍1.1基本框架笔者研究了真实场景下多运动行人目标的检测和跟

踪算法，以MATLAB示例视频(atrium.mp4)为例进行测 试。该算法的目的是实现整个运动过程中行人的自动识

别、追踪和运动参数的提取，算法流程如图1所示。一是 对运动目标进行检测。输入视频后进行初始化处理，再利

用基于混合高斯模型的背景消减法对运动目标前景进行 提取；二是对运动目标进行跟踪。对获取的目标前景进行

H标分割和特征提取后，利用Kalman滤波器对运动目标进行预测和匹配；三是通过跟踪到的运动目标，输出目标

的实时中心点坐标,完成运动轨迹提取。__ Step 1 StepStep 3;初始化，处理I目目蓼标标数I视频 输入检特征 提测

:提取跟坐标踪

输出取一

图1算法流程图1.2高斯混合模型(GMM)目标检测的关键在于如何选用合适的算法对运动目

标前景进行提取。目前，常用的运动目标检测方法包括三

种：帧差法、背景消减法和光流法。帧差法是通过相邻图像帧的差分提取出场景中的运动信息，计算简单、快速，但

是对于运动速度慢、颜色单一的目标，无法捕获完整的目 标信息；光流法是指利用位移矢量场(即光流场)的变化来Fire Science and Technology,January 2019, Vol 38,No.l进行运动目标检测，该方法受环境影响程度高且计算十分 复杂；背景消减法是指利用当前图像与背景图像进行差分 来检测运动区域，该方法实现简单，能够快速地分割出运

为前景点或背景点后，用1表示前景像素，用0表示背景 像素，分离出前景和背景。由于初步得到的二值图包含噪

声和不相关元素，需要通过形态学运算得到更清晰的二值 图。通过开运算去掉目标外的孤立点，通过闭运算填补目

动体。笔者选用背景消减法对运动目标进行提取，但该方法

标内的孔洞，最终得到图2(d)所示的前景图。容易受到环境变化(如光线、晃动的树叶等)的影响。因 此，如何选用合适的背景模型是背景消减法的关键。高斯

混合模型通过对每个高斯分布的参数的在线更新，能够很 好地表征缓慢变化的背景，较好地解决多模态背景问题及 消除环境光照变化的干扰。笔者对选用的高斯混合模型

进行介绍。高斯混合模型中，像素点的特征由K个高斯分布模型来表征。当前像素点的概率值表示见式(1)。(a)背景帧P(x,) =工:严,.Q(x“冷(1)

式中：K为高斯分布的个数，K越大，越能表征复杂的场 景；uh为/时刻第i个高斯分布的权重，工;[严,.,=l；d为 高斯概率密度函数，其定义见式(2)。] 二化—旳)Wg 一阿)(2沪|》|\"八(2)(b)包含目标的帧式中：，为第d个高斯分布的均值；为其协方差，为了方便运算，假设红绿蓝三颜色向量相互独立，具有相同的方差,WJS,-./■>通过权重®\"与标准差\"，的比值3/。来筛选背景模型，将s，/。的值从高到低排列K个高斯分布。选取高斯分布权重之和刚好大于全局阈值丁的前B个高斯分布作为背景子集，剩余K-B个高斯分布即为前景子集，见式(3)。(c)消减结果(二值图)B = argminB(Y^z>T)

*=iH⑶当前像素的观测值可能与某个高斯分布相匹配，若满 足式(4),则匹配成功，即更新公式调整K个高斯分布的权

重、均值和标准差，见式(5)〜式(7)；若无匹配值，则增加一个新的高斯分布用于替换权重最小的高斯分布。|x‘-““一 1|<他,_1w,., = (l-a)w,.;_i+a兀 =(1 一％鷺-1 +旳-冷孑(4)(5)(6)(7)2.2目标跟踪(d)形态学滤波结果图2背景消减目标检测算法过程利用基于预测的Kalman滤波算法对目标进行跟踪。

Kalman滤波的核心思想包括两部分：预测和修正。一是

基于运动目标的状态矢量和观测矢量，预测下一时刻该目 标的状态，得到先验估计；二是基于下一时刻目标的观测 矢量和状态矢量，结合先验估计值，进行修正，并完成下一

式中：0为常数，本文模型取2.5；a为学习速率，值介于0和1 之间；p,= = ad(X” 冷” <7,?„ /).2结果与讨论2.1前景提取图2展示了对运动目标前景进行提取的过程。笔者 选取运动过程中的某一帧进行说明，图2(a)代表场景背景 帧，图2(b)为包含运动目标的帧。通过基于高斯混合模型 的背景消减法对前景进行提取，得到如图2(c)所示的二值 图。其原理为：取静止背景的40帧图像来进行GMM参

数估计，完成背景建模。对当前视频帧的所有像素点判定商仿科爭与枚术2019年1月第38卷第1期时刻预测。Kalman滤波的状态方程和观测方程，见式

(8)、式(9)。状态方程：才* =Ar*_ 1+«?*_] 观测方程：z*

1 +族

(8)(9)式中：比为状态矢量;怨为观测矢量1为状态噪声；％为 观测噪声。在I和a*服从高斯分布的条件下，Kalman滤波能够45得到最优的预测结果。算法完成J'多行人目标的跟踪过程，对检测到的运动

行人通过外接矩形框进行标记，如图3所示。画面正上方

为计数器计数结果，显示当前画面中探测到的总人数。为

J'对该算法进•步测试，拍摄和记录了日常校园场景下行 人的运动视频，如图4所示。结果表明，该算法能够较好

地完成多运动目标的检测和跟踪，但是对于人员密集场

所，还有待对算法进一步改进以实现精确检测。(a)跟踪过程1(b)跟踪过程2图3目标跟踪过程示意图(a)校园场景1(b)校园场景2图4校园场景下运动行人检测与跟踪2.3人员运动轨迹行人检测和跟踪过程中，通过跟踪运动目标的质心，

实现对目标的轨迹提取。图5为运动轨迹的追踪结果。 通过输出行人的实时坐标，同样也可以得到图6所示的运 动轨迹。无论是对于行走还是骑自行车的行人，均达到了

较好的追踪效果，输出了连续稳定的运动轨迹。但是，针 对行人运动状态剧烈变化的时刻，运动轨迹岀现部分离散

点，说明算法鲁棒性还有待提高。整个算法对于获取多运 动行人目标全局轨迹达到了快速、准确的效果。需要提出

46的是，木文获取的是图像空间行人的实时坐标和运动轨

迹，若要获得行人在真实空间的运动轨迹，还需要对坐标 进行-•定的转换和矫正。图5多行人目标运动轨迹350「300250200更15010050100 200 300

400 500 600 700X坐标图6运动轨迹坐标提取3结论针对多运动行人目标的检测和跟踪问题，釆用高斯混 合模型背景建模技术，利用背景消减法从复杂场景中提取 行人目标，实现了真实场景中的多个运动行人目标的实时 检测和跟踪。算法实现了对当前画面中人数的实时统计

和更新，并成功提取了多运动行人目标的轨迹和实时坐

标。基于获取的运动轨迹，可进一步获取人员的运动速度 变化特征、疏散时间间隔、路径选择等相关参数。有助于 对疏散过程中人员运动行为特性的理解与分析，对疏散模

型的改进和相关疏散场景的评估和设计具有一定的指导 意义。未来的工作中，笔者拟进一步对获取的图像坐标进行 矫正，转换为现实坐标。并利用更多的视频场景对本算法 进行测试和改进，应用到更多的疏散场景中。参考文献:[1] I), FARKAS I, VICSEK T. Simulating dynamical fea­

tures of escape panic[J]. Nature, 2000,407(6803):487—490.[2] KIRC'HNER A, NISHINARI K. SCHADSCHNEIDER A. Fric­

tion effects and clogging in a cellular automaton model for pedes­trian dynamic或J]. Phys Rev E, 2003,67(5):56—62.[3] S()N(i W (；, XU X, WAN(； BH, el al. Simulation of evacuation

processes using a multi- grid model for pedestrian dynamics[J],

Physica A, 2006,363(2):492-500.⑷ MURAMATSU M. IRIE T, NAGATAN1 T. Jamming transition

in pedestrian counter flowfj], Physica A, 1999,267(3):487-498.[5] KULICOWSKI E I), PEAC()('K R D. RENEKE PA,刃 al.

Movement on stairs during building evacuationsfRJ. NIST techni-Fire Science and Technology.January 2019, Vol 38,No.lcal note, 2015.[6] KOBES M, HELSLOOT I. VRIES B, et al. Way finding during

fire evacuation； an analysis of unannounced fire drills in a hotel al

night[J]. Build Environ.2010,45:537-548.[7] MA J, SONG W (；. FANG Z M. al. Experimental study on mi­

croscopic moving characteristics of pedestrians in built corridor based on digital image processing^]. Building and Environment,

2010,45(10):2160—2169.[8] ZHANG Y C, XIE W, CHEN S M,刃 al. Experimental sludy on

descent speed on stairs of individuals and small groups under dif

ferent visibility conditionsfJ]. Fire Technology,2018,54(2):1-16.[9] XIE W, ZHANG Y C, CHENG YY, et al. Experimental sludy on

movement speed and route choice of individuals and small groups

under different visibility conditions[J]. Proceida Engineering,

2018,211:830-836.[10] 谢玮，张玉春•能见度对个体疏散速度及路径选择的影响研究[J].中

国安全生产科学技术,2017,13(7):62-67.[11] HOOGENDOORN S P, DAAMEN W. Pedestrian behavior at

boltlenecks[J]. Transportation Science, 2005,39(2)： 147—159.[12] LIU X, SONG W G, ZHANGJ. Extraction and quantitative anal

ysis of microscopic evacuation characteristics based on digital ini' age processingfj]. Physica A, 2009,388:2717—2726.

[13] 刘轩，宋卫国，马剑，等•基于数字图像处理的人员运动参数提取方法

研究[J].火灾科学,2008,(4):201-208.[14] AFSAR P, CORTEZ P, SANTOS H. Automatic visual detec­

tion of human behavior： A review from 2000 to 2014[J]. Expert

Systems with Applications, 2015,42(20):6935—6956.

[15] CONTE D, FOGGIA P, PERCANNELLA G,et al.A method

for counting moving people in video surveillance vidcos[J]. EUR

ASIP Journal on advances in signal processing, 2010:231 —240.[16] YAMAGUCHI K. BERG A C, ORTIZ L E, et al. Who are you

with and where are you going? [J]. In Computer Vision and Pal

tern Recognition (CVPR).IEEE,2011:1345-1352.[17] MABROUK A B, ZAGROUBA E. Abnormal behavior recogni­

tion for intelligent video surveillance systems： a review[J]. Ex­

pert Systems with Applications, 2018,91:480—491.[18] CHOI W, SAVARESE S. Understanding collective activities of

people from videos[J]. Pattern Analysis and Machine Intelli­gence, IEEE Transactions on,2014,36(6):1242-1257.[19] ALAHI A. GOEI. K, RAMANATHAN V. et al. Social LSTM：

Human trajectory prediction in crowded spacesfJ]. 2016 IEEE

Conference on C'omputer Vision and Pattern Recognition

(CVPR),2016:961-971.[20] KIM S, GUY S, LIU J, et al. Brvo： Predicting pedestrian trajec­

tories using velocity—space reasoning[J]. The International Jour「

nal of Robotics Research,2015,34(2):201-217.[21] KANAGAMALLIGA S, VASUKI S. Contour-based object track

ing in video scenes through optical flow and gabor features [J]. Optik,2018,157:787-797.[22] BRAGA N. Object-based image analysis using niultiscale connec-

tivityfj]. IEEE Transaction on Pattern Analysis and Machine In­

浦防科学与技术2019年1月第38卷第1期telligence ,2005,27(6) :892-907.[23] SANDEEP S. SUSANTA M. Motion detection using block

based bi - directional optical flow methodfJ]. Journal of Visual ('ommunication and Image Representation,2017,49:89—103.[24] 陈娟.基于多特征融合的视频火焰探测方法研究[D].合肥:中国科

学技术大学,2009:20-24.[25] YU K C, WATSON N R, ARRILLAGA J. An adaptive Kalman

filter foe dynamic harmonic state estimation and harmonic injec­

tion tracking[J]. IEEE Transaction on Power Delivery, 2005,20 (2):1577-1584.Method of pedestrian movement trajectory

extraction based on image processingXIE Wei, CHENG Yan-ying

CHEN ke, ZHANG Yu-chun(Faculty of Geosciences and Environmenlal Engineering.

Southwest Jiaotong University, Sichuan Chengdu 610031, China)

Abstract: In order to achieve detection and tracking of multi—sport pedestrians in complex seenes, we processed the pedestrians' mo­

tion video in real scenes based on computer vision technology.

First, the foreground of the moving object was extracted using the background subtraction method based on Gaussian mixture model.

Morphological operation method was used to obtain clearer target.

Then, Kalman fillering algorithm was applied to track the moving

targets, calculating and updating the number of people in the

screen. Fin ally, the real-time coordinates and motion trajectories

of multi—motion pedestrians were output. The results indicate that

the algorithm proposed in ihis paper can quickly and accurately de­

tect and track multiple moving pedestrians, and exlract pedestrian

moving trajectories.Key words: object detection； object tracking； trajectory extraction；

image processing； evacuation作者简介:谢玮(1994-),女，四川德阳人，西南交通

大学地球科学与环境工程学院硕士研究生，主要从事人员

疏散及地下空间防火技术研究，四川省成都市犀安路999 号，611756。通信作者：张玉春(1980-),男，西南交通大学地球科 学与环境工程学院,教授。收稿日期:2018-09-0147