Rastreamento de Objetos por Eigenbackground e Separação em Classes

Greice Martins de Freitas, Clésio Luis TozziUniversidade de Campinas

Faculdade de Engenharia Elétrica e de ComputaçãoAv. Albert Einstein - 400

CP 6101 - Campinas, SP, Brasil{greice, clesio}@dca.fee.unicamp.br

Resumo

Modelos de background e subtração de fundo utilizandosubespaços são uma opção em visão computacional por seubaixo custo de processamento, viabilizando aplicações emtempo real. Neste contexto, este trabalho apresenta um sis-tema de rastreamento de objetos utilizando o modelo defundo Eigenbackground para segmentação dos objetos emmovimento e um sistema de classificação que permite mo-nitorá-los quando sofrem oclusão ou estão indisponı́veis.Também é apresentado um método de atualização do Ei-genbackground através da modificação dos vetores quecompõem seu subespaço. O sistema proposto foi testado emvı́deos das bases de dados PETS e CAVIAR.

1. Introdução

O barateamento da instalação e obtenção de câmeras desegurança têm resultado numa grande demanda por siste-mas robustos e confiáveis de monitoramento de atividadeshumanas, auxiliando no trabalho dos operadores de vı́deono controle de entrada e saı́da de pessoas em um ambientebem como suas atividades.

Neste contexto, é desejável um sistema que permita pro-cessamento em tempo real, visando o acompanhamento dosindivı́duos levando em conta as variações no ambiente comomudanças de iluminação, sombra e entradas e saı́das de ob-jetos de natureza diversa.

Em Visão Computacional, a análise de movimentoatravés de vı́deos pode consistir em três etapas funda-mentais: detecção, rastreamento e reconhecimento [11].Os objetos em movimento, ou foreground, são reconhe-cidos e segmentados durante a etapa de detecção, fun-damental para o sucesso da análise uma vez que forneceinformações para as demais etapas. Os objetos detecta-dos são seguidos e associados quadro a quadro durante a

etapa de rastreamento e, finalmente, na etapa de reconheci-mento, os objetos são classificados quanto à sua natureza,isto é, identifica-se, por exemplo, se o objeto é uma pes-soa, um carro ou apenas uma árvore balançando.

O presente trabalho visa propor um sistema de monito-ramento das atividades humanas baseado no rastreamentodos objetos de foreground através da associação de obje-tos por cor, área e posição e velocidade dos centróides, ob-tidos através da aplicação do Filtro de Kalman. Durante orastreamento, os objetos são organizados em classes que re-presentam seu estado, ou seja, estados que definem se o ob-jeto entra na cena, sai, está em oclusão etc. O modelo desegmentação proposto é baseado decomposição do modelode fundo, ou background, em autoespaço através da Ana-lise de Componentes Principais (PCA).

2. Detecção de Movimento: Eigenbackground

A detecção, ou segmentação, de objetos móveis numacena é uma etapa fundamental na análise de movimento,sendo determinante para que as etapas de rastreamento e re-conhecimento recebam dados coerentes e precisos [5]. Den-tre os métodos de segmentação destaca-se a Subtração deFundo, na qual assume-se que o fundo de uma sequênciade cenas é estático ou sofre lentas variações ao longo dotempo, portanto passı́vel de modelagem. O modelo, “sub-traı́do”da cena atual, resulta na identificação de objetos emmovimento.

Métodos de subtração de fundo vêm sendo estudadosdesde o final da década de 70 [6], entretanto tornaram-semais populares com a introdução de modelos gaussianospara a modelagem dos pixels do fundo [15]. Desde então,outras abordagens tais como mistura de gaussianas [13] eHidden Markov Models [12] foram propostas para a mode-lagem individual dos pixels.

Em oposição à modelagem da variação individual dos pi-xels, Oliver et al. [9] propuseram uma subtração de fundochamada Eigenbackground, baseada na decomposição da

imagem em autoespaço, com o objetivo de obter o menornúmero de caracterı́sticas que represente o fundo com pre-cisão.

Um autoespaço que modela o fundo é formado pelas pri-meiras N imagens da sequência de vı́deo. Delas são toma-das a média µa e a matriz de covariância Ca, que pode serdiagonalizada pela decomposição La = ΦaCaΦTa , onde Φaé a matriz de autovetores da matriz de covariância e La é amatriz diagonal de seus autovalores. Aplicando a Analisede Componente Principal - Principal Component Analy-sis(PCA) sobre a matriz diagonal, obtém-se ΦM , matriz quecontém os M maiores autovetores de Ca.

Objetos móveis são tipicamente pequenos em relaçãoà cena e não aparecem na mesma posição nos N primei-ros quadros, desta forma não contribuem significativamentena formação do modelo de fundo, bem como variações deiluminação e ruı́dos nas imagens.

Com o fundo da cena modelado, uma nova imagem Iipode ser projetada no autoespaço e em seguida transfor-mada para o espaço original:

Bi = (ΦTMΦM (Ii − µa)) + µ (1)

Desta forma, os objetos em movimento são detectadosaplicando um limiar à diferença absoluta Di = |Ii −Bi|.

A figura 1 mostra um exemplo da decomposição emautoespaço e o resultado da subtração de fundo. Pode-senotar que objetos em movimento, ou objetos do foreground,são claramente identificados.

Embora a utilização desta modelagem forneça bons re-sultados, o background ainda está sujeito a mudanças comovariações de iluminação e incorporação de objetos. O mo-delo de atualização adotado no presente trabalho foi pro-posto por Hall et al [3]. A cada nova coleção com K no-vos dados, obtemos B = (B1B2...Bk), onde Bi é a i-ésimanova imagem vetorizada. Podemos atualizar a média por:

µ′a = (1− β)µa + βµb, (2)

onde β é a taxa de aprendizado. Entretanto calcular di-retamente a atualização da matriz de covariância, C ′a bemcomo seus autovalores e autovetores, é indesejável uma vezque este processo é lento e, portanto, impraticável em temporeal [4]. Desta maneira C ′a é decomposto como:

C ′a = [U |E]D[U |E]T , (3)

onde E é uma base ortonormal dos novos dados e D =RΣRT , sendo Σ uma matriz diagonal de autovalores de C ′ae R uma matriz de rotação. Desta forma, a decomposiçãode C ′a é equivalente à decomposição da matriz D, de di-mensão muito menor:

D = [U |E]TC ′a[U |E]. (4)

(a)

(b)

(c)

Figura 1. Decomposição em autoespaço: (a)imagem de entrada, (b) imagem reconstruı́dadepois de projetada no autoespaço e (c)diferença das imagens (a) e (b).

3. Rastreamento

A complexidade da etapa de rastreamento está em as-sociar objetos do foreground num instante t com objetosdo instante seguinte t + 1, uma vez que os mesmos podemapresentar variações em sua velocidade, direção e topolo-gia, além de estarem sujeitos a agrupamentos, separações,aparecimentos e desaparecimentos.

A associação dos objetos entre cenas é feita através deuma medida de custo envolvendo a previsão gerada pelofiltro de Kalman e atributos do objeto: distribuições decor e área. As entidades cujo movimento pretende-se ras-trear através do filtro de Kalman são representadas peloscentróides, e seu vetor de estados é composto pelas respec-tivas posições e velocidades.

Além de estabelecer métricas de associação, para umrastreamento consistente é necessário criar uma estruturade dados que acompanhe os objetos rastreados em suasmudanças de estado, desta forma auxiliando na associação

Figura 2. Fluxograma da transição de clas-ses.

de objetos entre as cenas e no monitoramento de atividades[8]. Com o objetivo de monitorar tais mudanças sem per-der o objeto seguido ou fazer falsas associações, bem comoevitar o rastreamento de ruı́dos, cada objeto pode transi-tar entre sete diferentes classes: Fundo, Iniciante, Perma-nente, Temporariamente indisponı́vel, Oclusão, Separado,Desaparecido e Fora de cena.

3.1. Classes

Como discutido na seção 3, os objetos seguidos podemser classificados segundo seis diferentes classes descritas aseguir, baseadas no trabalho de Lei e Xu [8]. O modelo detransição entre classes é mostrada pela figura 2.

Iniciante Qualquer objeto classificado como foregrounde encontrado numa das regiões pré definidas comoregiões de entrada, isto é, portas ou limites da ima-gem por onde é possı́vel um objeto entrar, é inicial-mente classificado como Iniciante. Não se pode afir-mar se o objeto é apenas um ruı́do ou um objeto emmovimento, desta forma são realizadas duas medidasde confiança para que o objeto transite para a classePermanente ou seja descartado. A primeira medida dizrespeito à quantidade de quadros em que o objeto foiseguido e a segunda ao “fator de movimento”, calcu-lado por:

mov = (σ2cx

σ2vx + �+

σ2cyσ2vy + �

)/2, (5)

onde σ2cx(σ2cx) é a variância da posição do centróide na

direção x(y) e σ2vx(σ2vy) a variância da velocidade do

centróide na direção x(y) e � uma pequena constantepara impedir divergência.

Fundo Um objeto é classificado como Fundo se foi iden-tificado como um objeto de foreground e encontra-sefora das regiões de entrada. Este objeto pode passarpara a classe Permanente se permanecer na cena porum certo perı́odo de tempo e, ao se movimentar, sur-gir um novo objeto de foreground em sua localizaçãoinicial. Este novo objeto é gradualmente integrado aofundo da cena através da adaptação do fundo.

Permanente Um objeto neste estado é classificado comoum objeto em movimento, entretanto seu estado podemudar e consequentemente ser classificado como (a)Temporariamente Indisponı́vel: parte da estrutura dacena esconde o objeto (ex.: Pessoa que passa atrás deum poste ou coluna); (b) Oclusão: um ou mais objetosse juntam (ex.: Grupo de pessoas que se encontram);(c) Separado: o objeto divide-se em duas ou mais par-tes (ex.: Grupo de pessoas que se desfaz).

Temporariamente Indisponı́vel Se o objeto volta à cena,então retorna à classe Permanente, caso contrário, secontinua nesta classe durante um certo número de ce-nas, é classificado como Desaparecido.

Oclusão Ainda é possı́vel adquirir algumas informaçõessobre o objeto enquanto encontra-se neste estado comoposição e velocidade, analisando tais atributos do ob-jeto formado pela união dos objetos em Oclusão. Seo objeto volta a aparecer então volta à classe perma-nente, caso contrário, segue em Oclusão.

Separado Um objeto Separado têm como produto doisou mais objetos classificados como Partes. Caso adistância entre os centróides das Partes aumente gra-dativamente no decorrer das cenas, então são classi-ficadas como pertencentes à classe Permanente, casocontrário, continuam classificadas como Partes até quese unam novamente e então o objeto classificado comoSeparado volta à classe Permanente ou ainda, são apli-cadas as mesmas medidas de confiança da classe Inici-ante, então as Partes podem cegar à classe Permanenteou serem descartadas.

Desaparecido Uma vez que o objeto é classificado comoDesaparecido pode evoluir para duas classes: Fora decena ou Permanente. Se a métrica descrita na seção 3.2associa as caracterı́sticas do objeto Desaparecido a umnovo objeto, então é classificado como Permanente,caso contrário, decorrido um determinado número decenas, o objeto é classificado como Fora de cena.

Fora de cena Considera-se que objetos desta classe estáfora de cena e portanto não retornará. Desta forma,informações sobre o objeto podem ser excluı́das damemória.

3.2. Métrica de Associação

São utilizadas duas métricas de associação para correla-cionar objetos numa cena no instante t a objetos na cenaseguinte, no instante t + 1. A primeira métrica é baseadana distância entre as posições dos centróides e a segundanos histogramas de cor e áreas dos objetos, sendo esta utili-zada quando existem objetos nas classes Temporariamenteindisponı́vel e/ou Oclusão. Esta divisão ocorre em virtudede eventuais falhas na previsão da posição dos centróidesfornecidas pelo filtro de Kalman, uma vez que o mesmo,para objetos nestas classes, não pode ser corrigido com no-vas medidas.

3.2.1. Associação de Centróides São calculadas asdistâncias euclidianas entre as posições dos centróides es-timadas pelo filtro de Kalman e as posições medidasna cena atual. Os objetos são associados se a distânciafor mı́nima e menor que um limite estabelecido. Se al-gum centróide dos objetos medidos não se associa comalgum centróide estimado, então considera-se um novo ob-jeto em cena e este é classificado como Iniciante.

3.2.2. Associação de Cor e Área Cada objeto encontradona cena carrega um atributo de cor Hh,s,vi e outro de áreaAi, ondeH

h,s,vi são os histogramas de hue, saturation e va-

lue. O histograma de cor é formado por:

H(x) =N(x)∑l

j=1N(xj)(6)

onde N(x) é o número de pixels com valores iguais a xe l o número de valores do histograma. A área Ai é dadapelo número de pixels do objeto.

Assim como na associação de centróides, os objetos sãoassociados se sua função custo for mı́nima e menor que umlimite pré-definido assim, um objeto i é associado a um ob-jeto j se os custos CAi,j e C

Hi,j são mı́nimos e satisfazem:{CAi,j < T1CHi,j < T2

(7)

Baseado na distribuição χ2, o custo CHi,j é calculado por:

CHi,j =l∑

b=1

(Hi(b)−Hm(b))2

Hm(b), (8)

onde Hm(b) =Hi(b)+Hm(b)

2 .O custo entre áreas é calculado por:

CAi,j = 1−min(Ai, Aj)max(Ai, Aj)

2

. (9)

Note que o custoCAi,j varia entre 0 e 1, sendo que quandoos objetos têm áreas similares o custo será aproximada-mente 0 e, caso contrário, aproximadamente 1.

4. Resultados

Com o objetivo de avaliar o sistema proposto, o mesmofoi testado em imagens de câmeras de segurança adquiridasatravés do conjunto de dados CAVIAR [2] e PETS [10].

A figura 3 mostra os resultados obtidos em duassequências de vı́deo diferentes. Na sequência repre-sentada pela figura 3 (a), uma pessoa entra na cenae é classificada como objeto Permanente 1. Logo de-pois, um grupo de pessoas entra e é classificado comoobjeto Permanente 2. A priori não há como classifi-car o objeto 2 como grupo, uma vez que este entra juntona cena. Na sequência os objetos se juntam, sendo clas-sificadas como Oclusão e então se separam, voltando àclasse Permanente e novamente são classificadas como ob-jeto 1 e 2.

A sequência representada pela figura 3 (b) mostra duaspessoas que entram na cena caminhando juntas, contudodetecta-se apenas um objeto uma vez que as pessoas estãoconectadas e a subtração de fundo sozinha não é suficientepara fazer este tipo de reconhecimento. Após uma brevepausa as pessoas se separam, sendo classificadas comoPartes de um objeto da classe Separado, e caminham emdireções opostas. Neste momento, a distância entre as Par-tes aumenta a cada cena que desta forma passam a ser clas-sificadas como objetos Permanentes e o objeto Separado éexcluı́do.

Nas sequências de video testadas, o sistema apresen-tou bons resultados, rastreando o alvo em aproximadamente86% dos quadros, sendo o sucesso do rastreamento propor-cional à eficácia da subtração de fundo. Em vı́deos muitosruidosos como o mostrado na figura 3 (a), ocorreu frequen-temente a fragmentação dos objetos seguidos, dificultandoa identificação dos mesmos, principalmente em presença deoclusões.

A variação da luminosidade numa mesma cena tambémcausou algumas falhas no processo de segmentação, sendodesejável a aplicação de diferentes thresholds na mesmaimagem, normalmente 2 ou 3 para sequências de vı́deo queapresentam esta variação. Este processo pode ser automa-tizado recalculando o threshold da diferença Di (seção 2),como discutido nos trabalhos [4, 3].

5. Conclusões e Perspectivas

O presente trabalho contempla um sistema de visãocomputacional para detecção e rastreamento de obje-tos em vı́deos de segurança, visando sua aplicação emtempo real. O sistema é baseado na segmentação atravésde da decomposição do background em autoespaço e naorganização dos objetos de foreground em classes que re-presentam seu estado, permitindo monitorá-los mesmoquando sofrem oclusão ou estão indisponı́veis.

(a) (b)

Figura 3. Resultados da aplicação do algo-ritmo em duas sequencias de vı́deos diferen-tes. As letras p e o, representam, respectiva-mente, as classes Permanente e Oclusão.

Como trabalho futuro pretende-se avançar na etapa dereconhecimento, focando na identificação de pessoas. Paratal, espera-se identificar periodicidades nos objetos de fo-reground com o objetivo de reconhecer a marcha humana[14, 1, 7].

Referências

[1] C. Bregler. Learning and recognizing human dynamics invideo sequences. In Computer Vision and Pattern Recogni-tion, 1997. Proceedings., 1997 IEEE Computer Society Con-ference on, pages 568–574, Jun 1997.

[2] CAVIAR. Ec funded caviar project/ist 2001 37540.http://groups.inf.ed.ac.uk/vision/CAVIAR/CAVIARDATA1/, 2001. [Online; accessed15-Junho-2009].

[3] P. Hall, D. Marshall, and R. Martin. Merging and splittingeigenspace models. IEEE Trans. Pattern Anal. Mach. Intell.,22(9):1042–1049, 2000.

[4] B. Han and R. Jain. Real-time subspace-based backgroundmodeling using multi-channel data.

[5] W. A. Higashino. Estudo comparativo de algoritmos desubtração de fundo em sequencias de imagens. Master’s the-sis, Universidade Estadual de Campinas - UNICAMP, 2006.

[6] R. Jain and H.-H. Nagel. On the analysis of accumulative dif-ference pictures from image sequences of real world scenes.Pattern Analysis and Machine Intelligence, IEEE Transacti-ons on, PAMI-1(2):206–214, April 1979.

[7] C.-S. Lee and A. Elgammal. Gait tracking and recognitionusing person-dependent dynamic shape model. In Automa-tic Face and Gesture Recognition, 2006. FGR 2006. 7th In-ternational Conference on, pages 553–559, April 2006.

[8] B. Lei and L.-Q. Xu. Real-time outdoor video surveillancewith robust foreground extraction and object tracking viamulti-state transition management. Pattern Recogn. Lett.,27(15):1816–1825, 2006.

[9] N. Oliver, B. Rosario, and A. Pentland. A bayesian com-puter vision system for modeling human interactions. Pat-tern Analysis and Machine Intelligence, IEEE Transactionson, 22(8):831–843, Aug 2000.

[10] PETS2001. 2nd ieee international workshop on per-formance evaluation of tracking and surveillance.http://ftp.pets.rdg.ac.uk/PETS2001/DATASET1/TESTING/, 2001. [Online; accessed 30-Junho-2009].

[11] R. Pinho, J. Tavares, and M. Correia. Introdução à análisede movimento por visão computacional. Relatório Interno,Faculdade de Engenharia, Universidade do Porto, 2004.

[12] J. Rittscher, J. Kato, S. Joga, and A. Blake. A probabilisticbackground model for tracking. In ECCV ’00: Proceedingsof the 6th European Conference on Computer Vision-Part II,pages 336–350, London, UK, 2000. Springer-Verlag.

[13] C. Stauffer and W. Grimson. Learning patterns of activityusing real-time tracking. Pattern Analysis and Machine In-telligence, IEEE Transactions on, 22(8):747–757, Aug 2000.

[14] L. Wang, T. Tan, H. Ning, and W. Hu. Silhouette analysis-based gait recognition for human identification. IEEETransactions on Pattern Analysis and Machine Intelligence,25(12):1505–1518, 2003.

[15] C. Wren, A. Azarbayejani, T. Darrell, and A. Pentland. Pfin-der: real-time tracking of the human body. Pattern Analysisand Machine Intelligence, IEEE Transactions on, 19(7):780–785, Jul 1997.