A pesquisa em interfaces alternativas para controle, vêem crescendo recentemente. Julga-se que será, em breve, um mercado multi-milionário. Este trabalho implementa uma interface humano computador baseada em reconhecimento de gestos. A interface visa controlar a passagem de transparências durante apresentações. Geralmente utiliza-se um controle remoto, com botões com funções próxima/anterior. A gramática deste trabalho é constituida de dois gestos simples de mesma função dos botões. O reconhecimento é dado de maneira contínua, em tempo real e cada gesto é identificado através de um modelo escondido de Markov.

Implementar uma interface humano computador para controle de um programa de slides, utilizando Visão Computacional e Modelos Escondidos de Markov (Hidden Markov Models).

Favor verificar o artigo na parte Documentos, seções Introdução e Trabalhos Relacionados.

1. Utilizar segmentação por cores, no padrão HSV.
2. Identificar o centróide do objeto de interesse.
3. Identificar a direção do movimento entre frames espaçados por um <m> Delta t </m> .
4. Discretizar o movimento.
   • Treinar a HMM; ou
   • Identificar o movimento a partir de uma HMM treinada.

Estes passos podem ser divididos em 3 etapas:

1. Pré-processamento
2. Extração de features
3. Classificação estatística.

Primeiro passa-se um filtro gaussiano de tamanho 5, obtendo uma imagem semelhante a imagem abaixo:

Em seguida, a partir de um histograma com 16 compatimentos, que foi calculado utilizando uma área da imagem origianal, calcula-se com o algoritmo BackProject a distribuição probabilística do histograma na imagem acima, fornecendo a imagem a seguir.

A imagem resultante é segmentada em blobs, 8-conectados. Ao maior blob é aplicado o algoritmo CamShift, do qual se obtem o centróide.

Com os centróides anterior e atual discretiza-se o ângulo entre eles; a partir do círculo a seguir.

Parte que utiliza cadeias escondidas de markov. Deve-se treiná-las com um conjunto de observações, e a partir das observações que vão acontecendo, verificar se chegamos ao estado final e com qual probabilidade. Cada gesto é representado por uma cadeia escondida de Markov. Este fato acaba por comprometer o desempenho em tempo real desta solução, dependendo do número de gestos a serem verificados a partir das observações. Um modelo de HMM é dado a seguir.

O padrão de Modelo utilizado foi o esquerda para direita sem omissões. Com o buffer sendo alimentado pela saída da discretização do ângulo entre os centróides, basta verificar qual modelo se ajusta melhor as observações do buffer (usando Virtebi). O treinamento dos modelos utiliza 10 vídeos de cada movimento, e utiliza o algoritmo de BaumWelch, com probabilidades iniciais de emissão e transição uniformemente distribuídas. Bernardo Vieira 2008/06/22 00:53

• Artigo: bcvieira_vremote.pdf
• Apresentação: apresentacao.pdf
• Implementação: VMouse

<bibtex> @inproceedings{ boros96towards,

  author = "M. Boros and W. Eckert and F. Gallwitz and G. G{\"o}rz and G. Hanrieder and H. Niemann",
  title = "Towards Understanding Spontaneous Speech: Word Accuracy vs. Concept Accuracy",
  booktitle = "Proc. {ICSLP} '96",
  volume = "2",
  address = "Philadelphia, PA",
  pages = "1009--1012",
  year = "1996",
  url = "citeseer.ist.psu.edu/article/boros96toward.html" }

@inproceedings{728577, author = {Gerhard Rigoll and Andreas Kosmala and Stefan Eickeler}, title = {High Performance Real-Time Gesture Recognition Using Hidden Markov Models}, booktitle = {Proceedings of the International Gesture Workshop on Gesture and Sign Language in Human-Computer Interaction}, year = {1998}, isbn = {3-540-64424-5}, pages = {69–80}, publisher = {Springer-Verlag}, address = {London, UK}, } @article{10.1109/AFGR.1996.557243, author = {C. Wren and A. Azarbayejani and T. Darrell and A. Pentland}, title = {Pfinder: real-time tracking of the human body}, journal = {fg}, volume = {00}, year = {1996}, isbn = {0-8186-7713-9}, pages = {51}, doi = {http://doi.ieeecomputersociety.org/10.1109/AFGR.1996.557243}, publisher = {IEEE Computer Society}, address = {Los Alamitos, CA, USA}, }

@article{10.1109/34.598226, author = {Vladimir I. Pavlovic and Rajeev Sharma and Thomas S. Huang}, title = {Visual Interpretation of Hand Gestures for Human-Computer Interaction: A Review}, journal = {IEEE Transactions on Pattern Analysis and Machine Intelligence}, volume = {19}, number = {7}, year = {1997}, issn = {0162-8828}, pages = {677-695}, doi = {http://doi.ieeecomputersociety.org/10.1109/34.598226}, publisher = {IEEE Computer Society}, address = {Los Alamitos, CA, USA}, }@article{10.1109/79.924889, author = {Ying Wu and T.S. Huang}, title = {Hand modeling, analysis and recognition}, journal = {IEEE Signal Processing Magazine}, volume = {18}, number = {3}, year = {2001}, pages = {51 - 60}, doi = {http://doi.ieeecomputersociety.org/10.1109/79.924889}, publisher = {IEEE Computer Society}, address = {Los Alamitos, CA, USA}, }

@misc{ becker96staying,

author = "D. Becker and A. Pentland",
title = "Staying Alive: A virtual reality visualization tool for cancer patients",
text = "David A. Becker and Alex Pentland. Staying Alive: A virtual reality visualization
  tool for cancer patients. In Proceedings of the AAAI'96 Workshop on Entertainment
  and Alife/AI, 1996.",
year = "1996",
url = "citeseer.ist.psu.edu/becker96staying.html"

}

@MastersThesis{tesem_raoni,

  author     =     {Raoni Ma\'ira Resende},
  title     =     {{Desenvolvimento de uma interface Humano-Rob\^o utilizando vis\~ao computacional e Sistemas a Eventos Discretos}},
  school     =     {Universidade Federal de Minas Gerais},
  address     =     {Belo Horizonte, MG},
  year     =     {2005},
  month     =     {Agosto},

}

@misc{ hmm_impl,

author = "Dekang Lin",
title = "A C++ Implementation of Hidden Markov Model",
text = "Pacote de HMMs em C++ com licença livre",
year = "2003",
url = "http://www.cs.ualberta.ca/~lindek/hmm.htm"

}

@misc{ my_impl,

author = "Bernardo Cunha Vieira",
title = "VRemote",
text = "Identificação Gestual Utilizando Modelos Escondidos de Markov",
year = "2008",
url = "http://homepages.dcc.ufmg.br/~bcvieira/visao/"

}

@article{ isard98condensation,

author = "Michael Isard and Andrew Blake",
title = "Condensation -- conditional density propagation for visual tracking",
journal = "International Journal of Computer Vision",
volume = "29",
number = "1",
pages = "5-28",
year = "1998",
url = "citeseer.ist.psu.edu/isard98condensation.html"

}

@inproceedings{ black-eccv98,

      AUTHOR = {M.\/ J.\/ Black and A.\/ D.\/ Jepson},
      TITLE = {A probabilistic framework for matching temporal trajectories:

{Condensation}-based recognition of gestures and expressions},

      BOOKTITLE = {European Conf.\/ on Computer Vision, ECCV-98},
      EDITOR = {H.\/ Burkhardt and B.\/ Neumann},
      SERIES = {LNCS-Series},
      VOLUME = {1406},
      PUBLISHER = {Springer-Verlag},
      ADDRESS = {Freiburg, Germany},
      PAGES = {909--924},
      YEAR = {1998},
      url = {citeseer.ist.psu.edu/black98probabilistic.html} }

@misc{ trab_cond,

author = "Alexander Houston Gruenstein",
title = "Using a Particle Filter for Gesture Recognition",
text = "Vision Discipline - Final project",
year = "2002",
url = "http://www.mit.edu/~alexgru/vision/"

}

@inproceedings{1082122, author = {John G. Allen and Richard Y. D. Xu and Jesse S. Jin}, title = {Object tracking using CamShift algorithm and multiple quantized feature spaces}, booktitle = {VIP '05: Proceedings of the Pan-Sydney area workshop on Visual information processing}, year = {2004}, isbn = {1-920682-18-X}, pages = {3–7}, publisher = {Australian Computer Society, Inc.}, address = {Darlinghurst, Australia, Australia}, } </bibtex> — Bernardo Vieira 2008/06/21 23:26