2.1. Aspecte psiholingvistice asupra gesturilor umane

Trebuie remarcat faptul, deosebit de important pentru interacţiunea om – sistem informatic, aceste tipuri de gesturi spontane (gesticulaţia) reprezintă aproximativ 90% din gesturile umane.

Studii realizate asupra gesturilor iconice, metaforice şi deictice arată divizarea acestora 3 faze [Kendon, Cassell, Wilson], aspect foarte important din punctul de vedere al achiziţiei gestului de către un sistem informatic: trecerea din starea de repaus în spaţiul gesturilor prin intermediul stării de tranziţie, mişcare de durată scurtă (engl. stroke) şi trecerea înapoi în starea de repaus prin starea de tranziţie – faza de retragere.

2.2. Tehnologii existente în interacţiunea gestuală. Raportarea la recunoaşterea vizuală a gesturilor

O scurtă trecere în revistă a tehnologiilor de interacţiune existente, în special pentru imersiunea în mediile virtuale, include: dispozitive magnetice (Ascension's Flock of Birds), mecanice (Fakespace's BOOM Tracker), acustice (Logitech's Fly Mouse), inerţiale (InterSense IS300), capture video (camere video eventual cu markere colorate adiţionale care se ataşează pe obiectul ce va fi monitorizat) sau dispozitive hibride (InterSense IS600).

Prin comparaţie cu alte tehnologii folosite pentru achiziţia gesturilor umane, informaţiile video prezintă avantajul major al lipsei de intruziune, respectiv utilizatorul nu este obligat să folosească sau să poarte anumite echipamente (spre exemplu mănuşile cu senzori), ceea ce creeaza impresia de interacţiune naturală. Recunoaşterea vizuală a gesturilor apare astfel ca o tehnologia ideală pentru interacţiunea om-maşină care vine să înlăture inconvenientele prezentate de alte metode (inoportunitatea tastaturii sau mouse-ului în interacţiunea cu mediile virtuale, utilizarea manuşilor cu senzori de tip Sensor/Data Gloves, etc.)

Totodată, trebuie menţionate o serie de limitări ale sistemelor de procesare vizuală în ceea ce priveşte achitiţia gesturile mâinii, cum ar fi: rezoluţia camerelor video nu este suficientă pentru a surprinde atât mişcarea fină a degetelor cât şi cadrul mai larg al mişcării efectuate în acelaşi timp de braţ; 30 cadre pe secundă în cadrul tehnologiei video convenţionale sunt deseori insuficiente pentru a captura o mişcare rapidă a mâinii (engl. hand is quicker than the eye ); segmentarea degetelor poate deveni dificilă datorită ocluziei, degetele putându-se acoperi în mişcarea lor.

2.3. Privire de ansamblu asupra recunoaşterii vizuale a gesturilor

În cadrul recunoaşterii vizuale a gesturilor, cercetări au fost efectuate în două mari sub-domenii: (1) achiziţia vizuală a gesturilor (folosind tehnici specifice procesării video, procesării imaginilor şi inteligenţei artificiale) şi (2) recunoaşterea gesturilor (folosind tehnici specifice recunoaşterii formelor)

2.3.1. Achiziţia vizuală a gesturilor

Achiziţia gesturilor presupune în primul rând detecţia şi urmărirea în timp real a unui obiect de interes (mâna cu degetele pentru gesturi şi posturi mâinii, faţa şi ochii pentru mişcări ale capului, etc.). Tehnicile de detecţie includ segmentări ale cadrelor video în funcţie de caracateristici de culoare(engl. color based segmentation), mişcare (engl. motion detection, background subtraction), caracteristici derivate (de exemplu comparaţii şi distanţe de similaritate definite între muchii, engl. edge detection), etc. Urmărirea (engl. tracking) [Chen et al. 2003] reprezintă procesul prin care o serie de caracteristici ale unui obiect aflat în mişcare (de exemplu poziţia, orientarea, etc.) sunt urmărite de la un cadru video la altul. Există o serie de criterii care definesc cerinţele unui sistem de urmărire (tracking) în ceea ce priveşte acurateţea sau eroarea înregistrată dintre locaţia reală şi cea măsurată, numărul de grade de libertate, domeniul, respectiv maximul ariei de lucru în cadrul căreia sistemul poate opera, etc.

O direcţie de cercetare importantă este centrată pe detecţia măinilor respectiv a feţei folosind considerente legate de culoarea pielii pentru algoritmii de detecţie [Caetano et al. 2001, 2003].

Detecţia feţei a beneficiat deasemenea un interes ridicat în ultima perioada, numeroase abordări fiind propuse [Starovoitov et. al 2002, Lienhart et al. 2002, Li et. al 2002]. Trebuie remarcată contribuţia importantă [Viola & Jones 2001] care, folosind seturi de caracteristici de tip Haar a condus la prima implementare în timp real a detecţiei feţei funcţionând la 15fps pe un sistem desktop obişnuit (şi disponibilă într-un format open source în cadrul proiectului Open CV al Intel).

2.3.2. Tehnici de recunoaştere a gesturilor

În cadrul recunoaşterii gesturilor, modelele Markov [Starner, 1995] au primit o atenţie deosebită. Folosirea acestora este motivată de o serie de observaţii cu privire la natura gesturilor, şi anume: gesturile variază în funcţie de locaţie, timp şi factori sociali; gesturile au asociate înţelesuri, semnificaţii; prezintă o serie de regularităţi, ceea ce le face abordabile din punct de vedere al metodelor lingvistice. Ideea din spatele folosirii modelelor Markov ascunse este de a utiliza modele multi-dimensionale reprezentând gesturi definite. Parametrii modelului sunt determinaţi cu ajutorul datelor de antrenare.

Modelele Markov au fost folosite de [Starner, 1995] pentru recunoaşterea semnelor din ASL – American Sign Language.  Sistemul foloseşte o cameră color pentru detecţia mâinilor cu mănuşi de o anumită culoare.

[Hong, Turk et al.] descriu o modalitate de recunoaştere 2D a gesturilor în cadrul căreia fiecare gest este modelat cu ajutorul unei maşini cu stări finite, FMS, în spaţiul spaţio-temporal. Dispunând de informaţia continuă privind gestul – mişcarea, aceasta este împărţită în fraze folosind doar informaţia de natură spaţială – segmentarea traiectoriei gestului.

Pentru [James William Davis, MIT] punctul de plecare este motivat de faptul că un observator uman poate imediat recunoaşte gesturile fără mare efort în imagini de rezoluţie foarte scăzută fără informaţii de natură 3D asupra scenei. O regiune de mişcare binară (Binary Motion Region, BMR) imagine este calculată pentru a acţiona ca un index într-o biblioteca de gesturi. BMR descrie distribuţia spaţială a mişcării pentru un anumit unghi şi un anumit gest.

2.4 Organizaţii şi grupuri de interes cu preocupări în domeniu, pe plan naţional şi internaţional

Pe plan naţional poate fi remarcat grupul local al ACM SIGCHI din România înfiinţat în anul 2000 cu obiectivul este de a constitui un forum interdisciplinar pentru schimbul de idei şi experienţă în domeniul interacţiunii om-calculator (ACM SIGCHI Curricula for HCI). De remarcat Conferinţele Naţionale de Interacţiune Om-Calculator organizate la Bucureşti, 2004 şi 2005. Deasemenea, trebuie avute în vedere tutorialele produse de conferinţele CHI şi seria de volume "Interacţiune om-calculator" lansată de către RoCHI în anul 2003.

Pe plan internaţional pot fi remarcate drept standarde în domeniu conferinţele anuale ACM/CHI precum şi workshop-urile tradiţionale HCI: International conference on Intelligent User Interfaces, Conference on Human Computer Interaction, Human Work Interaction Design, annual conference on Human-Robot Interaction, IEEE symposium on 3D User Interfaces, etc.

2.5 Potenţiali utilizatori

Sistemul ce va fi realizat ca urmare a dezvoltarilor teoretice si tehnologice, va permite o interacţtiune naturală cu sistemele informatice şi robotice, prin intermediul gesturilor, fără a obliga utilizatorul să poarte dispozitive speciale. El va fi integrat cu siguranţă în sistemele de realitate virtuala pentru facilitatile de interactiune aduse, dar si in sistemele de realitate augmentata. Cumulând categoriile de utilizatori (studenti, proiectanti, utilizatori casnici) ai acestor sisteme informatice si robotice, se poate observa că sistemul propus se va bucura de o cerere enormă pe piaţă, prin paradigma nou introdusă în interacţiunea om-calculator. Numărul mare de potentiali utilizatori a atras şi compania Microsoft care are un grup ce desfaşoară cercetări în acest domeniu [Hong et al.].

--------------------------------------- Bibliografie ---------------------------------------

[1] Claude Cadoz. Le geste canal de communication homme/machine. In Technique et Science Informatique, Vol. 13, No 1, pp. 31-61, 1994.

[2] Adam Kendon. Current issues in the study of gesture. In The Biological Foundation of Gestures: Motor and semiotic Aspects, pp. 23-47, Lawrence Erlbaum Associate, Hillsdale, NJ, 1986.

[3] David McNeill. Hand and mind: What gestures reveal about thought. University of Chicago Press, 1992.

[4] Andrew Wilson, Aaron Bobick, Justine Cassell. Recovering the temporal structure of natural gesture. In Proceedings of the 2nd International Conference on Automatic Face and Gesture Recognition, 1996