Gesturile reprezintă o modalitate naturală și intuitivă de interacțiune și comunicare: gesticulăm pentru a exprima idei,
concepte, gesticulăm pentru a interacționa cu obiecte. Proiectul consideră tema recunoașterii gesturilor umane în cadrul asigurării unei interacțiuni naturale cu sisteme informatice (de tipul realitate
virtuală și realitate augmentată) și cu sisteme robotice. Accentul cade pe procesarea informațiilor video, folosind tehnicilor specifice procesării imaginilor, recunoașterii formelor și viziunii artificiale.
Obiectivul general este de a obține un model matematic, algoritmi, programe, arhitecturi hardware, in scopul realizarii in cadrul proiectului a unui mecanism de
comunicare natural, flexibil și eficient folosind gesturile umane. Putem identifica următoarele obiective masurabile:
- identificarea unui dicționar gestual alcătuit atât din posturi ale mâinilor cât și din gesturi (posturi ale mâinilor însoțite de traiectorii de mișcare; mișcări ale capului), ținând cont de
considerente ergonomice
- achiziția si interpretarea în timp real a gesturilor mâinilor și capului (cu analiza și corelarea informațiilor vizuale preluate de 2 camere video)
- realizarea unui sistem înglobat de recunoaștere și interpretare a gesturilor în concordanță cu dicționarul gestual și modulele de achiziție gestuale
- integrarea sistemului în cadrul unei aplicații colaborative 3D pe o platforma realizată la Laboratoire d'Informatique Fondamentale de Lille (partener, obiectiv cuprins intr-o teza de doctorat)
- realizarea unui sistem de realitate augmentată pentru birou inteligent utilizand interactiunea gestuala
- experimentarea tehnologiei de interacțiune gestuală pe un sistem de comandă a robotului static tip braț Hercules din dotarea Universității Suceava si a unui robot mobil în colaborare cu
Polytech'Lille
Constituirea dicționarului gestual include o serie de obiective, și anume:
- propunerea unui dicționar gestual incluzând posturi ale mâinii, traiectorii gestuale și mișcări ale capului
- constituirea unui eșantion de utilizatori voluntari pentru colectarea de date gestuale
- efectuarea de studii ergonomice privind capacitatea utilizatorilor de a interacționa gestual cu un sistem informatic și concluzionarea asupra complexității, naturaleții și eficienței gesturilor
considerate.
Achiziția în timp real a gesturilor mâinilor și mișcărilor capului presupune următoarele obiective:
- realizarea unui modul de detecție a mâinilor si achiziție în timp real a gesturilor mâinilor cu un obiectiv de acuratețe de 90% in secvențe video analizând și corelând informațiile vizuale preluate
de 2 camere video (direcția de cercetare este implementarea unui model dinamic de detecție a culorii pielii engl. skin color
in secvente video; modelul este vizat a fi dinamic și adaptabil la condițiile de lucru date de luminozitate, utilizator, fundal simplu / aglomerat, etc. pentru a oferi o soluție în acest sens în raport cu modelele statice propuse în literatură)
- realizarea unui modul de detecție și urmărire a mișcărilor capului în timp real în secvențe video în viziunea stereoscopică cu un obiectiv de acuratețe de 90% (o metodă având la bază caracteristicile
de tip Haar introduse în modelul Viola & Jones, 2001)
Pentru măsurarea peformanțelor modulelor de detecție a mâinii și feței, următoarele obiective sunt propuse:
- constituirea unei baze de date video folosind un eșantion de utilizatori voluntari incluzând secvențe ale mișcărilor mâinilor și capului însoțite de posturi definite în dicționarul gestual
- separarea bazei de date inițiale în date de antrenare ale modulelor de detecție și date de test
- determinarea performanței detectorilor mâini / față folosind baza de test și raportarea rezultatelor la literatura existentă în domeniu (determinarea False Positives, False Negatives, True Positives,
True Negatives și a curbei Receiver Operating Characteristic [Viola & Jones, 2001])
Validarea sistemului de interacțiune gestuală
va fi realizată prin implementări din cadrul unei aplicații colaborative 3D, în cadrul unei aplicații de tip realitate augmentată pentru lucrul cu un birou inteligent (Smart Desk) atât cu obiecte reale cât și cu obiecte virtuale (proiecții video ale obiectelor virtuale pe o masă de lucru), cat si prin experimentarea tehnologiei de interacțiune gestuală pe un sistem de comandă a robotului static tip braț si a unui robot mobil. Pentru fiecare implementare se va urmări oportunitatea dicționarului de gesturi considerat, respectiv nevoia de particularizare a acestuia la nivel de aplicație.
Din punctul de vedere al obiectivelor și priorităților programului CEEX, proiectul vizează:
- creșterea capacității sistemului CDI din România de a acumula cunoștințe, rezultate și experiență de prim rang într-un domeniu științific și tehnologic de vârf (interacțiunea naturală cu sisteme
informatice și robotice) precum și de a asigura difuzarea și transferarea acestora către mediul social intern pentru creșterea competitivității acestuia
- concentrarea și valorificarea optimă a potențialului științific și tehnologic de înalt nivel existent în România in domeniul HCI de vârf
- sprijinirea formării, dezvoltarea, integrarea și consolidarea în domeniul de cercetare HCI și interacțiune conform normelor internaționale
- accelerarea procesului de aliniere și integrare tehnologică a agenților economici implicați în proiect, conform cerințelor și reglementărilor Uniunii Europene
|
