Rozpoznawanie obrazów dłoni za pomocą gramatyk klasy ETPL(k) w systemach wizyjnych analizy języka migowego.

mgr inż. Szymon Myśliński

Promotor: prof. dr hab. Mariusz Flasiński – Uniwersytet Jagielloński
Dyscyplina: Informatyka

Celem pracy było skonstruowanie metody rozpoznawania układu dłoni (ang. hand posture) na obrazie, opartej na modelu parsingu języków grafowych. Metodę przystosowano do obrazów układów dłoni Polskiego Języka Miganego (PJM), który jest podstawowym środkiem komunikacji osób głuchych i niedosłyszących z osobami spoza tego środowiska. Badana metoda klasyfikacji obrazów charakteryzuje się niższą złożonością obliczeniową i większą uniwersalnością od używanego dotychczas podejścia bazującego na reprezentacji grafowej dłoni w procesie rozpoznawaniu obrazów – dopasowania grafów (ang. graph-matching). Ta właściwość predestynuje ją do zastosowania w systemach wizyjnych w celu rozpoznawania układów dłoni w czasie rzeczywistym. Rozpoznawanie układu dłoni w prezentowanej metodzie przebiega w następujących etapach.

1. Obraz wejściowy podlega wstępnemu przetwarzaniu, w wyniku którego wyznaczany jest zbiór punktów charakterystycznych obrazu.
2. Budowana jest grafowa reprezentacja obrazu dłoni, w postaci umożliwiającej zastosowanie efektywnego algorytmu analizy syntaktycznej.
3. W procesie parsingu stworzonej reprezentacji grafowej rozpoznawany jest układ dłoni na obrazie.

W trakcie prac badawczych dowiedziono potrzeby rozszerzenia znanego z literatury formalnego modelu opartego na gramatykach grafowych klasy ETPL(k) i wprowadzono stosowne definicje. Zaprojektowana metoda została zaimplementowana. Następnie przeprowadzono serię eksperymentów weryfikujących jej skuteczność na zbiorze obrazów dłoni w układach występujących w Polskim Języku Miganym.

Pełna wersja autoreferatu autoreferat.pdf.

1. Flasiński M., Jurek J., Myśliński S.: Parallel computing scheme for graph grammar-based syntactic pattern recognition, Lecture Notes in Computer Science, Springer, przyjety do druku.
   
2. Flasiński M., Jurek J., Myśliński S.: Multi-agent system for recognition of hand postures, Lecture Notes in Computer Science, 5545, Springer, pp. 815–824, 2009.
   
3. Myśliński S.: On the generation of graph representation of hand postures for syntactic pattern recognition, Journal of Applied Computer Science, 17, 2009.
   
4. Wołczowski A., Myśliński S.: Identifying the relation between finger motion and EMG signals for bioprosthesis control, MMAR06: Proc 12th IEEE int. conf. Methods and Models in Automation and Robotics, pp. 817 - 822, 2006.