======Zaproszenie na obronę pracy doktorskiej======
\\ 

^  DZIEKAN i RADA WYDZIAŁU ELEKTROTECHNIKI, AUTOMATYKI, INFORMATYKI i INŻYNIERII BIOMEDYCZNEJ AKADEMII GÓRNICZO-HUTNICZEJ im. ST. STASZICA W KRAKOWIE   ^^
|   zapraszają na \\ publiczną dyskusję nad rozprawą doktorską \\ \\  //mgr inż. Katarzyny Barczewskiej//   ||
|  **AUTOMATYCZNE ROZPOZNAWANIE GESTÓW NA POTRZEBY WSPOMAGANIA INTERAKCJI Z KOMPUTEREM OSÓB Z PORAŻENIEM MÓZGOWYM ZE SZCZEGÓLNYM UWZGLĘDNIENIEM DZIECI**  ||
^  Termin:| 30 października 2018 roku o godz. 12:00  |
^  Miejsce:| pawilon B-1, sala 4 \\ Al. Mickiewicza 30, 30-059 Kraków  |
^  PROMOTOR:| Prof. dr hab. inż. Ryszard Tadeusiewicz – Akademia Górniczo-Hutnicza  |
^  RECENZENCI:| Prof. dr hab. inż. Bożena Kostek – Politechnika Gdańska  |
^ ::: | Dr hab. inż. Adam Wojciechowski – Politechnika Łódzka  |
|  Z rozprawą doktorską i opiniami recenzentów można się zapoznać \\ w Czytelni Biblioteki Głównej AGH, al. Mickiewicza 30  ||

======Autoreferat======
\\ **AUTOMATYCZNE ROZPOZNAWANIE GESTÓW NA POTRZEBY WSPOMAGANIA INTERAKCJI Z KOMPUTEREM OSÓB Z PORAŻENIEM MÓZGOWYM ZE SZCZEGÓLNYM UWZGLĘDNIENIEM DZIECI**
\\ \\ 
Rozprawa doktorska dotyczy zagadnienia automatycznego rozpoznawani gestów. W związku z trudnościami w pozyskaniu danych od docelowych użytkowników, ograniczeniami, a także zróżnicowaniem ich indywidualnych predyspozycji, sprecyzowano szereg wymagań, jakie powinien spełniać system automatycznego rozpoznawania gestów dedykowany dla osób z porażeniem mózgowym. Na podstawie analizy sporządzonej listy wymagań sprecyzowano cel pracy. Celem było stworzenie systemu szybko uczącego się nowych gestów wykonywanych przez nowego użytkownika na podstawie niewielkiej liczby powtórzeń. 
\\ \\
Dokonano przeglądu literatury poświęconej automatycznemu rozpoznawaniu gestów, począwszy od sposobów akwizycji danych, przez metody przetwarzania, po stosowane modele gestów. Na podstawie przeglądu opracowano koncepcję rozwiązania, w którym gesty dynamiczne, reprezentowane jako sekwencje podjednostek,  modelowano przy pomocy równoległych ukrytych modeli Markowa (ang. Parallel Hidden Markov Models, PaHMM). Problem niewielkiej ilości danych gestów osób z porażeniem mózgowym rozwiązano inspirując się na metodzie transfer-learningu: do zbudowania modeli gestów osób niepełnosprawnych zaplanowano wykorzystać modele gestów osób zdrowych. Na podstawie zgromadzonej bazy gestów osób zdrowych wytrenowano modele podjednostek gestów (ukryte modele Markowa, HMM). Następnie wykorzystując leksykon wytrenowanych podjednostek wykonano ich najlepsze dopasowanie do gestów nowych osób. Najlepsze dopasowanie polegało na znalezieniu sekwencji podjednostek maksymalizującej kryterium największej wiarygodności wygenerowania danych obserwacji (algorytm Viterbiego). Dzięki wykorzystaniu stanów nieemitujących modeli podjednostek, modele podjednostek z rozpoznanej sekwencji „sklejono” w model nowego gestu, który był potem wykorzystywany przez system rozpoznawania. 
\\ \\
Do eksperymentów wykorzystano zarówno sensor Kinect 2.0 jak i czujnik inercyjny o 9 stopniach swobody. Eksperymenty przeprowadzono zarówno na grupie osób zdrowych jak i niepełnosprawnych. Wykonano też szereg dodatkowych analiz, w których wprowadzono nowy prosty wektor cech wystarczający do opisu gestykulacji, zaproponowano metodę automatycznego grupowania cech do kanałów modelu równoległego PaHMM, a także dokonano analizy doboru liczby kanałów. Opracowano metodę automatycznej indywidualnej rekomendacji gestów na potrzeby interakcji z komputerem, przy pomocy której można wskazać zestaw gestów, które najlepiej się sprawdzą w interakcji człowiek komputer. Zaproponowano również wykorzystanie większej liczby miar pozwalających na ocenę działania systemu automatycznego rozpoznawania gestów w warunkach rzeczywistego użytkowania. 
\\ \\
Wykazano, że do stworzenia modeli, które pozwalają uzyskać wysokie wartości skuteczności rozpoznawania, wystarcza wykonanie przez nowego użytkownika chociaż jednego powtórzenia nowego gestu. Poruszana problematyka wpisuje się na listę najważniejszych kierunków rozwoju metod automatycznego rozpoznawania gestów. Zaproponowane rozwiązanie jest istotne z punktu widzenia rozwoju metod uczenia na podstawie małej liczby przykładów uczących, wykorzystania metod transfer-learningu, a także rozpoznawania gestów niezależnie od użytkownika. Wypracowane rozwiązania mogą mieć przełożenie na wiele innych zastosowań automatycznego rozpoznawania gestykulacji.

\\
======Praca doktorska======
  * Spis treści pracy doktorskiej: {{:2018:barczewska:k_barczewska_spis_tresci.pdf|Automatyczne rozpoznawanie gestów na potrzeby wspomagania interakcji z komputerem osób z porażeniem mózgowym ze szczególnym uwzględnieniem dzieci}},
Pełna treść rozprawy jest dostępna w bibliotece Akademii Górniczo-Hutniczej.
\\
======Wybrane publikacje autora rozprawy======
  * J. Gałka, M. Mąsior, M. Zaborski, K. Barczewska, "Inertial motion sensing glove for sign language gesture acquisition and recognition", IEEE Sensors Journal , 2016 vol. 16 no. 16, pp. 6310–6316. 
  * K. Barczewska, A. Drozd, "Comparison of methods for hand gesture recognition based on Dynamic Time Warping algorithm", In Federated Conference on Computer Science and Information Systems, Conference Proceedings, Polish Information Processing Society, September 8-11, 2013, Kraków, Poland.
  * P. Augustyniak, K. Barczewska, A. Broniec, A. Izworski, E. Kańtoch, T. Orzechowski, J. Przybyło, M. Smoleń, R. Tadeusiewicz, "Systemy techniczne formujące inteligentne otoczenie osoby niepełnosprawnej", Monography. Akademicka Oficyna Wydawnicza EXIT, Warszawa 2015.
  * K. Barczewska, F. Malawski, "Hand motion tracking with tablet devices as a human-computer interface for people with cerebral palsy", Challenges of Modern Technology, 2015 vol. 6 iss. 2, pp. 3–9.
  * K. Barczewska, "The Automatic Recognition of Isolated Sign Language Signs Based on Gesture Components and DTW Algorithm", Challenges of Modern Technology, 2014 vol. 5 iss. 3, pp. 1-8.
  * K. Barczewska, A. Drozd, Ł. Folwarczny, "Rozpoznawanie gestów z wykorzystaniem czujników inercyjnych o 9 stopniach swobody", Pomiary, Automatyka, Kontrola, 2013 vol. 59 nr 3.
  * K. Barczewska, M. Igras, "Detection of disfluencies in speech signal", Challenges of modern technology, 2013, numer 4(2).
  * P. Maj, K. Barczewska, A. Drozd, J. Kowalski, "Akcelerometryczny system badania i analizy chodu", Pomiary, Automatyka, Kontrola 2012 vol. 58 nr 4.
  * K. Barczewska, J. Gałka, D. Szulc, M. Mąsior, R. Samborski, T.J. Wilczyński, "Using components of corpus linguistics and annotation tools in sign language teaching", International Journal of Modern Education and Computer Science, 2016 vol. 8 no. 2, pp. 14–21.


====== Recenzje ======
  * dr hab. inż. Adam Wojciechowski, PŁ {{:2018:barczewska:barczewska_recenzja1.pdf|Recenzja nr 1}}
  * prof. dr hab. inż. Bożena Kostek, prof. zw. PG {{:2018:barczewska:barczewska_recenzja2.pdf|Recenzja nr 2}} 
\\