Multi-sensor data fusion for representing and tracking dynamic objects
(Zastosowanie fuzji wielosensorycznej do celów reprezentacji i śledzenia obiektów dynamicznych)

mgr inż. Paweł Kmiotek

Promotorzy:
dr hab. inż. Krzysztof Cetnarowicz prof. AGH – Akademia Górniczo-Hutnicza
prof. Yassine Ruichek - Université de Technologie de Belfort-Montbéliard

Dyscyplina: Informatyka

The subject of the thesis lies within the scope of the project „Intelligent Vehicle and its integration in the city of the future”, led by the Systems and Transportation laboratory of the University of Technology of Belfort-Montbéliard. The objective of this project is to ensure a vehicle autonomous navigation in an urban environment. This thesis concerns in particular the perception of dynamic objects in the vehicle environment by combining several sensors. The goal is to detect and track dynamic objects and locate them relatively to the instrumented vehicle. The contribution of the thesis starts by proposing a new Oriented Bounding Box (OBB) object representation model, including Inter-Rays (IR) uncertainty and Fixed Size (FS) assumption. To increase the quality of object state estimation and tracking, a two laser scanners based fusion algorithm is presented. Finally, two methods for data association are described. The first one, called NNFS, is an adaptation of the Nearest-Neighbourhood principle to the OBB object representation using the FS assumption. The second method solves the problem of laser scanner data point clustering by fusing laser scanner and stereo-vision sensory data. The proposed algorithms are evaluated on the developed for this purpose simulator and an experimental electrical vehicle.

Temat niniejszej pracy związany jest bezpośrednio z projektem „Pojazdy inteligentne i ich integracja w mieście przyszłości” prowadzonym przez Laboratorium Systemów i Transportu na Uniwersytecie Technicznym Belfort-Montbeliard we Francji. Celem tego projektu jest stworzenie systemu nawigacji autonomicznej pojazdów w środowisku miejskim. Niniejsza praca doktorska koncentruje się na postrzeganiu otoczenia w szczególności na śledzeniu obiektów ruchomych wykorzystując dane wielosensoryczne. Celami tego zadania jest detekcja oraz estymacja stanu obiektów dynamicznych. W pracy zaproponowano nowy model reprezentacji obiektów bazujący na zorientowanym prostokącie ograniczającym, wraz z niepewnością między-promieniową oraz założeniem o niezmienności rozmiaru. W celu polepszenia estymacji stanu i śledzenia obiektów, zaprezentowano algorytm fuzji danych pochodzących z dwóch skanerów laserowych. W końcu opisano dwie metody asocjacji danych. Pierwsza z nich, adaptuje metodę najbliższego sąsiada do zaproponowanego modelu reprezentacji wykorzystując założenie o niezmienności rozmiaru. Druga metoda rozwiązuje problem klasteryzacji danych skanera laserowego poprzez ich fuzję z danymi sensora stereowizji. Weryfikacja zaproponowanych rozwiązań została przeprowadzona na danych symulowanych oraz na danych rzeczywistych, uzyskanych przy pomocy eksperymentalnego pojazdu elektrycznego.

Pełna wersja autoreferatu autoreferat-kmiotek.pdf.

1. Kmiotek P., Ruichek Y., Multisensor fusion based tracking of coalescing objects in urban environment for an autonomous vehicle navigation, IEEE International Conference on Multisensor Fusion and Integration for Intelligent Systems (MFI 2008), Korea University – Seoul – Korea, August 20-22 2008
2. Kmiotek P., Ruichek Y., An Oriented Bounding Box Representation Method for Tracking Dynamic Objects, Joint 4th International Conference on Soft Computing and Intelligent Systems and 9th International Symposium on advanced Intelligent Systems (SCIS & ISIS 2008 ), Nagoya – Japan, September 17-21 2008
3. Kmiotek P., Ruichek Y., Object’s Oriented Bounding Box based Representation using Laser Range Finder Sensory Data, IEEE International Conference on Vehicular Electronics and Safety (ICVES 2008), Columbus Ohio – USA, September 22-24 2008
4. Kmiotek P., Ruichek Y., Representing and Tracking of Dynamics Objects using Oriented Bounding Box and Extended Kalman Filter, IEEE Conference on Intelligent Transportation Systems (ITSC 2008), Beijing – China, October 12-15, 2008
5. Kmiotek P., Ruichek Y., Two laser scanners raw sensory data fusion for objects tracking using Inter-Rays uncertainty and a Fixed Size assumption, The 12th International Conference on Information Fusion (FUSION 2009), Seattle – USA, July 6-9, 2009
6. Kmiotek P., Meurie C., Zann F., Ruichek Y., A clustering of range sensory data by integrating stereovision information for tracking objects in urban environment, Models and Technologies for Intelligent Transportation Systems (MTITS 2009), Rome – Itally, June 22-23, 2009
7. Kmiotek P., Ruichek Y., Inter-Rays uncertainty and Fixed Size assumption for objects tracking using a Laser Scanner, The 2nd IFAC International Conference on Intelligent Control Systems and Signal Processing (ICONS 2009), Istanbul – Turkey, September 21-23, 2009
8. Kmiotek P., Meurie C., Ruichek Y., Zann F., A LRF and stereovision based data association method for objects tracking, IEEE International Conference on Systems, Man, and Cybernetics (SMC 2009), San Antonio – USA, October 11-14, 2009
9. Kmiotek P., Ruichek Y., A Fixed Size Assumption Based Data Association Method for Coalescing Objects Tracking using a Laser Scanner Sensor, The 2009 IEEE International Conference On Vehicular Electronics and Safety (ICVES 2009), Pune – India November 10-12, 2009

—-