| List |
| Topic: | Klasifikace časových řad (akcí a gest) pro imitační učení |
|---|---|
| Department: | Katedra kybernetiky |
| Supervisor: | Mgr. Karla Štěpánová, Ph.D. |
| Announce as: | Diplomová práce, Bakalářská práce, Semestrální projekt |
| Description: | Při učení robotů pomocí imitačního učení narážíme na problém klasifikace časových řad. Jednotlivé demonstrace nemusí být stejně dlouhé či mít stejný průběh. Často také závisí na tom, s jakým konkrétním objektem jsou akce vykonávány. V individuálním projektu se zaměříme na to, jakým způsobem je možné jednotlivé akce klasifikovat a porovnáme více různých přístupů. Porovnáme klasifikaci dynamických gest (dataset máme již připravený) a dat sesbíraných v robotickém simulátoru při vykonávání různých akcí. Jednotlivé kroky:
1. Reserse aktualnich metod pro klasifikaci casovych rad. Porovnani metod zalozenych na vzdalenosti (např. Dynamic time warping) a metod hlubokeho učení (např. LSTM) [] 2. Nainstalování simulátoru Coppelia Sim a příprava malého datasetu. Dataset bude obsahovat časové řady pozic objektu a end-effektoru robota a označení vykonávané akce pro několik vybraných akcí: např. Push to right, push to left, rotate, make a circle, move up, apod.). V datasetu by se měly měnit různé parametry vykonávání akce. Například: úvodní pozice end-effektoru, pozice a typ objektu se kterým je manipulováno, rychlost vykonání. Rozdělení datasetu na trénovací a testovací data. 3. Shlukování (klusterování) získaných akcí pomocí metody dynamic time warping (DTW). 4. Vizualizace vzdáleností jednotlivých časových řad pomocí DTW a případně i dalších metrik hodnotící vzdálenost daných časových řad (viz. [1]). Evaluace, jaké parametry mají na schopnost klasifikace největší vliv. 5. Porovnání výsledků i na již dříve nasbíraném datasetu dynamických gest demonstrovaných rukou. Vizualizace výsledků. Naučení klasifikátoru založeného na neuronových sítích pro získané časové řady (např. LSTM či spatio-temporal Transformer network). Porovnání kvality vytvořených tříd vůči třídám, které byly vytvořeny bez učitele pomocí DTW. |
| Bibliography: | 1. Jiang, Weiwei. "Time series classification: Nearest neighbor versus deep learning models." SN Applied Sciences 2.4 (2020): 1-17.
2. Fawaz, Hassan Ismail, et al. "Deep learning for time series classification: a review." Data mining and knowledge discovery 33.4 (2019): 917-963. 3. Grabocka, Josif, and Lars Schmidt-Thieme. "Neuralwarp: Time-series similarity with warping networks." arXiv preprint arXiv:1812.08306 (2018). 4. Girdhar, Rohit, et al. "Video action transformer network." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2019. 5. Mazzia, Vittorio, et al. "Action Transformer: A Self-Attention Model for Short-Time Human Action Recognition." arXiv preprint arXiv:2107.00606 (2021). 6. Sun, Yan, Yixin Shen, and Liyan Ma. "MSST-RT: Multi-Stream Spatial-Temporal Relative Transformer for Skeleton-Based Action Recognition." Sensors 21.16 (2021): 5339. 7. Lohit, Suhas, Qiao Wang, and Pavan Turaga. "Temporal transformer networks: Joint learning of invariant and discriminative time warping." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2019. |