Detail of the student project

List
Topic:Robotické třídění objektu na základě jazykové instrukce
Department:Katedra kybernetiky
Supervisor:Michal Vavrečka
Announce as:DP,PMI,SOP,PRO
Examiner:Karla Štěpánová
Description:Tvorba robotického systému, který dokáže roztřídit objekty podle zadání uživatelem. Systém sestává z robotického ramene KUKA a tříprstého grippery Takktile. Systém pomocí vizuálního modulu rozpozná vlastnosti předmětu v zorném poli. Následně se naučí pojmenovávát objekty a vlastosti pomocí storjového učení. Během testování je schopen pomocí instrukce (např. vezmi všechny červené krychle) identifikovat objekty v prostředí, uchopit je a přemístít na zadané místo.
Instruction:Nastudujte oblast Visual Question answeringu
Nastudujte oblast Neural Module Network
Implementujte systém vidění založený na sémantické segmentaci
Implementujte NMN a otestujte pomocí VQA
Otestujte systém na realném robotu
Bibliography:Andreas, J., Rohrbach, M., Darrell, T., & Klein, D. (2016). Neural module networks. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (pp. 39-48).
Antol, S., Agrawal, A., Lu, J., Mitchell, M., Batra, D., Lawrence Zitnick, C., & Parikh, D. (2015). Vqa: Visual question answering. In Proceedings of the IEEE International Conference on Computer Vision (pp. 2425-2433).
Realization form:SW+HW projkt
Date:26.04.2018
Responsible person: Petr Pošík