Detail of the student project

List
Topic:Popis vizuálních scén pomocí přirozeného jazyka - implementace do robota Pepper
Department:Katedra kybernetiky
Supervisor:Michal Vavrečka
Announce as:DP,BP,PMI,SOP,PRO
Examiner:Karla Stepanova
Description:Vytvořte systém, který dokáže zpracovat vizuální informaci z kamer robota a odpovídat na dotazy v přirozeném jazyce, tykající se vlastností a vztahů v obraze. Implentujte do humanoidního robota Pepper a otestujte.

Instruction:Nastudujte oblast VQA
Implemetujte řešení o robota
Otestujte v reálných podmínkách
Bibliography:Johnson, J., Hariharan, B., van der Maaten, L., Fei-Fei, L., Zitnick, C. L., & Girshick, R. (2017, July). CLEVR: A diagnostic dataset for compositional language and elementary visual reasoning. In Computer Vision and Pattern Recognition (CVPR), 2017 IEEE Conference on (pp. 1988-1997). IEEE.


Shekhar, R., Pezzelle, S., Klimovich, Y., Herbelot, A., Nabi, M., Sangineto, E., & Bernardi, R. (2017). FOIL it! Find One mismatch between Image and Language caption. arXiv preprint arXiv:1705.01359.
Date:27.04.2018
Responsible person: Petr Pošík