Detail of the student project

List
Topic:Ovladání humanoidního robota TIago pomocí kombinace jazyka a gest
Department:Katedra kybernetiky
Supervisor:Michal Vavrecka
Announce as:Diplomová práce, Bakalářská práce, Semestrální projekt
Description:1. Nastudujte ovladani motorickych funkci robota Tiago

2. Vytvorte jednoduchy scenar, ve kterem robot stoji naproti clovekovi v idealni vzdalenosti, kdy robot dobre vidi celeho cloveka. Pred robotem se nachazi stul a na nem nekolik objektu.

3. Adaptujte vhodny modul zpracovavajici obraz z kamery, ktery prevede obraz na skeleton model cloveka a modul pro zpracování polohy objektu.

4. Adaptujte softwarovy modul ve zvolenem prostredi (Python, ROS), ktery ze skeleton modelu jedne ruky, vytvori vektor smeru, kterym ruka ukazuje.

5. Adaptujte softwartovy modul, ktery z tohoto vektoru vypocte vektor, ktery ve sdilenem kartezianskem prostoru. Pomoci polohy objektu stanovte, na ktery objekt clovek ukazuje.

6. Adaptujte modul pro zpracovani reci, ktery prevede zvuk na text a identifikuje objekt, o kterem clovek hovori

6. Otestujte reseni behem ulohy, ve ktere clovek rekne nazev objektu a ukaze na nej. Rorobot ukaze na objekt, o kterem clovek mluvi a na ktery ukazuje. Pokud jsou tyto informace v konfliktu, robot to oznami uzivateli.

7. Optimalizujte cely system, aby fungoval v realnem case.

8. Otestujte mezni podminky fungovani systemu a zmerte jeho presnost.
Responsible person: Petr Pošík