Detail of the student project

List
Topic:Urceni nejvhodnejsiho pohledu kamer pro zlepseni rekonstrukce sceny
Department:Katedra kybernetiky
Supervisor:Mgr. Karla Štěpánová, Ph.D.
Announce as:Diplomová práce, Bakalářská práce, Semestrální projekt
Description:Rekonstrukce scény (odhadování rozmístění objektů známých typů) pomocí pohledu jedné či více RGB-D kamer. Na základě stávající rekonstrukce určení nutnosti přídavného pohledu a nejlepšího umístění kamery pro tento pohled pro maximalizaci zisku informace. Tento systém vidění bude použit pro robotické pracoviště, kde je kamera umístěna na robotickém rameni a umožňuje robotu rekonstruovat aktuální scénu a následně realizovat zadané akce (např. “Podej mi červený šroubovák”, “Polož modrou kostku na žlutou”, apod.).

Pokyny k vypracování:
1. Příprava experimentu v reálném a simulovaném prostředí (Mujoco)
2. Detekce pozice objektů s aruco markery z kamery.
3. Rekonstrukce scény s detekovanými objekty (vizualizace objektů v RVizu/Mujoco)
4. Kombinace více pohledů - rekonstrukce scény z více kamer - spojení odhadů pozic objektů z více pohledů
5. Detekce oblastí, které nejsou kamerou pozorovatelné (stín objektů, částečně viditelné objekty, apod.) - či alespoň navržení vhodného postupu
6. Navržení vhodného úhlu pohledu pro maximalizaci získané informace a co největší zmenšení nepozorovatelné oblasti

Výstupem projektu bude zpráva popisující navržené řešení doplněná kódem. Dále bude vytvořeno několik ukázkových uspořádání úlohy v simulovaném prostředí a příslušné vizualizace rekonstruované scény z pohledů jednotlivých kamer.
Bibliography:Tremblay, Jonathan et al. “Deep Object Pose Estimation for Semantic Robotic Grasping of Household Objects.” CoRL (2018).
Responsible person: Petr Pošík