Detail of the student project

List
Topic:Instruování robota pomocí jazyka k vykonání manipulačních úloh
Department:Katedra kybernetiky
Supervisor:Mgr. Karla Štěpánová, Ph.D.
Announce as:Diplomová práce, Bakalářská práce, Semestrální projekt
Description:Imitační učení či učení pomocí demonstrací je jeden z moderních přístupů, jehož cílem je, aby bylo možné jednoduše naučit roboty nové úloze aniž by bylo potřeba robota složitě přeprogramovávat. To je velmi žádaná vlastnost v mnoha odvětvích, které již dnes podstupují robotizaci výroby a právě přeprogramování robotů na nové výrobky a nové úlohy je nejnákladnější součást výroby. Vhodným rozšířením a usnadněním přeprogramování se jeví i možnost předat robotovi instrukce pomocí přirozeného jazyka (i.e. informace o síle, době trvání, pojmenování akcí, omezení na pořadí akcí apod.).
Cílem práce je naučit robota vykonávat jednotlivé motorické úlohy na základě jazykové instrukce. Nejdříve je potřeba robota naučit přiřazení jazykového označení k jednotlivým motorickým akcím a pohybům, následně by robot měl být schopný vykonávat danou úlohu pomocí jazykových instrukcí. Student bude pracovat v rámci našeho týmu a využije již dříve kalibrované senzory v rámci naší laboratoře pro experimenty imitačního učení, dále bude pracovat s nástroji pro zpracování přirozeného jazyka. Testovací úlohou bude úloha lepení - jedná se o úlohu s velkým aplikačním potenciálem (využití v leteckém i automobilovém průmyslu, obdobná úloha je sváření) případně přerovnávání a uklízení objektů na stole.
Pro realizaci projektu student využije KUKA simulátor a fyzická silově poddajná KUKA ramena, práce v Robotickém operačním systému (ROS), práce s Google speech API, Sphinx a GPT-3/4 pro zpracování přirozeného jazyka, programovací jazyk: Python či C++.
Responsible person: Petr Pošík