Detail of the student project

List
Topic:Škálování clusteru Hadoop v cloudu / správa NoSQL, programování
Department:Katedra kybernetiky
Supervisor:Ing. Tomáš Vondra Ph.D.
Announce as:DP,PMI
Description:Hadoop is one of the most promising technologies for batch computing. However, it is designed to run on standalone clusters, not scalable infrastructure. Scaling down is difficult due to random block replication in HDFS. Scaling up and suspending already done on VMware. We want to port the Serengeti project to other private clouds and add downward scaling. It contains Chef and Ironfan inside.
Instruction:Projekt: Nastudujte architekturu systému Hadoop, zvláště vrstvy HDFS. Analyzujte možnosti jeho nasazení v cloudu. Prozkoumejte projekty VMware Serengeti a OpenStack Savanna.

DP: Navrhněte způsob, jak škálovat systém Hadoop v cloudu (zvláště směrem dolů) tak, aby byla zachována konzistence dat a při dodržení stanovené doby do dokončení úloh. Implementujte Vaše řešení nebo jej přidejte do existujícího projektu. Implementaci otestujte na dodaném cloudu (půjde o OpenNebula v Metacentrum CESNET, datové centrum CERIT-SC, ke kterému ještě takový plugin neexistuje).
Realization form:Analýza, vlastní implementace nebo přispění do open source
Date:04.06.2014
Responsible person: Petr Pošík