Detail of the student project

List
Topic:Rekonstrukce 3D prostředí z monokulární kamery pomocí CNN příznaků
Department:Katedra kybernetiky
Supervisor:Ing. Matouš Vrba
Announce as:Diplomová práce, Bakalářská práce, Semestrální projekt
Description:Algoritmy rekonstrukce 3D prostředí z monokulární kamery (SLAM, SfM apod.) mají v mobilní robotice mnoho využití. Při nasazení na bezpilotních letounech se používají například pro inspekci, mapování nebo vyhýbání se překážkám. Základ většiny těchto algoritmů je detektor vizuálních příznaků v obraze, které se dále používají pro odhad pohybu kamery, pozice překážek v okolí atd. V poslední době bylo publikováno několik algoritmů pro extrakci příznaků založených na hlubokém učení, které slibují lepší robustnost a přesnost než konvenční přístupy.

Implementujte algoritmus detekce vizuálních příznaků z obrazu kamery pomocí neuronových sítí tak, aby mohl běžet s minimálním zpožděním na palubním počítači bezpilotního letounu. Otestujte detektor příznaků srovnáním s konvenčními detektory ORB a SIFT při použití v rámci systému rekonstrukce 3D prostředí.
Bibliography:D. DeTone, T. Malisiewicz, A. Rabinovich, "SuperPoint: Self-Supervised Interest Point Detection and Description," CVPR, pp. 224-236, 2018.
K. Gao et al., "Local Feature Performance Evaluation for Structure-From-Motion and Multi-View Stereo Using Simulated City-Scale Aerial Imagery," Sensors, vol. 21(10), pp. 11615-11627, 2021.
A. Widya, A. Torii, M. Okutomi, "Structure from motion using dense CNN features with keypoint relocalization," IPSJ Transactions on Computer Vision and Applications, vol. 10(6), 2018.
E. Rublee, V. Rabaud, K. Konolige, G. Bradski, "ORB: An efficient alternative to SIFT or SURF," ICCV, pp. 2564–2571, 2011.
D. Lowe, "Distinctive image features from scale-invariant keypoints," International Journal of Computer Vision, vol. 60(2), pp. 91–110, 2004.
Responsible person: Petr Pošík