Detail of the student project

List
Topic:Registrace obrazů za pomoci automaticky detekovaných struktur a hlubokého učení.
Department:Katedra kybernetiky
Supervisor:prof. Dr. Ing. Jan Kybic
Announce as:Diplomová práce, Bakalářská práce, Semestrální projekt
Description:Cílem naší práce bude algoritmus pro registraci mono i multimodálních obrázků
[ze dvou různých modalit], nejprve 2D, v budoucnosti bychom ho rádi
rozšířili do 3D. Algoritmus má být hlavně rychlý, nemusí být
přesný. V první fázi předpokládáme, že obrázky už zhruba zaregistrované
jsou, stačí jen doladit - tento předpoklad můžeme postupně uvolnit.
Algoritmus bude založen na malých oblastech zájmu ("patch"). Síť dostane dvě takové
oblasti zájmu a naučí se predikovat (i) jejich posunutí, (ii)
neurčitost, jestli si odpovídají, nebo ne.

Postup:

- seznamte se s literaturou a s daty a s knihovnou PyTorch

- vygenerujte trénovací data a naimplementujte regresní síť pro odhad posunutí dvou malých oblastí zájmu ("patches")

- vyhodnoťte přesnost, přidejte různé degradace obrazů a multimodální data

- rozšiřte úlohu na hledání jednorozměrného posunutí

- rozšiřte úlohu na hledání přesnosti/spolehlivosti odhadu a detekce vhodných struktur pro registraci

- integrujte do registračního algoritmu a vyhodnoťte jeho přesnost na datasetu ANHIR

Bibliography:Zitová, Flusser: Image registration methods: a survey. Image and Vision Computing. 2003

Kybic J. and Borovec J. "Fast registration by boundary sampling and linear programming." MICCAI, vol. 11070, pp. 783-791, 2018.

Chen et al: Deep learning in medical image registration. Progress in Biomedical Engineering. 2021

A. Dosovitskiy, P. Fischer, E. Ilg, P. Hausser, C. Hazirbas, V. Golkov, P. van der Smagt, D. Cremers, and T. Brox, “Flownet: Learning optical flow with convolutional networks,” in ICCV, 2015, pp. 2758–2766.

S. Miao, Z. J. Wang, and R. Liao, “A CNN regression approach for realtime 2d/3d registration,” TMI, vol. 35, no. 5, pp. 1352–1363, 2016
Responsible person: Petr Pošík