Detail of the student project

List
Topic:Neuron networks for natural language text correction
Department:Katedra kybernetiky
Supervisor:RNDr. Marko Genyk-Berezovskyj
Announce as:Bakalářská práce, Semestrální projekt
Description:Seznamte se s rekurentními neuronovými sítěmi využívanými při strojovém překladu a opravě textu v přirozeném jazyce. Zaměřte se na Encoder-Decoder architekturu využívající Attention mechanizmus.
Implementujte ukázku sítě s touto architekturou a porovnejte její chování a výsledky vůči jednodušší rekurentní síti bez této architektury při řešení úlohy doplnění diakritiky v nesystematicky porušeném textu.
Vyberte a využijte vhodný jazykový korpus, na němž se Vaše síť bude učit a evaluovat.
Porovnejte chování implementované sítě oproti předchozím veřejně dostupným řešením na svém korpusu, pokud možno co nejrozsáhlejším.
Výsledky své práce dokumentujte ve zprávě, kde jednak popíšete vámi využité postupy a modely sítí a dále zhodnotíte jejich výsledky a případné možnosti jejich nasazení v praktických aplikacích.
Bibliography:J. Náplava, Natural Language Correction, Master Thesis, Charles University, Prague, 2017
A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L.Jones, A. N. Gomez, L. Kaiser, I. Polosukhin, Attention Is All You Need, arXiv:1706.03762, 2017
J. Devlin, M.-W. Chang, K. Lee, K. Toutanova, BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding, arXiv:1810.04805, 2019
Responsible person: Petr Pošík