Podrobnosti studentského projektu

Seznam
Téma:Neuron networks for natural language text correction
Katedra:Katedra kybernetiky
Vedoucí:RNDr. Marko Genyk-Berezovskyj
Vypsáno jako:Bakalářská práce, Semestrální projekt
Popis:Seznamte se s rekurentními neuronovými sítěmi využívanými při strojovém překladu a opravě textu v přirozeném jazyce. Zaměřte se na Encoder-Decoder architekturu využívající Attention mechanizmus.
Implementujte ukázku sítě s touto architekturou a porovnejte její chování a výsledky vůči jednodušší rekurentní síti bez této architektury při řešení úlohy doplnění diakritiky v nesystematicky porušeném textu.
Vyberte a využijte vhodný jazykový korpus, na němž se Vaše síť bude učit a evaluovat.
Porovnejte chování implementované sítě oproti předchozím veřejně dostupným řešením na svém korpusu, pokud možno co nejrozsáhlejším.
Výsledky své práce dokumentujte ve zprávě, kde jednak popíšete vámi využité postupy a modely sítí a dále zhodnotíte jejich výsledky a případné možnosti jejich nasazení v praktických aplikacích.
Literatura:J. Náplava, Natural Language Correction, Master Thesis, Charles University, Prague, 2017
A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L.Jones, A. N. Gomez, L. Kaiser, I. Polosukhin, Attention Is All You Need, arXiv:1706.03762, 2017
J. Devlin, M.-W. Chang, K. Lee, K. Toutanova, BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding, arXiv:1810.04805, 2019
Za obsah zodpovídá: Petr Pošík