Ladislava Janku
FINAL (DIPLOMA) Theses: AUTOMATIC MUSIC TRANSCRIPTION,
RECOGNITION AND PERCEPTION SYSTEMS (in CZech)
Advisor: Asocc. Prof.. Vladimir Eck Ph.D
This work was focused on the application of digital
signal processing algorithms and statistical pattern recognition to music
transcription and analysis. It covered
design and implementation of sound pre-pocessing algorithms (front-end
component based on spectral analysis), automatic music transcricption
algorithms (sound to note staff, the
best pattern correlation and bayessian approaches), music harmony analysis and
music melody modelling and classification using hidden Markov models
(recognition of homophonic music movements).
Signal pre-processing algorithms, pattern recognition algorithms and HMM
classifier were implemented in C++. User interface was developed in Delphi.
Whole system was used for recognition of some music movements chosen from
Mozart’s, Beethoven’s and Tchaikowski’s music compositions. Final application
included also note staff visualisation/editor and output to MIDI.
Final
Thesis TOC (English Version)
Will be included.
Final Thesis TOC (Czech Version):
ÚVOD
FYZIKÁLNÍ PRINCIPY VYTVÁŘENÍ ZVUKU V HUDEBNÍCH NÁSTROJÍCH
2.1
Základní poznatky z akustiky a fyziologie vnímání zvuku
2.1.1 Výška tónu
2.1.2 Intenzita zvuku
2.1.3 Barva tónu
2.2
Procesy vytváření zvuku v akustických a elektroakustických hudebních
nástrojích
2.2.1 Strunné nástroje
2.2.2 Píšťalové nástroje
2.2.3 Perkusní nástroje
Soustavy
ladění hudebních nástrojů
Přirozené ladění
Temperované ladění
ZPRACOVÁNÍ AKUSTICKÉHO SIGNÁLU
3.1
Snímání zvuku hudebního nástroje
3.1.1 Mikrofon
3.1.2 Mikrofonní předzesilovače
3.1.3 Zvukové karty
3.2
Digitalizace analogového signálu
3.2.1 Vzorkování
3.2.2 Kvantování
3.3
Transformace signálu do frekvenční oblasti
3.3.1 Přehled okének
3.3.2 Diskrétní Fourierova transformace
3.3.3 Rychlá Fourierova transformace
3.3.4 Krátkodobá Fourierova transformace
3.4
Aproximace
3.4.1 Lineární aproximace
3.5
Transformace frekvenčního spektra do tónového spektra
3.6
Zpracování v časové oblasti
3.6.1 Funkce krátkodobé intenzity
IDENTIFIKACE ZÁKLADNÍCH TÓNŮ
4.1
Prahování
4.2
Identifikace základního tónu z frekvenčního spektra
4.2.1 Spektrální vzor
4.2.2 Korelace spektrálního vzoru s frekvenčním spektrem
4.2.3 Bayesovská identifikace
4.3
Shrnutí procesu rozpoznávání hudební sekvence z nahrávky
NOTOVÝ ZÁZNAM, ALGORITMY PRO HARMONICKOU ANALÝZU
5.1
Co obnáší harmonická analýza
5.2
Stanovení akordické reprezentace
5.2.1 Identifikace akordů z tónové reprezentace získané z nahrávky
5.2.1.1 Rozbor
5.2.1.1 Algoritmus pro identifikaci akordu
5.3
Identifikace tóniny
5.3.1 Identifikace tóniny jednohlasu
5.3.2.1 Základní myšlenka
5.3.2.2 Matematická formulace metody
5.3.2.3 Výhody a nevýhody algoritmu založeného na metodě paralelních modelů
5.3.2 Identifikace tóniny na základě akordů
5.4
Notový zápis
ROZPOZNÁVÁNÍ HUDEBNÍCH SEKVENCÍ
6.1
Modelování hudebních vět skrytými Markovovými modely
6.1.2 Výběr figur
6.1.3 Matematický základ metody modelování hudebních vět Markovovými modely
6.1.4 Stanovení pravděpodobnosti hudební sekvence (věty)
6.1.5 Trénování parametrů modelu
6.1.6 Realizace klasifikátoru
IMPLEMENTACE
7.1
Požadavky na hardwarové a softwarové vybavení
7.2
Implementace
7.2.1 Možnosti programu
7.2.3 Instalace
7.2.2 Spuštění aplikace
7.3
Popis uživatelského rozhraní
7.3.1 Režim „Time Domain“
7.3.2 Režim „Frequency Domain“
7.3.3 Režim „Note Staff“
7.3.3.1 Okno „From Wave Data“
7.3.3.2 Okno „Edit As Text“
7.3.4 Režim „HMM Models“
7.3.5 Okno „Media Control“
7.3.6 Nabídky
7.3.6.1 Nabídka „File“
7.3.6.2 Nabídka „View“
7.3.6.3 Nabídka „Help“
7.3.7 Další okna
7.3.7.1 Okno „Create New Wave File“
7.3.7.2 Okno „Create New HMM“
7.3.8 Na co je při práci s programem třeba dávat pozor
7.4
Výsledky rozpoznávní
PROCESY VNÍMÁNÍ HUDBY
8.1
Metody výzkumu procesů vnímání hudby
8.1.1 Využití EEG při výzkumu procesů vnímání hudby
8.2
Vnímání zabarvení
ZÁVĚR