Ladislava Janku

FINAL (DIPLOMA) Theses: AUTOMATIC MUSIC TRANSCRIPTION, RECOGNITION AND PERCEPTION SYSTEMS (in CZech)

Advisor: Asocc. Prof.. Vladimir Eck Ph.D

 

This work was focused on the application of digital signal processing algorithms and statistical pattern recognition to music transcription and analysis.  It covered design and implementation of sound pre-pocessing algorithms (front-end component based on spectral analysis), automatic music transcricption algorithms (sound  to note staff, the best pattern correlation and bayessian approaches), music harmony analysis and music melody modelling and classification using hidden Markov models (recognition of homophonic music movements).  Signal pre-processing algorithms, pattern recognition algorithms and HMM classifier were implemented in C++. User interface was developed in Delphi. Whole system was used for recognition of some music movements chosen from Mozart’s, Beethoven’s and Tchaikowski’s music compositions. Final application included also note staff visualisation/editor and output to MIDI.

 

Final Thesis TOC (English Version)

Will be included.

 

Final Thesis TOC (Czech Version):


 

ÚVOD

FYZIKÁLNÍ PRINCIPY VYTVÁŘENÍ ZVUKU V HUDEBNÍCH NÁSTROJÍCH

2.1 Základní poznatky z akustiky a fyziologie vnímání zvuku

2.1.1 Výška tónu

2.1.2 Intenzita zvuku

2.1.3 Barva tónu

2.2 Procesy vytváření zvuku v akustických a elektroakustických hudebních nástrojích          

2.2.1 Strunné nástroje

2.2.2 Píšťalové nástroje

2.2.3 Perkusní nástroje

Soustavy ladění hudebních nástrojů

Přirozené ladění

Temperované ladění

ZPRACOVÁNÍ AKUSTICKÉHO SIGNÁLU

3.1 Snímání zvuku hudebního nástroje

3.1.1 Mikrofon

3.1.2 Mikrofonní předzesilovače

3.1.3 Zvukové karty

3.2 Digitalizace analogového signálu

3.2.1 Vzorkování

3.2.2 Kvantování

3.3 Transformace signálu do frekvenční oblasti

3.3.1 Přehled okének

3.3.2 Diskrétní Fourierova transformace

3.3.3 Rychlá Fourierova transformace

3.3.4 Krátkodobá Fourierova transformace

3.4 Aproximace

3.4.1 Lineární aproximace

3.5Transformace frekvenčního spektra do tónového spektra

3.6 Zpracování v časové oblasti

3.6.1 Funkce krátkodobé intenzity

IDENTIFIKACE ZÁKLADNÍCH TÓNŮ

4.1 Prahování

4.2 Identifikace základního tónu z frekvenčního spektra

4.2.1 Spektrální vzor

4.2.2 Korelace spektrálního vzoru s frekvenčním spektrem

4.2.3 Bayesovská identifikace

4.3 Shrnutí procesu rozpoznávání hudební sekvence z nahrávky

NOTOVÝ ZÁZNAM,  ALGORITMY PRO HARMONICKOU ANALÝZU

5.1 Co obnáší harmonická analýza

5.2 Stanovení akordické reprezentace

5.2.1 Identifikace akordů z tónové reprezentace získané z nahrávky

5.2.1.1 Rozbor

5.2.1.1 Algoritmus pro identifikaci akordu

5.3 Identifikace tóniny

5.3.1 Identifikace tóniny jednohlasu

5.3.2.1 Základní myšlenka

5.3.2.2 Matematická formulace metody

5.3.2.3 Výhody a nevýhody algoritmu založeného na metodě paralelních modelů

5.3.2 Identifikace tóniny na základě akordů

5.4 Notový zápis

ROZPOZNÁVÁNÍ HUDEBNÍCH SEKVENCÍ

6.1 Modelování hudebních vět skrytými Markovovými modely

6.1.2 Výběr figur

6.1.3 Matematický základ metody modelování hudebních vět Markovovými modely           

6.1.4 Stanovení pravděpodobnosti hudební sekvence (věty)

6.1.5 Trénování parametrů modelu

6.1.6 Realizace klasifikátoru

IMPLEMENTACE

7.1 Požadavky na hardwarové a softwarové vybavení

7.2 Implementace

7.2.1 Možnosti programu

7.2.3 Instalace

7.2.2 Spuštění aplikace

7.3 Popis uživatelského rozhraní

7.3.1 Režim „Time Domain“

7.3.2 Režim „Frequency Domain“

7.3.3 Režim „Note Staff“

7.3.3.1 Okno „From Wave Data“

7.3.3.2 Okno „Edit As Text“

7.3.4 Režim „HMM Models“

7.3.5 Okno „Media Control“

7.3.6 Nabídky

7.3.6.1 Nabídka „File“

7.3.6.2 Nabídka „View“

7.3.6.3 Nabídka „Help“

7.3.7 Další okna

7.3.7.1 Okno „Create New Wave File“

7.3.7.2 Okno „Create New HMM“

7.3.8 Na co je při práci s programem třeba dávat pozor

7.4 Výsledky rozpoznávní

PROCESY VNÍMÁNÍ HUDBY

8.1 Metody výzkumu procesů vnímání hudby

8.1.1 Využití EEG při výzkumu procesů vnímání hudby

8.2 Vnímání zabarvení

ZÁVĚR