------------------------------------------------------------------- Přehled metod audio syntézy a sonifikace ------------------------------------------------------------------- Roman Čmejla, textová verze 12. přednášky ze SYN, 18.prosince 2017 OBSAH ------------------------------------------------------------- Přehled metod Sonifikace • Sonifikační technologie • Sonifikační techniky • Aplikace • Sonifikace v medicíně ------------------------------------------------------------------- Přehled metod Spojovací (konkatenační) techniky: • tabulková (wavetable) syntéza + vhodné pro akustické hudební nástroje + snadná tvorba libovolně dlouhých znělých zvuků + rychlost gemerování - náročné na paměť, pro lepší kvalitu je potřeba více vzorků - generování znělých periodických zvuků - frekvenčně a dynamicky omezené • granulační syntéza + možnost generování zajímavých umělých zvuků a efektů i hudebních nástrojů + flexibilní možnosti generování zvuku - výsledek není vždy předvídatelný - hledání a nastavování parametrů syntézy bývá obtížné - může být výpočetně náročné • konkatenační syntéza řeči (z řečových elementů) + jednoduchá podstata - slyšitelné přechody - pro dosažení plynulosti je požadavek ohromných databází - komplikované řetězení, kritické je efektivní vyhledávání elementů Aditivní (spektrální, fourierovské, resyntézy) techniky: • aditivní syntézy (resyntézy na základě analýzy) + vhodné pro akustické hudební nástroje + lze syntetizovat libovolné zvuky + lze generovat zvuky prakticky nerozlišitelné od reálných - vyžaduje velké množství informací pro popis zvuku - popis je platný pouze pro omezený rozsah frekvencí a amplitud - ovládání syntézy není intuitivní • fázový vokodér + možnosti změny délky (zkrácení/prodloužení) + možnosti změny výšky znělých period Filtrační (subtrakční) techniky: • filtrační syntézy spektrálně bohatých znělých a šumových zdrojů • formantové syntézy řeči a hudebních nástrojů + filtrace umožňují přirozenou tvorbu formantů + výpočetně efektivní + lze generovat přirozené zvuky (vyžaduje to však návrhovou zručnost) - generování přirozených zvuků je obtížnější - v analogových mohou být implementacích nestabilní a náchylné na šum • LPC vokodér - oddělení zdroje a informace + možnosti změny délky (zkrácení/prodloužení) + možnosti změny výšky znělých period • cross syntéza - záměny zdroje a informace + snadný efekt typu "mluvící zvíře" Techniky založené na zkreslení: • frekvenční modulace + efektivní ovládání barvy zvuku pomocí modulačního indexu a poměru nosné a modulační frekvence + výpočetně velmi účinné + velmi snadné generování neharmonického spektra - obtížné syntetizovat přírozené zvuky • nelineární syntézy + snadná tvorba kytarových efektů + efektivní ovládání barvy zvuku pomocí indexu zkreslení - obtížné syntetizovat přírozené zvuky • tvarovací syntéza pomocí Čebyševovských polynomů + možnost analytického výpočtu přenosové funkce Fyzikální modelování: • číslicové vlnovody + vhodné pro akustické hudební nástroje + teoreticky perfektní model + může být efektivní na paměť (nemusí se ukládat průběhy) + lze využít jako prototyp nových (či historických) nástrojů - vyžaduje přený fyzikální popis dějů v nástroji - přesné modely mohou být výpočetně náročné - nelineární rovnice mohou být obtížně řešitelné - pracná tvorba nástrojů - komplikované ovládání fyzikálních modelů (specifika pro různé nástroje) • Karplusův-Strongův algoritmus + základ řady strunných a bicích syntetických nástrojů • artikulační syntéza řeči - zatím spíše teoretické Audio efekty • Filtrace (DP, HP, ekvalizace) • Časově proměnné filtry (wah-wah, phaser, vibráto, flanger, chorus) • Modulátory (kruhová modulace, tremolo (AM), vibráto (AM)) • Nelineární zpracování (komprese, expanze, limitace, zkreslení) • Efekty založené na časovém zpoždění (echo, reverb) ------------------------------------------------------------------- Sonifikace - Sonifikací se rozumí transformace nejrůznějších dat na audio signál za účelem poskytnutí informace, snazší komunikace, lepší interpretace, či uměleckého ztvárnění. ------------------------------------------------------------------- Sonifikační technologie - často pouze změna f0, A, tempa, barvy - Konkatenační syntézy - Subtrakční syntézy - Fázový vokodér - Modální syntéza - LPC cross syntéza - Formantová syntéza - FM syntéza - Jiné ------------------------------------------------------------------- Sonifikační techniky - Audifikace - Audio ikony - Každodenní zvuky - Mapování parametrů - Další techniky ... modely ------------------------------------------------------------------- Aplikace: - Asistivní technologie - Monitorování procesů v reálném čase - Rozhraní člověk-stroj (zvukové ikony) - Alarmy - Navigace - Hry, umění http://soundsofpictures.blogspot.cz/ http://www.filimowicz.com/pjim/#sound_design - Analýza dat (zvuky Etny http://grid.ct.infn.it/etnasound/) - Sonifikace v medicíně ------------------------------------------------------------------- Sonifikace v medicíně - eeg - ekg - emg ------------------------------------------------------------------- • Mozkový klavír - přístroj pro sonifikaci EEG http://partnerstvi.fel.zcu.cz/vysledky/PDF/2010/22110-FV006-2010.pdf • Sonifikace obrázků pro nevidomé http://is.muni.cz/th/173261/fi_m/thesis.pdf • Využití sonifikace pro navigační účely https://dspace.cvut.cz/bitstream/handle/10467/21183/F3-DP-2014-Stolc-Alan-prace.pdf • The Sonification Handbook http://sonification.de/handbook/ • Heart Rate Variability - Sonification Examples http://www.personal.psu.edu/meb26/sonification/audio.html ------------------------------------------------------------------- Náměty na cvičení: - přelaďovaný rezonátor - formantová syntéza - modulační metody - nelineární metody 1. Sonifikujte EMG signál 2. Sonifikujte pohyb kurzoru po obrazovce ------------------------------------------------------------------- Příklad sonifikace dat - průměrné měsíční teploty https://www.youtube.com/watch?v=7OcVx2m4OUM Příklad sonifikace dat - průměrné měsíční srážky https://www.youtube.com/watch?v=xi2bFKgYX2I Příklad sonifikace dat - průměrné měsíční průtoky řek https://www.youtube.com/watch?v=Qy_1otrndb4 Příklad sonifikace více časových řad. Poslech "modelu srážky-odliv" https://www.youtube.com/watch?v=KJda-he1A2A Sonifikace EEG https://www.youtube.com/watch?v=Vv6k9Ndjh0E Sonifikace mozkové aktivity https://www.youtube.com/watch?v=_nAzcyVP_ZQ Sonifikace zemětřesení v japonském Tohoku https://www.youtube.com/watch?v=3PJxUPvz9Oo Sonifikace slunečního větru https://www.youtube.com/watch?v=VPo4iOZRkls Zvuky Slunce https://www.youtube.com/watch?v=ZZQcLJjpdrI Znečištění vzduchu v Pekingu za tři roky https://datadrivendj.com/tracks/smog Píseň na základě EEG (epilepsie) https://datadrivendj.com/tracks/brain Two Trains, prezentuje příjmovou nerovnost v různých částech NY. Dynamičtější hudba znamená bohatší čtvrtě. https://datadrivendj.com/tracks/subway Pád akcií na americké burze na začátku finanční krize Sonifikace pomocí "Songsmith" https://www.youtube.com/watch?v=2-BZfFakpzc iSonic: Interaktivní sonifikace dat pro nevidomé https://www.youtube.com/watch?v=8hUIAnXtlc4