Spektralna analiza audio signala

Презентација на тему: "Spektralna analiza audio signala"— Транскрипт презентације:

1 Spektralna analiza audio signala
Multimedijalni sistemi Elektrotehnički fakultet Banja Luka

2 Spektralni (frekvencijski) sadržaj signala
Isak Njutn – razlaganje bijele svjetlosti na komponente različitih boja (talasnih dužina) Sinteza bijele svjetlosti pomoću komponenata Spektar svjetlosti – skup talasnih dužina (frekvencija) komponenata Dio elektromagnetnog spektra Složeni ton – glavni ton + harmonijski gornji tonovi Spektralna analiza signala Dekompozicija signala na elementarne signale različitih frekvencija (frekvencijske komponente) Spektar signala - kako se frekvencijske komponente kombinuju u originalni signal

3 Spektralni (frekvencijski) sadržaj signala
Analizator spektra – eksperimentalno određivanje spektra signala Audio ekvalizer – frekvencijski selektivno filtriranje signala – pojačavanje ili slabljenje određenih komponenata

4 Spektralna analiza signala
Žan Batist Furije Periodičan signal je moguće predstaviti linearnom kombinacijom prostoperiodičnih signala – Furijeov red T je period, a W0=2p/T je osnovna frekvencija signala.

5 Aproksimacija signala Furijeovim redom
Amplituda članova konvergentnog Furijeovog reda teži nuli Signal je moguće aproksimirati konačnim brojem članova reda Dodavanjem većeg broja članova Furijeovog reda aproksimacija je sve bolja. granična vrijednost reda je polazni signal (u ovom slučaju pravougaoni).

6 Kompleksni oblik Furijeovog reda
T je period, a W0=2p/T je osnovna frekvencija signala. Koeficijenti Ck su kompleksni brojevi Ck = |Ck| ej qk Moduli koeficijenata |Ck| čine amplitudni spektar signala Argumenti qk koeficijenata čine fazni spektar signala Spektar periodičnog signala je skup Furijeovih koeficijenata na diskretnim frekvencijama kW0

7 Primjeri spektara periodičnih signala

8 Primjeri spektara periodičnih signala

9 Primjeri spektara periodičnih signala
Povorka pravougaonih impulsa

10 Furijeova transformacija kontinualnih signala
FT se koristi za frekvencijsku analizu aperiodičnih kontinualnih signala FT je kompleksna veličina Amplitudni spektar – moduo FT Fazni spektar – argument FT Inverzna Furijeova transformacija Vremenska i frekvencijska reprezentacija su ekvivalentne Moguće je obrađivati signal u vremenskom ili frekvencijskom domenu

11 Primjer spektra aperiodičnog signala

12 Furijeova transformacija diskretnih signala
Signali sa kojima radimo su diskretni (digitalizovani) FT diskretnog aperiodičnog signala Kompleksna veličina Amplitudni spektar Fazni spektar Digitalna frekvencija Kontinualna funkcija učestanosti Periodična veličina, period 2p

13 Primjer spektra diskretnog signala

14 Diskretna Furijeova transformacija DFT
Diskretizacija Furijeove transformacije diskretnog signala u N frekvencija ravnomjerno raspoređenih na intervalu dužine 2p DFT Inverzna DFT Aditivna sinteza zvuka odgovara IDFT Efikasno izračunavanje pomoću brze Furijeove transformacije (Fast Fourier Transform, FFT)

15 Primjer DFT DFT diskretnog pravougaonog impulsa u N=64 tačke
Aproksimacija spektra diskretnog signala

16 Određivanje spektra signala pomoću DFT
Možemo li na osnovu koeficijenata DFT odrediti tačan spektar diskretnog signala?

17 Određivanje spektra signala pomoću DFT
Možemo li na osnovu koeficijenata DFT odrediti tačan spektar diskretnog signala? Inverzna DFT daje periodičan signal Periodično proširenje originalnog signala sa periodom N odmjeraka Originalni signal kraći od N odmjeraka – periodično proširenje na osnovnom periodu identično sa originalnim signalom (može se rekonstruisati spektar) Originalni signal duži od N odmjeraka – periodično proširenje se na osnovnom periodu razlikuje od originalnog signala (ne može se rekonstruisati spektar) Broj tačaka DFT treba biti jednak ili veći od trajanja signala

18 Primjer Diskretna sinusoida DFT u N = 32 tačke
w = p/4 Period: 8 odmjeraka Dužina uzorka: L = 32 odmjerka DFT u N = 32 tačke Koeficijenti različiti od nule za: k = 4 k = 32 – 4 = 28 Periodičnost spektra

19 Još jedan primjer Diskretna sinusoida DFT u N = 32 tačke
w = p/7 Period: 14 odmjeraka Dužina uzorka: L = 32 odmjerka DFT u N = 32 tačke Koeficijenti različiti od nule za sve k

20 Curenje spektra Periodično proširenje uzorka sinusoide
Skokovita promjena u n=32 Visokofrekventne komponente Curenje spektra je posljedica korištenja konačnog uzorka signala

21 Određivanje spektra signala u prisustvu curenja spektra
Aproksimacija linearnom interpolacijom koeficijenata DFT Primjer za Vršne vrijednosti ne odgovaraju frekvenciji signala

22 Određivanje spektra signala u prisustvu curenja spektra
Bolje: Odmjeravanje spektra u većem broju tačaka Ekvivalentno dopunjavanju uzorka signala nulama Primjer za DFT u N = 512 tačaka Ne utiče na curenje spektra

23 Primjena DFT u spektralnoj analizi signala
Kontinualna sinusoida Odmjeravanje Fs = 8 kHz

24 Primjena DFT u spektralnoj analizi signala
Kontinualna sinusoida Odmjeravanje Fs = 8 kHz Diskretna sinusoida frekvencije DFT u N = 400 tačaka Trougaoni impulsi u spektru

25 Primjena DFT u spektralnoj analizi signala (nastavak)
Složenoperiodičan signal Frekvencija odmjeravanja Fs=16 kHz DFT u 400 tačaka Trougaoni impulsi u spektru

26 Primjena DFT u spektralnoj analizi signala (nastavak)
Ton C4 odsviran na klaviru Frekvencija odmjeravanja Fs = 11,025 kHz Diskretna priroda spektra – (kvazi)periodičnost signala Detektovana osnovna frekvencija F0=261,635 Hz (C4 261,626 Hz)

27 Nestacionarni signali
Signali su različiti, ali amplitudni spektri dobijeni pomoću DFT su isti. Oba signala sadrže iste prostoperiodične komponente, ali one su prisutne u različitim vremenskim trenucima. Kod drugog signala u svakom trenutku je prisutna samo jedna od komponenata. Drugi signal je nestacionaran – njegov spektar se mijenja s vremenom.

28 Kratkotrajna Furijeova transformacija Short Time Fourier Transform
Problem: Spektralna analiza nestacionarnih signala Govor, muzika,... Potrebna je reprezentacija koja odgovara notnom zapisu Visina tona Interval vremena u kojem ton postoji Ideja: Signal izdijeliti na kratke segmente – frejmove Smatrati da je signal u jednom frejmu približno stacionaran Reprezentacija u ravni vrijeme-frekvencija – spektrogram

29 Primjeri spektrograma

30 Primjeri spektrograma (nastavak)

31 Spektrogram govornog signala

32 Primjena spektrograma
Audio fingerprinting

33 Audio fingerprinting Želimo da prepoznamo kratki audio uzorak koji sadrži muziku Potrebno je formirati reprezentaciju svakog audio fajla – audio fingerprint Fingerprint je hash koji se može koristiti za pretraživanje baze Problemi: ambijentalni šum nekvalitetan mikrofon kompresija kratak uzorak velika baza muzike Kod pretraživanja baza punog teksta mogli smo se osloniti na riječi jer one nose semantiku dokumenta. S druge strane, vrijednosti pojedinih odmjeraka nisu toliko povezane sa semantikom audio fajla. Drugim riječima, entropija riječi u dokumentu veća je od entropije pojedinih odmjeraka u audio fajlu. Pretraživanje po odmjercima bi vratilo veliki broj lažno pozitivnih rezultata.

34 Kakav treba da bude fingerprint?

35 Kakav treba da bude fingerprint?
Vremenski lokalizovan Fingerprint se računa na osnovu odmjeraka bliskih u vremenu Invarijantan na translaciju Fingerprint se može izračunati bez obzira na poziciju u fajlu Robustan Fingerprint se može reprodukovati i u prisustvu šuma i drugih degradacija Dovoljne entropije Fingerprint mora da bude diskriminativan da bi minimizovao vjerovatnoću lažno pozitivnih pogodaka

36 Primjer Shazam – aplikacija za identifikaciju muzike (shazam.com)
Osnovne tri komponente: Robusne konstelacije Kombinatorno hešovanje Pretraživanje baze

37 Formiranje reprezentacije
Formiranje reprezentacije počinje računanjem spektrograma audio signala

38 Konstelaciona mapa Pronalaze se vršne vrijednosti spektrograma – tačke u ravni vrijeme-frekvencija u kojima je energija veća od energije u susjednim tačkama Vršne vrijednosti su otporne na šum i filtriranje signala Lista koordinata tačaka je konstelaciona mapa Pretraživanje se svodi na upoređivanje mapa pjesme i upita Robusno na šum i odsustvo obilježja (tačaka)

39 Kombinatorno hešovanje
Jedna tačka u konstelacionoj mapi ima malu entropiju pa je pretraživanje sporo Izabere se osnovna tačka (anchor point) Osnovna tačka se uparuje sa tačkama koje su u njenoj blizini Par tačaka je opisan sa dvije frekvencije i vremenskom razlikom između njih – 32 bitni hash Svakom hashu se pridružuju i apsolutna pozicija u fajlu i ID audio zapisa (32 bita)

40 Kombinatorno hešovanje (nastavak)
Svaka tačka u konstelacionoj mapi se bira kao osnovna tačka i formira se njen 32 bitni hash Ograničava se broj tačaka u mapi i broj tačaka sa kojima se osnovna tačka može upariti – smanjenje kompleksnosti Za jedan audio zapis dobija se lista hasheva Indeks baze se formira na osnovu listi hasheva svih audio zapisa u bazi i sortira se po vrijednostima hasheva (može se koristiti invertovani indeks)

41 Pretraživanje baze Na upit se primjenjuje isti postupak i formira se lista hash:pozicija_u_fajlu Svaki hash upita se koristi za pretraživanje baze Za svaki upareni hash iz baze formira se par (pozicija_u_upitu, pozicija_u_zapisu_iz_baze) Ako upit odgovara zapisu iz baze upareni hashevi će se nalaziti na istim relativnim pozicijama u odnosu na početak upita/zapisa

42 Pretraživanje baze (nastavak)
Formira se dijagram uparenih pozicija u upitu i zapisu iz baze Ako je pronađen odgovarajući zapis u dijagramu će se pojaviti klaster tačaka koje leže na dijagonalnoj liniji

43 Pretraživanje baze (nastavak)
Kako pronaći klaster tačaka?

44 Pretraživanje baze (nastavak)
Kako pronaći klaster tačaka? Formirati histogram razlika uparenih pozicija Ako u histogramu postoji izraženi vrh klaster tačaka postoji i pronađen je pogodak u bazi

45 Literatura Glava 3