Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien;...

Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Reichsratsrasse 17. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: xxl@kfs.oeaw.ac.at; http://www.kfs.oeaw.ac.at

Frames and Frame Multiplier

Peter Balazs

Acoustics Research Institute, Austrian Academy of Science, Vienna- http://www.kfs.oeaw.ac.at- Peter.Balazs@oeaw.ac.at

Groupe de Traitement du Signal, LATP, CMI, Marseille - http://www.cmi.univ-mrs.fr/%7Emolla/GTS/index.htm- balazs@cmi.univ.mrs.fr

in cooperation with:

NuHAG, Mathematics Institute, University Vienna - http://www.univie.ac.at/NuHAG/- a8927259@unet.univie.ac.at

Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Reichsratsrasse 17. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: xxl@kfs.oeaw.ac.at; http://www.kfs.oeaw.ac.at

SHORT TIME FOURIER TRANSFORMATION

Short Time Fourier transformation, STFT

Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Reichsratsrasse 17. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: xxl@kfs.oeaw.ac.at; http://www.kfs.oeaw.ac.at

INTERPRETATION OF THE PHASE VOCODER (STFT)

Fourier-transform

Windowed signal

mathematically equivalent

Filterbank

A channel of the filterbank

Gabor projection

Shifted atoms

Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Reichsratsrasse 17. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: xxl@kfs.oeaw.ac.at; http://www.kfs.oeaw.ac.at

overlap addoscillator bankprojection on dual atoms

SYNTHESIS

REDUNDANCYSTFT

PERCEPTUAL REDUNDANCY

masking

Basis or frame

SYNTHESIS AND REDUNDANCY

Gabor frame :

Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Reichsratsrasse 17. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: xxl@kfs.oeaw.ac.at; http://www.kfs.oeaw.ac.at

Discrete Representation

Sampling

Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Reichsratsrasse 17. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: xxl@kfs.oeaw.ac.at; http://www.kfs.oeaw.ac.at

Discrete Representation

Modification of Time Frequency or Time Scale Parameters

e.g. Denoising, masking, edge detection ......

Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Reichsratsrasse 17. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: xxl@kfs.oeaw.ac.at; http://www.kfs.oeaw.ac.at

Discrete Representation

Coding /Decoding e.g. in MP3

Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Reichsratsrasse 17. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: xxl@kfs.oeaw.ac.at; http://www.kfs.oeaw.ac.at

Discrete Representation

Coding / Decoding or Encryption / Decryption

Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Reichsratsrasse 17. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: xxl@kfs.oeaw.ac.at; http://www.kfs.oeaw.ac.at

Discrete Representation

Represent a „real world analog thing“ by discrete coefficents

Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Reichsratsrasse 17. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: xxl@kfs.oeaw.ac.at; http://www.kfs.oeaw.ac.at

Orthonormal Bases in Hilbert Spaces

Hilbert space Definition, examples

Bases & ONBsComplete, basis, ONS, ONB

Plancherel:

Properties of an ONB

Examples:

SVD, PCA, ICA

Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Reichsratsrasse 17. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: xxl@kfs.oeaw.ac.at; http://www.kfs.oeaw.ac.at

Problems with bases

Error - robustness

Properties of the elements

Perturbation of basis elements

Flexibility:

Uniqueness <-> redundancy

Gabor: Balian-Low

Wavelet

Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Reichsratsrasse 17. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: xxl@kfs.oeaw.ac.at; http://www.kfs.oeaw.ac.at

Frames

Definition

Properties, frame operator S

Dual frame

Canonical

Tight frame, canonical tight

Finite setting, Algorithms for S-1

Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Reichsratsrasse 17. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: xxl@kfs.oeaw.ac.at; http://www.kfs.oeaw.ac.at

Results for frames

Images of ONBs

Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Reichsratsrasse 17. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: xxl@kfs.oeaw.ac.at; http://www.kfs.oeaw.ac.at

Results for frames

Representation with frames

Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Reichsratsrasse 17. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: xxl@kfs.oeaw.ac.at; http://www.kfs.oeaw.ac.at

Gabor frames

Definition

Existence, Wiener space, Walnut theorem

Duality

Balian Low

Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Reichsratsrasse 17. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: xxl@kfs.oeaw.ac.at; http://www.kfs.oeaw.ac.at

Gabor multiplier

Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Reichsratsrasse 17. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: xxl@kfs.oeaw.ac.at; http://www.kfs.oeaw.ac.at

Masking Filter

Best representation for masking threshold resp. auditory filters?

Gabor Multiplier for irregular grid (bark)

Time Frequency localization operator (continuous)

Wavelet Multiplier

Multiple Gabor Extension Multiplier

(Or something completely different:) Auditory Filter Multiplier ?

Gamma-tone Filter Multiplier?

Spectrum and relevance threshold

Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Reichsratsrasse 17. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: xxl@kfs.oeaw.ac.at; http://www.kfs.oeaw.ac.at

Frame multiplier

Definition

Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Reichsratsrasse 17. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: xxl@kfs.oeaw.ac.at; http://www.kfs.oeaw.ac.at

REFERENCES:

[1] O. Christensen, An Introduction To Frames And Riesz Bases , Birkhäuser Boston (2003)

[2] M. Dörfler, Gabor Analysis for a Class of Signals called Music, PhD thesis Vienna (2002)

[3] H.G. Feichtinger, T. Stromer, Gabor Analysis and Algorithms, Theory and Applications, Birkhäuser Boston (1998)

[4] H. G. Feichtinger, T. Strohmer, Advances in Gabor Analysis , Birkhäuser Bosten (2003)

[5] K. Gröchenig, Foundations of Time-Frequency Analysis, Birkhäuser Boston (2001)