Digitālā audio apstrāde un efektu sintēze pielietojot bezvadu sensorus
Author
Kanonirs, Georgijs
Co-author
Latvijas Universitāte. Datorikas fakultāte
Advisor
Seļāvo, Leo
Date
2010Metadata
Show full item recordAbstract
Žesti un kustības ļoti bieži atspoguļo emocijas. Mūzikas instrumenti, kas reaģētu uz tiem, piedāvātu mūziķim jaunu, aizraujošu režīmu mūzikas izpausmēm. Tāpēc šī darba mērķis ir izpētīt objektu kustību izsekošanu un trajektoriju noteikšanu ar miniatūriem bezvadu sensoru moduļiem, kā arī radīt sistēmu/ietvaru priekš interaktīvas mūzikas instrumentu audio signāla apstrādes un efektu sintēzes, kas vadāma ar bezvadu sensoriem, kuri ir izvietoti uz mūzikas instrumenta un mūziķa.
Darba rezultātā ir izstrādāta sistēma/ietvars. Tā veic digitālo audio apstrādi un efektu sintēzi, pamatojoties uz audio efektu konfigurācijām, un atbilstībām starp audio efektu parametriem un žestiem vai kustībām, ko detektē bezvadu sensoru moduļi. Šīs atbilstības definē kāda veidā kustību dati no moduļiem ietekmē audio efektu parametru vērtības. Sistēmas/ietvara izstrādē tika izmantota „uz iekšu vērsta” („outside-in”) objektu kustību izsekošanas pieeja, t.i. sensori uz cilvēka ķermeņa un mūzikas instrumenta mēra datus no ārēja avota, kur dati tiek iegūti no 3-ass akselerometriem. Lai iegūtu pēc iespējas precīzāku objekta orientāciju telpā tiek piedāvāts sensoru datu saplūdumu algoritms, kurā pamatā ir rekursīvs Kalmana filtrs. Dati no žiroskopa ir kontroles signāls un dati no akselerometra ir mērījumu signāls. Sistēma darbojas un ir izmēģināta mūzikas ģenerācijas procesā. Gestures and motions very often reflect human emotions. Musical instruments that respond to those offer new, exciting mode for the musical expression for musicians. The goal of this work is to investigate object motion tracking and trajectory determination with miniature wireless sensor modules, as well as to create a system/framework for an interactive musical instrument audio signal processing and effect synthesis controlled by the wireless sensors that are located on the musical instrument and musician.
As a result of the work the system/framework was developed. It performs digital audio processing and effect synthesis based on audio effect configurations and relationships between the audio effect parameters and gestures or motions detected by the wireless sensor modules. These relationships define the way audio effect parameter values are affected by the motion data from the modules. System/framework design is based on the "outside-in" object motion tracking approach, i.e. sensors on the human body and musical instrument measure movement and position where the data is obtained from 3-axis accelerometers. In order to get the precise orientation of the object in space, a sensor data fusion algorithm is proposed that is based on a recursive Kalman filter. The data from gyros is used as a control signal and the data from accelerometers is used as measurement signal. The system has been applied in a musical performance.