Sonificering - Sonification
Sonificering er brugen af lyd uden tale til at formidle information eller perceptualisere data. Auditiv opfattelse har fordele i tidsmæssig, rumlig, amplitude og frekvensopløsning, der åbner muligheder som et alternativ eller supplement til visualiseringsteknikker .
For eksempel formidler klikhastigheden af en Geiger -tæller niveauet af stråling i umiddelbar nærhed af enheden.
Selvom mange eksperimenter med datasonificering er blevet undersøgt i fora som f.eks. International Community for Auditory Display (ICAD), står sonificering over for mange udfordringer med udbredt brug til præsentation og analyse af data. For eksempel viser undersøgelser, at det er svært, men vigtigt, at give en passende kontekst til fortolkning af sonifikationer af data. Mange sonificeringsforsøg er kodet fra bunden på grund af manglen på et fleksibelt værktøj til sonifikationsforskning og dataudforskning
Historie
Det geigertæller , opfundet i 1908, er en af de tidligste og mest succesfulde anvendelser af lydbehandling. En Geigertæller har et rør med lavtryksgas; hver detekterede partikel producerer en strømpuls, når den ioniserer gassen og producerer et lydklik. Den originale version var kun i stand til at detektere alfapartikler. I 1928 forbedrede Geiger og Walther Müller (en ph.d. -studerende ved Geiger) tælleren, så den kunne detektere flere typer ioniserende stråling.
I 1913, Dr. Edmund Fournier d'Albe af University of Birmingham opfandt optophone , som brugte selen fotosensorer til at opdage sort print og konvertere det til et hørbart udgangssignal. En blind læser kunne holde en bog op til enheden og holde et apparat til det område, hun ønskede at læse. Optofonen spillede en gruppe noder: gc 'd' e 'g' b 'c e . Hver note svarede til en position på optofonens læseområde, og denne note blev lydløs, hvis der blev registreret sort blæk. Således angav de manglende noter de positioner, hvor sort blæk var på siden og kunne bruges til at læse.
Pollack og Ficks offentliggjorde de første perceptuelle eksperimenter om overførsel af information via høreskærm i 1954. De eksperimenterede med at kombinere lyddimensioner som timing, frekvens, lydstyrke, varighed og spatialisering og fandt ud af, at de kunne få emner til at registrere ændringer i flere dimensioner på en gang. Disse eksperimenter kom ikke meget mere i detaljer end det, da hver dimension kun havde to mulige værdier.
John M. Chambers , Max Mathews og FR Moore på Bell Laboratories lavede det tidligste arbejde med auditiv grafik i deres "Auditory Data Inspection" tekniske memorandum i 1974. De forstærkede et scatterplot ved hjælp af lyde, der varierede langs frekvens, spektralindhold og amplitudemodulation dimensioner, der skal bruges i klassificeringen. De foretog ikke nogen formel vurdering af effektiviteten af disse forsøg.
I 1976 skrev teknologiens filosof, Don Ihde, "Ligesom videnskaben ser ud til at producere et uendeligt antal visuelle billeder for stort set alle dens fænomener-atomer til galakser kender vi fra sofabordbøger til videnskabsmagasiner; så ' Musik kunne også 'produceres ud fra de samme data, der producerer visualiseringer. " Dette ser ud til at være en af de tidligste referencer til sonifikation som en kreativ praksis.
I 1980'erne kom pulsoximetre i stor udbredelse. Pulsoximetre kan sonificere iltkoncentrationen af blod ved at udsende højere stigninger for højere koncentrationer. I praksis kan dette særlige træk ved pulsoximetre imidlertid ikke blive udbredt af læger på grund af risikoen for for mange lydstimuleringer i medicinske miljøer.
I 1992 blev International Community for Auditory Display (ICAD) grundlagt af Gregory Kramer som et forum for forskning om auditorisk display, som omfatter datasonificering. ICAD er siden blevet et hjemsted for forskere fra mange forskellige discipliner, der er interesseret i brug af lyd til at formidle information gennem sin konference og peer-reviewed procedurer.
Nogle eksisterende applikationer og projekter
- Auditiv højdemåler , også brugt til faldskærmsudspring
- Hørbart termometer
- Ur, f.eks. Med et hørbart kryds hvert sekund, og med særlige klokkespil hvert 15. minut
- Cockpit auditive displays
- Geigertæller
- Gravitationsbølger ved LIGO
- Interaktiv sonifikation
- Medicinske og kirurgiske auditive displays
- Multimodale (kombineret sans) skærme for at minimere visuel overbelastning og træthed
- Navigation
- Rumfysik
- Pulsoxymeter på operationsstuer og intensiv pleje
- Hastighedsalarm i motorkøretøjer
- Ekkolod
- Storm- og vejrsonifikation
- Registrering af vulkansk aktivitet
- Klyngeanalyse af højdimensionelle data ved hjælp af partikelbanesonificering
- Mængde og værdi af Dow Jones Industrial Average
- Billedlydbehandling for synshandicappede
- CURAT Sonification Game baseret på psykoakustisk sonificering
- Vipning baseret på psykoakustisk sonifikation
Sonificeringsteknikker
Mange forskellige komponenter kan ændres for at ændre brugerens opfattelse af lyden og igen deres opfattelse af den underliggende information, der skildres. Ofte er en stigning eller et fald i et eller andet niveau i denne information angivet med en stigning eller et fald i tonehøjde , amplitude eller tempo , men kan også angives ved at variere andre mindre almindeligt anvendte komponenter. For eksempel kan en aktiemarkedskurs skildres ved stigende tonehøjde, når aktiekursen stiger, og sænker tonehøjden, når den falder. For at give brugeren mulighed for at bestemme, at mere end en bestand blev portrætteret, kan forskellige timbres eller lysstyrker bruges til de forskellige aktier, eller de kan afspilles til brugeren fra forskellige punkter i rummet, for eksempel gennem forskellige sider af deres hovedtelefoner .
Mange undersøgelser er blevet foretaget for at forsøge at finde de bedste teknikker til forskellige former for information, der skal præsenteres, og endnu er der ikke formuleret et afgørende sæt teknikker, der skal bruges. Da sonifikationsområdet stadig anses for at være i sin barndom, arbejder de nuværende undersøgelser på at bestemme det bedste sæt lydkomponenter, der kan variere i forskellige situationer.
Flere forskellige teknikker til auditiv gengivelse af data kan kategoriseres:
- Akustisk lydbehandling
- Audition
- Modelbaseret sonifikation
- Parameterkortlægning
- Streambaseret sonifikation
En alternativ tilgang til traditionel sonificering er "sonificering ved udskiftning", for eksempel Pulsed Melodic Affective Processing (PMAP). I PMAP frem for sonificering af en datastrøm er beregningsprotokollen musikalske data selv, for eksempel MIDI. Datastrømmen repræsenterer en ikke-musikalsk tilstand: i PMAP en affektiv tilstand. Beregninger kan derefter foretages direkte på de musikalske data, og resultaterne kan lyttes til med et minimum af oversættelse.
Se også
Referencer
eksterne links
- Internationalt fællesskab for auditivt display
- Sonification Report (1997) giver en introduktion til feltets status og aktuelle forskningsdagsordener.
- Sonification Handbook , en Open Access -bog , der giver en omfattende introduktionspræsentation af de centrale forskningsområder inden for sonifikation og auditiv visning.
- Auditivt informationsdesign , ph.d. -afhandling af Stephen Barrass 1998, brugercentreret tilgang til design af sonifikationer.
- Mozzi: interaktiv sensor sonifikation på Arduino mikroprocessor.
- Foreløbig rapport om designbegrundelse, syntaks og semantik i LSL: Et specifikationssprog til programaluralisering, D. Boardman og AP Mathur, 1993.
- Et specifikationssprog til programaluralisering, D. Boardman, V. Khandelwal og AP Mathur, 1994.
- Sonification tutorial
- SonEnvir generelle sonificeringsmiljø
- Sonification.de giver oplysninger om Sonification og Auditory Display, links til interessante begivenheder og relaterede projekter
- Sonification for Exploratory Data Analysis , PhD Thesis by Thomas Hermann 2002, udvikle Model Based Sonfication.
- Sonificering af mobil og trådløs kommunikation
- Interaktiv sonificering et knudepunkt for nyheder og kommende begivenheder inden for interaktiv sonifikation
- nul-th rum-tid forening
- CodeSounding - en open source sonificeringsramme, der gør det muligt at høre, hvordan ethvert eksisterende Java -program "lyder", ved at tildele instrumenter og pitches til kodesætninger (hvis, for osv.) Og afspille dem, når de udføres under kørsel. På denne måde spilles eksekveringsstrømmen som en strøm af musik, og dens rytme ændres afhængigt af brugerinteraktion.
- LYCAY , et Java -bibliotek til sonificering af Java -kildekoden
- WebMelody , et system til sonifikation af webservers aktivitet.
- Sonificering af et Cantorsæt [1]
- Sonification Sandbox v.3.0 , et Java -program til at konvertere datasæt til lyde, GT Sonification Lab, School of Psychology, Georgia Institute of Technology .
- Program Sonification ved hjælp af Java , et online kapitel (med kode), der forklarer, hvordan man implementerer sonification ved hjælp af talesyntese, generering af MIDI -noter og lydklip.
- [2] Live sonificering af Ocean Swell