Sonificering - Sonification

Video af luftforureningsdata fra Beijing, der formidles som et stykke musik

Sonificering er brugen af lyd uden tale til at formidle information eller perceptualisere data. Auditiv opfattelse har fordele i tidsmæssig, rumlig, amplitude og frekvensopløsning, der åbner muligheder som et alternativ eller supplement til visualiseringsteknikker .

For eksempel formidler klikhastigheden af en Geiger -tæller niveauet af stråling i umiddelbar nærhed af enheden.

Selvom mange eksperimenter med datasonificering er blevet undersøgt i fora som f.eks. International Community for Auditory Display (ICAD), står sonificering over for mange udfordringer med udbredt brug til præsentation og analyse af data. For eksempel viser undersøgelser, at det er svært, men vigtigt, at give en passende kontekst til fortolkning af sonifikationer af data. Mange sonificeringsforsøg er kodet fra bunden på grund af manglen på et fleksibelt værktøj til sonifikationsforskning og dataudforskning

Historie

Det geigertæller , opfundet i 1908, er en af de tidligste og mest succesfulde anvendelser af lydbehandling. En Geigertæller har et rør med lavtryksgas; hver detekterede partikel producerer en strømpuls, når den ioniserer gassen og producerer et lydklik. Den originale version var kun i stand til at detektere alfapartikler. I 1928 forbedrede Geiger og Walther Müller (en ph.d. -studerende ved Geiger) tælleren, så den kunne detektere flere typer ioniserende stråling.

I 1913, Dr. Edmund Fournier d'Albe af University of Birmingham opfandt optophone , som brugte selen fotosensorer til at opdage sort print og konvertere det til et hørbart udgangssignal. En blind læser kunne holde en bog op til enheden og holde et apparat til det område, hun ønskede at læse. Optofonen spillede en gruppe noder: gc 'd' e 'g' b 'c e . Hver note svarede til en position på optofonens læseområde, og denne note blev lydløs, hvis der blev registreret sort blæk. Således angav de manglende noter de positioner, hvor sort blæk var på siden og kunne bruges til at læse.

Pollack og Ficks offentliggjorde de første perceptuelle eksperimenter om overførsel af information via høreskærm i 1954. De eksperimenterede med at kombinere lyddimensioner som timing, frekvens, lydstyrke, varighed og spatialisering og fandt ud af, at de kunne få emner til at registrere ændringer i flere dimensioner på en gang. Disse eksperimenter kom ikke meget mere i detaljer end det, da hver dimension kun havde to mulige værdier.

John M. Chambers , Max Mathews og FR Moore på Bell Laboratories lavede det tidligste arbejde med auditiv grafik i deres "Auditory Data Inspection" tekniske memorandum i 1974. De forstærkede et scatterplot ved hjælp af lyde, der varierede langs frekvens, spektralindhold og amplitudemodulation dimensioner, der skal bruges i klassificeringen. De foretog ikke nogen formel vurdering af effektiviteten af ​​disse forsøg.

I 1976 skrev teknologiens filosof, Don Ihde, "Ligesom videnskaben ser ud til at producere et uendeligt antal visuelle billeder for stort set alle dens fænomener-atomer til galakser kender vi fra sofabordbøger til videnskabsmagasiner; så ' Musik kunne også 'produceres ud fra de samme data, der producerer visualiseringer. " Dette ser ud til at være en af ​​de tidligste referencer til sonifikation som en kreativ praksis.

I 1980'erne kom pulsoximetre i stor udbredelse. Pulsoximetre kan sonificere iltkoncentrationen af ​​blod ved at udsende højere stigninger for højere koncentrationer. I praksis kan dette særlige træk ved pulsoximetre imidlertid ikke blive udbredt af læger på grund af risikoen for for mange lydstimuleringer i medicinske miljøer.

I 1992 blev International Community for Auditory Display (ICAD) grundlagt af Gregory Kramer som et forum for forskning om auditorisk display, som omfatter datasonificering. ICAD er siden blevet et hjemsted for forskere fra mange forskellige discipliner, der er interesseret i brug af lyd til at formidle information gennem sin konference og peer-reviewed procedurer.

Nogle eksisterende applikationer og projekter

  • Auditiv højdemåler , også brugt til faldskærmsudspring
  • Hørbart termometer
  • Ur, f.eks. Med et hørbart kryds hvert sekund, og med særlige klokkespil hvert 15. minut
  • Cockpit auditive displays
  • Geigertæller
  • Gravitationsbølger ved LIGO
  • Interaktiv sonifikation
  • Medicinske og kirurgiske auditive displays
  • Multimodale (kombineret sans) skærme for at minimere visuel overbelastning og træthed
  • Navigation
  • Rumfysik
  • Pulsoxymeter på operationsstuer og intensiv pleje
  • Hastighedsalarm i motorkøretøjer
  • Ekkolod
  • Storm- og vejrsonifikation
  • Registrering af vulkansk aktivitet
  • Klyngeanalyse af højdimensionelle data ved hjælp af partikelbanesonificering
  • Mængde og værdi af Dow Jones Industrial Average
  • Billedlydbehandling for synshandicappede
  • CURAT Sonification Game baseret på psykoakustisk sonificering
  • Vipning baseret på psykoakustisk sonifikation

Sonificeringsteknikker

Mange forskellige komponenter kan ændres for at ændre brugerens opfattelse af lyden og igen deres opfattelse af den underliggende information, der skildres. Ofte er en stigning eller et fald i et eller andet niveau i denne information angivet med en stigning eller et fald i tonehøjde , amplitude eller tempo , men kan også angives ved at variere andre mindre almindeligt anvendte komponenter. For eksempel kan en aktiemarkedskurs skildres ved stigende tonehøjde, når aktiekursen stiger, og sænker tonehøjden, når den falder. For at give brugeren mulighed for at bestemme, at mere end en bestand blev portrætteret, kan forskellige timbres eller lysstyrker bruges til de forskellige aktier, eller de kan afspilles til brugeren fra forskellige punkter i rummet, for eksempel gennem forskellige sider af deres hovedtelefoner .

Mange undersøgelser er blevet foretaget for at forsøge at finde de bedste teknikker til forskellige former for information, der skal præsenteres, og endnu er der ikke formuleret et afgørende sæt teknikker, der skal bruges. Da sonifikationsområdet stadig anses for at være i sin barndom, arbejder de nuværende undersøgelser på at bestemme det bedste sæt lydkomponenter, der kan variere i forskellige situationer.

Flere forskellige teknikker til auditiv gengivelse af data kan kategoriseres:

  • Akustisk lydbehandling
  • Audition
  • Modelbaseret sonifikation
  • Parameterkortlægning
  • Streambaseret sonifikation

En alternativ tilgang til traditionel sonificering er "sonificering ved udskiftning", for eksempel Pulsed Melodic Affective Processing (PMAP). I PMAP frem for sonificering af en datastrøm er beregningsprotokollen musikalske data selv, for eksempel MIDI. Datastrømmen repræsenterer en ikke-musikalsk tilstand: i PMAP en affektiv tilstand. Beregninger kan derefter foretages direkte på de musikalske data, og resultaterne kan lyttes til med et minimum af oversættelse.

Se også

Referencer

eksterne links