Ағылшыншамен салыстырыңыз: абзацты басыңыз — түпнұсқа терезеде ашылады. Абзац астындағы EN түймесі оны мәтін ішінде көрсетеді.
Кіріспе
Ақпаратты жеткізу үшін сөйлеуден басқа дыбыстарды қолдану
Use of sounds other than speech to convey information
Соникация – ақпаратты жеткізу немесе деректерді түйсіндіру үшін сөйлеуден өзге дыбыстарды пайдалану. Есті қабылдаудың уақыт, кеңістік, амплитуда және жиілік бойынша жоғары ажыратымдылығы бар, бұл визуализация техникаларына балама немесе толықтыру ретінде жаңа мүмкіндіктер ашады. Мысалы, Гейгер санауышының дыбыс шығару жылдамдығы құрылғының жанындағы радиация деңгейін көрсетеді. Халықаралық аудио-визуализация қауымдастығы (ICAD) сияқты платформаларда деректерді соникациялау бойынша көптеген тәжірибелер жүргізілсе де, деректерді ұсыну және талдау үшін соникацияны кеңінен қолдануда көптеген қиындықтар бар. Мысалы, зерттеулер деректерді соникациялауды түсіну үшін жеткілікті контекст берудің қиын екенін көрсетіп тұр. Көптеген соникация әрекеттері соникация зерттеуі мен деректерді зерттеуге арналған икемді құралдардың жетіспеуіне байланысты бастапқы кодтан жасалады.
Sonification is the use of non speech audio to convey information or perceptualize data. Auditory perception has advantages in temporal, spatial, amplitude, and frequency resolution that open possibilities as an alternative or complement to visualization techniques. For example, the rate of clicking of a Geiger counter conveys the level of radiation in the immediate vicinity of the device. Though many experiments with data sonification have been explored in forums such as the International Community for Auditory Display (ICAD), sonification faces many challenges to widespread use for presenting and analyzing data. For example, studies show it is difficult, but essential, to provide adequate context for interpreting sonifications of data. Many sonification attempts are coded from scratch due to the lack of flexible tooling for sonification research and data exploration.
Тарих
1908 жылы ойлап табылған Гайгер санағы – сонификацияның ең алғашқы және ең табысты қолданыстарының бірі. Гайгер санағында төмен қысымды газ түтігі болады; әрбір анықталған бөлшек газды иондағанда ток импульсін тудырады, осы арқылы дыбыстық сигнал шығарылады. Алғашқы үлгіде тек альфа бөлшектерін ғана анықтау мүмкін болды. 1928 жылы Гайгер мен Вальтер Мюллер (Гайгердің докторанты) санақты жақсартты, соның арқасында ол иондаушы сәулеленудің түрлі типтерін анықтай алды. 1913 жылы Бирмингем университетінің докторы Эдмунд Фурнье д’Альбе оптофонды ойлап тапты, ол селен фотосенсорларын пайдаланып қара баспаны анықтап, оны естілетін сигналға айналдыратын құрал. Көзі нашар көретін адам кітапты құрылғыға ұстап, оқығысы келген жерге жақын ұстай алатын. Оптофон белгілі бір ноталар тізбегін ойнатты: әр нота оптофонның оқу аймағындағы нақты бір позицияға сәйкес келетін, ал қара бояу анықталса, бұл нота үнсізденетін. Осылайша, жоғалған ноталар беттегі қара бояудың орналасқан жерін көрсететін және оқу үшін пайдаланылатын. Поллак пен Фикс 1954 жылы дыбыстық сигналдар арқылы ақпаратты беру туралы алғашқы қабылдау эксперименттерін жариялады. Олар уақыт, жиілік, күш, ұзақтық және кеңістіктік орналасу сияқты дыбыстың түрлі параметрлерін біріктіру арқылы тәжірибе жүргізіп, қатысушылар бірнеше параметрдегі өзгерістерді бірден байқай алатынын анықтады. Бұл эксперименттер одан әрі тереңдемеді, себебі әрбір параметрде тек екі ғана мүмкін мән болды. 1970 жылы Nonesuch Records американдық композитор Чарльз Додждің «Жердің магниттік өрісі» атты жаңа электрондық музыкалық шығармасын шығарды. Ол Колумбия-Принстон электрондық музыка орталығында жасалған. Атауынан көрініп тұрғандай, шығарманың электрондық дыбыстары жердің магниттік өрісінен алынған деректердің негізінде синтезделген. Осылайша, бұл ғылыми мақсаттар үшін емес, көркемдік мақсаттар үшін ғылыми деректерді сонификациялаудың алғашқы мысалы болуы мүмкін. Джон М. Чемберс, Макс Мэтьюс және Ф. Р. Мур 1974 жылы Белл зертханаларында «Дыбыстық деректерді тексеру» атты техникалық ескертпесінде дыбыстық график бойынша алғашқы жұмыстарды жүргізді. Олар жиілік, спектрлік құрамы және амплитудалық модуляция параметрлері бойынша өзгертілген дыбыстарды пайдаланып, шашыраңқы диаграмманы толықтырды, осы арқылы классификация жасауға мүмкіндік берді. Олар осы эксперименттердің тиімділігін формалды түрде бағаламады. 1976 жылы технология философиясының профессоры Дон Ихде былай деп жазды: «Ғылым өз құбылыстарының барлығы үшін – атомдардан галактикаларға дейін – бізге суреттер арқылы таныс, оларды кофе үстеліндегі кітаптардан және ғылыми журналдардан көреміз; сондықтан бірдей деректерден «музыка» да жасалуы мүмкін». Бұл сонификацияның шығармашылық практика ретіндегі ең алғашқы айғақтарының бірі болып табылады. 1982 жылдың басында Калифорния университетінің Дэвис қаласындағы Сара Блай компьютерлік дыбысты қолдану арқылы деректерді ұсыну жөніндегі жұмысының мысалдарымен екі жарияланым шығарды. Сол кезде ғылыми визуализация саласы дами бастады. Оның зерттеулері мен қоса берілген мысалдары визуалды және дыбыстық ұсыныстың қасиеттерін салыстырып, «Дыбыс графикалық құралдарға толықтыру және балама ретінде ұсынылады» деген қорытындыға келді. Оның жұмысы деректерді тиімді ұсыну үшін оларды типке және мақсатына сәйкес таңдауға көмектесетін эксперименттік деректерді ұсынады. Сондай-ақ 1980 жылдары пульс оксиметрлері кеңінен қолданыла бастады. Пульс оксиметрлері қандағы оттегінің концентрациясын жоғарырақ деңгейде жоғарырақ дыбыс шығару арқылы сонификациялай алады. Алайда, практикада медициналық ортадағы дыбыстық стимулдардың көп болуына байланысты медициналық қызметкерлер бұл мүмкіндікті жиі пайдаланбайды. 1992 жылы Грегори Крамер деректерді сонификациялауды қоса, дыбыстық дисплейлерді зерттеу үшін платформа ретінде қызмет ететін Аудиторлық дисплейлердің халықаралық қауымдастығын (ICAD) құрды. ICAD қазіргі кезде ақпаратты жеткізу үшін дыбысты пайдалануға қызығушылық танытқан түрлі салалардағы зерттеушілердің үйіне айналды, оның конференциялары мен рецензияланған материалдары арқылы. 2022 жылдың мамыр айында НАСА Персей галактикасы шоғырының ортасындағы қара тесіктің сонификациясын (қысым толқындарымен байланысты астрономиялық деректерді дыбысқа айналдыру) жариялады.
The Geiger counter, invented in 1908, is one of the earliest and most successful applications of sonification. A Geiger counter has a tube of low pressure gas; each particle detected produces a pulse of current when it ionizes the gas, producing an audio click. The original version was only capable of detecting alpha particles. In 1928, Geiger and Walther Müller (a PhD student of Geiger) improved the counter so that it could detect more types of ionizing radiation. In 1913, Dr. Edmund Fournier d'Albe of University of Birmingham invented the optophone, which used selenium photosensors to detect black print and convert it into an audible output. A blind reader could hold a book up to the device and hold an apparatus to the area she wanted to read. The optophone played a set group of notes: Each note corresponded with a position on the optophone's reading area, and that note was silenced if black ink was sensed. Thus, the missing notes indicated the positions where black ink was on the page and could be used to read. Pollack and Ficks published the first perceptual experiments on the transmission of information via auditory display in 1954. They experimented with combining sound dimensions such as timing, frequency, loudness, duration, and spatialization and found that they could get subjects to register changes in multiple dimensions at once. These experiments did not get into much more detail than that, since each dimension had only two possible values. In 1970, Nonesuch Records released a new electronic music composition by the American composer Charles Dodge, "The Earth's Magnetic Field." It was produced at the Columbia Princeton Electronic Music Center. As the title suggests, the composition's electronic sounds were synthesized from data from the earth's magnetic field. As such, it may well be the first sonification of scientific data for artistic, rather than scientific, purposes. John M. Chambers, Max Mathews, and F. R. Moore at Bell Laboratories did the earliest work on auditory graphing in their "Auditory Data Inspection" technical memorandum in 1974. They augmented a scatterplot using sounds that varied along frequency, spectral content, and amplitude modulation dimensions to use in classification. They did not do any formal assessment of the effectiveness of these experiments. In 1976, philosopher of technology, Don Ihde, wrote, "Just as science seems to produce an infinite set of visual images for virtually all of its phenomena atoms to galaxies are familiar to us from coffee table books to science magazines; so 'musics,' too, could be produced from the same data that produces visualizations." This appears to be one of the earliest references to sonification as a creative practice. In early 1982 Sara Bly of the University of California, Davis, released two publications with examples of her work on the use of computer generated sound to present data. At the time, the field of scientific visualization was gaining momentum. Among other things, her studies and the accompanying examples compared the properties between visual and aural presentation, demonstrating that "Sound offers and enhancement and an alternative to graphic tools." Her work provides early experiment based data to help inform matching appropriate data representation to type and purpose. Also in the 1980s, pulse oximeters came into widespread use. Pulse oximeters can sonify oxygen concentration of blood by emitting higher pitches for higher concentrations. However, in practice this particular feature of pulse oximeters may not be widely utilized by medical professionals because of the risk of too many audio stimuli in medical environments. In 1992, the International Community for Auditory Display (ICAD) was founded by Gregory Kramer as a forum for research on auditory display which includes data sonification. ICAD has since become a home for researchers from many different disciplines interested in the use of sound to convey information through its conference and peer reviewed proceedings. In May 2022, NASA reported the sonification (converting astronomical data associated with pressure waves into sound) of the black hole at the center of the Perseus galaxy cluster.