Сонификация как сделать

Добавил пользователь Евгений Кузнецов
Обновлено: 04.10.2024

За последние несколько десятилетий в науке сформировался новый метод, позволяющий анализировать различные процессы на основе использования аудиального отображения информации. Так, данные, получаемые в ходе измерений, могут быть преобразованы в звуковые колебания, что дает возможность регистрировать их посредством звуковых каналов восприятия.
Показать полностью.

Такой подход получил название сонификация (англ. sonification) и на данный момент применяется во многих научных областях в качестве альтернативы визуальному представлению экспериментальных данных. При этом в качестве основных отличительных особенностей выделяется возможность обработки исследователем огромного количества параллельных информационных потоков в реальном времени, а также оперативное обнаружение изменения критических параметров.

Стоит отметить, что при создании систем сонификации отдельное внимание уделяется вопросам звукового дизайна: существует огромное множество техник и подходов, позволяющих отобразить входные данные на пространство параметров, управляющих звуком. При этом, зачастую, художественные поиски и эксперименты переводят такого рода проекты из поля научных исследований в поле цифрового искусства. Целью представленной лекции является знакомство слушателей как с научными проектами, так и с примерами компьютерной музыки и саунд-арта, в основу которых лег метод сонификации данных. Также будут освещены теоретические и практические аспекты, связанные с реализацией рассматриваемого подхода.

— Музей искусства Санкт-Петербурга 20-21 веков. Наб. канала Грибоедова, 103.


Есть бесчисленные вопросы о космосе, которые преследовали ученых на протяжении веков. Чтобы ответить на некоторые из них, мы послали орбитальные аппараты, космические корабли, а иногда даже людей, чтобы собрать образцы и сделать наблюдения, но как вы изучаете то, что не видите?

Люди, естественно, способны слышать и видеть только в определенных конкретных частотах и ​​длинах волн. Однако в космосе множество волн, которые находятся за пределами нашего узкого восприятия, так как же мы их изучаем?

Мы переводим, переделываем и адаптируем их в соответствии с нашими потребностями, чтобы мы могли наблюдать и анализировать их. Науку просто невозможно остановить!

Почему звук не может путешествовать в космосе?

Звуковые волны - это не что иное, как колебания воздуха. Когда эти вибрации находятся в диапазоне от 20 Гц до 20 кГц, мы можем их услышать!

Звуковые волны в основном распространяются путем вибрации частиц в среде, т. е. молекул воздуха. Эти колебания передаются последовательным частицам в среде, что означает, что звуковые волны не могут перемещаться без среды. Причина, по которой мы не можем слышать звук в пространстве, обычно связана с отсутствием такой среды.

Мы можем утверждать, что в космосе есть облака газов, которые могут действовать как среды, но газы не присутствуют равномерно по всему пространству. Кроме того, газы обычно менее плотны в космосе, что означает, что между частицами слишком большие расстояния, поэтому вибрации не могут эффективно распространяться.

Проще говоря, звук не может путешествовать в космосе.

Как ученые слышат звуки Вселенной?

Начнем с того, что ученые фактически не могут "слышать" космические звуки, но у них есть средства для изучения космических волн, преобразуя их в звуковые волны.

"Сонификация" - это преобразование любых не слуховых данных в звук и аналогично визуализации данных.

Метод преобразования называется Сонификации, если он соответствует определенным критериям:

  • Воспроизводимость, т. е. Важные элементы данных остаются неизменными, независимо от условий, при которых проводится Сонификация.
  • Данные должны обрабатываться ультразвуком таким образом, чтобы их могли различить даже неподготовленные слушатели.

Космос полно радиоволн, плазменных волн, магнитных волн, гравитационных волн и ударных волн, которые могут путешествовать в космосе без среды. Эти волны регистрируются приборами, которые могут воспринимать эти волны, и данные передаются на наземные станции, где волны кодируются звуком.

Любой слышимый звук имеет такие переменные, как частота, амплитуда и ритм. Различные пространственные волны согласуются с различными свойствами звука (частотой, амплитудой и т. д.) в разных пропорциях, чтобы получить звук.

НАСА имеет прибор под названием EMFISIS (Electrical and Magnetic Field Instrument Suite and Integrated Science), подключенный к двум спутникам Van Allen Probes, зондовый космический аппарат, который измеряет магнитные и электрические помехи, когда они окружают Землю. Есть три электрических датчика, которые измеряют электрические возмущения и три магнетрона, которые измеряют колебания в магнитных полях. Некоторые из электромагнитных волн лежат в диапазоне слышимых частот, который служит для ученых основой для перевода оставшихся записанных частот в слышимый диапазон для интерпретации данных. Эти знания о волнах и их тонах помогают нам понять схему, которой они следуют. Кроме того, это только волны, которые находятся вблизи атмосферы Земли.


Хотя научное сообщество уже давно бурлит вопросами, связанными с Солнцем и его недрами, мы также знаем, что ни один спутник или космический аппарат не может долететь до Солнца, не сгорев. Научное наблюдение за солнцем также практически невозможно из-за его яркости. Это оставляет нам возможность наблюдать полевые волны, которые окружают солнце, и естественные вибрации, которые возникают от солнца.

Поверхность солнца является конвективной из-за звуковых волн очень низкой амплитуды. НАСА создало солнечные звуки из данных, собранных в течение 40 дней с помощью гелиосферной обсерватории (SOHO) Michelson Doppler Imager (MDI). Эти данные были обработаны следующим образом:

  • Данные о допплеровской скорости, полученные из MDI (доплеровского тепловизора Майкельсона), были усреднены по солнечному диску Солнца.
  • Обработка проводилась таким образом, чтобы устранить эффекты движения космического аппарата и паразитные шумы.
  • Затем был использован фильтр для выбора чистых звуковых волн.
  • Наконец, данные были интерполированы, так что все недостающие места были покрыты.
  • Затем данные были масштабированы для соответствия диапазону слышимых частот.

Это всего лишь один метод, принятый учеными для изучения звуков космоса. Есть также датчики, которые измеряют электрическую активность пыли, когда комета проходит мимо космического корабля!

"Гигантские прыжки" - это мелодия, составленная НАСА, которая описывает объем научной активности, связанной с Луной. Каждый звук в музыке существует благодаря данным, которые мы получили. Чем выше шаг в данном разделе, тем больше научных публикаций за этот период.

Да, и космические волны далеки от того, что вы обычно слышите в кино. Не ждите грохота и свиста. Космические волны больше похожи на сирены и свистки!

Насколько полезны звуки космоса?

Десятки космических звуков прошли через процесс сонификации. Слуховая система человека уникальна в том смысле, что она может идентифицировать паттерны, поэтому мы распознаем, является ли определенный тон повторяющимся или нет. Эта возможность была использована учеными для разделения и идентификации данных.

Если вы посмотрите на набор данных и расшифруете его, было бы более разумно, если бы вы могли его услышать, а не анализировать экран всплесков или диаграмму. Вот почему Сонификация стала популярным методом анализа космических явлений.

Роберт Александр, специалист по ультразвуковой обработке в Исследовательской группе по солнечной и гелиосферной среде в Университете Мичигана, во время изучения солнечных данных услышал гул, частота которого соответствовала периоду вращения Солнца. Этот звук подразумевал, что он, вероятно, будет периодическим. Это помогло ему сделать вывод, что существуют как быстрые, так и медленные солнечные ветры, которые периодически обрушиваются на землю.

Это только один пример; сонификация также показала, что юпитерианская молния существует. Это помогло исследовать ударные волны, которые формируются, когда магнитное поле планеты препятствует солнечному ветру, и многое другое!

Ученые превратили эти звуки в музыку, применив цифровые технологии.

Эта практика сонификации была использована для инновационного сотрудничества между Европейской южной обсерваторией (ESO) стипендиатом Крисом Харрисоном и слабовидящим астрономом Университета Портсмута доктором Николасом Бонном. Доктор Бонн создал мюзикл, в котором он дал осязаемые формы звездам и черным дырам. Он и его команда переосмыслили звезды, связав громкость звука с яркостью звезды, тон с цветом звезды и так далее.

Это шоу было в основном попыткой открыть чудесный космический мир для аудитории, которая может иметь проблемы со зрением, учитывая, что астрономия в значительной степени связана со зрением и наблюдением.

Наука всегда была многомерной, и человеческое любопытство привело к некоторым поистине удивительным открытиям. Изучение пространства посредством сонификации - это один из таких прорывов, который дал нам силы и позволил заглянуть в глубины космоса, даже несмотря на то, что нам не хватает способности "смотреть" на вселенную.

Сонификация - это использование неречевого звука для передачи информации или восприятия данных. [1] Слуховое восприятие имеет преимущества во временном, пространственном, амплитудном и частотном разрешении, которые открывают возможности в качестве альтернативы или дополнения к методам визуализации .

Например, частота щелчков счетчика Гейгера передает уровень радиации в непосредственной близости от устройства.

Хотя многие эксперименты с ультразвуковой обработкой данных были исследованы на таких форумах, как Международное сообщество по звуковому дисплею (ICAD), ультразвуковая обработка сталкивается с множеством проблем при широком использовании для представления и анализа данных. Например, исследования показывают, что сложно, но необходимо обеспечить адекватный контекст для интерпретации данных ультразвуком. [1] [2] Многие попытки ультразвуковой обработки кодируются с нуля из-за отсутствия гибкого инструмента для исследования ультразвуковой обработки и изучения данных [3]

СОДЕРЖАНИЕ

Счетчик Гейгера , изобретенный в 1908 году, является одним из самых ранних и наиболее успешных применений озвучивания. Счетчик Гейгера имеет трубку с газом низкого давления; каждая обнаруженная частица генерирует импульс тока, когда ионизирует газ, производя звуковой щелчок. Первоначальная версия могла обнаруживать только альфа-частицы. В 1928 году Гейгер и Вальтер Мюллер (аспирант Гейгера) улучшили счетчик, чтобы он мог обнаруживать больше типов ионизирующего излучения.

В 1913 году доктор Эдмунд Фурнье д'Альбе из Университета Бирмингема изобрел оптофон , в котором селеновые фотодатчики использовались для обнаружения черного отпечатка и преобразования его в звуковой сигнал. [4] Слепой читатель мог поднести книгу к устройству и поднести устройство к той области, которую он хотел прочитать. Оптофон воспроизводил набор нот: gc 'd' e 'g' b 'c' 'e' '. Каждая нота соответствовала положению в области чтения оптофона, и эта нота заглушалась, если обнаруживались черные чернила. Таким образом, отсутствующие примечания указывали места, где черные чернила находились на странице, и их можно было использовать для чтения.

Поллак и Фикс опубликовали первые перцептивные эксперименты по передаче информации через слуховой дисплей в 1954 году. [5] Они экспериментировали с объединением звуковых параметров, таких как время, частота, громкость, длительность и пространственность, и обнаружили, что они могут заставить испытуемых регистрировать изменения. сразу в нескольких измерениях. Эти эксперименты не вдавались в подробности, поскольку каждое измерение имело только два возможных значения.

В 80-е годы широкое распространение получили пульсоксиметры . Пульсоксиметры могут определять концентрацию кислорода в крови ультразвуком, излучая более высокие частоты для более высоких концентраций. Однако на практике эта особенность пульсоксиметров не может широко использоваться медицинскими работниками из-за риска слишком большого количества звуковых стимулов в медицинских учреждениях. [9]

В 1992 году Грегори Крамер основал Международное сообщество слуховых дисплеев (ICAD) в качестве форума для исследований в области слуховых дисплеев, включая ультразвуковую обработку данных. С тех пор ICAD стал домом для исследователей из многих различных дисциплин, заинтересованных в использовании звука для передачи информации посредством конференций и рецензируемых трудов. [10]

  • Слуховой высотомер , также используется в прыжках с парашютом . [11]
  • Слуховой термометр [12]
  • Часы, например, со звуковым тиканием каждую секунду и со специальными перезвонами каждые 15 минут [13]
  • Бортовые слуховые дисплеи
  • счетчик Гейгера
  • Гравитационные волны на LIGO [1]
  • Интерактивная ультразвуковая обработка [14] [15] [16]
  • Медицинские [17] [18] и хирургические слуховые дисплеи [19] [20] [21] [22]
  • Мультимодальные (комбинированные) дисплеи для минимизации зрительной перегрузки и утомления
  • Навигация [23] [24] [25] [26]
  • Космическая физика [2]
  • Пульсоксиметрия в операционных и интенсивной терапии [27] [28] [29]
  • Сигнализация скорости в автотранспортных средствах
  • Сонар
  • Ультразвуковая обработка шторма и погоды [30] [3]
  • Обнаружение вулканической активности
  • Кластерный анализ данных большой размерности с использованием ультразвуковой обработки траектории частиц [4]
  • Объем и стоимость промышленного индекса Доу-Джонса [31]
  • Ультразвуковая обработка изображений для слабовидящих [32] [33]
  • CURAT Sonification Game [34], основанная на психоакустической сонификации [25] [26]
  • Тилтификация [35] на основе психоакустической ультразвуковой обработки [25] [26]

Можно изменить множество различных компонентов, чтобы изменить восприятие звука пользователем и, в свою очередь, восприятие им отображаемой информации. Часто увеличение или уменьшение некоторого уровня этой информации обозначается увеличением или уменьшением высоты звука , амплитуды или темпа., но также может указываться путем изменения других, менее часто используемых компонентов. Например, цена на фондовом рынке может быть изображена как растущая цена при повышении цены акций и понижающаяся при ее падении. Чтобы пользователь мог определить, что изображается более одного инвентаря, разные тембры или яркость могут быть использованы для разных материалов, или они могут воспроизводиться пользователю из разных точек пространства, например, через разные стороны наушников. .

Было проведено множество исследований, чтобы попытаться найти наилучшие методы для представления различных типов информации, но до сих пор не было сформулировано окончательного набора методов, которые можно было бы использовать. Поскольку область обработки ультразвуком все еще находится в зачаточном состоянии, текущие исследования направлены на определение наилучшего набора звуковых компонентов, которые будут варьироваться в разных ситуациях.

Можно разделить на несколько различных методов звуковой визуализации данных:

  • Акустическая сонификация [36]
  • Аудификация
  • Модельно-ориентированная сонификация
  • Отображение параметров
  • Ультразвуковое исследование на основе потоков [37] [38]

Способствовать популяризации сонификации как инновационного метода наглядности в тифлопедагогике.

Описание

Слепые и слабовидящие дети не имеют возможности видеть этот мир. Для общего психического развития слепого ребенка очень важен слух. Сонификация – один из эквивалентов (слуховой) научной визуализации. В проекте показан метод звуковой сонификации сложного физического явления – фотоэффекта для слепых детей.

Задачи

1. Провести анализ научной литературы по теме исследования.

2. Найти различные способы передачи данных для слепых и слабовидящих людей и выявить наиболее подходящий.

3. Раскрыть актуальность использования сонификации как инновационного средства предоставления информации в тифлопедагогике.

4. Построить звуковую модель (сонификацию) явления фотоэффекта и законов фотоэффекта.

Тифлопедагогика – наука о воспитании и обучении лиц с нарушением зрения. Тифлопедагогика является частью общей педагогики и одним из разделов дефектологии.

Задачами тифлопедагогики как науки являются разработка путей и условий компенсации, коррекции и восстановления, нарушенных и недоразвитых функций при слепоте и слабовидении, изучение условий формирования и всестороннего развития личности при разных формах нарушения функций зрения. Большое внимание при этом уделяется созданию специальных технических средств, способствующих расширению познавательных возможностей лиц с нарушенным зрением, повышению эффективности их обучения.

Коррекционная направленность наглядного метода обучения требует индивидуального и дифференцированного подхода к учащимся со зрительной депривацией (сокращение либо полное лишение возможности удовлетворять основные потребности – психофизиологические либо социальные), поскольку зрительные возможности детей очень разные. В подобных случаях на помощь может прийти альтернативный метод представления информации, при котором она выражается в наборе звуков, – звуковая сонификация. Теория ощущений предполагает, что посредством слухового анализа продолжительности звуковых воздействий происходит дробление отдельных фаз звука, то нарастающего, то снижающегося по силе, то изменяющего периоды и колебания. В связи с этим возможна сонификация моделей сложных физических явлений, например фотоэффекта.

Фотоэффект – явление взаимодействия света или любого другого электромагнитного излучения с веществом, при котором энергия фотонов передаётся электронам вещества. Электромагнитное излучение, падающее на левый электрод вакуумной трубки, вырывает электроны из электрода, сообщая им кинетическую энергию. Благодаря этой энергии электроны достигают правого электрода, создавая в цепи электрический ток, называемый фототоком. Явление фотоэффекта было открыто Г. Герцем в 1887 году.

Оснащение и оборудование, использованное в работе

Результаты

В ходе работы были получены следующие результаты.

1. Были произведены поиск и структурирование научной литературы по заявленной тематике.

2. Найдены способы передачи данных и выявлен наиболее подходящий из них.

3. Установлено, что сонификация может быть использована как инновационное средство предоставления информации в тифлопедагогике.

4. Построена звуковая модель (сонификация) явления фотоэффекта и законов фотоэффекта.


Перспективы использования результатов работы

Использование предложенной программы позволит сонифицировать различные физические явления: броуновское движение, диффузию в газах и жидкостях, модель протекания электрического тока в различных средах.

Особое мнение

«С помощью своего проекта я хочу показать, как можно использовать сонификацию в целях развития слепых детей на примере звуковой модели сложного физического явления – фотоэффекта.

Читайте также: