CC BY
7
УДК 159.93 DOI 10.18522/2311-3103-2021-7-109-119
В.Н. Носуленко, И.А. Басюл, Е.Ю. Зыбин, М.А. Леликов
ПРОСТРАНСТВЕННОЕ РАЗДЕЛЕНИЕ ИНФОРМАЦИИ В САМОЛЕТНОМ ПЕРЕГОВОРНОМ УСТРОЙСТВЕ
Представлены некоторые результаты исследований, направленных на разработку человеко-машинных интерфейсов, учитывающих мультимодальный характер человеческого восприятия, для использования в бортовом оборудовании воздушного судна. В частности, речь идет о возможности более широкого применения звуковых каналов для ввода и вывода информации. Преимущества звуковых интерфейсов по отношению к зрительным и тактильным заключаются, прежде всего, в отсутствии необходимости направленного внимания пилота, в возможности создавать слуховые объекты в трехмерном пространстве и указывать направление на несколько разных объектов одновременно. В экспериментах были протестированы возможности пространственного разделения речевых информационных потоков в самолетном переговорном устройстве в ситуациях, когда уровень помехи существенно превышал уровень целевого речевого сообщения. Оценивались показатели распознавания целевого сообщения на фоне двух типов звуковой помехи: звук другого речевого сообщения и шум авиационного двигателя. Результаты показали, что пространственное разделение звуковых сообщений существенно повышает способность оператора распознавать их содержание, независимо от типа помехи. Максимальное количество ошибок при распознавании целевого сообщения соответствует его пространственному положению в том же направлении, что и звук помехи. При этом, распознавание сообщения значимо лучше, если оно произнесено женским голосом. Обнаружен также факт пространственной асимметрию правильных распознаваний: сообщения, поступающие справа, распознаются лучше, чем в случаях их поступления слева. Практическая значимость исследования касается возможности создания переговорных устройств с повышенной защищенностью от конфликтов между разными информационными потоками, а также от воздействия внешних акустических шумов. Перспектива видится в использовании трехмерных звуковых интерфейсов не только в составе переговорного устройства, но и для систем навигации и управления самолета, а также контроля его состояния.
Звуковой интерфейс; слуховое восприятие; пространственный звук; речевое сообщение; самолетное переговорное устройство.
V.N. Nosulenko, I.A. Basul, E.Yu. Zybin, M.A. Lelikov
SPATIAL SEPARATION OF INFORMATION IN THE AIRCRAFT COMMUNICATION DEVICE
The article presents some results of research aimed at the design of human-machine interfaces, taking into account the multimodal nature of human perception, for use in the on-board equipment of an aircraft. In particular, we are talking about the possibility of a wider use of audio channels for input and output of information. The advantages of sound interfaces in relation to visual and tactile ones are, first of all, in the absence of the need for directed attention of the pilot, in the ability to create auditory objects in three-dimensional space and indicate the direction to several different objects at the same time. In the experiments, the possibilities of spatial separation of speech information flows in an aircraft intercom in situations where the level of interference significantly exceeded the level of the target speech message were tested. The indicators of target message recognition were evaluated in the presence of two types of sound interference: the sound of another speech message and the noise of an aircraft engine. The results showed that spatial separation of audio messages significantly improves the operator's ability to recognize their content, regardless of the type of interference. The maximum number of errors when recognizing a target message corresponds to its spatial position in the same direction as the noise of the interference. At the same time, message recognition is significantly better if it is pronounced in a female voice. The fact of spatial asymmetry of correct recognitions was also revealed: messages arriving from the right are
recognized better than in cases of their arrival from the left. The practical significance of the research concerns the possibility of creating intercom with increased security against conflicts between different information flows, as well as against the impact of external acoustic noise. The prospect is seen in the use of three-dimensional audio interfaces not only as part of an intercom, but also for navigation and aircraft control systems, as well as monitoring its state.
Sound interface; auditory perception; spatial sound; speech message; aircraft intercom.
Введение. В статье представлены некоторые результаты экспериментальных исследований, направленных на разработку человеко-машинных интерфейсов, в которых учитывается мультимодальный характер человеческого восприятия. В частности, речь идет о возможности более широкого применения звуковых каналов для ввода и вывода информации. Преимущества звуковых интерфейсов по отношению к зрительным и тактильным заключаются, прежде всего, в том, что они не требует направленного внимания оператора. С помощью звукового интерфейса можно распределять звуковые объекты в трехмерном пространстве и указывать направление на несколько разных объектов одновременно. При этом звук, локализованный в определенной точке пространства, не мешает восприятию оператором другой информации (например, речевой), поступающей одновременно из другой точки. Показано, что звуковой интерфейс способствует увеличению скорости выполнения задач визуального поиска, существенно облегчает работу оператора с информацией, поступающей по зрительному каналу, и может применяться для замены или дублирования зрительной информации [2; 4; 6-8; 11; 15; 18; 21-22; 25-26].
В данной работе изучалась возможность пространственного разделения информации, поступающей пилоту при использовании самолетного переговорного устройства. Такое разделение способствует возникновению так называемого «коктейль-эффекта» (Cocktail Party Phenomenon), в следствии которого улучшается разборчивость разных потоков речевой информации и снижается общая когнитивная нагрузка на оператора [3; 9; 11-14; 16-19; 26]. Большинство исследований в этой области заключалось в оценке распознаваемости речи, одновременно поступающей от разных источников. Как правило, звуки речи в экспериментах предъявлялись слушателю с примерно одинаковой интенсивностью [13].
В экспериментах оценивались показатели распознавания слушателем значимой речевой информации (целевой звук) при наличии в переговорном устройстве звуковой «помехи», существенно превышающей целевой по уровню. Было проведено два эксперимента, различающихся типом помехи. В первом эксперименте моделировалась ситуация распознавания голосового сообщения (целевой звук) на фоне других голосовых сообщений, поступающих одновременно (помеха). Во втором эксперименте использовалась шумовая помеха (шум авиационного двигателя в кабине самолета, записанный во время полета).
Мы ожидали, что пространственное разделение направлений на источники целевого звука и помехи повысит распознаваемость целевого сообщения.
Стимульный материал и дизайн экспериментов. В обоих экспериментах целевые голосовые сообщения, представляли собой двузначные числа, произнесенные мужским или женским голосом. Эти числа были выбраны из таблицы случайных чисел таким образом, чтобы в процессе эксперимента не было ни одного повторяющегося числа.
В первом эксперименте голосовая помеха представляла фразу, также произнесенную мужским или женским голосом. В каждой тестовой комбинации сообщения и помехи тип голоса был один и тот же (женский-женский или мужской-мужской). Уровень предъявления помехи всегда превышал уровень предъявления целевого сообщения на 24 dB. Этот уровень был определен в предварительном эксперименте как пороговый для распознавания целевого сообщения, поступаю-
щего из того же направления, что и помеха (по центру). В процессе эксперимента распознавание целевого сообщения оценивалось в пяти ситуациях его пространственного разделения с помехой: 1) целевое сообщение и помеха по центру; 2) сообщение по центру, помеха слева; 3) сообщение по центру, помеха справа; 4) сообщение слева, помеха справа; 5) сообщение справа, помеха слева. Все комбинации были записаны в звуковые файлы длительность которых варьировалась от 1 до 2,3 секунд. В процессе прослушивания каждая комбинация предъявлялась по 20 раз (10 - сообщение женским голосом, 10 - сообщение мужским голосом). Таким образом, всего в процессе эксперимента участник прослушивал 100 звуков.
Во втором эксперименте тестировалось два соотношения уровней шумовой помехи и целевого сообщения: +18 dB и +24 dB. Целевое сообщение локализовалось в трех пространственных положениях относительно слухового пространства испытуемого (слева, по центру, справа). Стереофоническая запись шума в кабине самолета воспроизводилась в условиях панорамирования по центру. В процессе прослушивания каждая комбинация пространственного положения целевого сообщения и соотношения уровней помехи предъявлялась по 16 раз (8 - сообщение женским голосом, 8 - сообщение мужским голосом), всего 96 предъявлений.
В обоих экспериментах для адаптации вначале предъявлялось по 8 дополнительных звуковых комбинаций, ответы на которые не учитывались при обработке данных. Различные комбинации тестовых звуков воспроизводились управляющим компьютером в случайном порядке и предъявлялись через наушники (AKG K240 MkII) на комфортном уровне.
Дифференциация условий предъявления звуков осуществлялась за счет разности интенсивностей сигналов правого и левого звуковых каналов.
Предъявление звуков осуществлялось компьютерной программой, с помощью которой испытуемый самостоятельно управлял последовательностью предъявления. Задачей испытуемого было определить и записать в соответствующем окне на экране компьютера услышанное число. Каждый звук сообщения предъявлялся только один раз. Если испытуемый не мог определить, какое число было произнесено, он должен был ответить «0». При запуске программы на экране компьютера появлялась общая инструкция и окно для регистрации испытуемого. После ознакомления с общей инструкцией и заполнения регистрационных данных (имя, фамилия, возраст, пол), испытуемый мог перейти к эксперименту, щелкнув по кнопке «Начать». Затем появлялись окна, но которых последовательно появлялись инструкции по выполнению трех конкретных операций: (1) прослушать звук, щелкнув мышкой по кнопке «Слушать» (2) напечатать услышанное число в соответствующем поле, (3) перейти к следующему стимулу, щелкнув по кнопке «Дальше».
Для каждой комбинации предъявления целевого сообщения и помехи рассчитывалось относительное количество правильных распознаваний сообщения к. Показатель к определялся как соотношение количества правильных распознаваний (Ntrue) и количества ошибочных ответов, или ответов о невозможности определить произнесенное число (Nf^), следующим образом:
к = Ntrue / Nfaise.
При сравнения средних значений показателей правильного распознавания использовался t-критерий попарных выборок при положительном тесте на нормальность (Shapiro-Wilk), и Wilcoxon Signed Rank Test при его отсутствии.
Продолжительность эксперимента 1 для разных испытуемых составляла от 7 до 11 минут. В экспериментах участвовало 18 испытуемых в возрасте от 21 до 35 лет (средний возраст 26 лет).
Продолжительность эксперимента 2 для разных испытуемых составляла от 15 до 20 минут. В экспериментах участвовало 33 испытуемых в возрасте от 18 до 34 лет (средний возраст 24 года).
Результаты эксперимента 1. Анализ полученных данных показал, что в случае пространственного разделения целевого сообщения и помехи показатель правильного распознавания сообщения достигает 78 %, в отличие от данных неразделенного предъявления, где средний показатель правильного распознавания был ниже 50 % (рис. 1). Все ситуации пространственного разделения обеспечивают значимое различие (р <0,01) показателей к от ситуации общего пространственного расположения целевого сообщения и помехи.
Рис. 1. Показатели правильного распознавания сообщения в разных ситуациях его пространственного разделения с помехой. Среднее по группе испытуемых
При этом не было обнаружено значимых различий между разными ситуациями предъявления (сообщение по центру, помеха слева; сообщение по центру, помеха справа; сообщение слева, помеха справа; сообщение справа, помеха слева).
Более детальный анализ показал, что целевые сообщения, произнесенные женским голосом, на фоне помехи, произнесенной также женским голосом, распознавались значимо лучше (для всех случаев р <0,01) чем аналогичные комбинации, произнесенные мужским голосом (рис. 2).
Рис. 2. Показатели правильного распознавания сообщения в разных ситуациях его пространственного разделения с помехой. Ж - сообщение и помеха произнесены женским голосом; М - сообщение и помеха произнесены мужским голосом. Среднее по группе испытуемых
Таким образом результаты показали, что пространственное разделение звуковых сообщений существенно повышает способность оператора распознавать содержание сообщения, даже, если уровень его предъявления многократно ниже уровня маскирующего звука.
Результаты эксперимента 2. На рис. 3 показаны средние по группе испытуемых показатели правильных распознаваний целевого сообщения (к) для ситуаций их расположения по центру, справа и слева на фоне шума, локализуемого по центру в зоне стереоэффекта 30°. Представлены данные, соответствующие двум соотношениям сообщение/шум: -18 Ж и -24 Ж.
I а-ШВ □ -24сШ |
1 1 "1 °-75 С 1 II = я 0,50 ¡1 £ £ 1 8 1 1 £ 1
ш
Слева По центру Расположение эеука сообщения Справа
Рис. 3. Показатели правильного распознавания сообщений при предъявлении звуков на фоне шума, воспроизводимого со стереобазой 30°. Среднее по группе испытуемых
Как видно из рисунка, существует значимое снижение количества правильных распознаваний сообщений (р <0,001), если их пространственное положение совпадает с положением шума. Такие различия характерны для обоих соотношений звук/шум. Однако общая доля правильных распознаваний сообщений, предъявляемых на уровне -24 Ж, резко падает (р <0,005) и не достигает 50 %.
Следующие рисунки показывают особенности распознавания целевых сообщений, произнесенных женским или мужским голосом.
На рис. 4 представлены результаты анализа данных, относящихся к распознаванию сообщений, произнесенных женским голосом, и сообщений, произнесенным мужским голосом на уровне -18 а на рис. 5 - на уровне -24 ® относительно шума.
Рис. 4. Показатели правильного распознавания сообщений (к„) при предъявлении звуков на фоне шума, воспроизводимого со стереобазой 30° при уровне сообщение/шум -18 йБ. Ж - сообщение и помеха произнесены женским голосом; М - сообщение и помеха произнесены мужским голосом. Среднее по группе испытуемых. Линии погрешности означают стандартное отклонение данных по группе
I IM df|
1,00 -
11 w
Спеаа По центру Справа
Расположение звука сообщения (уровень - zu дБ)
Рис. 5. Показатели правильного распознавания сообщений (кЩ при предъявлении звуков на фоне шума, воспроизводимого со стереобазой 30° при уровне сообщение/шум -24 йБ.
Ж - сообщение и помеха произнесены женским голосом; М - сообщение и помеха произнесены мужским голосом. Среднее по группе испытуемых. Линии погрешности означают стандартное отклонение данных по группе
Рисунки показывают, что во всех вариантах позиционирования сообщений, сообщение, произнесенное женским голосом, распознается значимо лучше, чем сообщение, произнесенное мужским голосом (в обоих случаях, р <0,01 для сообщений, предъявляемых слева, ир <0,005 для сообщений, произнесенных по центру и справа).
Эти результаты подтверждают данные, полученные в первом эксперименте, когда в качестве помехи (шума) выступало другое речевое сообщение.
Заключение. Для тестирования прототипа ПО пространственного звукового интерфейса было разработан и реализован экспериментальный дизайн, позволяющий оценить эффективность пространственного разделения голосовых сообщений для двух типов помехи в переговорном устройстве: (1) голосовая помеха (другое голосовое сообщение); (2) шумовая помеха (шум авиационного двигателя в кабине самолета, записанный во время полета.
По результатам проведенных тестов можно сделать следующие выводы.
1. Пространственное разделение звуковых сообщений существенно повышает способность оператора распознавать содержание сообщения, даже, если уровень его предъявления многократно ниже уровня маскирующего звука. Этот вывод справедлив как для ситуации голосовой помехи (произнесение другого сообщения), так и для ситуации, когда помехой является распределенный в пространстве шум авиационного двигателя.
2. В ситуации голосовой помехи максимальное количество ошибок при распознавании целевого сообщения соответствует его пространственному положению в том же направлении, что и звук помехи.
3. Пространственное разделение голосовой помехи и целевого голосового сообщения, предъявленного на уровне -24 dB относительно помехи, позволяет оператору правильно распознать содержание сообщения, в среднем, в 78 % случаев.
4. В ситуации шумовой помехи, влияние пространственного разделения звуков сообщения и шума аналогично ситуации голосовой помехи: наименьшее количество правильных распознаваний сообщения соответствует его приходу их того же направления, в котором сконцентрирован шум; при разделении этих направлений, показатели правильных распознаваний значимо возрастают. Это характерно, как для соотношения уровней сообщение/шум, равного - 18 dB, так и для соотношения, равного - 24 dB.
5. В ситуации шумовой помехи, равномерно распределенной по передней части слухового пространства (зона стереоэффекта 180°), когда при прослушивании через наушники основная энергия шума локализуется в районе ушей, наоборот, наилучшее распознавание сообщения соответствует локализации его звучания по центру.
6. В ситуации голосовой помехи сообщение, произнесенное женским голосом на фоне помехи, произнесенной таким же голосом, распознается значимо лучше, чем в случаях, когда и сообщение, и помеха произнесены мужским голосом.
7. В ситуации шумовой помехи также показатель распознавания значимо выше, если сообщение произносится женским голосом.
Последние выводы можно объяснить тем, что спектр мужского голоса содержит больше низкочастотных составляющих, чем спектр женского голоса. Поэтому он сильнее маскируется шумом авиационного двигателя, в котором низкие звуки доминируют. Вместе с тем, результаты тестов показали, что и в ситуации голосовой помехи сообщения, произнесенные женским голосом, также распознаются лучше. Здесь различия в спектрах сообщения и помехи не могут быть объяснительными (сообщения и помеха являются одним и тем же источником звука). По-видимому, этот факт требует более глубокого исследования, которое выходит за рамки поставленных задач. Но по полученным результатам тестов можно сделать вывод, что при разработке звуковых интерфейсов, предназначенных для передачи голосовых сообщений, следует отдавать предпочтение женскому голосу.
Отдельно следует отметить другой факт, обнаруженный в результатах проведенных тестов. Речь идет об асимметрии показателя правильного распознавания сообщений, которые локализуются справа и слева: во всех случаях, когда сообщения поступали справа, правильных распознаваний было больше, чем в случаях поступления сообщений слева). Результаты контроля относительных уровней сигналов в правом и левом каналах системы исключают асимметрию за счет дефекта техники. Эта тенденция наблюдается на всех относительных уровнях предъявления сообщения (- 18 dB и - 24 Ж).
Аналогичные результаты были получены в наших исследованиях еще в 1991 году [4]. Одно из предположений о причинах выявленной асимметрии связывалось тогда с функциональной специализацией полушарий головного мозга. Однако, как показал анализ публикаций по этой тематике, у разных исследователей получены противоречивые данные о роли функциональной специализации в пространственном слухе человека. Позднее пространственная асимметрии восприятия сложного звука получила объяснение в рамках экологического подхода [7]: в процессе своего опыта человек больше взаимодействует с внешними объектами, находящимися справа, что позволяет ему дифференцировать больше деталей в правой части окружающего пространства (т.е. в правой части пространства чувствительность к различению разных объектов у него выше, чем в левой части). Разумеется, погружение в дискуссию по вопросам пространственной асимметрии слуха не входит в задачи данной работы. Однако мы считаем, что эти вопросы заслуживают особого внимания при практическом внедрении пространственных звуковых интерфейсов и дисплеев. Дисплеи (зрительные и слуховые), воспроизводящие информацию, требующую первостепенного внимания, следует располагать справа. Соответственно, пространственные звуковые интерфейсы должны направлять наиболее значимую информацию в правую часть слухового пространства, а второстепенную - в левую часть.
Таким образом, практическая значимость проведенного исследования касается возможности создания переговорных устройств с повышенной защищенностью от конфликтов между разными информационными потоками, поступающими пи-
лоту одновременно, а также от воздействия внешних акустических шумов. Дифференциация в пространстве сообщений, поступающих от разных источников, позволит точнее ориентировать пилота на действия, которые требуются в соответствии с содержанием конкретного сообщения. Это будет способствовать снижению общей когнитивной нагрузки на пилота и, тем самым, повышению общей надежности выполняемых им действий.
Ограничения созданного прототипа ПО пространственного звукового человеко-машинного интерфейса кабины экипажа заключаются прежде всего в том, что разработка данного этапа предназначена для применения с использованием стандартных устройств звуковоспроизведения (наушников), в которых пространственное разделение кажущихся источников звука осуществляется за счет управления разностью интенсивностей в правом и левом каналах звукопередачи. Такой способ воспроизведения обеспечивает восприятие звука в разных точках пространства, ощущаемого «внутри головы», что существенно снижает естественность восприятия. Имеющиеся данные о современных технологиях записи и воспроизведения трехмерного звука говорят о возможности качественного повышения эффективности работы пространственного звукового интерфейса, в том числе, обеспечить возможность восприятия кажущихся источников звука «вне головы», при воспроизведении звуковых сигналов с помощью наушников. Речь идет о цифровой обработке трехмерного пространственного звука с помощью передаточных функций головы (HRTF) [1-2; 5; 9-10; 16; 20; 22; 23-24; 27]. Производительность современных систем регистрации, обработки и воспроизведения звука позволяет создать систему, обеспечивающую реконструкцию пространственного восприятия в реальном акустическом пространстве (т.е. обеспечить хороший «эффект присутствия»). При этом появляется возможность созданий звуковой пространственной картины в открытом звуковом поле, а не только при использовании наушников.
Дальнейшая перспектива видится в исследованиях психоакустических закономерностей, позволяющих использовать возможности трехмерных звуковых интерфейсов не только в составе переговорного устройства, но и для создания систем навигации и управления самолета, а также контроля его состояния.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Алдошина И.А., Игнатов П.В., Иванов ЮМ. Бинауральный синтез в искусстве записи и воспроизведения звука // Современные проблемы науки и образования. - 2015. - № 1-1. - URL: http://www.science-education.ra/ra/article/view?id=17467 (дата обращения: 26.07.2020).
2. Басюл И.А., Обелец В.С. Опыт регистрации HRTF в реверберационных условиях // XIV Всероссийская мультиконференция по проблемам управления (МКПУ-2021): Матер. XIV мультиконференции (Дивноморское, Геленджик, 27 сентября - 2 октября 2021 г.): в 4 т. Т. 3.^- Ростов-на-Дону; Таганрог: Изд-во ЮФУ, 2021. - С. 26-28.
3. БлауэртЙ. Пространственный слух. - М.: Связь, 1979. - 220 с.
4. Даниленко И.А., Носуленко В.Н. Пространственная асимметрия слухового восприятия // Проблемы экологической психоакустики. - М.: ИПАН, 1991. - С. 117-138.
5. Дворкович В.П., Дворкович А.В. Теория, практика и метрология аудиовизуальных систем: в 2-х кн. Кн. 2. - М.: Техносфера, 2019.
6. Носуленко В.Н. Психология слухового восприятия. - М.: Наука, 1988. - 216 с.
7. Носуленко В.Н. Психофизика восприятия естественной среды. Проблема воспринимаемого качества. - М.: Изд-во «Институт психологии РАН», 2007. - 399 с.
8. Носуленко В.Н. Звук в интерфейсах взаимодействия человека и техники // Экопсихоло-гические исследования-6: экология детства и психология устойчивого развития / под ред. В.И. Панова. - М.: ФГБНУ «Психологический институт РАО»; Курск: Университетская книга, 2020. - С. 155-159.
9. Носуленко В.Н., Басюл И.А., Зыбин Е.Ю., Леликов М.А. Пространственное разделение информационных потоков в самолетном переговорном устройстве // XIV Всероссийская мультиконференция по проблемам управления (МКПУ-2021): Матер. XIV мультикон-ференции (Дивноморское, Геленджик, 27 сентября - 2 октября 2021 г.): в 4 т. Т. 3. - Ростов-на-Дону; Таганрог: Изд-во ЮФУ, 2021. - С. 55-57.
10. Algazi V.R., Duda R.O., Thompson DM. The CIPIC HRTF database // IEEE Workshop on the Applications of Signal Processing to Audio and Acoustics, 2001, New Paltz, NY. - P. 99-102.
11. Begault D.R., Wenzel E.M. Techniques and Applications for Binaural Sound Manipulation in Human-Machine Interfaces // NASA Technical Memorandum 102279, 1990.
12. Brungart D.S., Simpson B.D. Cocktail party listening in a dynamic multitalker environment // Perception & Psychophysics. - 2007. - Vol. 69, No. 1. - P. 71-99.
13. Bronkhorst A. W. The Cocktail Party Phenomenon: A Review of Research on Speech Intelligibility in Multiple-Talker Conditions // Acustica - acta Acustica. - 2000. - Vol. 86. - P. 119-128.
14. CherryE.C. Some Experiments on the Recognition of Speech, with One and with Two Ears // The Journal of the Acoustical Society of America. - 1953. - Vol. 25, No. 5. - P. 975-979.
15. Cunio R.J., Dommett D., Houpt J. Spatial Auditory Cueing for a Dynamic Three-Dimensional Virtual Reality Visual Search Task // Proceedings of the Human Factors and Ergonomics Society 2019 Annual Meeting. - 2019. - P. 1766-177.
16. Deleforge A., HoraudR. The Cocktail Party Robot: Sound Source Separation and Localization with an Active Binaural Head // HRI 2012 - 7th ACM/IEEE International Conference on Human Robot Interaction, Mar 2012, Boston, United States. - P. 431-438.
17. Drullman R., Bronkhorst A.W. Multichannel speech intelligibility and talker recognition using monaural, binaural, and three-dimensional auditory presentation // J. Acoust. Soc. Am. - 2000.
- Vol. 107, No. 4. - P. 2224-2235.
18. Ephrat A., Mosseri I., Lang O., Dekel T., Wilson K., Hassidim A., Freeman W.T., Rubinstein M. Looking to Listen at the Cocktail Party: A Speaker-Independent Audio-Visual Model for Speech Separation // ACM Trans. Graph. - 2018. - Vol. 37, No. 4. Article 112.
19. Hawley M.L., Litovsky R.Y., Culling J.F. The benefit of binaural hearing in a cocktail party: Effect of location and type of interferer // The Journal of the Acoustical Society of America.
- 2004. - Vol. 115, No. 2. - P. 833-843.
20. Larsen C.H., Lauritsen D.S., Larsen J.J., Pilgaard M., Madsen J.B. Differences in Human Audio Localization Performance between a HRTF- and a non-HRTF Audio System // Proceedings of the AM'13, September 18-20. 2013, Pitea, Sweden, 2013.
21. Lima Y., Gardia A., Sabatinia R., Ramasamya S., Kistana T., Ezerc N., Vinced J., Boliad R. Avionics Human-Machine Interfaces and Interactions for Manned and Unmanned Aircraft // Progress in Aerospace Sciences. - 2018.
22. MacDonald J.A., Tran P.K. The Effect of Head-Related Transfer Function Measurement Methodology on Localization Performance in Spatial Audio Interfaces // Human Factors: The Journal of the Human Factors and Ergonomics Society. - 2008. - Vol. 50, No. 2. - P. 256-263.
23. Romigh G.D., Brungart D.S., Simpson B.D. Free-Field Localization Performance with a Head-Tracked Virtual Auditory Display // IEEE Journal of selected topics in signal processing.
- 2015. - Vol. 9, No. 5. - P. 943-954.
24. Saito K.Y., Iwaya Y., Suzuki Y. The Technique of Choosing the Individualized Head-Related Transfer Function Based on Localization // Technical Report of IEICE. - 2004. - Vol. 104. - P. 1-6.
25. Zhang W., Samarasinghe P.N., Chen H., Abhayapala T.D. Surround by Sound: A Review of Spatial Audio Recording and Reproduction // Appl. Sci. - 2017. - No. 7. - P. 532-539.
26. Zhong X., Yost W. How many images are in an auditory scene? // The Journal of the Acoustical Society of America. - 2017. - Vol. 141, No. 4. - P. 2882-2892. - DOI: 10.1121/1.4981118.
27. Ziemer T., Schultheis H. Psychoacoustical signal processing for three-dimensional sonification // Proceedings of the 25th International Conference on Auditory Display (ICAD 2019). June 23-27 2019, Northumbria University, 2019.
REFERENCES
1. Aldoshina I.A., Ignatov P. V., Ivanov Yu.M. Binaural'nyy sintez v iskusstve zapisi i vosproizvedeniya zvuka [Binaural synthesis in the art of sound recording and reproduction], Sovremennye problemy nauki i obrazovaniya [Modern problems of science and education], 2015, No. 1-1. Available at: http://www.science-education.ru/ru/article/view?id=17467 (accessed 26 July 2020).
2. Basyul I.A., Obelets V.S. Opyt registratsii HRTF v reverberatsionnykh usloviyakh [Check-in experience HRTF in reverberation conditions], XIV Vserossiyskaya mul'tikonferentsiya po problemam upravleniya (MKPU-2021): Mater. XIV mul'tikonferentsii (Divnomorskoe, Gelendzhik, 27 sentyabrya - 2 oktyabrya 2021 g.) [XIV all-Russian multimedia conference on management (mcpu-2021): materials of the XIV conference (Divnomorskoye, Gelendzhik, 27 September - 2 October 2021)]: In 4 vol. Vol. 3. Rostov-on-Don; Taganrog: Izd-vo YuFU, 2021, pp. 26-28.
3. Blauert Y. Prostranstvennyy slukh [Spatial hearing]. Moscow: Svyaz', 1979, 220 p.
4. Danilenko I.A., Nosulenko V.N. Prostranstvennaya asimmetriya slukhovogo vospriyatiya [Spatial asymmetry of auditory perception], Problemy ekologicheskoy psikhoakustiki [Problems of ecological psychoacoustics]. Moscow: IPAN, 1991, pp. 117-138.
5. Dvorkovich V.P., Dvorkovich A.V. Teoriya, praktika i metrologiya audiovizual'nykh system [Theory, practice and metrology of audiovisual systems]: In 2nd book. Book 2. Moscow: Tekhnosfera, 2019.
6. Nosulenko V.N. Psikhologiya slukhovogo vospriyatiya [Psychology of auditory perception]. Moscow: Nauka, 1988, 216 p.
7. Nosulenko V.N. Psikhofizika vospriyatiya estestvennoy sredy. Problema vosprinimaemogo kachestva [Psychophysics of perception of the natural environment. The problem of perceived quality]. Moscow: Izd-vo «Institut psikhologii RAN», 2007, 399 p.
8. Nosulenko V.N. Zvuk v interfeysakh vzaimodeystviya cheloveka i tekhniki [Sound in human-technology interaction interfaces], Ekopsikhologicheskie issledovaniya-6: ekologiya detstva i psikhologiya ustoychivogo razvitiya [Ecopsychological research-6: Ecology of childhood and psychology of sustainable development], ed. by V.I. Panova. Moscow: FGBNU «Psikhologicheskiy institut RAO»; Kursk: Universitetskaya kniga, 2020, pp. 155-159.
9. Nosulenko V.N., Basyul I.A., Zybin E.Yu., Lelikov M.A. Prostranstvennoe razdelenie informatsionnykh potokov v samoletnom peregovornom ustroystve [Spatial separation of information flows in an airplane intercom device], XIV Vserossiyskaya mul'tikonferentsiya po problemam upravleniya (MKPU-2021): Mater. XIV mul'tikonferentsii (Divnomorskoe, Gelendzhik, 27 sentyabrya - 2 oktyabrya 2021 g.) [XIV All-Russian Multi-conference on Management Problems (MCPU-2021): materials of the XIV multi-conference (Divnomorskoe, Gelendzhik, September 27 - October 2, 2021)]: In 4 vol. Vol. 3. Rostov-on-Don; Taganrog: Izd-vo YuFU, 2021, pp. 55-57.
10. Algazi V.R., Duda R.O., Thompson D.M. The CIPIC HRTF database, IEEE Workshop on the Applications of Signal Processing to Audio and Acoustics, 2001, New Paltz, NY, pp. 99-102.
11. Begault D.R., Wenzel E.M. Techniques and Applications for Binaural Sound Manipulation in Human-Machine Interfaces, NASA Technical Memorandum 102279, 1990.
12. Brungart D.S., Simpson B.D. Cocktail party listening in a dynamic multitalker environment, Perception & Psychophysics, 2007, Vol. 69, No. 1, pp. 71-99.
13. BronkhorstA.W. The Cocktail Party Phenomenon: A Review of Research on Speech Intelligibility in Multiple-Talker Conditions, Acustica - acta Acustica, 2000, Vol. 86, pp. 119-128.
14. Cherry E.C. Some Experiments on the Recognition of Speech, with One and with Two Ears, The Journal ofthe Acoustical Society of America, 1953, Vol. 25, No. 5, pp. 975-979.
15. Cunio R.J., Dommett D., Houpt J. Spatial Auditory Cueing for a Dynamic Three-Dimensional Virtual Reality Visual Search Task, Proceedings of the Human Factors and Ergonomics Society 2019 Annual Meeting, 2019, pp. 1766-177.
16. Deleforge A., HoraudR. The Cocktail Party Robot: Sound Source Separation and Localization with an Active Binaural Head, HRI 2012 - 7th ACM/IEEE International Conference on Human Robot Interaction, Mar 2012, Boston, United States, pp. 431-438.
17. Drullman R., Bronkhorst A.W. Multichannel speech intelligibility and talker recognition using monaural, binaural, and three-dimensional auditory presentation, J. Acoust. Soc. Am., 2000, Vol. 107, No. 4, pp. 2224-2235.
18. Ephrat A., Mosseri I., Lang O., Dekel T., Wilson K., Hassidim A., Freeman W.T., Rubinstein M. Looking to Listen at the Cocktail Party: A Speaker-Independent Audio-Visual Model for Speech Separation, ACM Trans. Graph, 2018, Vol. 37, No. 4. Article 112.
19. Hawley M.L., Litovsky R.Y., Culling J.F. The benefit of binaural hearing in a cocktail party: Effect of location and type of interfere, The Journal of the Acoustical Society of America, 2004, Vol. 115, No. 2, pp. 833-843.
20. Larsen C.H., Lauritsen D.S., Larsen J.J., Pilgaard M., Madsen J.B. Differences in Human Audio Localization Performance between a HRTF- and a non-HRTF Audio System, Proceedings of the AM'13, September 18-20. 2013, Pitea, Sweden, 2013.
21. Lima Y., Gardia A., Sabatinia R., Ramasamya S., Kistana T., Ezerc N., Vinced J., Boliad R. Avionics Human-Machine Interfaces and Interactions for Manned and Unmanned Aircraft, Progress in Aerospace Sciences, 2018.
22. MacDonald J.A., Tran P.K. The Effect of Head-Related Transfer Function Measurement Methodology on Localization Performance in Spatial Audio Interfaces, Human Factors: The Journal of the Human Factors and Ergonomics Society, 2008, Vol. 50, No. 2, pp. 256-263.
23. Romigh G.D., Brungart D.S., Simpson B.D. Free-Field Localization Performance with a Head-Tracked Virtual Auditory Display, IEEE Journal of selected topics in signal processing, 2015, Vol. 9, No. 5, pp. 943-954.
24. Saito K.Y., Iwaya Y., Suzuki Y. The Technique of Choosing the Individualized Head-Related Transfer Function Based on Localization, Technical Report of IEICE, 2004, Vol. 104, pp. 1-6.
25. Zhang W., Samarasinghe P.N., Chen H., Abhayapala T.D. Surround by Sound: A Review of Spatial Audio Recording and Reproduction, Appl. Sci., 2017, No. 7, pp. 532-539.
26. Zhong X., Yost W. How many images are in an auditory scene?, The Journal of the Acoustical Society of America, 2017, Vol. 141, No. 4, pp. 2882-2892. DOI: 10.1121/1.4981118.
27. Ziemer T., Schultheis H. Psychoacoustical signal processing for three-dimensional sonification, Proceedings of the 25th International Conference on Auditory Display (ICAD 2019). June 23-27 2019, Northumbria University, 2019.
Статью рекомендовал к опубликованию д.психол.н., профессор В.И. Панов.
Носуленко Валерий Николаевич - Институт психологии Российской академии наук; e-mail: nosulenkovn@ipran.ru; г. Москва, Россия; д.психол.н.; г.н.с.
Басюл Иван Андреевич - e-mail: basjulia@ipran.ru; м.н.с.
Зыбин Евгений Юрьевич - ФГУП «Государственный научно-исследовательский институт авиационных систем»; e-mail: eyzybin@2100.gosniias.ru; г. Москва, Россия; д.т.н.; начальник лаборатории.
Леликов Максим Алексеевич - e-mail: malelikov@2100.gosniias.ru; к.т.н.; начальник лаборатории.
Nosulenko Valery Nikolaevich - Institute of Psychology, Russian academy of sciences; e-mail: nosulenkovn@ipran.ru; Moscow, Russia; dr. of psychol. sc.; chief scientific officer.
Basul Ivan Andreevich - e-mail: basjulia@ipran.ru; junior researcher.
Zybin Evgeny Yur'evich - State Research Institute of Aviantion Systems; e-mail: eyzybin@2100.gosniias.ru; Moscow, Russia; dr. of eng. sc.; head of the laboratory.
Lelikov Maksim Alexeevich - e-mail: malelikov@2100.gosniias.ru; cand. of eng. sc.; head of the laboratory.
УДК 658.7: 656.07 + 06 Б01 10.18522/2311-3103-2021-7-119-129
О.Н. Числов, Э.А. Мамаев, М.В. Колесников, М.В. Бакалов, В.М. Задорожний
ИНТЕЛЛЕКТУАЛИЗАЦИЯ УПРАВЛЕНИЯ МУЛЬТИАГЕНТНЫМ ВЗАИМОДЕЙСТВИЕМ ПРИ ОРГАНИЗАЦИИ ГРУЗОВЫХ ПЕРЕВОЗОК В ПРИПОРТОВЫХ ТРАНСПОРТНЫХ СИСТЕМАХ
В условиях множественности операторов и собственников подвижного состава на сети железных дорог России имеют место следующие проблемы: излишняя загрузка пропускных и провозных способностей участков, встречный перепробег порожних вагонов одного типа, излишний пробег порожних вагонов, снижение участковой скорости и др. Для решения указанных проблем необходимо более эффективное взаимодействие участников
