CC BY
35
001: 10.31862/2309-1428-2020-8-1-25-40
МУЗЫКАЛЬНО-КОМПЬЮТЕРНЫЕ ТЕХНОЛОГИИ
В ОБРАЗОВАНИИ
КАК ИНСТРУМЕНТ РЕАЛИЗАЦИИ
ПОЛИМОДАЛЬНОСТИ
МУЗЫКАЛЬНОГО ВОСПРИЯТИЯ
И. Б. Горбунова, К. Ю. Плотников,
Российский государственный педагогический университет имени А. И. Герцена, Санкт-Петербург, Российская Федерация, 191186
Аннотация. Статья раскрывает психологические аспекты восприятия музыки и взаимодействия с нею человека при использовании музыкально-компьютерных технологий. Вскрывая противоречия, характерные для образовательной области «Искусство: Музыка», авторы предлагают и используют в своём исследовании междисциплинарный (психология, нейрофизиология, информатика и информационно-коммуникационные технологии, педагогика музыкального образования) подход в целостном рассмотрении феномена музыки в связи с явлениями и процессами её восприятия, (вос)создания, трансляции. Основная проблема обозначается как необходимость выявления и учёта психофизиологических факторов, влияющих на человека при его взаимодействии с музыкой. Поставленная цель — изучение эффекта конвергентности каналов воздействия в процессе применения музыкально-компьютерных технологий, проявляемого через феномен полимодальности восприятия художественного образа. Цель достижима с применением анализа существующих трактовок полимодальности восприятия, а также — коннотаций и классификаций синестезий в процессе восприятия, в том числе — на примерах технологического и культурологического проявления полимодального характера восприятия искусства (синкретизм, ассоциативность как метод трактовки художественного образа). Выносятся на обсуждение выводы о дальнейших перспективах изучения и развития полимодальности восприятия и репрезентации художественного образа музыкального произведения как одной из основных отличительных черт актуализировавшегося в музыкально-компьютерных технологиях эффекта конвергентности, а также — выводы о необходимости изучения эффекта виртуа-
25
© Горбунова И. Б., Плотников К. Ю., 2020
Контент доступен по лицензии Creative Commons Attribution 4.0 International License The content is licensed under a Creative Commons Attribution 4.0 International License
МУЗЫКАЛЬНОЕ ИСКУССТВО И ОБРАЗОВАНИЕ MUSICAL ART AND EDUCATION
2020. Т. 8. № 1 2020, vol. 8, no. 1
лизации, использования потенциала данных технологий и полимодальной природы человеческого восприятия для развития целостного понимания произведений искусства.
Ключевые слова: восприятие, информация, конвергентность, музыкальное образование, музыкально-компьютерные технологии, полимодальная перцептивная система, синестезия, синкретизм, художественный образ.
Благодарности: Авторы выражают благодарность главному редактору журнала, профессору Е. В. Николаевой и члену редакционной коллегии, профессору А. В. Тороповой за конструктивные предложения, высказанные в процессе работы над данной статьёй.
Для цитирования: Горбунова И. Б, Плотников К. Ю. Музыкально-компьютерные технологии в образовании как инструмент реализации полимодальности музыкального восприятия // Музыкальное искусство и образование / Musical Art and Education. 2020. Т. 8. № 1. С. 25-40. DOI: 10.31862/2309-1428-2020-8-1-25-40.
DOI: 10.31862/2309-1428-2020-8-1-25-40
MUSIC COMPUTER TECHNOLOGIES IN EDUCATION AS A TOOL FOR IMPLEMENTING THE POLYMODALITY OF MUSICAL PERCEPTION
Irina B. Gorbunova, Konstantin Yu. Plotnikov,
26 The Herzen State Pedagogical University of Russia, St. Petersburg, Russian Federation, 191186
Abstract. The article reveals the psychological aspects of the perception of music and interaction with it when using music computer technologies, which are a software and hardware complex (musical computer, keyboard synthesizer, DJ console, smartphone with sound programs, etc.) in conjunction with the methodology of its application in creativity and in music training. Revealing the contradictions that are typical for the educational field "Art: Music", the authors propose and use in their research an interdisciplinary approach (psychology, neurophysiology, pedagogy, computer science and Information & Communication Technology) in a holistic consideration of the phenomenon of music in connection with the phenomenon and processes of its perception, creation, and translation. The main problem is identified as the need to identify and take into account the psychophysiological factors that affect a person when interacting with music. The goal is to study the effect of convergence of the music computer technologies, manifested
through the phenomenon of polymodality of perception of an artistic image is solved through the analysis of existing interpretations of polymodality, related connotations and classifications of synesthesia, using examples of technological and cultural manifestations of the polymodal nature of perception (syncretism of arts, associativity as a method of interpretation of an artistic image). Discussed insights on the future prospects of the study of polymodality of perception and representation of the artistic image of a musical work as one of the key features actualized in music computer technologies the effect of convergence and to explore the effect of virtualization, the use of potential of these technologies and multimodal nature of human perception for the holistic understanding of works of art.
Keywords: artistic image, convergence, information, multimodal perceptual system, music computer technologies, musical education, perception, syncretism, synesthesia.
Acknowledgements: The authors express their gratitude to the editor-inchief of the journal, Professor E. V. Nikolaeva and a member of the editorial Board, Professor A. V. Toropova for the constructive suggestions made during the work on this article.
For citation: Gorbunova I. B., Plotnikov K. Yu. Music Computer Technologies in Education as a Tool for Implementing the Polymodality of Musical Perception. Muzykal'noe iskusstvo i obrazovanie = Musical Art and Education. 2020, vol. 8, no. 1, pp. 25-40 (in Russian). DOI: 10.31862/2309-1428-2020-8-1-25-40.
Введение в проблему цифровизации музыкального образования
Процесс тотальной информатизации (включая и цифровизацию) меняет мир современного человека во всём, что касается социальных, культурных, экономических и других отношений, приводя к замещению прежних форм организации и технологий новыми, чей эффект ещё не изучен, а значит, не может не вызывать интереса. В этих условиях педагогическим работникам предстоит объективно оценить те контрастные прогнозы (от очень или сдержанно опти-
мистических до самых фатальных), которые высказываются по отношению к технологическим новинкам.
В музыкальном (как в общем, так и в профессиональном) образовании наблюдается схожая с другими образовательными областями картина, характеризующаяся двумя противоречиями:
1. С одной стороны, появление новых цифровых средств создания и трансляции музыки (в том числе — используемых в качестве инструментария в процессе обучения искусству) открыло новые творческие и образовательные возможности (использование аудио-, видеозаписи ис-
27
28
полнения музыки учеником в целях рефлексии, более объективной оценки и последующей коррекции; более активное подключение не только слуха, но и других сенсорных каналов при работе над редактированием звука в компьютерных программах-приложениях, при работе с нотной записью в компьютерных нотных редакторах и т. д.). С другой стороны — ни зарубежное, ни отечественное образование, несмотря на некоторые попытки и успехи (введение профессионального профиля «Музыкально-компьютерные технологии», магистерской программы «Музыкально-компьютерные технологии в образовании» [1; 2]; европейские проекты "Soundcool" [3], "Into School" [4] и другие), не дают ответа на вопрос, через какие организационные формы, методические принципы, механизмы мониторинга надлежит в средней/высшей школе/в семье реализо-вывать потенциал новых технологических достижений?
2. С одной стороны, специалистам, реализующим инновации в каком-то определённом направлении, не обойтись без сотрудничества с коллегами-учёными, изучающими те же феномены и процессы в рамках своего профиля. С другой стороны — попытки внедрения новых средств, во-первых, не всегда имеют планомерный и взвешенный характер, во-вторых, зачастую встречают не реальную или хотя бы формальную поддержку среди отдельной части своего профессионального сообщества, а скрытое или явное противодействие (обзор причин оставим за рамками данной статьи).
Пути устранения таких противоречий мы видим в применении меж-
дисциплинарного подхода и целостного рассмотрения феномена музыки, в том числе проявляющегося в форме, обозначенной как «е-тшю> (К. Ю. Плотников [5] и другие), в совокупности с явлениями и процессами, связанными с её восприятием, (вос)созданием, трансляцией и т. д.
Необходимость в выборе именно таких методологических позиций, к которым следует добавить системный анализ, продиктована самой природой двух основных наблюдаемых сложных объектов — «музыки» и «человека», кроме того находящегося ещё и в позиции субъекта деятельности, напрямую или косвенно связанной с музыкой.
Особая сложность изучения проблем в сфере музыкального образования (в контексте которого проводится данное исследование) видится в необходимости интегративного познания основ и тонкостей акустики, электродинамики и т. д. (из физики), граней и особенностей творчества, конкретного вида музыкальной деятельности, возрастных ограничений (из нейрофизиологии, психологии, педагогики), положений музыкальной теории, фактов и определённых канонов (из истории музыки, эстетики, культурологи) и т. д.
Наблюдаемое в настоящее время в значительной степени «стихийное» распространение музыкально-компьютерных технологий (далее — МКТ), недостаточная мера изученности кон-венциональности, направленности на образовательные цели актуализировали необходимость комплексного изучения данного феномена.
По нашей гипотезе одной из важнейших характеристик МКТ является конвергентность в общенаучном и педагогическом понимании её как
качественно новой формы интеграции, которая проявляется в возможности более активного взаимодействия человека с музыкальным материалом не через один, а сразу через несколько сенсорных каналов.
При всём обогащении и усложнении потенциальных возможностей МКТ как новой творческой образовательной среды, главной проблемой музыкального образования остаётся, как и в до-цифровую эпоху, выявление и учёт психофизиологических факторов, влияющих на человека при его взаимодействии с музыкой (которую он поёт, играет, сочиняет, слушает, обрабатывает).
В контексте такого понимания мы определяем целью данного исследования изучение эффекта конвер-гентности каналов педагогического воздействия на учащегося посредством применения МКТ, который на современном уровне технологизации проявляется в полимодальности восприятия и репрезентации и должен учитываться при решении образовательных задач в области художественного творчества и педагогики музыкального образования.
Представление о полимодальности в контексте проблемы цифровизации образования
Полимодальность изучается с точки зрения нейрокогнитивных механизмов перцепции, к примеру, по предлагаемой нейрокогнитивной модели музыкальной перцепции S. Koelsch [6]), в связи с формированием, взаимосвязью и координацией постуральных, визуальных сигналов и навыков манипуляций предметами (J. Rachwani и другие [7]), выявлением механизмов
внимания (S. Merz и другие [8]), в том числе прослеживая влияние мультимодальных дистрактов на концентрацию внимания (P. J. Matusz и другие [9]) и таким образом — на эффективность процесса обучения (P. R. Pei-Luen и другие [10]), а также с точки зрения культурно-исторических и практико-методологических аспектов формирования музыкального сознания (Н. В. Морозова [11]).
Вкладываемые в понятие «полимодальность» коннотации в контексте исследований, ведущихся в разных научных направлениях, позволяют использовать данный термин в множественных значениях, отталкиваясь от контекстуальной многозначности понятий модус и модальность. К примеру, Л. Я. Дорфман, изучая личностные механизмы творческого процесса, вводит понятие «полимодальное Я», вкладывая в «Я-кон-цепцию четыре субмодальности: Авторское Я, Воплощённое Я, Превра-щённое Я, Вторящее Я» [12, с. 291].
Феномен мультимодальности в дуализме с синестезией (о ней — далее) изучается в психологии восприятия, в транспортной логистике, в лингвистике [13] и т. д. При этом даже в рамках общего психолингвистического направления одни исследователи (к примеру, Б. Уорф [14]) исходят из того, что метафора возникает из синестезии, другие же (С. Ульман [Там же]) синестезию рассматривают как древнюю, универсальную форму метафоры.
J. G. Cromley в числе наиболее востребованных практикой называет изучение следующих сторон поли(муль-ти)модальности:
• степень нагрузки рабочей памяти (человека) из-за поступающей
29
30
от разных сенсорных систем информации;
• сложности переработки человеком той информации, которая поступает в высоком темпе (например, в анимации, в сложных диаграммах и т. д.);
• проблема запоминания источника конкретной части информации при её мультисенсорном характере и потоковой подаче;
• адекватность смысловых выводов при восприятии информации, об-ращённой к разным модальностям и подаваемой серией текстов (включая проблему их согласованности между собой);
• выявление и использование преимуществ кодирования информации через несколько модальностей;
• проблема возможных отклонений от достоверности, что связано с фактами манипулятивных (в первую очередь и чаще — визуальных) воздействий [15].
Среди исследований в интересующем нас направлении психологии музыкальной деятельности и творчества стоит выделить работы Н. В. Морозовой, которая рассматривает применение ресурсов полимодальности для раскрытия образного содержания музыки, его вербального и невербального представлений при организации разных видов музыкальной деятельности школьника. Исследователь отмечает в числе психологических основ развития образного мышления закон образно-эмоционального единства музыкального восприятия и мышления и закон единства сознания и деятельности [11]. С этих же позиций выступаем и мы в нашем исследовании, в том числе выделяя самое важное в пред-
ставленном списке анализируемых работ других учёных.
Выстраивая концепцию интеграции звука и изображения, G. Atha-nasopoulos и М. Antovic предлагают модель полимодального восприятия музыкальной формы, куда включают такие уровни:
1 - мелкая моторика,
2 - пространственно-временные представления,
3 - "The Bouba-Kiki Effect" (соответствие между звучанием слова и геометрической формой) и широко инкультурированные (в том числе через процесс обучения музыке) коннотации,
4 - освоенные в социальном взаимодействии культурные символы,
5 - двухкомпонентная целостность музыкальных знаний и социально-культурного контекста,
6 - вербально оформленная коммуникация с другими музыкантами в связи с навыками, получаемыми при освоении музыки,
7 — индивидуальные ассоциации, в основе которых лежит персональный жизненный опыт [16, с. 83].
O. Doehrmann и M. J. Naumer, изучая взаимосвязь выводимого в итоге смысла и процессов аудиовизуальной интеграции, справедливо указывают на мультисенсорность как качество человеческого мозга [17]. Ссылаясь на предшественников (A. Martin; R. F. Goldberg и другие; G. A. Calvert и другие [Там же]), они сообщают, что данный механизм работы человеческого мозга выводит знания об объектах, включая сведения об их сенсорных свойствах. При этом осуществляемые когнитивные процессы происходят сенсорно-специфически, затрагивая соответствующие кортикальные
области, активизируемые сенсорной стимуляцией. Стоит отдельно выделить вывод данных авторов о том, что в случаях образования глубоких связей между модальными подкомпонентами «представление одного компонента в отдельности может быть достаточным для совместной активации коркового представления его аналогов в других сенсорных модальностях» [Там же, с. 147].
Подводя промежуточный итог, мы признаём в качестве более соответствующей известным фактам (полученным психофизиологией, нейрофизиологией человеческого мозга, нейропсихологией) и выдвигаемым на их основе концепциям позицию Б. М. Галеева, который согласно с логикой общего развития науки и истории данного вопроса даёт целостный анализ феномена полимодальной перцепции, выделяя в ней:
• координированное действие органов чувств, которое обеспечивает отражение действительности;
• взаимную сенсибилизацию — изменение восприимчивости (взаимоактивацию элементов системы) органов чувств;
• отражение в сознании тех связей, что возникают и выявляются в процессе синергетического отражения действительности, организованного как ассоциативное взаимодействие — синестезия [18].
Синестезия как «продукт» полимодальной перцептивной системы
В рамках человеческой психики синестезия (И. Е. Cytowic [19] и другие) является проявлением комплексной работы сенсорики, имею-
щей именно полимодальный характер. Являясь, с одной стороны, одним из базовых, с другой стороны, смутно или имплицитно осознаваемым механизмом восприятия, синестезия может проявляться:
• на уровне протекания нервных процессов и на уровне первичных рефлекторных реакций;
• при построении «образов» различных модальностей (что определено нами в качестве основного предмета данного исследования), и следующих следом или одновременно психических процессов, характеризующихся интегративностью механизмов сознания.
А. А. Заиченко и М. В. Картавен-ко резюмируют:
• одни исследователи принимают синестезию как «аномалию» (отталкиваясь от патологических случаев (А. Веллек, Х. Хейрман и другие);
• другие — как результат воздействия чего-то экстраординарного — наркотических веществ, медитативных техник и т. п. на организм, в том числе на органы чувств, на мозг
(С. Хоружий, Р. Кадош и другие); 31
• третьи — как особенный уровень развития сознания личности, характерный целостным субъективным восприятием полимодально представленной действительности (Ч. Осгуд, С. Л. Рубинштейн и другие);
• четвёртые — как феномен недифференцированной работы сенсорных путей, идущих от анализаторных систем к коре больших полушарий (С. Барон-Коэн, А. Р. Лурия и другие) [14].
Ещё один приводимый авторами принцип классификации разделяет:
• истинную синестезию (^ие-synesthesia) — случаи, зафиксирован-
ные психофизиологическими методами, в первую очередь, относящиеся к медицинским, неврологическим наблюдениям (Р. Цитовик, Д. Иглман и другие);
• и псевдо-синестезию ^еи^-synesthesia) — переживания, зафиксированные при исследовании когнитивных процессов, в практике эстетического восприятия, художественного (со)творчества, и с применением методов психологии и эстетики [14].
Наиболее точной среди различных вариантов классификации синестезии мы считаем ту, что предлагает Б. М. Галеев [18]. Исследователь отмечает, что двум «клиническим» формам (это искусственно моделируемые аномальные формы реальных ощущений и ассоциации невротического характера) противопоставляется «норма» в статусе культурного факта, представленного синестезиями, во-первых, ассоциативного происхождения, во-вторых, теми, что базируются на предыдущих синестезиях и продуцируются в процессе художественного, музы-„„ кального и других видов творчества. 32 А. А. Заиченко и М. В. Картавенко, опираясь на исследования зарубежных авторов, работы которых [19; 20; 21] анализируем и мы, отмечают следующее: в лингвистике синестезию принято рассматривать в качестве языковой универсалии, «при помощи которой связь чувств и ощущений фиксируется словесно», а в искусствоведческой науке (и практике) под синестезией понимается «ассоциативный, метафорический механизм переноса значения и качественных свойств с одного предмета на другой» [14, с. 6]. Но надо добавить, что сам процесс порождения си-нестетического опыта (через ассоциации) выходит за рамки лингвистики и
искусства, так как осуществляется не только на эстетическом уровне, но и на физиологическом, в режиме работы второй сигнальной системы.
Х. Хейрман [22], отмечая, что жизнь — это непрерывный синестети-ческий опыт, показывает в адаптированной им диаграмме G. Casa-grande интер-эстетический уровень / уровень здравого смысла как перемешивающиеся в любом порядке (в процессах декодификации и интеграции) отдельные перцепции (ауди-альные, визуальные, тактильные, обонятельные, вкусовые).
Все случаи синестезий, включая то, что психика получает как образ сенсорики (визуальный, кинестетический и т. д.), проявляющийся в деятельности художественного характера, — всё это из разряда интонем сознания (по А. В. Тороповой [23]). При этом единство вербальных, визуальных, слуховых и прочих чувственных форм в сопровождении эмоциональных образов объекта, по основной гипотезе, является отражением объективного мира [14]).
В итоге, определимся говорить о синестезии с пониманием её как нормы, а не тех патологических её отклонений, которые «возможны для любых целостных систем, находящихся в поле действия внешних и внутренних флюктуаций. Но, будучи исключением, <...> не могут считаться сущностным проявлением <человеческой> психики» [18, с. 160].
Выскажем предположение, что в описанных (R. E. Cytowic [19]) случаях активизации подобных аномальных эффектов проявления синестезии (которые вызваны путём сенсорной депривации, наркотическим и другими видами опьянения, практи-
кой медитации и т. п.) не «сплавление» протопатических компонентов (такое объяснение предлагает Б. М. Галеев) имеет место, а нечто другое. На наш взгляд, идёт процесс переключения работы головного мозга с его отделов новообразований (через которые осуществляется вербальное мышление) на более древнюю часть, которая, в условиях образовавшегося дефицита на обработанную «привычным» способом информацию, представляет ситуацию сенсуальным потоком, более ярко в этот момент отражающим работу органов чувств, а также — следы синаптических связей (имплицитно сохранённых фактов) глубинной памяти неокортекса.
На допустимость этого предположения указывают данные, полученные в последние годы нейрофизиологами, выделившими при изучении головного мозга новым инструментарием (томографы значительно большего разрешения) систему, названную дефолтная и связанную с процессами внутреннего мышления, базирующегося на активации памятных следов [22].
Аргументом в пользу высказанного выше предположения является приводимая Е. П. Харченко и А. Н. Шеповальниковым статистика обработки мозгом зрительной информации. Речь идёт о том, что сетчатка человеческого глаза ежесекундно принимает около 10 миллиардов бит информации, но до зрительной коры доходит только до 10 тысяч бит, а объём информации, задействованной для создания осознанного зрительного образа уже меньше 100 бит в секунду. Учёные заключают: «столь малого потока данных не должно хватать для формирования зритель-
ного образа, если этот поток информации единственный. По-видимому, в процесс вовлечена внутренняя активность мозга» [22, с. 25].
Синкретизм в искусстве как отражение полимодального характера восприятия реальности
Особенностью проявления феномена полимодальности можно считать синкретизм, под которым подразумевается исходная нерасчленённость функций мышления и восприятия, выражающаяся в синестезиях ощущений, в том числе — при восприятии художественных образов произведений искусств.
В контексте нашего исследования стоит отметить два показательных проявления синкретизма:
• нерасчленённость целостного чувственного образа объекта, что является характерной особенностью восприятия в детском возрасте (по исследованиям Ж. Пиаже [24], Э. Кла-пареда [25]);
• неразделимость форм экспрессии в первобытном искусстве, что ста- 33 ло вновь актуально в начале XX века
и особенно активно используется в информационную эпоху (распространённость синкретических видов искусства, тиражирование синкретических жанров — клипы, перформансы и т. д.).
Оба приведённых примера синкретизма являются «работающими» и в настоящее время, особенно — в комплексе содержания и методов педагогики общего и (пред)профес-сионального образования.
Художественное творчество в науке принято рассматривать целостно, при этом выделяя в исследовании процессуальную, продуктивную и
34
личностную стороны (Т. А. Барышева [26]). В каждой из них «психологической основой ассоциативно-творческой деятельности, возникновения метафорических, "отдалённых" ассоциаций творческого уровня является сенсорная (синестезия) и перцептивная (полимодальность) системы, что позволяет отнести их к базовым креативным параметрам» [Там же, с. 141].
В процессуальном смысле МКТ обращают музыканта к различным сенсорным системам: видеть ноты, прикасаться к инструменту, слышать звуковой результат; в продуктивном — ведут (как в любом творческом акте при взаимодействии с искусством) через генерацию художественного образа, целостность и отдельные детали которого — это индивидуальные синестезии-ассоциации конкретного человека (с его неповторимым жизненным опытом и особенностями функциональной морфологии мозга [27]).
Технологические возможности МКТ, в том числе в рамках проявления эффекта полимодальности, — это новый инструментарий, творчески на разном уровне осваиваемый и школьником, и музыкантом-профессионалом и включающий в себя «программные алгоритмы, регулирующие поведение компьютерной системы в процессе взаимодействия с исполнителем, <...> интерфейсы — сенсоры и контролёры, позволяющие передавать информацию от исполнителя к компьютеру» ([28]).
Характеризуя новые возможности современных информационных технологий, специалисты Государственного института русского языка имени А. С. Пушкина предлагают формировать «новую грамотность»: «По своей природе мультимодальный текст бли-
же не к письменным источникам, а к устной коммуникации, когда на человека воздействуют не только разговорная речь, но и жесты, мимика, физические особенности, положение собеседника в пространстве» [29]. Так и современное музыкальное образование может и должно быть построено непременно с учётом лучших традиций классической педагогики с усилением целостного эффекта полимодальности восприятия музыкального искусства, достичь которого позволяет грамотное использование МКТ.
Среди уже реализуемых в данном направлении образовательных практик стоит обратить внимание:
• на учебный курс "Soft Mozart" Е. Хайнер (см. [30]), где МКТ при обучении игре на клавишном музыкальном инструменте выступают в качестве интерактивной сетевой образовательной среды;
• на реализуемые учебно-методической лабораторией «Музыкально-компьютерные технологии» РГПУ имени А. И. Герцена в сотрудничестве с Академической гимназией № 56 и СОШ № 8 Санкт-Петербурга учебные курсы «Музыкально-компьютерные технологии» (к примеру, [31]), «Музыкальная информатика» (к примеру, [32]), осваивая которые сначала учителя, а потом и их ученики постигают теоретические и технологические основы и тонкости единства музыкального языка, музыкального искусства и творчества;
• на комплексный (при использовании МКТ) характер обучения современной цифровой звукорежиссуре (на курсах повышения квалификации, курсах профессиональной переподготовки в РГПУ имени А. И. Герцена, в других образовательных организаци-
ях в РФ и за её пределами ), где органично переплетается решение технологических, культурологических и художественных задач (к примеру, [33]).
Заключение
Авторы, на основании проанализированного и представленного в рамках данной статьи материала, выносят на обсуждение следующие выводы:
1. Полимодальность восприятия музыкального образа, которая ранее, до появления музыкально-компьютерных технологий, являлась возможным феноменом, но не обязательным качественным результатом творческого и образовательного процесса, напрямую или косвенно связанного с музыкой, в настоящее время стала одной из основных отличительных черт проявляемого в МКТ эффекта конвер-гентности каналов воздействия.
2. Представляемая проблема изучения эффекта полимодальности в отношении феномена МКТ, с одной стороны, является актуальной и находится в поле зрения ведущихся внутри- и междисциплинарных исследований, с другой стороны, делать поспешные выводы и довольствоваться предположениями ни авторы данной статьи, ни другие учёные пока не вправе, так как все мы находимся лишь в начале пути освоения потенциала технологических новшеств вкупе с изучением глубин человеческой психики в целях совершенствования процесса музыкального образования.
3. И свойство полимодальности восприятия, и МКТ — это инструменты (созданные самой природой — в первом случае; созданные человеком — во втором), которые могут и должны помогать ученику, слушателю, зрителю воспринимать произведения искусства «как нечто целостное и самоценное», заключённое в художественную форму, которая «целостна, завершена в себе и весьма уязвима для <чужеродных> вторжений» (А. А. Мелик-Пашаев [34])!
4. Использование технологических возможностей МКТ в плане актуализации эффекта полимодальности восприятия и репрезентации музыки требует грамотного методического обеспечения и заключается:
• в интерактивном характере обучения на электронном музыкальном инструменте через одновременность подключения нескольких сенсорных каналов: кинестетического (взаимодействие с клавиатурой), визуального (ориентация на «бегущую» строку нотного текста на экране/дисплее), аудиального (управление характеристиками звука — редактирование тембра, громкости, панорамирования, фактуры и т. д.);
• в активизации не только традиционного аудиального, но и визуального, и кинестетического каналов в процессе работы композитора (как опытного, так и начинающего), инструменталиста и звукорежиссёра с нотным текстом в цифровом формате, с оцифрованной аудиозаписью музыки.
35
БИБЛИОГРАФИЯ
1. Горбунова И. Б. Феномен музыкально-компьютерных технологий как новая образовательная творческая среда // Известия Российского государственного педагогического университета им. А. И. Герцена. 2004. Т. 4. № 9. С. 123-138.
36
2. Gorbunova I. B. Music Computer Technologies in the Perspective of Digital Humanities, Arts, and Researches // Opción, 2019. Vol. 35. Issue (S)24. Pp. 360-375.
3. Descargas. URL: http://soundcool.org/descargas/ (дата обращения: 10.02.2020).
4. Into School. URL: https://www.intoschool.org (дата обращения: 10.02.2020).
5. Плотников К. Ю. Е-музыка в школе цифрового века: анализ опыта и модель обучения и воспитания // Гуманитарный научный вестник. 2018. № 3. С. 27-36. URL: http://naukavestnik. ru/doc/gv1803Plotnikov.pdf. (дата обращения: 20.02.2020).
6. Koelsch S. Toward a Neural Basis of Music Perception - A Review and Updated Model // Frontiers in Psychology. 2011. Vol. 2. Article 110. DOI: https://doi.org/10.3389/fpsyg.2011.00110.
7. Rachwani J., Herzberg O., Golenia L., Adolph K. E. Postural, Visual, and Manual Coordination in the Development of Prehension // Child Development. 2019. Vol. 90. Issue 5. Pp. 1559-1568. DOI: https://doi.org/10.1111/cdev. 13282.
8. Merz S., Jensen A., Spence C., Frings C. Multisensory Distractor Processing is Modulated by Spatial Attention // Journal of Experimental Psychology: Human Perception and Performance. 2019. Vol. 10. Issue 45. Pp. 1375-1388. DOI: https://doi.org/10.1037/xhp0000678.
9. Matusz P. J., Broadbent H. J., Ferrari J., Forrest B., Merkley R., Scerif G. Multi-modal Distraction: Insights from Children's Limited Attention // Cognition. 2015. Vol. 136, Pp. 156-165. DOI: https:// doi.org/10.1016/j.cognition.2014.11.031.
10. Pei-Luen P. R., Jian Zh., Yi Wei. Distractive Effect of Multimodal Information in Multisensory Learning // Computers & Education. 2020. Vol. 144. DOI: https://doi.org/10.1016/j.compedu.2019. 103699.
11. Морозова Н. В. О развитии образного мышления школьников в процессе музыкального образования // Вестник кафедры ЮНЕСКО «Музыкальное искусство и образование». 2017. № 4 (20). С. 28-44.
12. Дорфман Л. Я. Эмоциональные предпочтения и полимодальное Я музыканта-исполнителя / Л. Я. Дорфман, Г. В. Токарева // Филология и культура. 2013. № 1 (31). С. 290-294.
13. Омельяненко В. А., Ремчукова Е. Н. Поликодовые тексты в аспекте теории мультимодаль-ности // Коммуникативные исследования. 2018. № 3 (17). С. 66-78.
14. Заиченко А. А., Картавенко М. В. Синестезия - феноменология, виды, классификация // Информатика, вычислительная техника и инженерное образование. 2011. № 3 (5). С. 48-60.
15. Cromley J. G. Introduction to the Special Issue: Desiderata for a Theory of Multi-source Multimodal Comprehension // Learning and Instruction. 2018. Vol. 57. Pp. 1-4. DOI: https://doi. org/10.1016/j.learninstruc.2018.02.004.
16. Athanasopoulos G., Antovic, M. Conceptual Integration of Sound and Image: A Model of Perceptual Modalities // Musicae Scientiae. 2018. Vol. 22. Issue 1. Pp. 72-87. DOI: https://doi. org/10.1177/1029864917713244.
17. Doehrmann O., Naumer M. J. Semantics and the Multisensory Brain: How Meaning Modulates Processes of Audio-visual Integration // Brain Research. 2008. Vol. 1242. Pp. 136-150. DOI: https://doi.org/10.1016/j.brainres.2008.03.071.
18. Галеев Б. М. Историко-теоретический анализ концепций синестезии в мировой психологии // Вестник Российского гуманитарного научного фонда. 2005. № 1 (38). С. 159-168.
19. Cytowic R. E. Synesthesia: Phenomenology and Neuropsychology - A Review of Current Knowledge // Psyche: An Interdisciplinary Journal of Research on Consciousness. 1995. Vol. 2. Issue 10. P. 6.
20. Ward J., Mattingley J. B. Synaesthesia: An Overview of Contemporary Findings and Controversies // Cortex. 2006. Vol. 42. Issue 2. Pp. 129-136. DOI: 10.1016/s0010-9452(08)70336-8.
21. Hayrman H. Art and Synesthesia: in Search of Synesthetic Experience // First International Conference on Art and Synesthesia, Universidad de Almeria, 2005. URL: http:/www.doctorhugo. org/synaesthesia/art/index.html. (дата обращения: 10.02.2020).
22. Харченко Е. П., Шеповальников А. Н. Некоторые нейрофизиологические механизмы обеспечения целостной деятельности головного мозга // Российский остеопатический журнал. 2010. № 3-4. С. 20-28.
23. Торопова А. В. Интонирующая природа психики: музыкально-психологическая антропология: монография. 2-е изд. М.: МПГУ, 2018. 338 с.
24. Пиаже Ж. Речь и мышление ребёнка / сост., новая ред. пер. с фр., коммент. Вал. А. Лукова, Вл. А. Лукова. М.: Педагогика-Пресс, 1994. 526 с.
25. Клапаред Э. Психология ребенка и экспериментальная педагогика: Проблемы и методы. Душевное развитие. Умственное утомление. / пер. с фр. М.: URSS. 2019. 166 с.
26. Барышева Т. А. Психология развития креативности: теория, диагностика, технологии. Монография. СПб.: Изд-во ВВМ, 2016. 316 с.
27. Плотников К. Ю. Учебный проект на музыкальном материале как реализация основной цели церебрального сортинга // Образование в современном мире: сборник научных статей. Саратов: изд-во СНИГУ им. Н. Г. Чернышевского, 2019. С. 282-286.
28. Горбунова И. Б. Музыкально-компьютерные технологии и аудиовизуальный синтез: актуальное значение и перспективы развития // Теория и практика общественного развития. 2014. № 19. С. 162-168.
29. Лебедева М. Ю. «Новая грамотность»: что такое мультимодальные тексты // Государственный институт русского языка им. А. С. Пушкина (официальный сайт). 2016. 28 июля. URL: http://www.pushkin.institute/news/detail.php?ID=5203. (дата обращения: 10.02.2020).
30. Soft Mozart Store. URL: www.musiceducation2.org. (дата обращения: 20.02.2020).
31. Горбунова И. Б., Тен Э. С. Музыкально-компьютерные технологии на уроках музыки в общеобразовательных учреждениях // Общество: социология, психология, педагогика. 2016. № 12. С. 106-109.
32. Бажукова Е. Н. «Музыкальная информатика» в обучении педагогов-музыкантов // Мир науки, культуры, образования. 2018. № 1 (68). С. 199-201.
33. Михуткина Н. В. Комплексный метод обучения компьютерной аранжировке в детской школе искусств // Современное музыкальное образование - 2018: Материалы XVII Международной научно-практической конференции. Вып. 2 / под общ. ред. И. Б. Горбуновой. СПб.: Изд-во РГПУ им. А. И. Герцена, 2019. С. 541-546.
34. Мелик-Пашаев А. А. Чего ожидать от новых технологий? // Искусство в школе. 2019. № 5. С. 24-27.
37
Поступила 24.02.2020; принята к публикации 23.03.2020.
Об авторах:
Горбунова Ирина Борисовна, главный научный сотрудник учебно-методической лаборатории «Музыкально-компьютерные технологии, профессор кафедры цифрового образования Федерального государственного бюджетного образовательного учреждения высшего образования «Российский
государственный педагогический университет имени А. И. Герцена» (Набережная реки Мойки, 48, Санкт-Петербург, Российская Федерация, 191186), доктор педагогических наук, профессор, [email protected]
Плотников Константин Юрьевич, старший научный сотрудник учебно-методической лаборатории «Музыкально-компьютерные технологии» Федерального государственного бюджетного образовательного учреждения высшего образования «Российский государственный педагогический университет имени А. И. Герцена» (Набережная реки Мойки, 48, Санкт-Петербург, Российская Федерация, 191186), кандидат педагогических наук, [email protected]
Авторами прочитан и одобрен окончательный вариант рукописи.
REFERENCES
38
1. Gorbunova I. B. Fenomen muzyikalno-kompyuternyih tehnologiy kak novaya obrazovatelnaya tvorcheskaya sreda [The Phenomenon of Musical Computer Technologies as a New Educational Creative Medium]. Nauchnyizhurnal "IzvestiyaRossiiskogogosudarstvennogopedagogicheskogo universiteta im. A. I. Gertsena" [Izvestia: Herzen University Journal of Humanities & Sciences], 2004, no. 4(9), pp. 123-138. Available at: https://elibrary.ru/item.asp?id=12885092. (In Russian).
2. Gorbunova I. B. Music Computer Technologies in the Perspective of Digital Humanities, Arts, and Researches. Opción, 2019. vol. 35, issue (S)24, pp. 360-375.
3. Descargas. Available at: http://soundcool.org/descargas/. (accessed: 10.02.2020).
4. Into School. Available at: http://soundcool.org/descargas/. (accessed: 10.02.2020).
5. Plotnikov K. Yu. E-muzyka v shkole tsifrovogo veka: analiz opyta i model' obucheniya i vospitaniya [E-music in the School of the Digital Age: an Analysis of the Experience and the Model of Education]. Gumanitarnyi nauchnyi vestnik [Humanitarian Scientific Bulletin], 2018, no. 3, pp. 27-36 (in Russian).
6. Koelsch S. Toward a Neural Basis of Music Perception - A Review and Updated Model. Frontiers in Psychology, 2011, vol. 2, article 110. DOI: https://doi.org/10.3389/fpsyg.2011.00110.
7. Rachwani J., Herzberg O., Golenia L., Adolph K. E. Postural, Visual, and Manual Coordination in the Development of Prehension. Child Development, 2019, no. 5(90), pp. 1559-1568. DOI: https://doi.org/10.1111/cdev. 13282.
8. Merz S., Jensen A., Spence C., Frings C. Multisensory Distractor Processing is Modulated by Spatial Attention. Journal of Experimental Psychology: Human Perception and Performance. 2019, no. 45(10), pp. 1375-1388. DOI: https://doi.org/10.1037/xhp0000678.
9. Matusz P. J., Broadbent H. J., Ferrari J., Forrest B., Merkley R., Scerif G. Multi-modal Distraction: Insights from Children's Limited Attention // Cognition. 2015, vol. 136, pp. 156-165. DOI: https:// doi.org/10.1016/j.cognition.2014.11.031.
10. Pei-Luen P. R., Jian Zh., Yi Wei Distractive Effect of Multimodal Information in Multisensory Learning. Computers & Education, 2020, vol. 144. DOI: https://doi.org/10.1016/). compedu.2019.103699.
11. Morozova N. V On the Development of Imaginative Thinking of School Students in the Process of Music Education. Vestnik kafedry UNESCO "Muzykal'noe iskusstvo i obrazovanie" = Bulletin of the UNESCO Chair "Musical Arts and Education". 2017, no. 4 (20), pp. 28-44 (in Russian).
12. Dorfman L. Ya. G. V. Tokareva, Emotsional'nye predpochtenija i polimodal'noe Ya muzykanta-
МУЗЫКАЛЬНОЕ ИСКУССТВО И ОБРАЗОВАНИЕ MUSICAL ART AND EDUCATION
2020. Т. 8. № 1 2020, vol. 8, no. 1
ispolnitelja [Emotional Preferences and the Polymodal Self-concept of a Performing Musician]. Filologiya i kul'tura [Philology and Culture]. 2013, no. 1 (31). pp. 290-294 (in Russian).
13. Omel'janenko V. A., Remchukova E. N. Polikodovye teksty v aspekte teorii mul'timodal'nosti [Multicode Texts in the Aspect of the Theory of Multimodality] // Kommunikativnye issledovaniya [Communicative Research]. 2018, no. 3(17), pp. 66-78 (in Russian).
14. Zaichenko A. A., Kartavenko M. V. Sinesteziya - fenomenologiya, vidy, klassifikatsiya [Synesthesia - Phenomenology, Types, Classification]. Informatika, vychislitel'naja tehnika i inzhenernoe obrazovanie [Computer Science, Computer Engineering and Engineering Education]. 2011, no. 3 (5), pp. 48-60 (in Russian).
15. Cromley J. G. Introduction to the Special Issue: Desiderata for a Theory of Multi-source Multi-modal Comprehension. Learning and Instruction. 2018, vol. 57, pp. 1-4. DOI: https://doi.org/10.1016/). learninstruc.2018.02.004.
16. Athanasopoulos G., Antovic, M. Conceptual Integration of Sound and Image: A Model of Perceptual Modalities. Musicae Scientiae. 2018, no. 1(22),pp. 72-87. DOI: https://doi.org/10.1177/1029864917713244.
17. Doehrmann O., Naumer M. J. Semantics and the Multisensory Brain: How Meaning Modulates Processes of Audio-visual Integration. Brain Research, 2008, vol. 1242, pp. 136-150. DOI: https:// doi.org/10.1016/j.brainres.2008.03.071.
18. Galeev B. M. Istoriko-teoreticheskij analiz koncepcij sinestezii v mirovoj psihologii [Historical and Theoretical Analysis of the Concept of Synesthesia in World Psychology]. Vestnik Rossijskogo gumanitarnogo nauchnogo fonda [Bulletin of the Russian Humanitarian Science Foundation]. 2005, no. 1(38), pp. 159-168 (in Russian).
19. Cytowic R. E. Synesthesia: 'Phenomenology and Neuropsychology - A Review of Current Knowledge'. Psyche: An Interdisciplinary Journal of Research on Consciousness. 1995, no. 2(10), p. 6.
20. Ward J., Mattingley J. B. Synaesthesia: An Overview of Contemporary Findings and Controversies. Cortex. 2006, no. 2(42), pp. 129-136. DOI: 10.1016/s0010-9452(08)70336-8.
21. Hayrman H. Art and Synesthesia: in Search of Synesthetic Experience. First International Conference on Art and Synesthesia. Universidad de Almeria, 2005. Available at: http:/www. doctorhugo.org/synaesthesia/art/index.html. (accessed: 10.02.2020)
22. Harchenko E. P., Shepovalnikov A. N. Nekotorye nejrofiziologicheskie mehanizmy obespechenija celostnoj dejatel'nosti golovnogo mozga [Some Neurophysiological Mechanisms of the Integrated Brain Activity]. Rossijskij osteopaticheskij zhurnal [Russian Osteopathic Journal]. 2010, no. 3-4, pp. 20-28 (in Russian).
23. Toropova A. V. Intoniruyushchayaprirodapsihiki [Intonating Nature of the Psyche]. Monograph. Moscow: Ritm Publ., 2013. 340 p. (Reprint: Intoniruyushchaya priroda psihiki. Muzykal'no-psihologicheskaya antropologiya [Intonating Nature of the Psyche. Musical-Psychological Anthropology]. Moscow: MPGU Publ., 2018. 350 p.) (in Russian).
24. Piajet J. Rech'i myshleniye rebyonka [Language and Thinking of the Child] Compilation, Edited translation and comments by Val. A. Lukov, Vl. A. Lukov. Moscow: Pedagogika-Press, 1994. 526 p. (in Russian).
25. Claparede E. Psikhologiya rebyonka i eksperimentalnayapedagogika: Problemy i metody. Dushevnoe razvitiye. Umstvennoye razvitiye [Child Psychology and Experimental Pedagogy. Problems and Methods. Mental development. Mental fatigue Development]. Moscow: URSS Publ., 2019. 166 p. (in Russian).
26. Barysheva T. A. Psikhologija razvitija kreativnosti: teorija, diagnostika, tekhnologii. [Psychology of Creativity's Development: Theory, Diagnostics, Technology]. Monograph. Saint-Petersburg: Publ. VVM, 2016. 316 p. (in Russian).
39
40
27. Plotnikov K. Yu. Uchebnyi proekt na muzykal'nom materiale kak realizatsiya osnovnoi tseli tserebral'nogo sortinga [Educational Project on Musical Material as the Realization of the Main Goal of Cerebral Sorting]. Obrazovanie v sovremennom mire [Education in the Modern World]. A Collection of Scientific Articles. Saratov: Publ. House of Saratov State University, 2019, pp. 282-286 (in Russian).
28. Gorbunova I. B. Muzykal'no-komp'juternye tehnologii i audiovizual'nyj sintez: aktual'noe znachenie i perspektivy razvitija [Music Computer Technologies and Audiovisual Synthesis: Current Status and Longterm Significance]. Teorija ipraktika obshhestvennogo razvitija [Theory and Practice of Social Development]. 2014, no. 19. pp. 162-168 (in Russian).
29. Lebedeva M. Yu. 'Novaja gramotnost': chto takoe mul'timodal'nye teksty ['New Literacy': what are Multimodal Texts] // Gosudarstvennyj institut russkogo jazyka im. A. S. Pushkina [Pushkin State Russian Language Institute (official website)]. 2016. 28 July. Available at: http://www. pushkin.institute/news/detail.php?ID=5203. (accessed: 10.02.2020) (in Russian).
30. Soft Mozart Store. Available at: www.musiceducation2.org (accessed: 20.02.2020)
31. Gorbunova I. B., Ten E. S. Muzykal'no-komp'juternye tehnologii na urokakh muzyki v obshcheobrazovatel'nykh uchrezhdeniyakh [Music Computer Technologies at music lessons in general education institutions]. Obshchestvo: sotsiologiya, psihologiya, pedagogika [Scientific Journal "Society: Sociology, Psyhology, Pedagogics]. 2016. no 12. pp. 106-109 (in Russian).
32. Bazhukova E. N. "Muzykal'naya informatika" v obuchenii pedagogov-muzykantov [Computer Music Science in the Studying Courses for Teachers of Music]. Mir nauki, kul'tury, obrazovaniya /The World of Science, Culture, and Education]. 2018. no. 1(68). pp. 199-201 (in Russian).
33. Mikhutkina N. V. Kompleksnyy metod obucheniya komp'yuternoy aranzhirovke v detskoy shkole iskusstv [A Comprehensive Method of Teaching Computer Arrangement in a Children's Art School]. Sovremennoye muzykal'noe obrazovaniye: materialyXVIIMezhdunarodnoy konferentsii [Contemporary Music Education: XVII International Conference Proceedings]. Vol. 2. Saint-Petersburg: Herzen State Pedagogical Un. Publ., 2019. pp. 541-546 (in Russian).
34. Melik-Pashaev A. A. Chego ozhidat' ot novykh tehnologij? [What to Expect from New Technologies?]. Iskusstvo v shkole [Art at School]. 2019, no. 5, pp. 24-27 (in Russian).
Submitted 24.02.2020; revised 23.03.2020.
About the authors:
Irina B. Gorbunova, Head and Chief Researcher of the Education and Methods Laboratory "Music Computer Technologies" of the Federal State Budgetary Educational Institution of Higher Education "The Herzen State Pedagogical University of Russia" (Moika river Embankment, 48, Saint Petersburg, Russian Federation, 191186), Doctor of Pedagogical Sciences, Professor, [email protected]
Konstantin Yu. Plotnikov, Senior Researcher of the Education and Methods Laboratory "Music Computer Technologies", of the Federal State Budgetary Educational Institution of Higher Education "The Herzen State Pedagogical University of Russia" (Moika river Embankment, 48, Saint Petersburg, Russian Federation, 191186), PhD in Pedagogical Sciences, [email protected]
The authors have read and approved the final manuscript.
