CC BY
163
Алексеева В.О.1, Малкина М.Г.2
1 ООО «Индигос» (IBS Group), г.Москва, к. ф. н., директор департамента научно-методической и редакционной работы, [email protected] 2 ООО «Индигос» (IBS Group), г.Москва, директор партнерских программ,
MMalkina@INDIGOS .COM
Проблема качества электронных образовательных ресурсов и их эффективного использования
КЛЮЧЕВЫЕ СЛОВА
Педагогика, электронные образовательные ресурсы, теория множественного интеллекта, таксономия образовательных целей.
АННОТАЦИЯ
В статье рассматриваются основные особенности существующих электронных образовательных ресурсов и критерии оценки их качества. Рассмотрены возможности применения теории множественного интеллекта и таксономии образовательных целей для повышения продуктивности обучения с использованием электронных образовательных ресурсов.
Традиционные образовательные технологии, несмотря на проверенную временем результативность, не всегда эффективно решают актуальные дидактические проблемы в рамках системы массового образования. Хотя концепция долгосрочного социально-экономического развития Российской Федерации предполагает рост индивидуализации в рамках развития системы общего образования [13], её возможности весьма ограниченны в условиях увеличения числа учащихся на 1 учителя (данные Госкомстата за последние 5 лет показывают устойчивое увеличение этого отношения с 9,8 в 2008 году до 13,1 в 2012 году [16]) и существующих планов оптимизации в сфере образования («дорожная карта» предусматривает увеличение этого отношения с 10,9 в 2012 году до 13 в 2018 году [12], но данный показатель уже превышен и имеет тенденцию к росту), т.е. с каждым годом учитель имеет всё меньше возможности уделить внимание конкретному ученику, единственному не усвоившему определённую тему. В этих условиях выходом из отмеченной ситуации должно стать развитие информационных технологий, направленных на более рациональное использование кадрового потенциала и снижающих участие учителя в решении индивидуальных проблем учащихся.
Использование электронных образовательных ресурсов — ЭОРов — может быть выходом из этой ситуации, когда ученик не находит в учебнике необходимую информацию или нуждается в дополнительных
методических и/или дидактических приемах. В исследованиях, посвящённых внедрению в образование информационных технологий, неоднократно отмечалось, что, при их неспособности полностью заменить традиционные элементы обучения, одним из основных преимуществ ЭОРов является расширение возможностей индивидуализации образования [5, 77; 17, 62]. При этом уменьшение возможности обращения к учителю как консультанту при построении индивидуальной образовательной траектории оставляет ученика одного перед морем различающихся предназначением и качеством ЭОРов, разобраться в котором крайне непросто [15, 3]. На современном российском рынке электронного образовательного контента выделяются 4 основных способа разработки ЭОРов, каждый из которых осваивает собственный канал распространения — в рамках госзаказа; в качестве приложения к учебнику, разработанного его же издателем; в качестве коммерческого продукта, разработанного специализированной фирмой и, наконец, разработанного самими учителями [2]. При этом наиболее структурированными и соответствующими образовательным стандартам, на первый взгляд, являются свободно распространяемые ЭОРы, разработанные в рамках госзаказа для централизованных образовательных коллекций, но в действительности именно коммерчески распространяемые ЭОРы, разработанные специализирующимися на электронном контенте издательскими фирмами лучше используют возможности новых технологий при сохранении необходимых для развития образования стандартов качества [14, 79-80]. И именно этот тип ЭОРов представлен крайне несистематизированно — в виде серий и отдельных продуктов, выпускаемых конкурирующими издательствами.
Необходим поиск доступного для ученика выхода из описанной ситуации, создание системы по систематизации наиболее качественного сегмента рынка ЭОРов. Эта система должна быть направлена на максимальное удовлетворение образовательных потребностей ученика, предлагая ему электронный контент, соответствующий используемому им учебнику и гармонирующий с уровнем подготовки учащегося. Соответствие используемому учебнику особенно важно, если предполагается использование ЭОРа в качестве вспомогательного, а не основного средства обучения относительно системообразующего элемента российской системы среднего образования — учебника, входящего в Федеральный перечень, рекомендованный Минобрнауки. Такое соответствие может быть установлено благодаря созданию универсального мультипредметного рубрикатора, отражающего все понятия, изучаемые в рамках школьной программы, индексации в соответствии с этими понятиями всех учебников, включённых в федеральный перечень, и последующей индексации включаемых в информационно-образовательную систему ЭОРов. Соответствие понятий, покрываемых ЭОРов, понятиям, покрываемых учебником, будет означать релевантность конкретного ЭОРа конкретному
учебнику.
Велика вероятность, что полное содержательное соответствие одному учебнику может быть установлено для нескольких ЭОРов сразу. Хотя фактор содержания должен являться определяющим при обращении ученика к данному ЭОРу, встаёт задача выбора между несколькими ЭОРами, и здесь важен вопрос качества ЭОРа. Качественный ЭОР должен соответствовать единым критериям экспертной оценки, однако существующие в России критерии сосредоточены больше на технической стороне вопроса — уровне интерактивности, мультимедийности и его функциональности [4]. При всей важности этих критериев важны такие параметры, как уровень изложения теории, уровень наглядности примеров, количественные и качественные характеристики упражнений для отработки материала и проверочных тестов. Идеальный ЭОР покрывал бы все образовательные потребности, если бы он включал все возможные содержательные элементы и получил бы максимальную оценку по всем обозначенным выше критериям, однако таких ЭОРов ещё не создано. ЭОР может быть полезен в разных ситуациях и признан хорошим как при отсутствии теоретического материала, так и при сжатии теории до таблиц или схем, или же при подробном изложении теории, включающем в максимальном своём выражении и дополнительные к изучаемым по школьной программе материалы.
Точность определения качества ЭОРа во многом зависит от используемой схемы оценки метаданных. Поскольку существующие в нашей стране схемы стандартизации ЭОРов не учитывают специфику учебных объектов, а учитывающие её зарубежные стандарты, такие как LOM (Learning Object Metadata), разработанный IEEE LTSC, излишне громоздки и не являются функционально международными, необходимо построение собственной схемы оценки метаданных, простой и учитывающей все слои учебного объекта — содержательный, технический, программный и педагогический [11, 119-129]. Какие же характеристики ЭОРа как учебного объекта являются определяющими с методической точки зрения?
Прежде всего, необходимо определение эффективности ЭОРа с точки зрения возрастных особенностей ребёнка [10, 8]. Хотя ряд производителей заявляет чёткое соответствие ЭОРа определённому возрасту или классу ученика, экспертиза обнаруживает неверность заявленных характеристик. С другой стороны, качественный ЭОР, содержащий материал, изучаемый в 8 классе, может использоваться при недостаточном усвоении этой базы и в 9 классе, при повторном прохождении этого материала в 10 классе и при подготовке к ЕГЭ в 11 классе. Стоит учитывать и отсутствие единства между авторами различных учебников в последовательности изучения материала. Эти факторы повышают вариативность определяемых экспертами метаданных, отражающих возрастные характеристики ЭОРов.
Не столь однозначным является и определение соответствия ЭОРа
школьному предмету. Большинство ЭОРов имеет ярко выраженную предметную направленность, но систематичность и последовательность обучения предусматривает учёт в ЭОРе межпредметных связей изучаемого материала [7, 135]. В этом случае можно выделить основной предмет и те, с которыми обеспечиваются межпредметные связи. В случае, если ЭОР лишь обозначает наличие таких связей, в метаданные следует вносить только основной предмет, а для дополнительных использовать соответствующие понятия мультипредметного рубрикатора. С другой стороны, существует ряд ЭОРов, имеющих большую ценность в качестве источника дополнительной по отношению к школьной программе информации. Для таких ЭОРов основным предметом может являться не школьный предмет, а одна из областей знания, входящих в категорию «Досуг и хобби» или один из видов игр, охватываемых категорией «Занимательный контент».
Наиболее важной с методической точки зрения является категория метаданных, отражающая полноту представленных в ЭОРе теории и практических заданий. Представление теории может быть оценено как подробное, краткое или отсутствующее. Подробное изложение теории маркирует качество ЭОРа, помогающего пропустившим урок, заменяющего репетитора, используемого за рамками школьной программы. Краткое изложение теории является достоинством ЭОРов, используемых при повторении, тренажёров. Пояснения теории, примеры могут быть оценены как хорошие, плохие или отсутствующие. При первичном изучении материала на школьных уроках качественный ЭОР должен содержать только хорошие примеры, но в ЭОРах, предназначенных для подготовки к экзаменам, допустимы и плохие примеры, поскольку теория в целом должна быть усвоена до начала работы с подобными ЭОРами. Упражнения, облегчающие усвоение материала, могут присутствовать в ЭОРе или отсутствовать, при этом присутствующие упражнения могут быть ранжированы экспертами по вариативности, методической эффективности и разнообразию их типов. К примеру, задолжнику помогут научиться справляться с типовыми задачами ЭОРы, содержащие однотипные и не очень полезные, но очень вариативные упражнения, тогда как ученику, рассчитывающему на высокую оценку, следует рекомендовать разнотипные и полезные ЭОРы, хотя многообразие вариантов для него может быть и излишним. Контролировать усвоение материала призваны тесты, которые, в случае их обнаружения в ЭОРе, оцениваются в категориях вариативности, методической эффективности, разнообразия типов и наличия рекомендаций для повторения материала. Тесты должны присутствовать в качественном ЭОРе, предназначенном для пропустивших урок, работы над ошибками, изучения иностранного языка и подготовки к экзаменам и тестированиям. При этом в случае самостоятельной подготовки без репетитора критично наличие рекомендаций для повторения, тогда как в других случаях качественным может быть признан ЭОР, их не содержащий.
К содержательному слою оценки ЭОРа относятся метаданные, описывающие его предназначение. Ключевым параметром здесь является углубленность. ЭОР может соответствовать школьной программе и быть использован на уроках или при подготовке к ним дома. ЭОР может быть нацелен на подготовку к экзаменам, предоставляя возможность моделирования экзаменационных заданий в качестве своего основного элемента. ЭОР, содержащий материал, выходящий за рамки школьной программы, но используемый при подготовке к олимпиаде, написании реферата, создании презентации, следует отнести к контенту, предназначенному для дополнительного изучения. В образовательных целях может использоваться и игровой контент, как облегчающий усвоение знаний в облегчённой и увлекательной форме, так и развивающий личностные качества. Наконец, особым типом контента с точки зрения углубленности являются ЭОРы, основным элементом которых является справочный материал — калькуляторы, словари, справочники, энциклопедии.
Педагогически-психологический акцент в рамках этой парадигмы приобретает и экспертиза технической составляющей ЭОРов: ориентируясь на требования госэкспертизы к интерактивности и мультимедийности, экспертам следует проводить оценку в рамках категорий графики и мультимедийности. ЭОРы, графика которых оценивается как низкокачественная, имеют непривлекательный дизайн, бедный иллюстративный ряд с преобладанием текста и таблиц. Контент, не имеющий ярко выраженных признаков плохого дизайна, хотя и не использующий в полной мере аппаратные возможности компьютера при воспроизведении анимации, цветовое решение которого не вызывает отторжения, считается имеющим нормальный уровень графики. Наконец, высококачественная графика характерна для ЭОРов, обладающих сдержанным и привлекательным дизайном и содержащих оригинальные и хорошо проработанные иллюстрации, фото- и видеоматериалы. Поскольку в «Единых требованиях к электронным образовательным ресурсам» ясно определён порог минимально допустимых требований к ЭОРам, а определяет качество их содержательная и педагогическая, а не техническая сторона, то метаданные, относящиеся к мультимедийности, должны лишь отражать наличие или отсутствие в ЭОРе аудио- и видеоматериалов, статичных и динамических графических элементов, признаков интерактивности и интерактивной игры. Максимальная оценка в рамках этих категорий метаданных означает высокий уровень качества для ЭОРов, предназначенных для развития личности и удовлетворения её потребности в отдыхе.
Проблема контроля качества ЭОРов может решаться несколькими различными способами, различающимися составом экспертов, среди которых наименее используемым, но имеющим наибольший потенциал является экспертная оценка, проводимая администрацией электронной
библиотеки/информационно-образовательной среды [1, 61]. Встречаются предложения в рамках такой экспертной оценки проводить инспектизу (оценку соответствия характеристик ЭОРа заявленным производителем) и собственно экспертизу (оценку релевантности ЭОРа учебному процессу) [9], однако инспектиза может быть актуальной только в условиях госзаказа, вызывая излишние затраты времени экспертов в нашем случае. Менее разработанным считается путь пользовательской оценки контента, но этическая сторона данного вопроса предполагает её вовлечение не ранее чем на последнем этапе экспертизы [6], что может быть реализовано в виде пользовательских комментариев, отражающих эмоциональные характеристики восприятия ЭОРов.
Поскольку идеальных ЭОРов не существует, оценённые в результате вышеописанной экспертизы ЭОРы должны быть предложены ученику в максимально отвечающей его потребностям форме. В первом приближении для определения его потребностей ученик должен ответить на вопросы об используемом в качестве основного учебнике, изучаемой теме или интересе к конкретной проблеме, и уровне своей подготовки. Проанализировав его ответы, информационно-образовательная система автоматически выдаст список соответствующих ЭОРов, ранжируя их согласно оценке экспертов. Однако опора на эти формализованные критерии может сослужить ученику плохую услугу, если не будут учтены его психологические особенности.
В исследованиях возможностей, открываемых информационными технологиями для индивидуализации образования отмечается, что большинство существующих ЭОРов не могут в полной мере удовлетворить потребности в индивидуализации из-за ряда недостаточной интерактивности, уровня методической эффективности и шаблонности построения [18]. Среди современных педагогических технологий, направленных на рост индивидуализации в образовании, наиболее популярна теория множественного интеллекта Г. Гарднера, предполагающая наличие у каждого человека индивидуального интеллектуального профиля, специфическим образом сочетающего 8 видов независимых интеллектов (музыкальный, телесно-кинестетический, логико-математический, языковой, пространственный, межличностный, внутриличностный, естествоиспытательный и экзистенциальный), каждый из которых предусматривает особый стиль обучения и оценивания его результатов [23]. Несмотря на критику этой теории [28; 29], её развитие идёт с упором на практическое применение — исследования корреляции интеллектов, факторный анализ и развитие инструментов оценки [35], применение в школе [20], соотнесение интеллектов и стилей в обучении [34] и учёт культурной специфики при внедрении теории множественного интеллекта [22]. Внедряют её и в обучение с помощью информационных технологий, однако оно происходит преимущественно при дистанционном обучении, которое подходит не для всех интеллектуальных профилей [27]. Хотя ЭОРы создаются и без учёта адаптации к психологическим
характеристикам учеников, возможно выявление их характеристик, которые в той или иной степени могут быть лучше соотнесены с различными типами интеллекта — характеристик, связанных с путями множественной подачи информации (повествовательный, логический, количественный, экзистенциальный, эстетический, эмпирический, совместный). Так, ЭОР, предлагающий повествовательный путь подачи информации, может быть охарактеризован в категориях наших метаданных как обладающий подробно изложенной теорией и хорошими примерами, но видеоматериалы, графические элементы и интерактивность при этом могут отсутствовать, тогда как для экзистенциального пути важнее будут максимальная оценка упражнений и хорошие показатели мультимедийности.
Поскольку существующие ЭОРы зачастую критикуются в контексте индивидуализации образования за сосредоточенность на информационном содержании, а не путях обучения, при оценке их психологических характеристик важно учесть вычленение этапов на множественных путях познания в рамках таксономии образовательных целей Б. Блума и Л. Андерсона [19; 21], детализирующей иерархию познавательной сферы (запоминание — понимание — применение — анализирование — оценивание — созидание). Применение таксономии Блума — Андерсона в современном образовании весьма широко, от оценивания качества обучения в традиционной форме [8, 84] до использования при подаче материала учителями и разработчиками ЭОРов [25].
Существуют различные пути синтеза идей Г. Гарднера и Б. Блума. Один из них предложен Т. Ноублем и отводит каждой из образовательных технологий своё место в организации учебного процесса: поскольку технология множественного интеллекта учитывает сильные стороны разных учеников и развитие у них осознанного обучения, то она используется в качестве инструмента для расширения знаний учеников, тогда как технология таксономии образовательных целей, учитывающая способности разных учеников и стимулирующая учеников думать, используется в качестве инструмента для углубления их знаний [30]. Практические выгоды синтеза этих технологий стали очевидны после усиления акцента на действии, выраженном глаголом, в обновлённой таксономии Блума — Андерсона. Так, Р. Пироццо была построена матрица, основанная на сочетании видов деятельности, свойственной множественным интеллектам и способов действия, соответствующих образовательным целям [33]. Подобные матрицы используются при создании планов уроков на основе цифровых технологий, где каждому сочетанию вида интеллекта и образовательной цели соответствует определённый набор заданий [31]. Выявить характеристики данного набора заданий можно на основе используемых в них синонимических глагольных команд [32, 39-42]. С учётом того, что эксперименты по взаимодействию ЭОРов с учениками, имеющими разнотипные
интеллектуальные профили, не выявили корреляции между видом интеллекта и методом взаимодействия в рамках типологии процессов обучения мозга М. Виттрока [24], именно измерение образовательных целей, благодаря точно определённому глагольному глоссарию, должно сыграть ключевую роль при формировании индивидуальной образовательной траектории ученика.
Подобные технологии могут быть использованы не только при оценивании ученика и формировании его индивидуальной образовательной траектории. Описанная ранее технология оценки образовательного контента основана на его точном содержательном соответствии потребностям ученика с точки зрения представления информации и на обобщённом представлении о возможных формах подачи материала с учётом его интеллектуального профиля. Однако наиболее точное соответствие ЭОРа стоящей перед учеником образовательной цели возможно благодаря глагольному глоссарию синонимов, определяющих механизм взаимодействия «ЭОР — ученик». Подобные задачи уже успешно ставились при конструировании проблемно-ориентированных систем на основе естественного языка [3]. В нашем случае матрица, образованная командами, соответствующими запросам, поставленным в рамках парадигм множественного интеллекта и таксономии образовательных целей, может быть использована для создания автоматической системы оценки ЭОРов с точки зрения их соответствия индивидуальным образовательным способностям и целям ученика.
В свете вышеизложенного механизм автоматизированного выстраивания индивидуальной образовательной траектории ученика может быть представлен следующим образом. После создания базы ЭОРов и учебников из федерального перечня, проиндексированных с точки зрения содержания, система автоматически генерирует соответствия между ЭОРами и учебниками. Первый вопрос системы, адресованный ученику, определяет используемый им в качестве основного учебник. Благодаря точной привязке содержания каждого раздела ЭОРа к соответствующему параграфу учебника у ученика есть возможность получить список ЭОРов, ранжированных с точки зрения полноты отражения материала проблемного параграфа учебника. При этом значительная часть ЭОРов будут обладать сходными содержательными и техническими характеристиками, и для выбора наиболее подходящего из них система определяет психологические характеристики ученика с точки зрения теории множественного интеллекта, выстраивая индивидуальный интеллектуальный профиль ученика. Хотя среди систем тестирования множественного интеллекта наибольшее распространение получили имеющая текстовый интерфейс MIDAS и имеющая графический интерфейс TIMI, обе имеют определённые недостатки [26, 58-61], поэтому целесообразно использовать в рамках нашей информационной среды собственные тесты, разработанные в соответствии с основными
положениями теории Г. Гарднера и минимизирующие внутриличностный уклон, свойственный тестированию как методу оценивания вообще. Получив представление об интеллектуальном профиле ученика и установив в ходе последнего вопроса его образовательную цель, система предложит ему наиболее подходящий ЭОР, оценённый на основе анализа используемых глаголов-команд в категориях множественного интеллекта и образовательных целей, который, таким образом, удовлетворит образовательные потребности с позиций содержания, технических характеристик и психо-ментального соответствия. В дальнейшем система, идентифицировав пользователя, будет предлагать ему ЭОРы, наиболее отвечающие его интеллектуальному профилю, без повторного тестирования, что существенно ускорит и упростит доступ к необходимой ученику информации.
Современные мировые тенденции в области развития двух педагогических технологий — теории множественного интеллекта и таксономии образовательных целей — направлены на их синтез, с одной стороны, и на их раздельное использование при создании новых информационных образовательных технологий. Предложенный в данной статье путь использует сильные стороны каждого из этих подходов, однако именно синтез этих технологий при обеспечении коммуникации между учеником и ЭОРами обеспечит качественный прорыв в индивидуализации образования и позволит устранить многие из проблем, которые грозят современным ученикам.
Литература
1. Богданова Д.А., Федосеев А.А. Информационные образовательные ресурсы: пора разобраться с качеством // Развивающие информационные технологии в образовании: использование учебных материалов нового поколения в образовательном процессе: сборник материалов Всероссийской научно-практической конференции. Томск, 2010. С. 5961.
2. Босова Л.Л. Основные направления разработки электронных образовательных ресурсов для дошкольного и школьного образования // Электронные образовательные ресурсы. [М.], 2012. URL: http://www.eor-np.ru/node/1493
3. Гуревич И. Таксономия Блума как модель постановки вопроса в проблемно-ориентированных системах естественного языка // Искусственный интеллект. 2000. № 3. С. 438-442.
4. Единые требования к электронным образовательным ресурсам. М., 2011.
5. Красильникова В.А. Информационные и коммуникационные технологии в образовании. Оренбург, 2006.
6. Лаврентьева Г.П. Науково-методичш пщходи та шструментарш експертизи якосп електронних засобiв навчального призначення // 1нформацшш технологи i засоби навчання. 2010. №5. URL: http://www.ime.edu-ua.net/em19/emg.html
7. Лапёнок М.В. Теоретические подходы и практическая оценка качества информационной среды дистанционного обучения // Педагогическое образование в России. 2012. № 3. С. 134-138.
8. Максимова О.А., Червонный М.А. Особенности разработки и комплексной экспертизы качества тестов, используемых для контроля и оценки качества обучения сельских школьников // Вестник ТГПУ 2011. № 13. С. 82-87.
9. Миняйлова Е.Л., Мазурок И.А. Разработка, инспектиза и экспертиза образовательных электронных ресурсов // Применение инновационных технологий в образовании: сборник
материалов Всероссийской научно-практической конференции. Троицк, 2013. URL: http://tmo.ito.edu.ru/2013/section/214/96976/
10. Осин А.В. Концептуальные основы образовательных электронных изданий и ресурсов. [М.],
2008. URL: http://www.ict.edu.ru/ft/002353/osin5.pdf
11. Осин А.В. Мультимедиа в образовании: контекст информатизации. [М.], 2003.
12. План мероприятий ("дорожная карта") "Изменения в отраслях социальной сферы, направленные на повышение эффективности образования и науки" : утвержден распоряжением Правительства Российской Федерации от 30 декабря 2012 г. № 2620-р // Российская газета. 2013. 14 января.
13. Указ Президента Российской Федерации от 12 мая 2009 г. № 537 "О Стратегии национальной безопасности Российской Федерации до 2020 года" // Российская газета.
2009. 19 мая.
14. Харитонов А. Несостоявшаяся инновация // Эксперт. 2012. №24. С. 78-81.
15. Цветкова М.С. Использование интерактивного мультимедийного учебника в учебном процессе. М., 2012.
16. Численность обучающихся и учителей в государственных и муниципальных общеобразовательных учреждениях. [М.,] 2013. URL: http://www.gks.ru/free_doc/new_site/population/obraz/o-obr2.htm
17. Шадриков В.Д., Шемет И.С. Информационные технологии в образовании: плюсы и минусы // Высшее образование в России. 2009. №11. С. 61-65.
18. Abu Samah N., Yahaya N., Bilal Ali M. Individual differences in online personalized learning environment // Educational Research and Reviews. 2011. Vol. 6. P. 516-521.
19. Anderson L.W., Krathwohl D.R. A taxonomy for learning, teaching, and assessing: a revision of Bloom's taxonomy of educational objectives. New York, 2001.
20. Armstrong Th. Multiple intelligences in the classroom. Alexandria, 1994.
21. Bloom B. Taxonomy of educational objectives: the classification of educational goals. New York, 1956.
22. Chen J.-Q., Moran S., Gardner H. Multiple intelligences around the world. San Francisco, 2009.
23. Gardner H. Multiple intelligences: new horizons. New York, 2006.
24. Huffman C.A. Student Interactions With CD-ROM Storybooks: A Look At Potential Relationships Between Multiple Intelligence Strengths And Levels Of Interaction. PhD dissertation. Kent State University, 2012.
25. Jugureanu R. Proiectare pedagogica a soft-ului educational. Taxonomia lui Bloom si Bloom-Anderson — Utilitatea scormica a proiectarii // e-Learning Technologies and Virtual Reality. Bucure^ti, 2005.
26. Kafanabo E.J. An investigation into the interaction between multiple intelligences and the performance of learners' in open-ended digital learning tasks. PhD dissertation. University of Pretoria, 2006.
27. Kemalatha K., Sai Peck L., Sellappan P. Effective Design of E-learning Application Incorporating Multiple Intelligences // Digital Libraries: Technology and Management of Indigenous Knowledge for Global Access. Proceedings of 6th International Conference on Asian Digital Libraries. Berlin ; Heidelberg, 2003. P. 693-694.
28. Klein P.D. Multiplying the Problems of Intelligence by Eight: A Critique of Gardner's Theory // Canadian Journal of Education. 1997. Vol. 22. № 4. P. 377-394.
29. Maker C.J., Nielson A.B., Rogers J.A. Giftedness, diversity, and problem-solving: multiple intelligences and diversity in educational settings // Teaching Exceptional Children. 1994. Vol. 27. № 1. P. 4-19.
30. McGrath H., Noble T. Eight ways at once. Frenchs Forest, 2005.
31. Method of electronically producing a lesson plan: пат. 2001268838 Австралия. № 2001268838; заявл. 03.07.2000; опубл. 11.04.2002. Bull. Vol. 16. Iss. 10.
32. Nicholson-Nelson K. Developing Student's Multiple Intelligences. New York, 1998.
33. Pirozzo R. 50 Cooperative Learning Activities. Heartherton, 2006.
34. Silver H.F., Strong R.W., Perini M.J. So each may learn : integrating learning styles and multiple intelligences. Alexandria, 2000.
35. Tirri K., Nokelainen P. Measuring multiple intelligences and moral sensitivities in education. Rotterdam, 2011.
