Научная статья на тему 'Когнитивные образовательные модели'

Когнитивные образовательные модели Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
1469
224
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
ОБРАЗОВАНИЕ / ПОЗНАНИЕ / КОГНИТИВНЫЕ МОДЕЛИ / КОГНИТИВНАЯ ГРАФИКА / ИНФОРМАЦИОННЫЕ МОДЕЛИ СИТУАЦИЙ / EDUCATION / KNOWLEDGE / COGNITIVE MODELS / COGNITIVE GRAPHICS / INFORMATION MODELS SITUATIONS

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Цветков В. Я.

Статья описывает когнитивные аспекты образовательных моделей. Описаны механизмы мышления. Описана когнитивная графика. Показано различие между образным и логическим мышлением и познанием. Показано, что большая часть свойств когнитивных моделей связана с восприятием их человеком. Показаны особенности виртуальных моделей, которые определяют их «комфортность» в сравнении с реальными моделями.

i Надоели баннеры? Вы всегда можете отключить рекламу.
iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

THE COGNITIVE EDUCATIONAL MODELS

This article describes the cognitive aspects of educational models. The mechanisms of thinking. Described cognitive graphics. Shows the difference between the imaginative and logical thinking and knowledge. Shown that most of the properties of cognitive models associated with the perception of their man. The features of virtual models that define their "comfort" in comparison with real models

Текст научной работы на тему «Когнитивные образовательные модели»

УДК 37.025; 165.12; 165.18; 004.946.

КОГНИТИВНЫЕ ОБРАЗОВАТЕЛЬНЫЕ МОДЕЛИ

Цветков В.Я., д.т.н., профессор, МГТУ МИРЭА, Москва, Россия E-mail: [email protected]

Аннотация. Статья описывает когнитивные аспекты образовательных моделей. Описаны механизмы мышления. Описана когнитивная графика. Показано различие между образным и логическим мышлением и познанием. Показано, что большая часть свойств когнитивных моделей связана с восприятием их человеком. Показаны особенности виртуальных моделей, которые определяют их «комфортность» в сравнении с реальными моделями.

Ключевые слова: Образование, познание, когнитивные модели, когнитивная графика, информационные модели ситуаций.

THE COGNITIVE EDUCATIONAL MODELS

Tsvetkov V.Ya., Dr.of Sci, prof., MSTU MIREA, Moscow, Russia, E-mail: [email protected]

Abstract. This article describes the cognitive aspects of educational models. The mechanisms of thinking. Described cognitive graphics. Shows the difference between the imaginative and logical thinking and knowledge. Shown that most of the properties of cognitive models associated with the perception of their man. The features of virtual models that define their "comfort" in comparison with real models

Keywords: Education, knowledge, cognitive models, cognitive graphics, information models situations

Развитие информатизации образования влечет разнообразие форм представления реального мира. Развитие информационных форм представления приводит к созданию новых образовательных моделей. Одними из новых образовательных моделей являются когнитивные образовательные модели.

Когнитивность (лат. cognitio, «познание, изучение, осознание») — свойство, обозначающее способность к познанию. Относится к человеку, животному и искусственной системе [1].

Когнитивные технологии - способы и алгоритмы достижения целей субъектов, опирающиеся на данные о процессах познания, обучения, коммуникации, обработки информации человеком и животными, на представление нейронауки, на теорию самоорганизации, компьютерные информационные технологии, математическое моделирование элементов сознания, ряд других научных направлений, ещё недавно относившихся к сфере фундаментальной науки [2].

Применительно к образованию можно выделить три направления применения

когнитивных моделей [3]: при классическом обучении, при мультимедийном и виртуальном образовании, при тестировании.

Само по себе когнитивное обучение не практиковалось и заменялось нормативным обучением. Нормативное обучение, основано на учебных ГОСТах, правилах, принципах, которые одинаковы для всех обучающихся и не используют когнитивный фактор. Это обусловлено тем, что результат такого обучения легко проверять методом сравнения и нагрузка на преподавателя на порядки ниже. При нормативном обучении одно задание дается на всю группу и проверяется результат, а не способ его получения и не творческие способности.

Когнитивность тесно связана с интеллектом и творческими способностями. На дереве нет двух одинаковых листьев и в человеческом обществе нет двух людей с одинаковыми способностями. Люди равны в правах как граждане, но не равны в способностях как творческие личности. Поэтому при опоре на когнитивность выявляется неравенство людей в умственных способностях. Это приводит к тому, что трудно найти единый критерий оценки такого обучения. Но главное в этом случае, на порядки возрастает нагрузка на преподавателя. Это приводит к необходимости уменьшения учебной группы до 5-6 человек. Тем не менее, в обычном образовании когнитивные методы все же используются. Они представлены в виде когнитивной графики.

Прежде чем рассмотреть когнитивную графику и когнитивные модели, необходимо остановится на особенностях человеческого мышления.

Человеческое мышления и процесс познания (когнитивность) использует два механизма. Один механизм дает возможность работать с цепочками символов, с которыми связаны семантические значения. Такое мышление называют логическим, символическим или алгебраическим. В этом случае человек работает с цепочками, то есть не с интегрированными информационными моделями.

Другой механизм мышления дает возможность работать с образами и представлениями (моделями) этих образов. Образы обладают большей

интегрированностью, чем символические представления. В этом случае человек работает с интегрированными информационными моделями. При таком подходе он перерабатывает значительно больше содержательной информации, чем при анализе символов.

Способность работать с образами (со зрительными образами) определяет другой вид мышления, который называют образным, реже геометрическим образным мышлением.

Логическое мышление связывают с левым полушарием человеческого мозга, а образное мышление — с правым полушарием. Каждое из полушарий человеческого мозга

является самостоятельной информационной системой восприятия внешнего мира и обработки информации

Естественно-языковая речь, мышление словами, рационально-логические процедуры обработки информации — реализуются в левом полушарии. Решение задач в нем основано на стереотипном подходе. В правом полушарии реализуется мышление на уровне ассоциаций и образов: эстетическое восприятие, живопись, ассоциативное распознавание. Решение задач в нем основано на творческом подходе, что приводит к рождению принципиально новых идей. Иногда этот механизм обозначают термином «интуиция», что не является правильным во многих случаях. Интуиция часто реализуется как форма неявного знания [4] и не всегда связана с правополушарной формой мышления

В целом человеческое мышление и поведение обусловлены совместной работой обоих полушарий человеческого мозга. В одних ситуациях преобладает логический компонент мышления, в других — образный. Психологи разделяют людей на три группы: с преобладающим левополушарным, с правополушарным и со смешанным мышлением. Это разделение генетически предопределено и существуют специальные тесты для выяснения склонности к тому или иному типу мышления.

Эксперименты показывают, что способность к переходу от одной формы мышления к другой образует когнитивный ресурс - источник творческих возможностей человека. Связи и трансформации, которые при одной форме репрезентации могут быть неявными, после смены репрезентации становятся явными и приводят к быстрому решению проблемы.

Появление и развитие компьютерной графики создало принципиально новые познавательные возможности обучения [5]. Учащиеся могут в процессе обучения динамически управлять содержанием, формой, размерами и цветом изображения. Применение графики в учебных компьютерных системах увеличивает скорость передачи информации учащимся и повышает уровень ее понимания. Воздействие компьютерной графики на образное мышление привело к появлению новых технологий обучения и новых информационных моделей. Такую графику, которая выполняет не только функции передачи информации (образа), но и познавательные функции, называют когнитивной.

Когнитивная графика в широком смысле слова является полисемическим понятием. Она трактуется по разному, в зависимости от области применения [1].

1) (ИИ) — совокупность приемов и методов образного представления условий задачи, которое позволяет либо сразу увидеть решение, либо получить подсказку для его нахождения.

2) (обучение) — совокупность приемов и методов образной передачи знаний.

3) (моделирование) — совокупность приемов и методов образного решения задачи.

4) (управление) — направление в деловой графике, которое связывает представления, возникающие на экране дисплея, с процессами управления Когнитивная графика позволяет визуализировать процесс принятия решения.

При достаточно продуманной системе визуализации образы, возникающие в динамике на экране, могут помочь лицу, принимающему решение, в интерактивном режиме, увидеть те закономерности или пути решения задачи, которые ранее для него не были доступны. Когнитивная графика в первую очередь выполняет семантическую и лингвистическую функции - передача содержательности при минимальности графических средств отображения [1]

Различают две функции компьютерной графики: иллюстративную и когнитивную. Иллюстративная функция подтверждает знание. Когнитивная функция помогает получать новое знание. Подводя итог, можно сказать , что при обычном, нормативном обучении когнитивная графика выполняет функции поддержки передачи знаний преподавателем или пассивные функции.

При мультимедийном и виртуальном образовании когнитивная графика выполняет активные функции, поскольку воздействует на учащегося непосредственно, минуя преподавателя [6]. «Виртуальное образование» включает такие компоненты как: виртуальное информационное поле [7], виртуальное образовательное пространство, виртуальные образовательные модели, информационные модели ситуации [8], информационное взаимодействие [9], язык информационного виртуального взаимодействия. Эти компоненты обуславливают взаимодействие субъектов взаимодействия в сфере образования. Компонентами виртуальных моделей в образовании в информационном аспекте являются:

• Модели информационной ситуации;

• Модели информационной позиции;

• Динамические информационные модели большой информационной ёмкости;

• Трехмерные пространственные модели;

• Интенсифицированные потоки мультимедиа ;

• Новые пользовательские интерфейсы.

Можно провести небольшое сравнение игровых виртуальных моделей и образовательных виртуальных моделей.

Игровые виртуальные модели направлены на достижение окончания игры и получения позитивных эмоций в «центре удовольствия» играющего. Они включают разнообразие сцен, динамику образов и ситуаций. Они включают минимальное

количество аудио сигналов (в основном эмоциональной окраски) и максимальное количество визуальных образов, оказывающих ассоциативное воздействие на играющего, что создает «иллюзию свободы действий». Эти модели вызывают большую мотивацию и даже могут вызвать «игровую потребность». Основная мотивация оперирования с такими моделями - «получение удовольствия».

Образовательные виртуальные модели направлены на получение знаний и компетенций учащегося. Они также включают разнообразие сцен, динамику образов и ситуаций. Однако они более регламентированы и ограничивают действия учащегося областью истинности правильных решений. Они включают значительной количество текстовой информации и визуальные образы, оказывающих ассоциативное воздействие на учащегося, но операции с этими образами происходят в рамках решения задач обучения и полная «свобода действий» отсутствует. Эти модели менее мотивированы, чем игровые виртуальные модели и направлены на удовлетворение «информационной потребности» и устранение информационной асимметрии [10]. Основной мотив оперирования с такими моделями - получение знаний и компетенций для выживания в реальном мире.

Рассматривая свойства виртуальных моделей можно отметить, что многие их свойства связаны с когнитивной областью человека, а другие являются относительно независимыми от него.

Основой виртуальных моделей являются различные информационные модели: информационной ситуации и информационной позиции субъекта или управляемого им объекта в информационной ситуации.

К числу свойств информационных моделей (и виртуальных построенных на их основе), применяемых для создания виртуального пространства, относят: обозримость, воспринимаемость, целевую определенность, ситуационную определенность, функциональность, полноту, информационное соответствие, актуальность, точность, регламентированность, ассоциативность, согласованность, надежность [6, 11].

Обозримость - свойство моделей, состоящее в том, что человек (в рамках своего человеческого интеллекта) в состоянии обозреть совокупность параметров и связей, входящих в модель и понять данную модель как целое. Это свойство у виртуальных моделей значительно выше, чем у реальных объектов. Оно обусловлено возможностью масштабирования визуального пространства. Например, человек, находясь в городе, видит только окружающие его дома. Но, используя электронную карту, навигатор, космический снимок - он увеличивает обозримость и видит то, что в реальности увидеть не может. Соответственно принимаемое им решение более обосновано.

Воспринимаемость - свойство моделей, состоящее в том, что человек (в рамках своего человеческого интеллекта) в состоянии воспринять и понять данную модель как отражение объективной реальности или ее практическое назначение [12]. Воспринимаемость связана с наличием базовых знаний. Чем больше базовых знаний, тем выше воспринимаемость.

Если модель необозрима или не воспринимаема, она, как правило, отвергается и не применяется человеком. Если модель воспринимаема одним человеком и не воспринимаема другим человеком, между ними появляется состояние информационной асимметрии. Наличие информационной асимметрии [10] между руководителями и исполнителями приводит к тому, что руководители чаще отвергают новую идею, предложение или модель, которая им не понятна.

Целевая определенность состоит в том, что модель может быть использована для достижения целей, которые человеку понятны и приемлемы. Целевая определенность информационной модели связана со стратегией игры или обучения. Целевая определенность не исключает наличие нескольких целей [13].

Ситуационная определенность состоит в том, что модель информационной ситуации определена и создает условия для действий в этой ситуации игроку или учащемуся. Ситуационная определенность информационной модели связана с оперативными действиями. Субъект может действовать в ситуациях, которые ему понятны и им анализируемы.

Функциональность - заданное априори свойство информационных моделей, состоящее в том, что данная модель может выполнять ряд функций, которые заранее определены и заданы.

Полнота - свойство информационных моделей, характеризующее их достаточность для принятия решений или достижения поставленных целей.

Достоверность - свойство информационных моделей, характеризующее корректно и адекватно отражать объективную (на основе выбранных человеком критериев) реальность.

Актуальность - свойство параметров информационных моделей и всей модели в целом соответствовать (на основе выбранных человеком критериев) текущим значениям параметров и модели. Актуальность подразумевает наличие некого порога устаревания модели.

Точность - свойство информационных моделей и их параметров соответствовать (на основе выбранных человеком критериев) определённой степени близости реальному состояние объекта или процесса моделирования.

Согласованность - свойство моделей соответствовать другим подобным моделям и

их функциям, не нарушая целостной (по мнению человека) картины мира.

Информационное соответствие - свойство взаимодействующих информационных моделей и их элементов, определяющее достаточность информационных ресурсов для выполнения моделями или их элементами своих функций [14] и реализации информационного взаимодействия.

Надежность - свойство информационных моделей (по мнению человека или по заданному им критерию), отражающее возможность получения корректного результата с применением данной модели при наличии внешних возмущающих воздействий на модель или изменении (в определенных человеком границах) ее параметров.

Регламентированность - свойство информационных моделей соответствовать определенным правилам, классификации, синтаксису, формам описания и представления. Это свойство служит основой восприятия визуальной модели субъектом и правильного соотнесения виртуального образа с реальным образом

Ассоциативность - свойство информационных моделей вызывать ассоциации в когнитивной области и с одной стороны создавать свободу выбора, с другой стороны развивать творческие начала в субъекта, работающего с такой моделью.

Подчеркнутые свойства являются относительно независимыми. Все остальные связаны с когнитивной областью человека. Перечисленные основные свойства моделей применяются в информационных системах и технологиях (включая сферу образования) и определяют так называемый информационный подход.

Выделенные курсивом фрагменты описания свойств, отражающее отношение с когнитивной областью, обычно опускается при техническом описании моделей и ситуаций. Однако они задают определенную условность, как при создании моделей, так и при их применении. Эта условность моделей зависит от человеческого интеллекта и применяемых им критериев.

Выражение «по мнению человека» можно заменить более точным термином «уровень человеческого интеллекта» или «уровень интеллекта». Уровень человеческого интеллекта существенно различается у разных людей, например, у специалистов в данной области и не специалистов. Отсюда такие свойства как обозримость и воспринимаемость различны для разных людей в частности для руководителей, принимающих решение, и специалистов, создающих новые и сложные модели.

Следует подчеркнуть, что обозримость и воспринимаемость виртуальных моделей выше, чем реальных моделей окружающего мира. Это создает определенный комфорт. Регламентированность виртуальных моделей делает более предсказуемой виртуальную информационную ситуацию по сравнению с реальной ситуацией. Это также создает

ощущение комфорта.

С позиций качественного содержания и семантики информационных и виртуальных моделей их делят на три категории [15], описательные (дескриптивные), ресурсные (накопление опыта) и интеллектуальные (активные). Описательные и ресурсные достаточно описаны [5]. Остановимся на интеллектуальных [16]. Интеллектуальные информационные модели обладают рядом свойств, среди которых следует выделить:

Автономность - модели функционируют без прямого вмешательства субъекта и обладают способностью контролировать свои действия и внутреннее состояние.

Коммуникативность - модели взаимодействуют с другими моделями средствами некоторого коммуникационного языка.

Реактивность - модели реагируют на изменения окружающей среды в определенных временных рамках.

Индивидуальность - каждая модель имеет собственную картину окружающего мира, на основе которой осуществляет действия.

Коммуникабельность и кооперативность - модели могут обмениваться информацией с окружающей их средой и другими моделями.

Самоорганизация - поведение модели включает способность к самоорганизации или конструированию модели окружающей среды для того, чтобы находить новые способы поведения.

Таким образом, интеллектуальные модели в силу автономности создают некий дискомфорт для «игрока».

Решение всякой простой задачи, включая задачи образования, с помощью информационной модели может быть представлено в виде продукции:

Кр ^Кх (1)

где КР - модель реального состояния объекта; Кт - модель требуемого состояния объекта. Например, КР - состояние перед обучением. Кт состояние, характеризуемое необходимым объемом знаний, которые должен получить обучаемый. В результате обучения человек переходит в состояние КФ1 , характеризуемое фактическим объемом полученных знаний. Индекс I означает принадлежность этого состояния какому-то субъекту. Существует определенный разброс в получении знаний. Поэтому используют КФ усредненную оценку по всем субъектам обучения. Эта оценка дает возможность определить сходимость [17] образовательной технологии на основе сравнения КФ и Кх

Величина [КФ - Кх ] характеризует сходимость образовательной технологии или меру соответствия результатов поставленным целям.

Если цель за один цикл обучения достигнуть нельзя, то решение задачи может быть расчленено на отдельные действия и в целом представлено как последовательность этих действий:

Кр ^ ё1( КР)^К 1 ^ ё2( КО^ К 2 ^ ё3( К2)^ К 3 ^ ^ КТ (2)

Последовательность действий образовательной системы < й1, ё2,..., ёп> есть путь решения задачи. Под путем решения часто понимают алгоритм решения задачи. По этому критерию все задачи можно разделить на два типа. Если путь решения исходной задачи известен априори, то имеет место решающая система первого рода (1). Если же путь решения исходной задачи неизвестен, то решающая система (2) называется решающей системой второго рода [18].

В виртуальном игровом пространстве действует именно механизм, отраженный в выражении (2). Каждый из множества шагов решения в игровой ситуации воздействует на «центр удовольствия» и повышает это ощущение при большом количестве шагов. Именно на этом принципе основаны виртуальные игры. Достижение цели разбивается на простые стереотипные этапы (например, «стрелялки») и от множества этапов суммируется комфортное состояние.

В образовательных виртуальных моделях этапы сложнее. Число их невелико и суммарно ощущение комфорта ниже.

При тестировании также может входить когнитивность и когнитивные модели в процесс тестирования. Оценивание результатов обучения подразделяют на пассивное, полуактивное и активное [19].

Пассивное оценивание основано на наблюдении и сборе информации. Оно позволяет оценить состояние обучаемого (степень подготовленности), оценить изменение этого состояния (подготовленности) за достаточно длительные временные интервалы. В этом тестировании когнитивные модели отсутствуют. Такая модель и оценка позволяют выявить состояние и долговременные тенденции процесса обучения личности и освоения знаний.

Полуактивная модель характеризуется разовым воздействием на обучаемого и анализом результата. Чаще всего по такой схеме построены «вопросно-ответные системы» тестирования. Они представляют собой совокупность элементарных циклов.

При полуактивном тестировании оценивается не состояние и тенденция, а результат информационного воздействия на обучаемого и его реакции на это воздействие. Оценивается результат выполнения и динамика развития этих результатов. В этом тестирования когнитивные способности играют доминирующую роль. Поэтому такое тестирование включает когнитивные самостоятельные модели.

При активном тестировании имеет место длительное информационное взаимодействие [12] между преподавателем и обучаемым. Активность тестирования состоит в активной длительной и адаптивной реакции обучаемого на информационное воздействие (тест) со стороны преподавателя. Такое тестирование включает когнитивные интегрированные модели или связанную цепочку когнитивных моделей. например по нарастанию сложности.

При этом возможны два качественно разных вида тестов: тесты действия (ТД) и ситуационные тесты (СТ). Тесты действия представляют собой относительно простые, структурированные процедуры, ориентирующие обследуемого на применение комбинации стереотипных методов. Ситуационные тесты основаны на создании информационной модели ситуации [9] и проведение информационного взаимодействия в рамках этой модели в ситуации близкой к реальности.

При этом тестировании важен не только результат, но и информационный ресурс (опыт), который формирует у себя обучаемый на основе решения исходных и модифицированных задач.

Активное тестирование позволяет выявить степень мобильности и оперативности мышления в критических ситуациях и способность к оперативному анализу.

Все три подхода дополняют друг друга и дают комплексную оценку возможностей обучаемого. Совокупность рассмотренных тестов дает возможность формирования многоуровневой тестирующей конструкции для комплексной оценки результатов обучения. Когнитивные модели играют важную роль в таких системах тестирования.

Таким образом, когнитивные образовательные модели формируются на основе определенных принципов и обладают рядом свойств, которые их отличают от информационных образовательных моделей. Они с одной стороны способствуют развитию творчества в обучении. С другой стороны они создают повышенную нагрузку на преподавателя и требуют разработки новых методов когнитивного тестирования.

Список литературы

1. Кудж С.А., Соловьёв И.В., Цветков В.Я. Когнитивные модели и методы. Краткий словарь-справочник. - МГТУ МИРЭА, 2014. - 95с. Электронное издание. Номер государственной регистрации 0321400338 от 30 января 2014г.

2. Малинецкий Г.Г., Маненков С.К, Митин Н.А, Шишов В.В. Когнитивный вызов и информационные технологии Препринт ИПМ им. М.В. Келдыша № 46, 2010.

3. Ожерельева Т.А. Когнитивные особенности получения второго высшего образования // Перспективы науки и образования- 2013. -№3. - с106 -111.

4. Kimble, C. (2013). Knowledge management, codification and tacit knowledge Information Research, 18(2) paper 577.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

5. Поляков А.А., Цветков В.Я. Прикладная информатика: Учебно-методическое пособие: В 2-х частях: Часть.1 / Под общ.ред. А.Н. Тихонова- М.: МАКС Пресс. 2008 -788 с.

6. Цветков В.Я. Когнитивные аспекты построения виртуальных образовательных моделей// Перспективы науки и образования- 2013. -№3. - с38-46.

7. Иванников А.Д., Кулагин В.П., Мордвинов В.А, и др. Получение знаний для формирования информационных образовательных ресурсов. - М.: ФГУ ГНИИ ИТТ «Информика», 2008 - 440с.

8. V. Ya. Tsvetkov. Information Situation and Information Position as a Management Tool // European Researcher, 2012, Vol.(36), № 12-1, p.2166- 2170

9. V. Yа. Tsvetkov. Information Interaction as a Mechanism of Semantic Gap Elimination // European Researcher, 2013, Vol.(45), № 4-1, p.782- 786.

10. Оболяева Н.М. Устранение информационной асимметрии как инструмент повышения качества образования // Геодезия и аэрофотосъемка. - 2012. - №6. - с. 123 -124.

11. V. Yа. Tsvetkov Spatial Information Models // European Researcher, 2013, Vol.(60), № 10-1 , p.2386- 2392.

12. Цветков В.Я. Информационное управление. - LAP LAMBERT Academic Publishing GmbH & Co. KG, Saarbrücken, Germany 2012 -201с

13. V. Ya. Tsvetkov Multipurpose Management// European Journal of Economic Studies 2012, Vol.(2), № 2 р.140-143.

14. Тихонов А.Н., Иванников А,Д., Соловьёв И.В., Цветков В.Я., Кудж С.А. Концепция сетецентрического управления сложной организационно-технической системой- М.: МаксПресс, 2010.-136с.

15. Цветков В.Я. Информационная модель как основа обработки информации в ГИС // Известия высших учебных заведений. Геодезия и аэрофотосъемка, -2005. - №2. - с. 118-122.

16. Цветков В.Я. Пространственные знания: Формирование и представление LAP LAMBERT Academic Publishing GmbH & Co. KG, Saarbrücken, Germany 2013 -107с.

17. Кудж С.А., Соловьев И.В., Цветков В.Я. Сходимость как образовательная категория // Дистанционное и виртуальное обучение. - №11. - 2013. - с.10- 15.

18. Цветков В.Я. Логика в науке и методы доказательств. - LAP LAMBERT Academic Publishing GmbH & Co. KG, Saarbrücken, Germany 2012 -84 с.

19. Кулагин В. П., Цветков В.Я Особенности многоуровневого тестирования // Дистанционное и виртуальное обучение. - 2013. - №4. -с.5-12.

i Надоели баннеры? Вы всегда можете отключить рекламу.