CC BY
47
НЕКОТОРЫЕ ПОДХОДЫ К ОЦЕНКЕ РЕЗУЛЬТАТОВ ОБУЧЕНИЯ*
УДК 004
Василий Михайлович Трембач,
к.т.н, доцент, профессор кафедры Прикладной информатики в экономике (ПИЭ), МЭСИ,
доцент кафедры 304, МАИ,
Тел.: (499)199 84 07,
Эл. почта: [email protected]
Оксана Александровна Козлова,
аспирантка, преподаватель кафедры
Прикладной информатики в экономике
(ПИЭ), МЭСИ,
Тел.: (495) 442 80 98,
Эл. почта: [email protected]
Виктория Васильевна Мун,
Студентка кафедры Прикладной информатики в экономике, МЭСИ, Тел.: (495) 442 80 98, Эл. почта: [email protected]
В статье рассматриваются подходы, методы и технологии оценки в интеллектуальных обучающих систем. В интеллектуальных системах формируются индивидуальные траектории тестирования. При формировании индивидуальных траекторий тестирования учитывается текущий уровень знаний сотрудника и требуемый. Показана демо-версия интеллектуальной обучающей системы.
Ключевые слова: интеллектуальная обучающая система, компетенции, оценка результатов обучения, дополнительное образование.
Vasiliy M. Trembach,
PhD in Economics, Professor, the Department of Applied Informatics in Economy, Moscow State University of Economics, Statistics and Informatics (MESI),
Senior lecturer of 304th chair, Moscow State Aviation Institute, Тел.: (499)199 84 07, E-mail: [email protected]
Oksana A. Kozlova,
Post-graduate student, the Department of Applied Informatics in Economy, Moscow State University of Economics, Statistics and Informatics (MESI), Tel.: (495) 442 80 98, E-mail: [email protected]
Viktoria V. Mun,
Student, the Department of Applied Informatics in Economy, Moscow State University of Economics, Statistics and Informatics (MESI), Tel.: (495) 442 80 98, E-mail: [email protected]
SOME APPROACHES TO ESTIMATE THE LEARNING OUTCOMES
The article deals with the approaches, methods and tools to estimation at the intelligent training systems. Individual paths of testing form in the intelligent systems, where takes into account the current and the appropriate levels of knowledge of employee. The authors present the demoversion of the intelligent training system.
Keywords: intelligent training system, competence, assessment of the learning outcomes, additional education.
1. Введение
В настоящее время возрастает потребность в расширении дополни-тельного образования трудоспособного населения, как по объемам, так и по формам организации. Одной из причин этого является динамичность экономики, широкое применение технологий, основанных на новых знаниях. В Указе Президента России «О мерах по реализации государственной политики в области образования и науки» [14] отмечено, что необходимо «увеличение к 2015 году доли занятого населения в возрасте от 25 до 65 лет, прошедшего повышение квалификации и (или) профессиональную подготовку, в общей численности занятого в области экономики населения этой возрастной группы до 37 процентов».
Данная задача является очень большой и совершенно невыполнимой без использования электронных систем обучения. Для решения такой задачи необходимо «... новое качество общества, в котором совокупность использования подготовленными людьми технических средств, сервисов и Интернета приводит к качественным изменениям во взаимодействии субъектов, позволяющим получать новые эффекты - социальные, экономические и иные преимущества для лучшей жизни. Это следующий этап развития за т.н. «информационным обществом», в котором мы сегодня живем» [16].
В статье рассматриваются содержание задачи дополнительного обучения и некоторые подходы к оценке получаемых компетенций и эффективности их применения.
2. Оценка результатов обучения
Одним из важных моментов в решении задачи дополнительного образования является мониторинг процессов формирования компетенций. Если раньше достаточно было проверить полученные знания, то в настоящее время этого мало, нужно контролировать результаты обучения. В работе [1 ] отмечается, что сейчас динамично развиваются подходы, технологии, терминология в области образования. В книге [1] представлена одна из трактовок (Хулиа Гонсалес) терминов «результаты обучения» и «компетенции».
Результаты обучения: выступают средством выражения уровня компетенции; являются формулировкой того, что, как ожидается, студент будет знать, понимать и быть в состоянии продемонстрировать после за-вершения образования на соответствующем его уровне; могут относиться к отдельной курсовой единице или к периоду обучения; они определяют необходимые условия для присуждения кредитов; формулируются профессорско-преподавательским составом.
Компетенции: представляют собой динамическую комбинацию зна-ния, понимания, умений и навыков (включают в себя знание, умения, навыки, установки, мотивацию, ценности); их развитие является целью образовательных программ; формируются в различных курсовых единицах и оцениваются на разных стадиях; приобретаются студентами.
В настоящее время оценка результатов обучения необходима для того, чтобы определить эффективность обучения и наличие пользы (выгоды) от обучения организации. Оценка результатов обучения должна убедить, что изменения рабочих показателей обучающихся произошли именно в результате обучения.
Впервые вопросы оценки результатов обучения были рассмотрены Дональдом Киркпатриком в конце 1950-х годов [4]. Им была предложена модель, которая описывает известные в наше время четыре уровня обуче-ния.
1-й - Реакция - какова реакция обучаемого на само обучение?
2-й - Обучение - что обучаемый усвоил в процессе тренинга?
3-й - Поведение - как сильно изменилось поведение обучаемого после прохождения обучения?
4-й - Результаты - насколько увеличилась эффективность компании как следствие прохождения обучения?
Последний, четвёртый уровень оценки результатов обучения Киркпатрика не дает ответ на вопрос, стоил ли того обучение [9].
В 1991 году Джек Филипс (Jack Phillips) внес в систему оценки результатов
Статья подготовлена при поддержке гранта РФФИ № 10-07-00672
обучения новый 5-й уровень с названием "Возврат на инвестиции" (ROI) [9]. Вопрос, который задается на этом уровне: оправдало ли обучение вложенные в него средства? В итоге обучения должны быть рост эффективности и производительности труда работников, формирование нового рабочего поведения, которое необходимо организации для достижения стоящих перед ней целей [9].
Для оценки результатов обучения могут использоваться тесты, опросники, экзамены, собеседования и т.п. Проводить оценку эффективности обучения могут, как обучающиеся, так и преподаватели, эксперты или группы специалистов. Цель оценки эффективности обучения состоит в том, чтобы полученная информация была в дальнейшем проанализирована и использовалась при подготовке и проведении аналогичных учебных программ в будущем.
Эффективность обучения может оцениваться через какой-то срок после окончания обучения. В корпорации IBM, например, принята практика тестирования работников, прошедших обучение, через 6 и 9 месяцев после завершения обучения. Но, в любом случае, оценка эффективности обучения требует больших затрат времени и высокой компетенции специалистов, проводящих эту оценку, и многие организации отказываются от такой оценки, просто полагаясь на то, что любое обучение работников приносит организации пользу [9]. Для широкого, доступного внедрения методов и средств оценки результатов обучения ведутся исследования и наработки новых подходов на основе информационных технологий.
З.Оценка научно-исследовательских работ в ВУЗе
В ВУЗе одним из направлений формирования у обучаемых требуемых компетенций, а также оценки эффективности обучения является научно-исследовательская деятельность. Результаты научной деятельности являются основой для развития учебных программ и системы высшего образования в целом, поэтому ведение научной деятельности должно основываться на принципах актуальности, значимости темы, получении определенного эффекта. Выбор значимых направлений исследований является очень значимой и трудной задачей. На государственном уровне для выявления акту-
альных направлении развития науки эффективны экспертные методы, технологии форсайта, вобравшие в себя десятки как традиционных, так и новых экспертных методов (экспертные панели, Дельфи, SWOT-анализ, мозговой штурм, построение сценариев, технологические «дорожные карты» и др.).
В форсайт-проектах большое количество привлекаемых экспертов, доступ к уникальным информационным ресурсам (библиометрической и патентной информации, детальной информации о зарубежных Форсайт-проектах) обеспечивают комплексность взглядов и позволяют получить подробную картину происходящего в науке, строить оправданные прогнозы ее развития.
В России форсайт-проекты характеризуются высокой стоимостью проведения, на начало 2012 в рамках федеральной целевой программы «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2007-2012 годы» уже объявлены конкурсы (форсайт-проекты) на 54 млн. руб. На уровне ВУЗов выявление перспектив развития науки весьма сложная задача в связи с сильной ограниченностью ресурсов, применение методов форсайта могут позволить себе лишь немногие крупные образовательные учреждения, осталь-
ным приходится искать другие менее затратные способы.
Выявление актуальных научных направлений вуза должно проводиться научным подразделением вуза, связывающим воедино и координирующим научные коллективы профессорско-преподавательского состава, научных сотрудников, аспирантов, докторантов, студентов. Сложный, длительный во времени, трудоемкий процесс анализа необходимо автоматизировать на разных этапах его жизненного цикла, это позволит иначе построить процесс, снизить нагрузку на занятых в анализе научных сотрудников, ускорить получение результатов, повысить их качество.
На рисунке 1 представлены основные этапы, которые необходимо пройти для получения списка актуальных направлений исследований.
Выявление актуальных направлений научных исследований начинается с выбора сферы для анализа (экономика и экономические науки, информатика, математика и т.д.). Выбор чаще всего осуществляется исходя из имеющихся научных школ и их направлений работы, для установления дальнейшего пути развития. В итоге на основе первоначальных направлений, формируется перечень направлений для анализа, либо определяется одно интересующее направление.
В ходе оценки собственного науч-
Рис. 1. Этапы выявления актуальных направлений научных исследо-ваний
ного потенциала, включающего: материально-техническую базу; научные кадры; информационную составляющую (информация об итогах предыдущих исследований, разработок, носителями являются тематические карты о начатых и отчеты о законченных исследованиях и разработках, публикации и диссертации и т.д.); организационно-управленческую структуру и ее гибкость. В итоге выявляются имеющиеся ресурсы, а также сильные и слабые стороны, чтобы не только понимать, где нужно произвести совершенствование, но лучшим образом реализовы-вать свои достоинст-ва.
При сборе материалов выбираются источники для анализа. Для более качественного результата, необходимо анализировать не только российские источники, но и зарубежные. В качестве критериев отбора источников используются: доступность, качество материала источников, периодичность выхода, форма представления материалов, длительность обработки (не стоит забывать, что источники должны быть по интересующим вуз направлениям).
Важным в оценке актуальности направлений научно-исследовательских работ является выбор методов их анализа. Все методы анализа (оценки) разделяются на две группы: качественные и количественные [8]. Качественные или экспертные методы требуют наличия большого количества экспертов в заданной области. Наиболее известные методы: метод рангов, метод непосредственного оценивания, метод сопоставлений. Количественные (наукометрические, библиографические) методы показывают объективную картину развития научной области, дают оценку ее актуальности, описывают имеющиеся возможности, законы формирования информационных потоков и движения научных идей. Самые распространенные наукометрические методы: статистический метод, метод подсчёта числа публикаций, метод «цитат-индекса» [6], метод «контент-анализа», тезаурус-ный метод, сленговый метод.
Применение методов вручную крайне длительно по времени, поэтому, в последние годы, активно развивается рынок программного обеспечения, направленного на извлечение данных из текстов, такие как: инструменты компании IBM Text Miner, Ontos Miner, Oracle Text, ODB-Text, TextAnalyst, инструменты компании Гарант-Парк-Интернет, «Аналитиче -
ский курьер», «Система управления досье X-Files», «Медиа-логия».
Предварительная обработка данных и их сохранение для последующей работы осуществляется в зависимости от выбранных методов и включает: накопление материалов (текстов статей, названий статей, ключевых слов); очистку материала и подготовку к сохранению (выбор формата хранения); снабжение материала метаданными, позволяющими легко осуществлять поиск.
Проведение анализа подразумевает применение выбранных методов к отобранному материалу. А при оценке полученных результатов выполняется, при необходимости, внесение соответствующих уточнений, сформированных в процесс анализа. Таким образом, проведение анализа позволит выявить актуальные направления развития науки и, тем самым, определить возможные пути реализации имеющегося научного потенциала, формирования требуемых компетенций у обучаемых.
4. Измерение и сравнение результатов обучения
Разработчиками и пользователями современных электронных систем обучения под результатами обучения понимаются знания, умения и на-выки, которые реально получили обучаемые в ходе обучения [10]. Важным в получении реальных оценок результатов обучения является выбор цели и вида контроля. В работе [7], в качестве основных целей разных видов контроля, выделяются: самоутверждение; готовность к изучению нового материала; проверка уровня усвоения; поддержка адаптивного обучения; поддержка уровня знаний; формирование базы оценок для определения рейтинга обучаемых. При этом контроль может быть констатирующим (констатация уровня ЗУН) и корректирующим (диагностика ЗУН и коррекция пробелов или ошибок в ЗУН).
Основу методов измерения и оценки результативности проведения контроля в образовательном процессе учебных заведений, базирую-щемся на использовании современных технических средств, могут составлять различные подходы [5] на порядок и форму измерений и оценки могут оказать влияние имеющиеся средства обучения и контроля. В отдельных ситуациях может быть использована универсальная технология, предлагаемая для реализации контроля.
Важным критерием и подходом к оцениванию результатов обучения отдельного учащегося, в рамках каждого вида контроля, является сравнение реальных знаний, умений и навыков учащихся с требованиями, оговоренными в описании проведения текущего, рубежного и заключительного контроля качества освоения учебного материала [3]. Сравнение результатов обучения различных участников между собой и выставление оценок с учетом относительной результативности нежелательно.
В настоящее время сообщества работодателей, коллективы преподавателей, студенты и обучающиеся стремятся не только к более повсеместному, но и к более корректному и универсальному применению компетентностного подхода. В работе [2] автор показал необходимость использования простых доменов для метрик таких компонентов компетенции как знание, умение, навыки. Кроме того для каждой метрики нужна оценочная шкала
5. Интеллектуальные системы тестирования обучающихся
Для решения задач обучения все шире используются интеллектуальные технологии. Интеллектуальные системы обучения имеют возможность реагировать на изменения внешних данных об обучающем - уровне продемонстрированных в процессе тестирования знаний в виде ответов на заранее подготовленные ответы. При этом реакция системы выражается в виде совокупности действий, формируемых для каждого из обучающихся индивидуально (формировании индивидуальной траектории обучения), в зависимости от продемонстрированных результатов, направленных на стимулирование конкретного обучающегося глубже изучить предмет и продемон-стрировать понимание предмета и применение полученных знаний. Создание и поддержка мотивации у обучающихся является не менее важным фактором.
Реакцией интеллектуальной системы тестирования в зависимости от полученных результатов оценки знаний могут быть:
- предложение обучающемуся изучить дополнительно учебный материал, пройти добровольное повторное тестирование по конкретной теме курса в случае, если он допустил незначительное число ошибочных ответов по этой теме и получил итоговую оценку «хо-
рошо» или «удовлетворительно» с целью повышения оценки.
- предложение обучающемуся изучить повторно учебный мате-риал по темам курса и принудительно пройти повторное тестирование в случае получения им итоговой оценки «неудовлетворительно».
- формирование итоговой оценки тестирования в зависимости от сложности вопросов, составляющих тест. При этом интеллектуальная система тестирования допускает для получения той же оценки большее количество неправильных ответов в случае, если количество «трудных» вопросов в тесте больше по сравнению с тестом, в котором содержатся только «простые» вопросы.
- формирование оценки «неудовлетворительно» в случае, если обучающийся продемонстрировал незнание основ предмета при любых результатах ответов на другие вопросы теста.
- адаптация сложности вопросов (перераспределение процентного соотношения вопросов с различным уровнем сложности) тестов в случае, если статистика результатов тестирования группы обучающихся показывает чрезмерно низкий или высокий уровень оценок у всей группы обучающихся.
Главным инструментом системы тестирования обучающихся является механизм принятия решения при оценке уровня знаний обучающегося по результатам анализа правильности выданных им ответов на вопросы теста. При этом система должна гибко и однозначно реагировать на такие факторы как сложность вопросов теста, распределение правильных и неверных ответов по темам вопросов теста. Система тестирования должна учитывать различный вклад в итоговую оценку результатов выполнения теста, складывающийся из правильных ответов на вопросы о знание предметной области и вопросов на понимание и применение предмета. При этом система тестирования должна выставить неудовлетворительную оценку обучающемуся, вы-явившему в ходе тестирования незнание основ предмета. Это возможно реализовать, приняв гибкую шкалу оценок знаний.
Рассмотренные подходы к использованию и разработке тестирующих систем позволяют выделить их главную особенность - ориентация на заранее заготовленные схемы тестирования. Такие схемы не способны адекват-
но оценить обучающего в силу его индивидуальных особенностей и имеющихся знаний. Кроме того одна схема не может оценивать полученные результаты обучения различными формами обу-чения.
Требуется более тонкий подход, учитывающий как используемые формы обучения, так и индивидуальные особенности обучаемых, в основу которого может быть положена индивидуальная траектория тестирования. Построение индивидуальной траектории тестирования, формируемой в зависимости от имеющихся компетенций и используемых форм обучения позволит компенсировать этот недостаток.
Для учета имеющихся компетенций обучаемого предполагается использование электронной карты обучаемого, в которой фиксируются все полученные в ходе обучения и подтвержденные проверкой (тестированием) знания (компетенции).
В этом случае возможны: проверка только новых знаний; проверка части ранее полученных знаний и новых.
Система тестирования должна создаваться как многоагентная система. Основными задачами, которые должна решать эта система, являются:
- Оформление обучаемого (формирование электронной карты)
- Формирование, по электронной карте и требуемой компетенции, текущей компетенции
- Планирование для обучаемого индивидуальной траектории тестирования
- Реализация траектории тестирования
- Формирование «оценки» обучаемого.
Кроме того система тестирования должна хранить и предоставлять для работы тестовые объекты и знания (метаданные) о тестовых объектах. Для этих целей система должна включать репозиторий тестовых объектов и базу знания (метаданных) о те сто -вых объектах.
Тестовые объекты представляют собой отдельные автономные зада-ния, которые однозначно определяют наличие компетентности или ее эле-мента. Тестовые объекты могут храниться в репозитории в виде файлов любой природы (текст, графика, аудио и т. д.).
Знания о тестовых объектах могут представляться в концептуальном виде. Для интегрированного метода представления знаний описание
мета-данных (знаний) о тестовых объектах включают:
- Имя тестового объекта, предусловия,
- Постусловия, список имен нижнего уровня, список имен верхнего уровня.
В этой системе выделены агенты для каждого обучаемого в виде интерфейса, индивидуальной среды тестирования и формирования текущей компетенции, агент формирования эталона оценки и агент формирования индивидуальной траектории тестирования. В репозитории хранятся тестовые объекты и метаданные о них [11,12,13].
Пошаговое описание алгоритма процесса оценки компетентности обучаемого имеет следующее содержание:
1. Идентификация обучаемого.
2. Фиксация цели обучения/тестирования - требуемой компетенции.
3. Актуализация/Создание электронной карты обучаемого.
4. Определение текущей компетенции в контексте заявленной цели.
5. Формирование индивидуальной траектории тестирования.
6. Реализация траектории тестирования.
7. Формирование «оценки» обучаемого.
8. Заполнение электронной карты обучаемого результатами тестирования.
Траектория тестирования представляет собой план, состоящий из нескольких шагов. На каждом шаге находятся задания. Задания одного шага не коррелируют друг с другом. Задания из разных шагов плана зависят друг от друга. Отрицательный результат выполнения на начальном шаге не позволяет обучаемому (в силу его компетентности) выполнить задание/задания следующего шага. Эксперты, либо специальный блок интеллектуальной обучающей системы, в этом случае определяют обучаемому дополнительное обучение или невозможность достичь требуемой компетенции. Структурная схема алгоритма оценки тестирования показана на рисунке 2.
6. Демо-версия элементов интеллектуальной системы тестирования
Одним из основных элементов интеллектуальной системы тестирования является репозиторий, в котором хранятся тестовые объекты. Используя эти тестовые объекты и метаданные о них, интеллектуальная система может сформировать для обучаемого
Рис. 2. Алгоритм процесса оценки тестирования
индивидуальную траекторию тестирования. Каждая траектория строится с учетом текущего уровня компетентности обучаемого, его будущей деятельности. Вид тестового объекта показан на рисунке 3. Представленный тестовый объект включает задание, которое необходимо выполнить обучаемому. Выполнение этого задания, в отведенное время, будет свидетельствовать о наличии компетенций в области создания продукционных экспертных систем.
Для создания индивидуальных (персональных) траекторий тестирования интеллектуальной системе необходимы знания о тестовых обектах - ме-
таданные тестовых объектов. На рисунке 4 представлен фрагмент базы знаний о тестовых объектах для проверки знаний, умений и навыков в области создания продукционных экспертных систем.
7. Заключение
Анализ подходов и методов оценки результатов обучения показал их ограниченность в решении задач контроля и повышения эффективности процессов обучения. В первую очередь это связано с использованием жестких схем контроля. Использование интеллектуальных систем тестирования позволяет учитывать, как специфику изучения новых предметных областей,
так и индивидуальные особенности обучаемых.
Литература
1. Болонский процесс: Результаты обучения и компетентност-ный под-ход, - http://window.edu.ru/ resource/870/70870/files/BP_09_1.pdf
2.Зиндер Е.З., Юнатова И.Г. Нормализованная метамодель компетен-ций, ориентированная на программы дополнительного профессио-нального образования в сфере ИКТ и смежные объекты. // Открытое образование - 2011, №11.
3. Ковтун Е.Н., Проблемы реализации компетентностного подхода при
формировании новых образовательных программ и оценивания их результатов, Материалы семинара «Самостоятельно устанавливаемые образовательные стандарты ВУЗов с учетом международных требований к проектированию, реализации и оценке качества программ» Москва, 20 октября 2010,- portal.tpu.ru/science/konf/iseep/ materials/20_oct/NTF_Competence.ppt
4. Критерии результативности тренинга по модели Киркпатрика http:// www.treko.ru/show_article_108
5. Лаврентьев Г.В.,. Лаврентьева Н.Б, Неудахина Н. А., Инновационные обучающие технологии в профессиональной подготовке специалистов (Часть 2), - http://www2.asu.ru/cppkp/ index.files/ucheb.files/innov/Part2/ch6/
6. Метод кластеризации текстов, учитывающий совместную встречаемость ключевых терминов, и его применение к анализу тематической структуры новостного потока, а также ее динамики / Киселев М. В. Пивоваров В. С. Шмулевич М. М. http://elar.usu.ru/ bitstream/1234.56789/1421/1/IMAT_ 2005_22.pdf
7. Методические рекомендации по разработке электронного учебно-методического комплекса http://cnit. mpei.ac.ru/fpkp/EUMK12/7.htm
8. Налимов В.В. Наукометрия. Изучение развития науки как информационного процесса./ Налимов В.В., Муль-ченко З.М.- Наука, 1969.-192с.
9. Оценка результатов обучения http://www.psy-business.ru/stati/19-otsenka-rezultatov-obucheniya
10. Портал знань - Знання повинш бути доступними! - http://www.znannya. org/?view=concept:1060
11. Трембач В.М., Формирование и использование моделей компетенций обучающихся на основе эволюционирующих зна-ний,//Научно-практический журнал «Открытое образование», МЭСИ, №6 (77), 2009, с. 12-26
12. Трембач В.М. Применение интеллектуальных технологий к формированию компетенций обучающихся // Искусственный интеллект и принятие решений. - 2008.- №2. С. 34-54.
13. Трембач В.М., Интеллектуальная информационная система формирования компетенций для реализации модели непрерывного образования, // Научно-практический журнал «Открытое образование», МЭСИ, №4(81), 2010, с. 79-91
14. Указ Президента России «О ме-
Рис. 3. Вид тестового объекта
substances :
- name: Уметь создавать продукционные ЭС psus: # пост условия
"Умение создавать продукционные ЭС"; 1 prus: # пред условия
"умение строить концептуальную модель": L "навыки в форализации базы знаний": 1 "учение работать е инструментальной средег: 1 "учение тестировать зс": 1 "Insi : "lnsh: "Inr: Ina: № :
- папе: Уметь строить концептуальную модель psus:
"Умение строить концептуальную модель": 1 prus:
"Знать концептуализацию предметной области"; L 1пь1; lnsh: lnr: Ina: №:
- паге: Иметь навыки е. формализации продукционной 53 psus:
"владение формализацией продукционной 53 ": 1 prus:
"Умение составлять продукции": 1 "знание продукционных правил": 1 "Знание методики описания предметной области": j 1lns1: lnsh: lnr: Ina:
№: ■
- паге: Иметь навыки работы в инструментальной среде psus:
"навыки работы в инструментальной среде": 1 prus:
"знание инструментальной среды": 1 "Умение работать с ПК"; 1 Ins"!; lnsh; lnr; Ina: из:
Рис. 4. Пример метаданных о тестовых объектах
рах по реализации государственной политики в области образования и науки», - на сайте Министерства Образования и науки: Шр://минобрнауки.рф/ новости/2214 и на сайте Президента России в разделе «Документы» http:// news.kremlin.ru/acts/15236
15. Федеральная целевая программа. «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2007—2013 годы»
16. http://smartmesi.blogspot. com/2012/03/smart-smart.html#more
References
1. Bolonskij process: Rezul'taty obuchenija i kompetentnostnyj podhod, - http://window.edu.ru/ resource/870/70870/files/BP_09_1.pdf
2. Zinder E.Z., Junatova I.G. Normalizovannaja metamodel' kompeten-cij, orientirovannaja na programmy dopolnitel'nogo professio-nal'nogo obrazovanija v sfere IKT i smezhnye ob#ekty. // Otkrytoe obrazovanie - 2011, №11.
3. Kovtun E.N., Problemy realizacii kompetentnostnogo podhoda pri formirovanii novyh obrazovatel'nyh programm i ocenivanija ih rezul'tatov, Materialy seminara «Samostojatel'no ustanavlivaemye obrazovatel'nye standarty VUZov s uchetom mezhdunarodnyh trebovanij k
proektirovaniju, realizacii i ocenke kachestva programm» Moskva, 20 oktjabrja 2010,- por-tal.tpu.ru/science/ konf/iseep/materials/20_oct/NTF_ Competence.ppt
4. Kriterii rezul'tativnosti treninga po modeli Kirkpatrika http://www.treko.ru/ show_article_10S
5. Lavrent'ev G.V.,. Lavrent'eva N.B, Neudahina N.A., Innovaci-onnye obuchajuwie tehnologii v professional'noj podgotovke specialistov (Chast' 2), -http://www2.asu.ru/cppkp/index.files/ ucheb.files/innov/Part2/ch6/
6. Metod klasterizacii tekstov, uchityvajuwij sovmestnuju vstrechae-most' kljuchevyh terminov, i ego primenenie k analizu tematicheskoj struktury novostnogo potoka, a takzhe ee dinamiki / Kiselev M. V. Pivovarov V S. Shmulevich M. M. http://elar.usu. ru/bitstream/1234.567S9/1421/1/IMAT_ 2005_22.pdf
7. Metodicheskie rekomendacii po razrabotke jelektronnogo uchebno-metodicheskogo kompleksa http://cnit. mpei.ac.ru/fpkp/EUMK12/7.htm
S. Nalimov V.V. Naukometrija. Izuchenie razvitija nauki kak informacion-nogo processa./ Nalimov W, Mul'chenko Z.M.- Nauka, 1969.-192s.
9. Ocenka rezul'tatov obuchenija http://www.psy-business.ru/stati/19-otsenka-rezultatov-obucheniya
10. Portal znan' - Znannja povinni
buti dostupnimi! - http://www.znannya. org/?view=concept:1060
11. Trembach V.M., Formirovanie i ispol'zovanie modelej kompetencij obuchajuwihsj a na osnove jevoljucionirujuwih zna-nij,//Nauchno-prakticheskij zhurnal «Otkrytoe obrazovanie», MJeSI, №6 (77), 2009, s. 12-26
12. Trembach V.M. Primenenie intellektual'nyh tehnologij k formiro-vaniju kompetencij obuchajuwihsja // Iskusstvennyj intellekt i prinjatie reshenij. - 200S.- №2. S. 34-54.
13. Trembach V.M., Intellektual'naja informacionnaja sistema formirovanija kompetencij dlja realizacii modeli nepreryvnogo obrazovanija, // Nauchno-prakticheskij zhurnal «Otkrytoe obrazovanie», MJeSI, №4(S1), 2010, s. 79-91
14. Ukaz Prezidenta Rossii «O merah po realizacii gosudarstvennoj politiki v oblasti obrazovanija i nauki», - na sajte Ministerstva Obrazovanija i nauki: http:// minobrnauki.rf/novosti/2214 i na sajte Prezidenta Rossii v razdele «Dokumenty» http://news.kremlin.ru/acts/15236
15. Federal'naja celevaja programma. «Issledovanija i razrabotki po prioritetnym napravlenijam razvitija nauchno-tehnologicheskogo kompleksa Rossii na 2007—2013 gody»
16. http://smartmesi.blogspot. com/2012/03/smart-smart.html#more
