CC BY
55
6. Рыбина Г.В., Демидов Д.В. Модели, методы и программные средства вывода в интегрированных экспертных системах // Инженерная физика. - 2007. - № 2. - С. 51-60.
7. Тельное Ю.Ф. Реализация компетентностного подхода к обучению на основе управления знаниями // Научная сессия МИФИ-2007. Сб. научных трудов. В 17 томах. Т. 3. Интеллектуальные системы и технологии. - М.: МИФИ. - С. 40-42.
8. Кравченко Ю.А. Оценка когнитивной активности пользователя в системах поддержки принятия решений // Известия ЮФУ. Технические науки. - 2009. - № 4 (93). - С. 113-117.
9. Кравченко Ю.А. Интеграция свойств когнитивных стилей и интеллектуальных агентов как основа создания адаптивных информационных обучающих систем // Открытое образование. - 2010. - № 4. - С. 20-29.
10. Курейчик В.М., Писаренко В.И., Кравченко Ю.А. Инновационные образовательные технологии в построении систем поддержки принятия групповых решений // Известия ЮФУ. Технические науки. - 2008. - № 4 (81). - С. 216-221.
Бова Виктория Викторовна
Технологический институт федерального государственного автономного
образовательного учреждения высшего профессионального образования «Южный
федеральный университет» в г. Таганроге.
E-mail: [email protected].
347928, г. Таганрог, Некрасовский, 44.
Тел.: 88634371651.
Кафедра систем автоматизированного проектирования; старший преподаватель.
Bova Viktoria Viktorovna
Taganrog Institute of Technology - Federal State-Owned Autonomy Educational
Establishment of Higher Vocational Education “Southern Federal University”.
E-mail: [email protected].
44, Nekrasovskiy, Taganrog, 347928, Russia.
Phone: +78634371651.
The Department of Computer Aided Design; Senior Lecturer.
УДК 621.3
В.В. Марков, М.В. Луцан
АНАЛИЗ И ОЦЕНКА СВОБОДНЫХ ОТВЕТОВ В СИСТЕМЕ ТЕСТОВОГО
КОНТРОЛЯ ЗНАНИЙ*
Предложена методика анализа и оценки правильности ответов тестируемого, выдаваемых в свободной форме. При этом подразумевается построение тестовой системы на основе использования нечеткой модели экзаменатора. Требуемые оценки формируются на основе анализа близости слов в эталонном и полученном ответах. Приведено описание алгоритма и даны формульные оценки для реализации целей анализа. Применение предлагаемого алгоритма показано на примере.
Система тестового контроля; нечёткая модель экзаменатора; объективный порядок слов; оценка близости слов.
V.V. Markov, M.V. Lutsan
ANALYSIS AND EVALUATION OF FREE-RESPONSES FOR KNOWLEDGES CONTROL TESTING SYSTEM
This article deals with the technique of analysis and evaluation of the correctness of responses tested, issued in a free form. This implies the construction of a test system using fuzzy model of the examiner. Required estimates are formed on a base ofproximity analysis of words
* Работа выполнена при поддержке: РФФИ (грант № 10-07-00538), г/б № 2.1.2.1652. 226
in received reference and issuing answers. The description of the algorithm and the formulas estimates for the purposes of analysis are given. Application of the proposed algorithm is shown in the example.
Ttest control system; fuzzy model of the examiner; an objective order of words; evaluation ofproximity of words.
Введение. Важным и перспективным направлением развития системы образования сегодня является широкое внедрение методов дистанционного обучения на основе использования современных педагогических, информационных и телекоммуникационных технологий. Для развития дистанционного образования в целом, важной составляющей которого является оценка уровня полученных знаний, необходима поддержка этой технологии в информационном и алгоритмическом аспектах. Существующие на сегодняшний день технологии извлечения приобретенных знаний и методики оценки их уровня основаны, в подавляющем большинстве случаев, на бинарной логике, что далеко не всегда отражает реальное состояние [1,8] с точки зрения действительного наличия проверяемых знаний. Традиционные технологии тестирования не позволяют проверять и оценивать продуктивные уровни знаний, связанные с самостоятельным формированием знания, что, однако, достаточно уверенно реализуется в классических, некомпьютерных технологиях и формах обучения. Адаптация моделей, способов и методик тестирования к классической форме, в частности, подразумевает разработку инструментов, позволяющих произвести анализ представленных в свободной форме ответов тестируемого. В [2,7] показаны варианты решения указанной задачи, опирающиеся на нечеткую модель экзаменатора. В [2] предложен алгоритм анализа свободного ответа и оценки степени его соответствия (ОСС) правильному на основе выделения пересекающихся подмножеств текста (шинглов). В настоящей работе предлагается способ оценки правильности свободных ответов на базе оценки близости ключевых слов.
Моделирование системы тестирования. Модель процесса тестирования, с учетом поставленной задачи, опирается на нечеткую модель экзаменатора, использованную в [1,2]. Для организации тестового контроля вводятся следующие входные параметры - множество вопросов Q, разбитых по темам Т, по которым производится тестирование, а также множество симптомов (оценок, предполагающих некоторую степень правильности оцениваемого ответа) C и гипотез (традиционных оценок) H. Экзаменатор, помимо задания, формулирует и ожидаемый правильный (эталонный) ответ на него. В дальнейшем этот ответ используется для формирования вывода о том, в какой степени ответ тестируемого является верным. В ходе тестирования учащийся своими ответами «выбирает» некоторую гипотезу из H. Значимости подтвержденных гипотез по результатам контроля отдельных вопросов являются частными вкладами в общую оценку результата тестирования в целом. Для определения степени соответствия может использоваться ряд различных алгоритмов. В [2] предлагается алгоритм на основе выявления пересекающихся подпоследовательностей текста, так называемых, шинглов. Предложенный метод показывает относительно хороший результат только на текстовых фрагментах, отличающихся по длине до 20%. При этом существенное влияние на результат его работы оказывает разница в порядке слов в оцениваемом и эталонном текстовых фрагментах. Устранить возникающие в подобных случаях проблемы предлагается с помощью базирующихся на анализе текстовых фрагментов, с учетом их лексической структуры, алгоритмов, описанных в данной статье.
Алгоритм анализа нечеткой схожести текстов на основе близости слов. В этом алгоритме центральным объектом анализа становится не весь текст, а его предложения. Предложение - это минимальная единица языка, которая представ-
ляет собой грамматически организованное соединение слов (или слово), обладающее смысловой законченностью [4]. Также как и в алгоритме, основанном на шинглах [2], в данном алгоритме работа начинается с приведения предложения текста к каноническому виду. Следующим шагом является поиск первого слова или его синонима из эталонного ответа в полученном ответе. В случае, если слово найдено не будет, то производится поиск второго слова и далее, последовательно, для всех слов. Когда слова, соответствующие друг другу в эталонном и полученном ответах, будут найдены, то выбирается следующее слово в эталонном ответе и производится поиск его или его синонима в полученном ответе. Поиск производится рядом с предыдущим словом. Ключевым понятием в данном алгоритме является понятие положения слов «рядом».
Рассмотрим это понятие подробнее. В любом языке можно определить более или менее предопределенный порядок слов, под которым понимается линейная последовательность слов и словосочетаний в выражении естественного языка, а также закономерности, характеризующие такую последовательность в каком-либо конкретном языке. Чаще всего, говорят о порядке слов в предложении, однако порядок слов внутри словосочетаний и сочинительных конструкций тоже обладает своими закономерностями. Расположение слов, связанных друг с другом грамматически или по смыслу, в виде цепочки - необходимое следствие линейного характера человеческой речи. Нарушение правил порядка слов приводит или к изменению смысла, или к грамматической неправильности языкового выражения [5]. Русский язык является языком со свободным порядком слов, но также даже в таких языках постулируется существование некоторого нейтрального (объективного) порядка слов и отклонений. Поэтому будем считать эталонный ответ набором лексем с правильным линейным порядком их расположения, а для учета вариативных отклонений введем величину dmax, с помощью которой будем и вычислять степень отклонения слов в полученном ответе. Величина задается эмпирически составителем теста; диапазон значений - в пределах от 1 до N где N - количество слов в предложении.
Сформулируем теперь алгоритм анализа и оценки правильности ответа тестируемого на основе близости слов, где Тэ - эталонный ответ, а Тт - ответ тестируемого:
1. Приведение текстов ответов к каноническому виду.
2. Задание параметра ^ах.
3. 1=1,]=1, к=1, Я=0.
4. Если 1-е слово из Тэ равно к-му слову из Тт или они синонимы, то ]=к, Я=Я+1 и переход к п. 7, иначе - к п. 6.
5. Если 1<|Тэ|, то 1=1+1, к=1 и переход к п. 4.
6. Если к<|Тт|, то к=к+1 и переход к п. 4, иначе - к п. 5.
7. а=1.
8. Если ]+^|Тэ| и Тэ[1]=Тт[]+^ или Тэ[1] и ТтЦ+^ синонимы, то j=j+d и переход к п. 10, иначе - к п. 9.
9. Еслиj-d>0 и Тэ[1]=Тт[]^] или Тэ[1] и ТтЦ^] синонимы, то j=j-d и переход к п. 10, иначе - к п. 11.
10. Расчет коэффициента г:
г = <
1, ё << 1
(1)
> і
М - 4™)+1
Я=Я+г и переход к п. 12.
11. Если й<|Тт|, то d=d+1 и переход к п. 8, иначе - к п. 12.
12. Если 1<|Тэ|, то 1=1+1 и переход к п. 7, иначе завершение (переход к п. 13).
13. Расчет степени соответствия эталонного и полученного ответов:
К (2)
Р =
к\
Из алгоритма видно, что поиск следующего слова производится в обоих направлениях от текущего, это сделано для того, чтобы нивелировать отклонения от прямого порядка слов.
Пример работы алгоритма на основе близости слов. Пусть заданы некоторый вопрос и ответы на него.
Эталонный ответ: множество есть совокупность различных элементов Полученный ответ: объединение разных элементов есть множество Первым шагом является приведение предложений к каноническому виду. Примем d=3, после чего найдем соответствие первого слова из эталонного ответа в полученном (слово множество), выполнив пункты алгоритма 1-6. После их выполнения ) равняется 5. Для простоты дальнейший анализ приведен на рисунке, порядок действий - сверху вниз, далее по номерам блоков.
Эталонный ответ
"^совокупность^ различных
элементов
г —Ї Объединение '( Л разных Г элементов ^ , есть , Г 1 множество
і=1^і+ 1 3 V й=2 4 V й=3 5 V й=3 2, й—■— і-= 1 1 й=1 1
Рис. 1. Анализ схожести текстовых фрагментов на основе оценки близости слов
Все слова найдены на своих местах, расстояние между каждым не больше dmax, поэтому результат, рассчитанный по (2), будет р = 1.
Алгоритм на основе близости слов с весами слов. При разности длин анализируемых текстов, даже если будут сохранены все позиции ключевых слов, результат будет линейно уменьшаться, согласно формуле (2). Например, если опустить слово «есть» из полученного ответа в приведенном выше примере (или заменить его на тире), то результат станет 0,75, но, в то же время, предложение не теряет смысла. Поэтому ввод ключевых слов в тексте, способных в совокупности с другими ключевыми словами представлять текст, позволяет улучшить результат анализа [6]. Для этого каждому слову в эталонном ответе присваивается вес, лежащий в диапазоне [1; 10].
В рассматриваемом примере пусть ключевыми словами с весом 10 будут следующие слова: множество; совокупность; различных; элементов, а все остальные слова будут иметь вес 1. Таким образом, можно переписать формулы (2) и (3) с учетом весов слов:
т, d < d„
(З)
(d - dmax) + 1
d > d„
P =
R
(4)
т
где m - вес слова, i = 1, N, N - количество слов в эталонном ответе. В данном примере, при отсутствии слова «есть», не являющимся ключевым, результатом
сравнения будет р = 40 ~ i.
р 41 ~
Заключение. Предложенная в работе алгоритмическая реализация анализа и оценки результатов компьютерного тестирования на основе близости ключевых слов в эталонном и полученном ответах, базирующаяся на нечёткой модели экзаменатора, развивает идеи, предложенные в [2]. Описанный в работе алгоритм, направленный на определение правильности выданных в свободной форме ответов тестируемого, без применения сложного и громоздкого аппарата семантического анализа, позволяет определять тактику проведения тестового опроса и с достаточной долей уверенности оценивать уровень знаний тестируемого.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Атанов Г.А., Пустынникова И.Н. Обучение и искусственный интеллект, или основы современной дидактики высшей школы. - Донецк: Изд-во ДОУ, 2002. - 504 с.
2. Марков В.В., Луцан М.В. Организация тестового контроля знаний на основе нечёткой модели экзаменатора // Известия ЮФУ. Технические науки. - 2010. - № 7 (108). - 262 с.
3. Башмаков А.И., Башмаков И.А. Разработка компьютерных учебников и обучающих систем. - М.: Информационно-издательский дом «Филинъ», 2003. - 616 с.
4. Валгина Н.С., Розенталь Д.Э., Фомина М.И. Современный русский язык: Учебник; под редакцией Н.С. Балтиной. - 6-е изд., перераб. и доп. - М.: Логос, 2002. 528 с.
5. Ярцева В.Н. Лингвистический энциклопедический словарь. - М.: Сов. энциклопедия, 1990. - 683 с.
6. Стоп-слова и списки стоп-слов // http://msdn.microsoft.com/en-us/library/ms142551.aspx.
7. Бова В.В. Технологии интеллектуального анализа и извлечения данных на основе принципов эволюционного моделирования / Б.Б. Бова, Л.А. Гладков, Ю.А. Кравченко, Б.Б. Ку-рейчик, Б.М. Курейчик, С.Н. Щеглов // Таганрог: Изд-во ТТИ ЮФУ, 2009. - 124 с.
8. Курейчик В.М., Писаренко В.И., Кравченко Ю.А. Инновационные образовательные технологии в построении систем поддержки принятия групповых решений // Известия ЮФУ. Технические науки. - 2008. - № 4 (81). - С. 216-221.
Марков Владимир Васильевич
Технологический институт федерального государственного автономного образовательного учреждения высшего профессионального образования «Южный федеральный университет» в г. Таганроге.
E-mail: [email protected].
347928, г. Таганрог, пер. Некрасовский, 44.
Тел.: 88634371651.
Кафедра систем автоматизированного проектирования; доцент.
Луцан Максим Васильевич
E-mail: [email protected].
Кафедра систем автоматизированного проектирования; аспирант.
Markov Vladimir Vasilyevich
Taganrog Institute of Technology - Federal State-Owned Autonomy Educational Establishment of Higher Vocational Education “Southern Federal University”.
E-mail: [email protected].
44, Nekrasovskiy, Taganrog, 347928, Russia.
Phone: +78634371651.
The Department of Computer Aided Design; Associate Professor.
Lutsan Maxim Vasilyevich
E-mail: [email protected].
The Department of Computer Aided Design; Postgraduate Student.
УДК 159.954:37.036.5
А.В. Ляшук, М.Г. Бондарев
ВООБРАЖЕНИЕ И ЕГО РОЛЬ В ПОДГОТОВКЕ БУДУЩЕГО СПЕЦИАЛИСТА
Рассматривается проблема воображения в контексте подготовки будущего специалиста. Авторами делается обзор подходов к пониманию воображения и вводится собственное определение данного понятия применительно к проблематике работы. Рассматриваются функции воображения в жизни человека, доказывается необходимость развития данного психического процесса у студентов вузов.
Воображение; творческая деятельность; подготовка специалиста; профессиональный опыт.
A.V. Lyashuk, M.G. Bondarev IMAGINATION AND ITS FUNCTION IN SPECIALIST TRAINING
The problem of imagination in the scope of specialist training is considered in the article. The authors review different interpretations of the term and suggest their own concept definition concerning the subject matter. The functions of imagination are examined, the need of students’ imagination development is reasoned.
Imagination; creative activity; specialist training; professional experience.
Б эпоху стремительного развития информационных технологий и научного прогресса, находящих свое отражение во всех сферах человеческой жизнедеятельности, резко возрастает потребность общества в людях, способных творчески подходить к любым изменениям, нетрадиционно и качественно решать возникающие проблемы. Как следствие, появляется необходимость в подготовке людей к жизни в быстро меняющихся условиях. Чем настоятельнее потребность общества в творческой инициативе личности, тем острее необходимость в теоретической разработке проблем творчества и творческой деятельности, изучении их природы и форм проявления, источников, стимулов и условий.
Творческой деятельностью называется деятельность человека по созданию некого нового объекта, относящегося как к «миру вещей», так и к «миру идей». Именно творческая деятельность человека делает его существом, обращенным к будущему, созидающим его и видоизменяющим своё настоящее. Эту творческую
