CC BY
65
АВТОМАТИЗАЦИЯ И УПРАВЛЕНИЕ
УДК 004.94
И.В. Вешнева, Л.Ю. Стрелюхина ПРИМЕРЫ ПРИМЕНЕНИЯ ЗНАКОПЕРЕМЕННЫХ ФУНКЦИЙ ПРИНАДЛЕЖНОСТИ ДЛЯ ОЦЕНКИ ОБЩЕКУЛЬТУРНЫХ И ПРОФЕССИОНАЛЬНЫХ КОМПЕТЕНЦИЙ
Продемонстрирована применимость знакопеременных ортонормированных функций принадлежности к оценкам компетенций двух различных наборов компетенций. В первом случае был проведен анализ формирования лингвистических компетенций групп, изучающих русский язык как иностранный, во втором - набора компетенций преподавателей по проблемно-ориентированному анализу.
Теория нечетких множеств, компетентностный подход в образовании, компетенции, весовые коэффициенты
I.V. Veshneva, L.Yu. Strelyukhina
APPLICATION OF SIGN-VARIABLE FUNCTIONS OF BELONGING TO ESTIMATING CULTURAL AND PROFESSIONAL COMPETENCES
The authors consider application of sign-variable functions of belonging to estimating competences referring to a set of two various competences. In the first case, analysis has been made of building up the linguistic competence with those who study Russian as a foreign language. In the second case, the teacher’s competences relating problem-oriented analysis have been studied.
Theory of fuzzy sets, competence approach in education, competence, weights
Введение
В настоящее время чрезвычайно актуальной задачей является построение моделей для описания процессов, происходящих в сложных социально-экономических системах. Разработка таких моделей позволит выделить наиболее существенные факторы, влияющие на динамику процесса, и выявить механизмы эффективного управления исследуемой системой. Основой происходящей модернизации образования в России становится компетентностный подход, при котором в результате образовательного процесса должны сформироваться ключевые компетенции. Компетенции сложно оценить, поскольку в настоящее время, с одной стороны, нет четко устоявшейся терминологии [1], а с другой - мало апробированных и устойчиво зарекомендовавших себя на практике технологий их измерения. Создание теории и методов описания и управления процессом формирования компетенций в процессе обучения позволит повысить эффективность управления этим процессом. Сложность задачи определяется двумя основными причинами: с одной стороны - это отсутствие измерительных шкал подобных естественно-научным, как например, длина, масса и т.п. С другой стороны, исследователи сталкиваются с высокой сложностью и перекрестностью происходящих в социальноэкономических системах процессов. Проведем анализ свойств процессов формирования компетенций как класса объектов управления.
Если соотносить вероятностные, нечетко-множественные и экспертные описания применительно к задаче построения моделей для описания процессов, происходящих в сложных социальноэкономических системах, то можно использовать сравнение применимости способов описания по ме-
ре усиления неопределенности. При этом классические вероятностные описания уступают место, с одной стороны, субъективным вероятностям, основанным на экспертной оценке, а с другой - вероятностям, определенным не количественно, а качественно (приблизительно). При этом точечные оценки вероятностных распределений для экспертных методов замещаются интервальными, а для методов теории нечетких множеств - формой функций принадлежности.
В аспекте разработки технологий оценки компетенций представляется перспективным использование теории нечетких множеств (ТНМ), поскольку с появлением предложенных в теории моделей и методов стало возможно подвергать количественному анализу те явления, которые раньше либо могли быть учтены только на качественном уровне, либо требовали использования весьма грубых моделей. В [2-5] проблема отсутствия измерительных шкал решается с применением методов ТНМ. Это очень перспективная и научно обоснованная методика, поскольку использование ТНМ позволяет ввести измерительную шкалу и четко регламентировать правила принятия решений. Кроме того, формирование функций принадлежности выходных переменных, описывающих соответствие результирующих характеристик заданным параметрам, учитывает перекрестность формируемых компетенций. Например, в [2] предложена методика тестовой оценки компетенций, основанная на применении ТНМ для предпочтения между критериями.
При активном расширении возможностей применения ТНМ имеет ряд недостатков. Заметим, что огромное количество информации содержится в трудноформализуемых интуитивных предпочтениях лица, формирующего списки оцениваемых параметров и конструирующего функции принадлежности. Эта проблема сглаживается на этапе проведения дефаззификации. При этом более сложной задачей предстает стремление к детерминированности при составлении проекций лингвистического описания на классификатор при проведении дефаззификации. И уже непреодолимой в рамках терминологии ТНМ становится статичность вводимой оценки. Разрешение этих проблем предложено в [6] путем введения комплексных функций принадлежности для оценки компетенций студентов для построения динамической модели управления формированием заданного набора компетенций студентов. В настоящей работе будем частично опробовать предложенный ранее метод.
Алгоритм проведения эксперимента и расчет весовых коэффициентов. Применим данную процедуру к оценке состояния компетенций в двух различных случаях - общекультурных лингвистических компетенций студентов и профессиональных компетенций профессорско-преподавательского состава.
1 этап. Зададим наборы входных и выходных компетенций при обучении определенного контингента некоторой дисциплине (специальности, направлению подготовки и т.п.). Допустим, мы оцениваем их по 5-балльной системе. Но это не отлично, хорошо, удовлетворительно, неудовлетворительно, а набор оценок познавательный, практический, репродуктивный, продуктивный, исследовательский. Взят единичный интервал [-0.5;0.5]. На нем размещены куполообразные функции принадлежности. Функции принадлежности были выбраны так, чтобы максимальное значение было равны единице, располагались симметрично относительно г=0 и на границах интервала имели значение < 10-7. Это определяет положение максимумов и ширину гауссовых кривых. Если рассматривать выставляемую оценку, как математическое ожидание функции принадлежности, то все оценки будут размещены в интервале [-0.28; 0.28]. Соответствие оценок лингвистическим термам выглядит так: -0,28 - познавательный (По), -0,093 - практический (Пк), 0 - репродуктивный (Р), 0,093 - продуктивный (Пр), 0,28 - исследовательский (И) (рис. 1 а). Такие функции принадлежности типичны для ТНМ [6, 7]. При этом средняя оценка вычисляется как математическое ожидание г по функции принадлежности.
На этапе дефаззификации из волновых функций с помощью некоторых процедур должны быть получены лингвистические высказывания (например, «обучение проведено эффективно», или «субъект обладает заданными компетенциями в пределах нормы и позитивно настроен на дальнейшее обучение» и т.д.). Эти выводы позволяют принимать управленческие решения. В зависимости от выбора процедур дефаззификации удобно то или иное представление функций принадлежности.
Проведем процедуру ортогонализации базисного набора по алгоритму Грамма-Шмидта. Поскольку дальнейшее проектирование экспертной системы [8] предполагает проведение распознавания ее состояния на этапе вывода результатов проведенного анализа (этап дефаззификации [9]), такое представление позволит упростить процедуру.
Обычно система оценки базируется на функциях принадлежности вида рис. 1 а, что требует очень сложного соотношения нормировки из-за неортогональности базисных функций. Тогда в математической модели набора возможных оценок трудно реализовать условие полноты набора высказываний. При использовании знакопеременных ортонормированных базисных функций соотношение нормировки выглядит следующим образом:
(і)
где ] = 1 ,..., 15 (5x3) в данном случае, а с - амплитуда вероятности обнаружить систему в состоянии_].
Рис. 1. Функции принадлежности ЗУН части компетенции: а - центрированные до нормализации; б - после ортогонализации и нормализации: (г), I = 1,...5
В теории вероятностей принято вероятность достоверного события считать равной 1. Следовательно, проведенная процедура нормализации, дающая систему ортонормированных функций, в смысле интегрирования представляется закономерным, логически оправданным действием. Орто-нормированный базис позволяет использовать принцип суперпозиции. Поскольку большая часть получаемых знаний и компетенций накладывается друг на друга, представление состояния испытуемого в виде суммы состояний, в которых он может находиться, имеет очевидный практический смысл в плане аналогий квантово-механических волновых функций и возможных состояний испытуемого учащегося.
2 этап. Определим весовые коэффициенты для каждой компетенции из введенного набора. Возможно использование различных методов оценок весовых коэффициентов, в самом простом случае они определены преподавателем. Наряду с экспертными методами оценивания существуют и статистические, например, один из методов определения весовых коэффициентов компетенций основан на том, что вес отражает относительную частоту, с которой каждая компетенция различает лучших и средних студентов. В этом случае необходимо вычислить коэффициент корреляции каждой компетенции с итоговой суммой баллов, полученной студентами за тест. Для этого формируются два вектор-столбца, один из которых - оценки всех студентов по одной компетенции, другой - итоговая сумма баллов по всему тесту.
Для расчета коэффициента корреляции используется следующая методика [10]. Сначала находится сумма квадратов отклонений баллов студентов от среднего арифметического балла по интересующему критерию Кц :
(2)
І=і
П
где Кц - баллы 1-го студента по _]-й компетенции, п - количество тестируемых студентов.
Затем находится сумма квадратов отклонений итоговых тестовых баллов студентов от среднего арифметического балла по всему тесту:
= 1у, 2-
І=1
(1^)!
(3)
где Уі - итоговый тестовый балл і-го студента, п - количество тестируемых студентов.
На следующем шаге вычисляется скорректированная на средние значения сумма попарных произведений баллов по _]-й компетенции и итоговых тестовых баллов каждого студента:
(Iк, НІ у )
(4)
2
І=і
п
І=і
п
І=і
І=і
п
і=1
Первая часть формулы (3) представляет собой сумму произведений баллов каждого студента по ]-й компетенции и по итоговому тестовому баллу. Вторая часть формулы (3) представляет собой коррекцию на средние значения произведений баллов каждого студента по ]-й компетенции на его итоговый балл.
На последнем шаге рассчитывается коэффициент корреляции ]-й компетенции с итоговой суммой баллов:
Гу = ^ (5)
Чем выше значение Гу, тем больше потенциальный вклад у-й компетенции в итоговый тестовый балл. Вес компетенции определяется как отношение ее коэффициента корреляции к сумме всех коэффициентов.
3 этап. Сформируем комбинацию нечетких множеств для конкретной оценки. Выпуклая комбинация нечетких множеств имеет следующий вид:
П
/(Г) = X (Г)’
г=1
где wi - весовые коэффициенты, Щ(г) - ортонормированные знакопеременные функции принадлежности оценок соответствующих компетенций. Полученную функцию принадлежности уже можно считать результатом.
4 этап представляет собой процедуру дефаззификации, обсуждение которой не проводится в рамках данной статьи. В работе приведено сравнение некоторых характеристик результирующей функции принадлежности сформированного набора компетенций для двух экспериментов (лингвистических и профессиональных компетенций) и способов оценки весовых коэффициентов при применении ортонормированных знакопеременных функций принадлежности.
Результаты экспериментов
Первый эксперимент. Проведем анализ формирования лингвистических компетенций 17 студентов, изучающих русский язык как иностранный в течение года, после прохождения двухмесячных летних подготовительных курсов по русскому языку. Это группа студентов из разных стран Африки и Юго-Восточной Азии обучалась у одного преподавателя. Тестирование проводилось в мае 2011 года. Использование такой аудитории предполагается удачным для апробации метода, поскольку группы критериев оценок лингвистических компетенций четко выработаны и отработаны в течение длительного времени. Традиционно в изучении иностранного языка выделяют группы: чтение, письмо, аудирование; лексика, грамматика; социально-психологические и этические компетенции.
Выберем двух студентов с одинаковыми итоговыми тестовыми баллами. В табл. 1. приведены примеры оценок лингвистических компетенций и их весов, рассчитанных двумя способами (экспертным и корреляционным).
Таблица 1
Примеры оценок лингвистических компетенций
Индекс компетенции Содержание компетенции Вес Оценка
эксп. коррел.
Студент № 1
К1.1 Участие в диалоге, ответ на реплику собеседника 0,049 0,028 Пр
К1.2 Начать беседу 0,054 0,052 И
К1.3 Завершить беседу 0,038 0,050 И
К1.4 Спрашивать и сообщать информацию: задавать вопрос или сообщать о факте, событии, человеке, предмете 0,043 0,027 Пр
К1.5 Спрашивать и сообщать информацию: о времени, месте, причине и цели действия или события 0,043 0,016 И
Студент № 2
К1.1 Участие в диалоге, ответ на реплику собеседника 0,049 0,028 Пр
К1.2 Начать беседу 0,054 0,052 И
Сформируем функцию принадлежности для выходных значений оценки компетенций студента № 1 с весовыми коэффициентами, рассчитанными экспертным путем, и такую же функцию для оценок с весовыми коэффициентами, рассчитанными корреляционным способом. Для сравнения рассмотрим оценки студента № 2, получившего такой же общий балл за тест. На рис. 2 представлены графики квадрата модуля функции принадлежности исследуемого набора компетенций.
Традиционная оценка может быть представлена как математическое ожидание квадрата модуля функции принадлежности. Для значений математического ожидания можно ввести традиционные трактовки полученных баллов: отлично, хорошо, удовлетворительно и неудовлетворительно. Значения диапазонов целесообразно подобрать экспериментально, согласуясь с экспертными заключениями о подготовке студентов. Для рассматриваемого случая предлагается ввести шкалу, представленную на рис 3.
Вычислим математическое ожидание для обоих студентов:
корр
-0 2
-1
0 2
0 4
г2кс = 0,143222 ; тк2°рр = 0,149553
б 4
3 /Л А // \
2 X
і ] V
-0 4 -0 2 4 0 2 0
-1
(6)
Рис. 2. Сплошная линия соответствует набору компетенций с экспертными весовыми коэффициентами, пунктирная - с корреляционными весовыми коэффициентами: а - оценка студента № 1; б - оценка студента № 2
а
Познавательный Практический Репродуктивный Продуктивный Исследовательский
______[-^гтТГГТШШТТГТТТт^^ | ^
-0,17
Рис. 3. Шкала оценок компетенций
Из полученных результатов видно, что математические ожидания функций принадлежности для оценок компетенций студентов, получивших одинаковый тестовый балл, вычисленные с использованием экспертных весовых коэффициентов, неразличимы. Математические ожидания, рассчитанные с корреляционными весовыми коэффициентами, различают таких студентов.
Таким образом, вычисление математического ожидания функции принадлежности для оценки компетенций дает дополнительную возможность различать студентов с одинаковыми итоговыми тестовыми баллами. При этом расчет весовых коэффициентов компетенций корреляционным способом позволяет снизить субъективность экспертных оценок и корректно ввести различия в вычисления математического ожидания.
В зависимости от цели тестирования можно выделить два класса тестов: нормативноориентированные и критериально-ориентированные [11]. Если необходимо сравнить между собой двух студентов, например, в конкурсном отборе, то используют тесты первого из указанных классов. В этом случае использование корреляционных весовых коэффициентов представляется наиболее удачным, т.к. вычисленные с их помощью математические ожидания, соответствующие одинаковым тестовым баллам, различаются. Проведенные в данной работе вычисления показывают применимость
введенных ортонормированных знакопеременных функций принадлежности для нормативноориентированных тестов.
Целью второго из указанных классов теста является выявление у студента степени овладения знаниями в определенной области. Здесь столь малое отличие в значениях математических ожиданий двух студентов не играет роли. При оценке результатов таких тестов целесообразно использовать экспертные весовые коэффициенты, которые позволяют выявить глубину полученных знаний. Для критериально-ориентированных тестов проведенное обсуждение результатов полученных при определении значений характеристик результирующей функции принадлежности набора сформированных компетенций, таких как математическое ожидание, показало соответствие результатов вычисления и мнения эксперта. Следовательно, можно говорить о применимости введенных функций принадлежности к проведению комплексной оценки общекультурных лингвистических компетенций студентов.
Второй эксперимент. Возьмем более сложную задачу. Будем проводить оценку заданного набора компетенций по проблемно-ориентированному анализу, формируемых в группе профессорско-преподавательского состава на занятиях по повышению квалификации. Ситуация значительно сложнее по двум основным направлениям: во-первых, нет четко регламентированной процедуры формирования компетенций и самого их набора. Такая работа является пилотной. Во-вторых, работа в аудитории сформировавшихся исследователей значительно труднее оцениваема экспертом в силу низкой интегрированности обучающихся в процесс воздействия и неоднородности аудитории. Для описания представляемой модели управления развитием компетенций проведено рассмотрение упрощенного примера оценки предметных компетенций и их изменение при проведении семинара тренинга проектирования дерева проблем сотрудниками вузовской администрации. Для этого был проведен обзор литературы, посвященной классификации компетенций и выбран перечень Ю1Р [12]. Из него мы взяли всего три группы предметных компетенций для простоты и наглядности модели. Для оценки уровней формирования компетенций используется такая же терминология, что и в предыдущем примере. В табл. 2 приведены примеры оценок лингвистических компетенций и их весов, рассчитанных двумя способами (экспертным и корреляционным). В эксперименте проводилась двойная оценка каждой компетенции - экспертом и самим участником. Для демонстративности примера выберем двух участников: первого - с максимально близкими оценками экспертом и самооценки, второго - с максимально различными. Полагаем первую ситуацию приближенной к первому эксперименту, вторую - самой сложной.
На рис. 4 представлены графики квадрата модуля функции принадлежности исследуемого набора компетенций.
Таблица 2
Примеры оценок лингвистических компетенций
Индекс компетенции Содержание компетенции Вес Оценка
эксп. коррел.
Студент № 1
К1.1 Умение получать информацию об исследуемом объекте (организации) 0,136364 0,2064 Пк
К1.2 Способность проводить анализ внешних и внутренних источников потребностей в изменениях и прогнозирование требований к организации 0,0454545 0,20018 Пк
К1.3 Умение формулировать четкий образ желаемого результата 0,0909091 0,25536 Р
К1.4 Умение оценить результаты работы организации 0,136364 0,08846 Пк
К1.5 Способность на основе сравнительного анализа желаемого и действительного результатов работы организации сформулировать перечень проблем 0,181818 -0,2064 Р
Сравним математическое ожидание:
шЭкс = 0.000015; т°РР = -0.010461; тэ*с = 0.000016; тк°рр = -0.010461 (14)
141
2 5 „ 2 >7\ \ г/\ 5 н '5 1/ 0 5 \ 2 5 2 \ 1 5 \ />// 1 Ч /V 5 V. \/ \ \
-0 .4 -0 2 -0 5 -1 0 2 0 4 -0 4 -0 2 -0 5 а - 0 2 0 4 б
Рис. 4. Сплошная линия соответствует набору компетенций с экспертными весовыми коэффициентами, пунктирная - с корреляционными весовыми коэффициентами: а - оценка слушателя № 1; б - оценка слушателя № 4
В данном примере различие значений весовых коэффициентов проявляется сильнее (табл. 2), соответственно в последующем распределении результирующей функции принадлежности и значении ее интегральной характеристики - математического ожидания. Это ожидаемый результат, поскольку наборы компетенций, их структуризация и ранговая приоритетность давно и четко регламентированы. Оценка профессиональных компетенций в результате нетрадиционного для процесса обучения семинара значительно сложнее. Использование большего числа оцениваемых в процессе обучения компетенций при незначительном усложнении процедуры может привести к значительному повышению точности вычислений.
Выводы. В данной работе представлены результаты применения знакопеременных ортонор-мированных функций принадлежности к оценкам результатов тестирования двух различных наборов компетенций в существенно отличных групп обучающихся. В первом случае был проведен анализ формирования лингвистических компетенций группы студентов из разных стран Африки и ЮгоВосточной Азии, изучающих русский язык как иностранный в течение года. Использование такой аудитории предполагается удачным для апробации метода, поскольку группы критериев оценок лингвистических компетенций четко выработаны и отработаны в течение длительного времени. Проведенные в данной работе вычисления показывают применимость введенных ортонормированных знакопеременных функций принадлежности для нормативно-ориентированных тестов. При этом проводится сравнение между собой двух студентов, получивших одинаковый балл в результате проведенного тестирования. В этом случае использование корреляционных весовых коэффициентов представляется наиболее удачным, т.к. вычисленные с их помощью математические ожидания, соответствующие одинаковым тестовым баллам, различаются.
Во втором примере проведена оценка заданного набора компетенций по проблемноориентированному анализу, формируемых в группе профессорско-преподавательского состава на занятиях по повышению квалификации. Такая работа является пилотной. Ситуация значительно сложнее по двум основным направлениям: во-первых, нет четко регламентированной процедуры формирования компетенций и самого их набора. Во-вторых, работа в аудитории сформировавшихся исследователей значительно труднее оцениваема экспертом в силу низкой интегрированности обучающихся в процесс воздействия и неоднородности аудитории. Для описания представляемой модели управления развитием компетенций проведено рассмотрение упрощенного примера оценки предметных компетенций и их изменение при проведении семинара по проектированию дерева проблем сотрудниками вузовской администрации. Для оценки уровней формирования компетенций были использованы ортонормированные знакопеременные функции принадлежности. Для демонстративности примера были выбраны двое участников: первый - с максимально близкими оценками экспертом и самооценки, второй - с максимально различными. Полагаем первую ситуацию приближенной к условиям первого эксперимента, вторую - самой сложной. При оценке результатов таких тестов целесообразно использовать экспертные весовые коэффициенты, которые позволяют выявить глубину сформиро-
ванных компетенций. Для критериально-ориентированных тестов проведенное обсуждение результатов, полученных при определении значений характеристик результирующей функции принадлежности набора сформированных компетенций, таких как математическое ожидание, показало соответствие результатов вычисления и мнения эксперта. Следовательно, можно говорить о применимости введенных функций принадлежности к проведению комплексной оценки общекультурных лингвистических компетенций студентов. В сложных условиях проведения оценивания результатов процесса обучения целесообразным представляется не разделение тестов на два класса тестов: нормативноориентированные и критериально-ориентированные, а совмещение двух видов оценок весовых коэффициентов - экспертных и корреляционных. Для обоих случаев в работе продемонстрирована применимость введенных ортонормированных знакопеременных функций принадлежности.
Проведенное в работе исследование проводится в рамках описанной в [8] концепции разработки модели экспертной системы управления качеством образования на основе теории нечетких множеств, которая может быть положена в основу интеллектуальной системы, позволяющей принимать управленческие решения при реорганизации образовательной деятельности при переходе к ком-петентностному подходу.
ЛИТЕРАТУРА
1. Зимняя И. А. Ключевые компетенции - новая парадигма результата современного образования / И. А. Зимняя // Высшее образование сегодня. 2003. №5. С. 34-42.
2. Ажмухамедов И.М. Нечеткая когнитивная модель оценки компетенций специалиста / И.М. Ажмухамедов // Вестник АГТУ. Сер.: Управление, вычислительная техника и информатика. 2011. №2. С. 186-190.
3. Применение математического аппарата теории нечетких множеств к задачам управления вузом на основе сбалансированной системы показателей / А.А. Большаков, И.В. Вешнева, Л.А. Мельников, Л.Г. Перова // Системы управления и информационные технологии. 2011. №1(43). С. 117-121.
4. Берестнева О.Г. Уровни сформированности интеллектуальной компетентности: технология оценки, методы измерения и интерпретации / О.Г. Берестнева, И.А. Дубинина // Известия Томского политехнического университета. 2006. Т. 309. № 6. С. 227-231.
5. Берестнева О.Г. Моделирование интеллектуальной компетентности студентов / О.Г. Берстенева // Известия Томского политехнического университета. 2005. Т. 308. № 2. С. 152-156.
6. Берестнева О.Г. Моделирование интеллектуальной компетентности студентов / О.Г. Берстенева // Известия Томского политехнического университета. 2005. Т. 308. № 2. С. 152-156.
7. Вешнева И.В. Математические модели в системе управления качеством высшего образования с использованием методов нечеткой логики: монография / И.В. Вешнева. Саратов: Саратовский источник, 2010. 187 с.
8. Вешнева И.В. Концепция разработки модели экспертной системы управления качеством образования на основе теории нечетких множеств / И.В. Вешнева, Л.А. Мельников // Вестник СГТУ. 2009. № 4 (43). Вып. 2. С 195-198.
9. Найханова Л.В. Методы и алгоритмы принятия решений в управлении учебным процессом в условиях неопределенности: монография / Л.В. Найханова, С.В. Дамбаева. Улан-Удэ: Изд-во ВСГТУ, 2004. 164 с.
10. Аванесов В.С. Композиция тестовых заданий: учебная книга для преподавателей вузов, учителей школ, аспирантов и студентов педвузов / В.С. Аванесов. 2-е изд., испр. и доп. М.: Адепт, 1998. 217 с.
11. Ким В.С. Тестирование учебных достижений: монография / В.С. Ким. Уссурийск: Изд-во УГПИ, 2007. 214 с.
12. «Критериям аккредитации Ю1Р инженерно-педагогического образования» (Приложение 3). http://www.madi.rU/igip_journal/34/9.html
Вешнева Ирина Владимировна -
кандидат физико-математических наук, доцент кафедры «Приборостроение»
Саратовского государственного технического университета имени Гагарина Ю.А.
Стрелюхина Людмила Юрьевна -
старший преподаватель кафедры «Информатика» Саратовской государственной юридической академиии
Статья п
Irina V. Veshneva -
Ph.D., Associate Professor Department of Instrument Engineering Gagarin Saratov State University
Lyudmila Yu. Strelyukhina -
Senior Lecturer
Department of Information Science Saratov State Law Academy
типа в редакцию 05.01.12, принята к опубликованию 04.06.12
