Подход к формированию итоговой оценки уровня освоения материала учебной дисциплины при промежуточной аттестации обучаемых на основе взвешенных коэффициентов оцениваемых признаков Текст научной статьи по специальности «СМИ (медиа) и массовые коммуникации»

ТЕХНИЧЕСКИЕ НАУКИ TECHNICAL SCIENCES

УДК 004.422.8:378 ББК 32.973.26-018.2 Т 31

Тельнов Г.В.

Кандидат технических наук, профессор кафедры компьютерных технологий и информационной безопасности Кубанского государственного технологического университета, Краснодар, e-mail: tgv56@mail.ru

Подход к формированию итоговой оценки уровня освоения материала учебной дисциплины при промежуточной аттестации обучаемых на основе взвешенных коэффициентов оцениваемых признаков

(Рецензирована)

Аннотация. Рассмотрена методика решения нестандартной задачи определения согласованности мнений экспертов по совокупности оцениваемых признаков для обоснования итоговой оценки уровня освоения материала учебной дисциплины при проведении промежуточной аттестации обучаемых. Предложен новый подход по формированию как количественного состава оцениваемых признаков экзаменационного билета, так и определения взвешенных коэффициентов оцениваемых признаков. Определен общий критерий формирования итоговой оценки. Приведены рекомендации по формированию общей итоговой оценки обучаемому на экзамене или зачете. Практическая реализация такого подхода в учебном процессе позволит осуществить более качественный мониторинг уровня и полноты освоения учебного материала при принятых соответствующих критериях оценки.

Ключевые слова: экспертная оценка, оцениваемый признак, матрица экспертных оценок, коэффициент множественной ранговой корреляции - конкордации, взвешенные коэффициенты признаков, критерий итоговой оценки, рекомендуемая итоговая оценка.

Telnov G.V.

Candidate of Technical Sciences, Professor of Computer Technologies and Information Security Department, Kuban State University of Technology, Krasnodar, e-mail:tgv56@mail.ru

Approach to formation of a total assessment of the level of learning

a curriculum material at intermediate certification of trainees on the basis of the weighed coefficients of the estimated indicators

Abstract. The paper presents the technique of the solution of a non-standard problem related to determination of coherence of expert opinions on a set of the estimated signs to justify a total assessment of the level of learning a curriculum material at intermediate certification of trainees. New approach is proposed on formation of both quantitative structure of the estimated examination card signs, and determination of the weighed coefficients of the estimated signs. The general criterion for formation of a total assessment is defined. Recommendations are given on the formation of the general total assessment of the trainee in examination or test. Practical realization of such approach in educational process will allow better monitoring of level and completeness of mastering a training material at the accepted corresponding criteria of an assessment.

Keywords: an expert assessment, the estimated sign, a matrix of expert estimates, coefficient of multiple rank correlation - a concordation, the weighed coefficients of signs, criterion for a total assessment, the recommended total assessment.

Традиционная форма проведения экзамена по экзаменационным билетам, включающим два вопроса теоретической плана и один практической направленности, не позволяет в полной мере дать однозначный и утвердительный ответ, связанный с полнотой охвата контролем уровня освоения учебного материала. Да и сама оценка не лишена определенных недостатков, основным из которых является низкая объективность самой оценки, обусловленная субъективным характером принятия решения по самой оценке и недостаточно обширным количеством оцениваемых признаков.

Как правило, можно видеть, что количество оцениваемых признаков чаше всего два: это оценка теоретического материала (один или два вопроса в экзаменационном билете) и оценка практических приложений знаний, навыков и умений обучаемого путем решения типовых задач, чаше всего не отличающихся по своей сущности в сторону средней степени сложности. Да и сама итоговая оценка формируется в большинстве случаев как среднее значение частных оценок за экзаменационные вопросы.

Требования сегодняшнего дня, связанные, прежде всего, с компетентностным подходом по формированию и оценке определенных общенаучных и профессиональных компетенций обучаемого, заключаются в исследовании многомерных оцениваемых признаков оценки уровня обученности и использовании их при анализе и формировании окончательной итоговой оценки.

Все это обуславливает проведение исследований по оцениванию весовых коэффициентов рассматриваемых параметров в целях определения оптимально взвешенного критерия по формированию обобщенной итоговой оценки уровня освоения материала учебной дисциплины при промежуточной аттестации - на экзамене или зачете.

Сформулируем практическое приложение исследуемой задачи. Предложим, что уровень освоения учебного материала обучаемого оценивается шестью признаками: 1 -оценка уровня знаний, умений на основании теоретического материала (лекций) - оценивается компетентная способность обучаемого «ясно и аргументировано излагать свои мысли вести научную дискуссию»; 2 - оценка уровня знаний, умений на основании результатов тестирования (используется база тематических тестовых заданий по учебной дисциплине) - оценивается полнота освоения всего учебного материала; 3 -оценка уровня знаний и навыков при решении ситуационной задачи, предпочтительно значимой в формировании определенной компетенции обучаемого; 4 - оценка полноты ведения конспекта лекций обучаемым; 5 - оценка самостоятельной работы обучаемого (степень отработки рекомендованного преподавателем учебного материала); 6 - оценка ответа обучаемого на дополнительный вопрос преподавателя.

Следует отметить, что некоторые критерии частных оценок, например, как оценка уровня освоения учебного материала при тестировании, могут соответствовать рекомендациям, изложенным в [1]. Остальные же - следует определить или обосновать. Сделаем допущение, связанное с обоснованием оставшихся критериев частных оценок, но при этом подчеркнем, что критерии частных оценок обучаемого в традиционной форме - «отлично», «хорошо», «удовлетворительно» и «неудовлетворительно» - считаются уже определенными.

Постановка задачи исследования

Пусть имеется несколько характерных признаков оценки уровня освоения учебного материала обучаемым (студентом, курсантом, слушателем) - [Х=(Х }, /=1,...,п], где п - общее количество исследуемых признаков, отождествляемых однозначно с вопросами, которые должны быть учтены при формировании обобщенной оценки, полученных от т экспертов.

Каждый эксперт формирует ранговую оценку исследуемого признака (предполагаемого вопроса экзаменационного билета) - Яу, и нормированное значение оценки

п=6

этого же исследуемого признака - Ху, ^ху = 1, (/=1,...,п;j=1,...,m).

/=1

Оценку признаков произведем на основании разновидностей метода экспертных оценок: сравнительную качественную оценку признаков - на основании метода простой ранжировки (метода предпочтения) и количественную оценку оцениваемых параметров признаков - на основании метода задания весовых коэффициентов (нормиро-

ванных значений) [2, 3].

Требуется определить: степень согласованности экспертных оценок, обобщенные весовые коэффициенты исследуемых признаков и рекомендации для формирования итоговой оценки уровня освоения учебного материала на экзамене или зачете.

Решение задачи

Рассмотрим решение задачи на первом этапе.

Для определения экспертных оценок исследуемых признаков было проведено независимое анкетирование 16 экспертов - преподавателей ВУЗов, из которых: 8 кандидатов технических наук, доцентов; 4 кандидата технических наук, профессора; 4 доктора технических наук, профессора. Стаж педагогической работы каждого не менее 5 лет.

Каждому эксперту было предложено расположить исследуемые признаки в порядке предпочтения. Наиболее важный признак был обозначен цифрой один, следующий за ним по важности - цифрой два и т.д. Полученные таким образом данные были сведены в таблицу 1.

Таблица 1

Экспертные оценки признаков

Порядковый номер эксперта mj (j—1,...,m) Оцениваемые факторы - признаки и их ранговая оценка (Ri)

теория тестирование решение ситуационной задачи конспект лекций самостоятельная работа дополнительный вопрос

Обозначение и индексация оцениваемых признаковXi (i—1,...,n)

X X2 Хз Х4 Х5 Х6

1 1 2 1 5 4 6

2 2 1 2 4 4 3

3 1 2 1 4 3 5

4 1 1 2 5 4 4

5 1 2 1 5 4 6

6 1 1 2 5 5 5

7 1 2 2 5 4 4

8 1 1 2 6 3 4

9 1 2 3 4 5 6

10 1 2 2 3 4 5

11 1 2 1 4 3 4

12 1 3 4 5 5

13 1 2 1 5 4 4

14 1 1 2 6 5 4

15 1 2 3 5 4 6

16 1 2 1 4 3 5

Wj) 18 26 29 74 64 76

(SR)2 324 676 841 5476 4096 5776

n=6 m=16 S S*w i=1 j=1 287

/ Л 2 n=6 m=16 S SRij i=1 \ j=1 J 17189

Для выяснения согласованности мнений экспертов необходимо вычислить коэффициент ранговой корреляции мнений экспертов - коэффициент конкордации Кендал-ла. Этот коэффициент может быть определен согласно зависимости [3, 4]:

12£

т2(п3 - п)

W = (1)

где £ - переменная, характеризующая сумму квадратов разностей рангов (отклонения мнений эксперта от среднего значения).

В свою очередь, эта переменная может быть вычислена на основании одной из зависимостей вида:

/ \ 2 n = 6 1 m = 16

^ = Е Е Rj

i=1 V j=1

2

n = 6 m = 16

X5>j

V i=1 j=1 , n

или

n=6 i m=16 1

S = Е ЕRj - 2m{n +1)

i=1 V j = 2

(2)

(3)

где Яу - ранг /-го элемента в Х!- выборке признаков; Я^е {1,.. ,,п}.

Коэффициент конкордации Кендалла, рассчитанный с использованием формулы (1) при £=3460,833, будет равен:

ж = 125 12 ■ 3 ;<3°,83,3 = 0,772507. т2 (п3 - п) 162 (63 - 6)

Рассчитанное значение коэффициента конкордации Ж=0,772507«0,773 свидетельствует о достаточно хорошей (высокой) степени согласованности мнений экспертов.

Рассмотрим решение задачи на втором этапе.

Каждый из экспертов определил также значения нормированных оценок исследуемых признаков, которые затем были сведены в таблицу 2.

Таблица 2

Значения нормированных оценок исследуемых признаков

Порядковый номер эксперта mj j=1,..,m) Оцениваемые факторы -признаки и их нормированные значения (хгУ)

Теория Тестирование Решение ситуационной задачи Конспект лекций Самостоятельная работа Дополнительный вопрос

Обозначение и индексация оцениваемых признаков X] (/=1,.,п)

Х1 X2 X3 X4 X5 X6

1 0,25 0,2 0,25 0,1 0,15 0,05

2 0,2 0,25 0,2 0,1 0,1 0,15

3 0,25 0,2 0,25 0,06 0,15 0,09

4 0,3 0,3 0,2 0,04 0,08 0,08

5 0,3 0,2 0,3 0,07 0,08 0,05

6 0,25 0,25 0,2 0,1 0,1 0,1

7 0,26 0,22 0,22 0,06 0,12 0,12

8 0,25 0,25 0,15 0,07 0,15 0,13

9 0,35 0,25 0,15 0,1 0,09 0,06

10 0,2 0,15 0,15 0,1 0,15 0,15

11 0,25 0,18 0,25 0,13 0,11 0,08

12 0,3 0,25 0,25 0,05 0,05 0,1

13 0,3 0,2 0,3 0,05 0,075 0,075

14 0,25 0,25 0,17 0,1 0,11 0,12

15 0,35 0,3 0,16 0,05 0,1 0,04

16 0,25 0,2 0,25 0,1 0,15 0,05

ВД 4,310 3,650 3,450 1,280 1,765 1,445

Данные таблицы 2 являются основанием для проведения расчетов по определению и уточнению взвешенных коэффициентов оцениваемых признаков.

2

Определим групповые оценки признаков и коэффициенты компетентности каждого из экспертов, задавшись точностью вычислений ¿=0,001. Вычислим средние оценки признаков первого приближения по формуле:

т=16 т=16 1 т=16

X=1 = Е хн 1 = к0 Е хн = — Е хн, (4)

г ^ ' 1 при I=1 1 ^ У т ^ У (4)

1=1 1=1 т 1=1

где к]] - начальное значение коэффициента компетентности всех экспертов одинаково.

Процесс вычислений будет носить итерационный характер.

Средние оценки признаков первого приближения (при 1=1 и ¿=1,...,6), в соответствии с выражением (4) будут равны:

х) = (х1;х2;х1;х^;х^;х\) = (0,269; 0,228; 0,216; 0,080; 0,110; 0,090).

Признаком окончания итерационного процесса является выполнение неравенства:

maxi

I x - x-1)

И е.

Так как точность вычислений в первом приближении не удовлетворяет заданному требованию, то далее вычисляем нормировочный коэффициент ЛЛ= =Л :

п=6 т=16

Л = 0,269 • 4,31 + 0,228 • 3,65 + 0,216 • 3,457 + 0,08 -1,28 +

¿=1 1 =1

+ 0,11 • 1,765 + 0,09 • 1,445 = 3,17.

Коэффициенты компетентности (т-1) экспертов в первом приближении могут быть определены согласно зависимости вида:

1 п=6 т=16

к1 = Л Е хх, 0 = 1, 2,..., т -1), 2 = 1, (5)

Л '=1 1=1 т-1=15

кт=1 - Е к1, (6)

1=1

где кщ1 - коэффициент компетентности т-го эксперта из условия нормировки.

Значения коэффициентов компетентности экспертов первого приближения, рассчитанные по формулам (5) и (6), будут такими:

к1 = (к1- к1- к1-к1- к1- к1- к1- к1-к1- к1 • к1 • к1 • к1 • к1 • к1 • к1 ) =

= (0,0619; 0,0590; 0,0620; 0,0669; 0,0664; 0,0618; 0,0621; 0,0602; 0,0654; ^

^ 0,0501; 0,0607; 0,0664; 0,0664; 0,0607; 0,0682;0,0619).

Вычислим средние оценки признаков второго приближения по формуле:

т=16 т=16

*г2 = Е х,к;- = Е х/,. (7)

1=1 1=1

Средние оценки признаков второго приближения (при 1=2 и ¿=1,...,6), в соответствии с выражением (4) будут равны:

х2 = (х2; х22; х32; х42; х52; х62 )= (0,2718; 0,2297; 0,2168; 0,0790; 0,1090; 0,0887).

Так как точность вычислений и во втором приближении не удовлетворяет заданному требованию, то далее вычисляем нормировочный коэффициент Л1=2=Л2:

n=6 m=16

2

Я2 =SSx2XV = 0,2718 • 4,31 + 0,2297 • 3,65 + 0,2168 • 3,457 + 0,079 • 1,28 +

=1 j =1

+ 0,1090 • 1,765 + 0,887 • 1,445 = 3,18.

При этом значения коэффициентов компетентности экспертов во втором приближении будут равны:

j 2 _ ii2i2i2i2i2i2i2i2i2i2i2i2.i2i2.i2i2 1_

kj = k ' k2; k3 ; k4; k5 ; k6 ; k7; k8 ; k9 ; k10; k11; k12; k13; k14; k15; k16 / =

= (0,0619; 0,0589; 0,0620; 0,0669; 0,0664; 0,0618; 0,0621; 0,0602; 0,0655; ^ ^ 0,0500; 0,0607; 0,0665; 0,0665; 0,0606; 0,0683;0,0619).

Средние оценки признаков третьего приближения оценим по формуле:

m=16 m=16

xi=3 = S xjj = S xvkj. (8)

j=1 j=1

Средние оценки признаков третьего приближения (при t=3 и i=1,...,6) в соответствии с выражением (4) будут равны:

x3 = (x3; x23; x33; x4; x53; x63)= (0,2718; 0,2297; 0,2168; 0,0789; 0,1089; 0,0886).

Точность вычислений в третьем приближении уже удовлетворяет заданному требованию, поэтому процесс вычислений можно закончить и в качестве окончательных оценок весовых коэффициентов признаков принять средние оценки признаков третьего приближения, т. е.

xi = (x1 ; x2; x3; x4; x5; x6 ) = = ^4; ^5; ) =

= (0,2718; 0,2297; 0,2168; 0,0789; 0,1089; 0,0886).

Фрагмент авторской программы расчета весовых коэффициентов на основе стандартной офисной оболочки Microsoft Excel 2010 представлен на рисунке 1.

Расчет весовых коэффициентов методом экспертных оценок

№ эксперта Теория Тест Cht. зад. Конспект Сам. раб. Доп. аопр.

1 0,25 0,2 0,25 0,1 0,15 0,05

2 0,2 0,25 0,2 0,1 0,1 0,15

3 0,25 0,2 0,25 0,06 0,15 0,09

4 0,3 0,3 0,2 0,04 0,08 0,08

5 0,3 0,2 0,3 0,07 0,08 0,05

6 0,25 0,25 0,2 0,1 0,1 0,1

7 0,26 0.22 0,22 0,06 0,12 0,12

8 0,25 0,25 0,15 0,07 0,15 0,13

9 0,35 0,25 0,15 0,1 0,09 0,06

10 0,2 0,15 0,15 0,1 0,15 0,15

11 0,25 0,18 0,25 0,13 0,11 0,08

12 0,3 0,25 0,25 0,05 0,05 0,1

13 0,3 0,2 0,3 0,05 0,075 0,075

14 0,25 0,25 0,17 0,1 0,11 0,12

15 0.35 0.3 0,16 0,05 0,1 0,04

16 0,25 0,2 0,25 0,1 0,15 0,05

Сумма 1 4,310 3,650 3,450 1,280 1,765 1,445

Ср. оц. 1 приб 0,269 0,228 0,216 0,080 0,110 0,090

Норм. коэф. 1 3,17 Норм. козф. 2 3,13

КК 1-1 0,0619 КК 1-2 0,0619

КК 21 0,0500 КК 2 2 0,0539

КК 3-1 0,0620 КК 3-2 0,0620

КК 4-1 0,0669 КК 4-2 0,0669

КК 5 1 0,0664 КК 5 2 0,0664

КК 6-1 0,0618 КК 6-2 0,0618

КК 7-1 0,0621 КК 7-2 0,0621

КК 8 1 0,0602 КК 8 2 0,0602

КК 9-1 0,0654 КК 9-2 0,0655

КК 10-1 0,0501 КК 10-2 0,0500

КК 11-1 0,0607 КК 11-2 0,0607

КК 12-1 0,0664 КК 12-2 0,0665

КК 13^1 0,0664 КК 13 2 0,0665

КК 14-1 0,0607 КК 14-2 0,0606

КК 15-1 0,0682 КК 15-2 0,0683

КК 16 1 0,0619 1,0000 КК 16 2 0,0619 1,0000

Ср. оц. 2 Пр.1С 0,2718 0,2297 0,2168 0,0790 0,1090 0,0887

Точность 0,0025 0,0016 0,0012 -0,0010 -0,0014 -0,001!

Ср. оц. 3 приб 0,27136754 0,22972135 0,215847349 0,073930516 0,10894249 0,0836431

Точность 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000

Рис. 1. Фрагмент работы программы расчета весовых коэффициентов методом экспертных оценок

Теперь есть все основания и данные выработать рекомендации по формированию итоговой оценки обучаемому по указанным признакам с помощью вычисленных весовых коэффициентов. Оценкам обучаемому придадим следующие числовые значения: «отлично» - 5, «хорошо» - 4, «удовлетворительно» - 3, «неудовлетворительно» - 0.

Критерий формирования итоговой оценки обучаемому указан в таблице 3.

Таблица 3

Критерий формирования итоговой оценки

Рекомендуемая оценка обучаемому Правило формирования критерия (а - весовые коэффициенты текущих оценок)

«Отлично» если Z>85% Критерий формирования итоговой оценки n=6 S x а Z = i= 6 • 100% n=6 max S xa i =1

«Хорошо» если 65%<Z<84%

«Удовлетворительно» если 50%<Z<64%

«Неудовлетворительно» если Z<49%

Пример сводной ведомости формирования рекомендуемой итоговой оценки обучаемому при проведении промежуточной аттестации представлен в таблице 4.

Таблица 4

Пример сводной ведомости формирования рекомендуемой итоговой оценки обучаемому при проведении промежуточной аттестации

№ п/п Вес текущей оценки Соотноше- Рекомендуемая

ai а2 а3 а4 а5 а6 ние итого- итоговая оценка

0,271 0,229 0,216 0,078 0,108 0,088 вой оценки обучаемому

1 5 5 5 5 5 5 100%

2 4 5 5 5 5 5 94,53%

3 3 5 5 5 5 5 89,05%

4 5 4 5 5 5 5 95,37%

5 5 3 5 5 5 5 90,75%

6 5 5 4 5 5 5 95,64%

7 5 5 3 5 5 5 91,27%

8 5 5 0 5 5 5 78,18%

9 5 5 5 4 5 5 98,21%

10 5 5 5 3 5 5 96,85% «Отлично»

11 5 5 5 0 5 5 92,12%

12 5 5 5 5 4 5 97,62%

13 5 5 5 5 3 5 95,64%

14 5 5 5 5 0 5 89,11%

15 5 5 5 5 5 0 91,11%

16 5 5 4 4 4 4 90,12%

17 5 5 3 4 4 4 85,74%

18 5 5 5 4 4 4 94,46%

19 4 4 4 5 5 5 85,54%

20 0 5 5 5 5 5 72,03%

21 5 0 5 5 5 5 76,87%

22 5 3 4 4 4 4 80,85%

23 5 5 5 0 0 0 72,32%

24 5 5 0 4 4 4 78,18% «Хорошо»

25 4 4 3 3 3 3 70,10%

26 4 4 5 3 3 3 78,83%

27 4 4 4 3 3 3 74,46%

28 4 4 4 3 0 3 76,92%

29 4 4 4 0 3 3 69,74%

Продолжение таблицы 4

№ п/п Вес текущей оценки Соотноше- Рекомендуемая

«i «2 «3 «4 «5 «6 ние итого- итоговая оценка

0,271 0,229 0,216 0,078 0,108 0,088 вой оценки обучаемому

30 4 3 4 4 4 4 75,37%

31 3 4 4 4 4 4 74,53%

32 3 4 3 4 4 4 70,16%

33 3 3 5 0 5 5 71,92% «Хорошо»

34 3 3 5 5 5 5 79,80%

35 3 0 5 5 5 5 65,92%

36 4 4 0 4 4 5 64,32%

37 4 4 4 3 0 0 62,59%

38 4 4 4 0 0 3 63,19%

39 5 4 3 0 0 0 58,98%

40 4 4 3 0 0 0 53,49%

41 0 3 5 5 5 5 63,37%

42 0 0 5 5 5 5 49,49%

43 0 5 4 4 4 4 62,73% « Удовлетворительно»

44 0 5 3 3 3 3 52,83%

45 0 4 4 4 4 4 52,57%

46 0 4 5 3 3 3 56,93%

47 5 0 4 3 3 3 61,43%

48 5 0 4 3 0 0 49,56%

49 5 5 0 0 0 0 50,51%

50 5 0 0 5 5 5 55,05%

51 0 5 0 5 5 5 55,81%

52 5 0 0 0 0 0 27,17%

53 4 3 0 0 0 0 35,78%

54 3 3 0 0 0 0 30,30%

55 0 3 3 3 3 3 43,58%

56 0 4 3 3 3 3 48,20% «Неудовлетвори-

57 3 0 3 3 3 3 56,21% тельно»

58 5 0 4 0 0 0 44,83%

59 5 0 0 0 0 0 27,37%

60 3 0 0 5 5 5 44,10%

61 3 3 0 5 0 5 47,07%

Следует обратить внимание на варианты под номерами 40, 47, 48, 49, которые рекомендуют уровень общей оценки «удовлетворительно» и подчеркивают важность учета первых трех оцениваемых признаков. Вариант за номером 57 свидетельствует о том, что при положительных оценках всех оцениваемых признаков и отрицательном результате по тестированию обучаемому не может быть выставлена общая положительная оценка минимального уровня.

Выводы

1. Определен коэффициент ранговой корреляции - коэффициент конкордации исследуемых признаков (Ж=0,773), который указывает не только на достаточно хорошую степень согласованности мнений экспертов, но и показывает, что между исследуемыми признаками существует тесная связь.

2. Аналитическим путем определены обобщенные значения весовых коэффициентов исследуемых признаков (предполагаемых вопросов экзаменационного билета).

3. Обобщенные значения весовых коэффициентов исследуемых признаков являются основанием для выполнения аналитических расчетов по обоснованию и выработке рекомендаций формирования итоговой оценки обучаемому при проведении промежуточной аттестации.

4. Определен критерий формирования итоговой оценки обучаемому в виде про-

центного соотношения.

5. Приведены рекомендуемые значения итоговой оценки обучаемому, основанные на возможных или предполагаемых частных оценках на вопросы экзаменационного билета с использованием обобщенных весовых коэффициентов.

6. Предлагаемая методика формирования итоговой оценки обучаемому может быть использована не только при проведении промежуточных аттестациях обучаемого в целях оценки им уровня освоения материала учебной дисциплины, но и в других случаях, когда требуется сформировать итоговую оценку на основе учета многих признаков, составляющих эту оценку.

Примечания:

1. Тельнов Г.В. Математическое обоснование критериев оценки компетентностных уровней освоения учебного материала на основе бинарной логики индикаторных переменных тематических тестовых заданий // Вестник Адыгейского государственного университета. Сер. Естественно-математические и технические науки. 2014. Вып. 2 (137). С. 128-134. URL: http://vestnik.adygnet.ru

2. Гуцикова С.В. Метод экспертных оценок. Теория и практика / Институт психологии РАН. М., 2011. 144 с.

3. Орлов А.И. Эконометрика: учеб. для вузов. Ростов н/Д: Феникс, 2009. 586 с.

4. Ефимова М.Р., Петрова Е.В., Румянцева В.Н. Общая теория статистики: учебник. М.: ИНФА-М., 2007. 416 с.

References:

1. Telnov Gr.V. Mathematical justification of criteria for an assessment of the competence-based levels of learning a curriculum material on the basis of binary logic of indicator variable thematic test tasks // The Bulletin of the Adyghe State University. Ser. Natural-Mathematical and Technical Sciences. 2014. Iss. 2 (137). P. 128-134. URL: http://vestnik.adygnet.ru

2. Gutsikova S.V. Method of expert evaluations. Theory and practice / Institute of Psychology of the RAS. M., 2011. 144 pp.

3. Orlov A.I. Econometrics: a manual for higher schools. Rostov-on-Don: Phoenix, 2009. 586 pp.

4. Efimova M.R., Petrova E.V., Rumyantseva V.N. General theory of statistics: a textbook. M.: INFAM., 2007. 416 pp.