CC BY
60
УДК 376.5+303.09
Разработка методических рекомендаций для педагогов по интегральной оценке академической и интеллектуальной одаренности обучающихся
В. В. Камышин
Methodological recommendations for teachers for integral assessment of pupils’ academic and intellectual giftedness
V. V. Kamyshin
Аннотация. Используя системный анализ и теорию принятия решений, разработаны рекомендации педагогам по реализации в дидактике одношаговых методов решения задач с векторным показателем эффективности для интегральной оценки академической и интеллектуальной одаренности обучающихся. Предложенный мультипликативный подход к агрегированию частных оценок одаренности реализован с помощью функции желательности Харрингтона. При отсутствии объективного тестового контроля в качестве переменных используются коэффициенты желательности балльных оценок, вычисленные для широкого спектра шкал с помощью математического метода расстановки приоритетов.
Abstract. The article considers recommendations for teachers for implementation of one-step methods to solve problems with vector performance indicator for integral assessment o f the level of pupils academic and intellectual giftedness that were developed using analysis and decision making theory. Multiplicative approach to aggregation of particular assessments of giftedness is implemented using a Harrington's desirability function. In the absence o f objective test control it is the score desirability coefficients calculated for a wide range of scales using mathematical method of prioritization that are used as variables.
Ключевые слова: уровни учебных достижений, академическая и интеллектуальная одаренность, интегральная оценка, мультипликативный подход, среднегеометрическое значение, коэффициенты желательности балльных оценок.
Key words: levels of academic achievement, academic and intellectual giftedness, integral assessment, multiplicative approach, geometric mean, score desirability coefficient.
На сегодняшний день большинство зарубежных и отечественных психологов и педагогов считают приемлемым определение одаренности, сформулированное в 1972 г. Комитетом по образованию США, в котором указано, что талантливыми и одаренными детьми являются те дети, которые, по оценке опытных специалистов, в силу выдающихся способностей демонстрируют высокие достижения. Перспективы таких детей определяются уровнем их достижений и/или потенциальными возможностями в одной или нескольких сферах:
1) академической (высокие показатели в школьном обучении);
2) творческого или продуктивного мышления;
3) художественной деятельности;
4) общения и лидерства;
5) интеллектуальной;
6) экстрасенсорной;
7) духовной;
8) психомоторной;
9)социальной.
Среди перечисленных видов одаренности в контексте данных исследований нас наиболее интересует академическая одаренность (АО), проявляющаяся, прежде всего, в умении учиться, то есть в успешности освоения отдельных учебных дисциплин, и являющаяся более избирательной, нежели интеллектуальная. Имеются
в виду обучаемые, которые могут демонстрировать высокие результаты по легкости, глубине, быстроте освоения математики или иностранного языка, физики или биологии и иногда иметь неважную успеваемость по другим предметам, воспринимаемыми ими не так легко, и наоборот. То есть, речь идет о так называемых «физиках и лириках».
В данном контексте принципиально важным мы считаем обучение педагогов процедурам оценки в условиях применения объективного тестового контроля. Данное обучение осуществляется на базе Института одаренного ребенка НАИН Украины. Далее в статье мы подробнее остановимся на содержании обучения.
Принципиально важным моментом мы считаем обучение педагогов разработке надежных и простых процедур такой квалиметрии, результаты которой должны быть понятны всем участникам учебно-воспитательного процесса, в том числе и обучаемым.
В ходе обучения акцентируется внимание на то, что применение объективного тестового контроля предусматривает, прежде всего, наличие надежного и валидного теста. В этом случае уровень учебных достижений может быть измерен в абсолютной 100-балльной, а при проведении внешнего независимого оценивания - и 200-балльной шкалах. Тогда результаты тестирования делают тривиальным ранжирование обучаемых по количественным уровням академической одаренности. Однако если количественному результату не придать качественной (вербальной, лингвистической) характеристики, то он может утратить свое мотивационное значение. Устранение этого замечания возможно путем построения функций принадлежности (ФП) лингвистической переменной (ЛП) «УУД», размерность терм-множесгва которой соответствует размерности принятой для оценки качественной шкалы, в качестве которой можно использовать и 4-балльную, и 7-балльную (европейскую «облегченную» ЕСТ8), и 9-балльную сгенайнов, и 10-балльную сгенов, и, конечно же, 12-балльную шкалы. Эти терм-множества, равно как и ФП. строятся методами теории нечетких множеств и ЛП. Общий вид этих функций иллюстрирует парадигма на рисунке 1[1], где 7" - обозначение терм-множества «УУД» (балльной шкалы оценок размерностью п), I)" - обозначение /-той оценки шкалы, / = 1,п .
Рисунки 2 и 3 иллюстрируют уже эмпирические функции принадлежности лингвистической переменной «уровня учебных достижений» для 4-балльной и 12-балльной шкал, полученные по результатам опроса репрезентативной выборки преподавателей вузов Украины на континууме 100-балльной шкалы. Точки на рисунках 2, 3 дают возможность анализировать представленные на них нечеткие модели на уровне квартилей и децилей, хотя возможен и более глубокий анализ на уровне проценти-лей, что особенно важно в случае необходимости сопоставить УУД в разных качественных шкалах.
Таким образом, в условиях объективного тестового контроля интегральная (обобщенная, агрегированная) оценка академической одаренности старшеклассника (которой и только которой присуще системное свойство эмерджент-ности [1; 2]) в пределах объема знаний отдельной учебной дисциплины устанавливается по его результатам с помощью нечетких моделей. С другой стороны, если тест предусматривает возможность оценивать уровень учебных достижений по отдельным темам конкретной учебной дисциплины, либо, скажем, если речь идет уже об интеллектуальной одаренности (ИО), являющейся, безусловно, более общей по отношению к академической одаренности, то вроде бы явным является первоначальное тривиальное определение среднего показателя тестирования по всей совокупности изучаемых тем учебной дисциплины, либо по всей совокупности изучаемых учебных дисциплин:
где п, - результат тестирования по /-той теме учебной дисциплине (либо это интегральный показатель тестирования /-той учебной дисциплины, если речь идет об интеллектуальной одаренности), 1=1,К; К- общее количество изучаемых учебных дисциплин или соответствующих тем внутри учебной дисциплины. Далее, обращаясь к рис. 2, 3, несложно перейти к качественной оценке УУД обучаемого, мотивирующей его на овладение знаниями. Таким образом, обеспечивается смешанное количественно-качественное измерение академической одаренности либо интеллектуальной одаренности.
Континуум измеряемых знаний
100
Рис. 1. Парадигма функций принадлежности лингвистической переменной «уровень учебных достижений»
«2»
«3»
«4»
«5»
Континуум 100-балльной шкалы
Рис. 2. Эмпирические функции принадлежности лингвистической переменной «уровень учебных достижений» как нечеткой модели квалиметрии знаний в 4-балльной шкале на континууме 100-балльной
«1» «2» «3» «4» «5» «6» «7» «8» «9» «10» «11» «12»
Континуум 100-балльной шкалы
Рис. 3. Эмпирические функции принадлежности лингвистической переменной «уровень учебных достижений» как нечеткие модели квалиметрии знаний в 12-балльной шкале на континууме 100-балльной
Качественные оценки
Рис. 4. Общий вид функции желательности Харрингтона
Современная школа ЧИППКРО
Отметим, что мы специально не ввели в формулу (1) весовые коэффициенты учебных дисциплин, поскольку интеллектуальная одаренность предусматривает глубокие знания обучаемых именно по всему разнообразному спектру изучаемых дисциплин, а не по их ограниченной направленности, что соответствовало бы изучению именно академической одаренности. При этом еще раз укажем, что только и только обобщенной (интегральной) оценке П присуще системное свойство эмерджентности, которого не имеет ни одна частная оценка академической одаренности и, .
В качестве замечания к рассмотренному подходу следует отнести следующее. Во-первых, требование к выравниванию надежности и валидности используемых тестов. Во-вторых, аддитивная функция агрегирования (1) по своей сути предполагает возможность абсолютной компенсации сколь угодно малых значений уровня учебных достижений сколь угодно большими, то есть в нее подспудно закладывается реальное существование «физиков и лириков». Скажем, неприемлемый результат «физика» П\=0 по /-той гуманитарной учебной дисциплине компенсируется абсолютной академической одаренности по /-той технической:
П]=100.
Таким образом, рассмотренный аддитивный подход приемлем, если испытуемые получили по каждой изучаемой учебной дисциплине некоторую пусть минимальную, но позитивную «проходную» оценку.
В ходе обучения отмечается, что намного сложнее являются процедуры выявления интегрального показателя академической и интеллектуальной одаренностей при отсутствии объективного тестового контроля, поскольку в этом случае соответствующие оценки выставляются, только исходя из богатого, но все же субъективного опыта учебной работы экспер-тов-преподавателей. И обобщение этих оценок в интегральную по формуле (1) противоречило бы здравому смыслу, поскольку балльные оценки вышеперечисленных шкал (4-балльной, ... 12-балльной), исходя из положений теории измерений и методологии системного анализа [1-4], имеют явные характеристики шкал упорядочения (ранжирования). Это означает, что соответствующие оценки этих шкал только иллюстрируют сравнительную значимость глуби-
ны и объема знаний, выявленных и оцененных преподавателем, но ни в коей мере не дают информации о количественных характеристиках этих знаний. Скажем, никак нельзя утверждать, что старшеклассник, получивший по какой-либо учебной дисциплине оценку «12», имеет в два раза больше знаний, чем его одноклассник с оценкой «6» (наилучший показатель 12-балльной шкалы для лиц со «средним» (репродуктивным) уровнем учебных достижений). Именно поэтому никакие математические преобразования с этими оценками недопустимы.
Исходя из вышеизложенного, в условиях отсутствия объективного тестового контроля возникает задача перевода качественных оценок лингвистических шкал в количественные. Из анализа научных источников [1; 5-8] следует, что с этой целью можно было бы взять за основу либо функцию агрегирования «планирование по узкому месту», либо интегральную функцию желательности Харрингтона (Е. С. Натгш^оп), опирающуюся на соответствующую шкалу (рис. 4).
В первом случае, когда не допускается никакая компенсация, интегральный показатель обученности определяется по наихудшему уровню учебных достижений. Такой подход чрезвычайно важен, скажем, при подготовке операторов особо сложных систем управления, профессиональная деятельность которых существенным образом влияет на безопасность этих систем. И именно такой подход был реализован для оценки точности пилотирования пилотов. Однако нам не известны случаи его применения в дидактике.
Во-втором случае применяется специальная шкала желательности результатов, которую относят к психофизиологическим вербально- (лин-гвистично)-численным шкалам. Назначение шкалы - установление связи между количественными физическими и психолого-педагогическими (качественными) параметрами.
Кривая на рисунке 4 была построена по результатам многочисленных наблюдений за исследователями и имеет такие полезные свойства, как непрерывность, монотонность и гладкость. Кроме того, эта кривая хорошо иллюстрирует тот факт, что в пределах желательности, приближенных к 0 или 1, «чувствительность» ее существенно ниже, чем в средней зоне. Однако этот тезис представляется нам несколько
сомнительным, особенно в ракурсе вышеупомянутой деятельности операторов сложных систем управления, на уровень обученности которых накладываются ограничения не просто «проходной» по шкале, а «проходной» по высокому уровню учебных достижений оценке. И это, безусловно, существенно влияет на их мотивацию достижения высокого уровня учебных достижений и избегания низких уровней учебных достижений.
Изучаемая кривая на рисунке 4 описывается таким уравнением:
б1=<?У
или
d=exp{-exp(-y}}, (2)
где ехр - общепринятое обозначение экспоненты.
Уравнение (2) обеспечивает переход качественной оценки у и в количественную с!и: уи Ю du . Имея значение частного отзыва (в нашем случае - отдельной качественной (лингвистической) оценки академической одаренности), несложно перейти в безразмерную шкалу ее желательности. При этом также несложно убедиться, что значение du=0 соответствует абсолютно неприемлемому результату обучения, а значение d„=l - наилучшему показателю академической одаренности.
Агрегированный (интегральный) показатель D был назван Харрингтоном обобщенной функцией желательности (ОФЖ). Соответствующее обобщение, то есть переход du Ю D осуществляется согласно формуле:
D=i
(3)
X 4, •
и=1
Как можно увидеть, обобщенная функция желательности задается как среднее геометрическое частных желательностей оценок, что соответствует мультипликативному подходу в решении одношаговых задач принятия решений с векторным показателем эффективности [1]. Такое представление можно рассматривать как удобную модель психологической реакции исследователя при решении задач определенного класса. Но при этом укажем, что, во-первых, обобщенная функция желательности весьма чувствительна к небольшим значениям частных желательностей. Во-вторых, как уже нами указывалось, представляется сомнительным небольшой прирост желательности высо-
ких оценок (рис. 4), что в целом не соответствует мотивации на обучение, скажем, операторов особо сложных систем управления, существенным образом влияющих на безопасность этих систем. Однако, в-третьих, безусловным позитивом мультипликативного подхода (3) является возможность, в отличие от аддитивного подхода (1), относительной компенсации низких оценок одних показателей высокими оценками других. Оценка точности пилотирования, производимая, скажем, опираясь на методы выбросов случайных процессов, показывает его применимость в процессах профессиональной подготовки летного персогй^а [9; 10].
Обобщенная функция желательности (3) является количественным, однозначным, единственным и универсальным показателем качества исследуемого объекта, а если прибавить еще и такие свойства, как адекватность, эффективность и статистическая чувствительность, то становится понятным, что ее действительно можно применять в качестве критерия оптимизации. Обобщенные функции желательности нашли широкое распространение в разнообразных отраслях, однако для решения педагогических проблем ее практически не применяют. Результаты наших исследований позволяют расширить спектр ее применимости в дидактике [8].
Рассматриваемая 5-балльная качественная шкала желательности, предложенная Харрингтоном, безусловно, не покрывает своими характеристиками все квалиметрические особенности и привлекательности других шкал, применяемых в дидактике. Тем более что объективные рекомендации по переходу из шкалы в шкалу возможны только при условии объективного тестового контроля (что иллюстрируют, например, рис. 2, 3), случай отсутствия которого мы как раз и рассматриваем. Вместе с тем, представляется возможным усовершенствовать подход Харрингтона путем проведения иной, отличной от предложенной им процедуры дефаззификации оценок балльных шкал.
Речь о том, что под du в формуле (3) будем понимать количественную характеристику «желательности» (важности, приемлемости, значимости) балльной оценки уровня учебных достижений любой качественной шкалы, применяемой для квалиметрии академической одаренности (или интеллектуальной). Тогда,
обобщая все частные количественные оценки, то есть находя их среднее геометрическое, несложно получить интегральную оценку академической одаренности обучаемого в рамках отдельной учебной дисциплины. Если же обобщить оценки по всей совокупности изучаемых дисциплин (например, оценки аттестата), то приходим к оценке интеллектуальной одаренности.
Рассмотрим общее содержание процедуры дефаззификации оценок на примере той же самой 5-балльной шкалы. Для нее тривиально такое ранжирование желательности соответствующих оценок:
Т5 УТ4 уТ3 уТ2 > 7}, (4)
где - условное обозначение /-той оценки шкалы, 1 = 1,5.
Ранжирование (4) можно также наглядно представить соответствующим графом приоритетности (желательности) оценок (рис. 5).
Далее, используя математический метод расстановки приоритетов, известный так же, как «задача про лидера» [11; 12], несложно вычислить коэффициенты важности (приоритетности, желательности, приемлемости) оценок 5-балльной шкалы с любой наперед заданной точностью (табл. 1).
Рис. 5. Граф расстановки приоритетов (желательности) оценок 5-балльной шкалы
Таблица 1
Матрица смежности оценок 5-балльной шкалы и итерации расстановки приоритетов на них
Ті Смежность оценок Итерации
т5 т4 Т3 т2 Ті I II III IV
Щ «/ С,{2) а,(2) с,{3) а,(3) С,(4 ) а,(4)
1 2 3 4 5 6 1 8 9 10 11 12 13 14
т5 1 2 2 2 2 9 0,36 41 0,4824 129 0,5734 321 0,6407
т4 0 1 2 2 2 7 0,28 25 0,2941 63 0,2800 129 0,2575
Т3 0 0 1 2 2 5 0,20 13 0,1529 25 0,1111 41 0,0818
т2 0 0 0 1 2 3 0,12 5 0,0588 7 0,0311 9 0,0180
Ті 0 0 0 0 1 1 0,04 1 0,0118 1 0,0044 1 0,0020
Е 25 1 85 1 225 1 501 1
Продолжение таблицы 1
Т, Итерации
V VI VII VIII IX X
ОД о,(5) ОД ос,{б) ОД 0,(7) ОД а,(8) ОД 0,(9) С,(10) а,(10)
15 16 17 18 19 20 21 22 23 24 25 26 27
ь 681 0,6914 1289 0,7258 2263 0,7488 3781 0,7685 6059 0,7875 9329 0,8053
Т4 231 0,2345 377 0,2123 597 0,1976 921 0,1872 1357 0,1764 1913 0,1651
Т3 61 0,0619 85 0,0479 135 0,0447 189 0,0384 247 0,0321 309 0,0267
т2 11 0,0112 24 0,0135 26 0,0086 28 0,0057 30 0,0039 32 0,0028
7} 1 0,0010 1 0,0006 1 0,0003 1 0,0002 1 0,0001 1 0,0001
Е 985 1 1776 1 3022 1 4920 1 7694 1 11584 1
ПРИМЕЧАНИЕ: С,(к) - ценность /-той оценки на А-той итерации; о,(к) - коэффициент желательности /-той оценки на А-той итерации
Таблица 2
Коэффициенты значимости-желательности баллов наиболее известных оценочных шкал
Балл/ Коэффициенты желательности-значимости оценок шкалы, а,
терм 4-балльной 5-балльной 7-балльной 9-балльной 10-балльной 12-балльной
1 2 3 4 5 6 7
1 /ъ - 0,0001 0,0001 0,0001 0,0001 0,0001
2/Т2 0,0001 0,0028 0,0009 0,0011 0,0006 0,0010
3 /Т3 0,0048 0,0267 0,0059 0,0049 0,0029 0,0036
4 / Т4 0,0825 0,1651 0,0260 0,0155 0,0092 0,0090
5/Т5 0,9126 0,8053 0,0895 0,0378 0,0229 0,0820
6/Т6 - - 0,2536 0,0804 0,0486 0,0184
7 / Т7 - - 0,6240 0,1529 0,0921 0,0329
8 / Т8 - - - 0,2668 0,1600 0,0546
9 / Т9 - - - 0,4405 0,2606 0,1188
10/Т10 - - - - 0,4030 0,1652
11/Т„ - - - - - 0,2226
12/Т12 - - - - - 0,2918
Е 1 1 1 1 1 1
ж
Рис. 6. Номограмма функций желательности основных балльных шкал
По аналогии с помощью того же самого метода расстановки приоритетов вычислены с точностью до четвертого знака после запятой и представлены для сравнительного анализа в таблице 2 коэффициенты желательности оценок рассматриваемых качественных шкал (4-балльной, ..., 12-балльной).
Из анализа данных таблицы 2 вытекает более ярко выраженное в сравнении с рисунком 4 нелинейное соотношение наиболее и наименее желательных оценок исследуемых балльных шкал, что наглядно подтверждает рисунок 6.
Отмеченную нелинейность можно математически описать соответствующими экспонентами, что дает возможность применять для определения интегрального показателя академической одаренности (или интеллектуальной) аналитические методы:
- для 4-балльной шкалы:
(1»г =7ЧО-бе3'0201у (5)
- для 5-балльной шкалы:
и«5«=2ЧО~5е2'20б5у (6)
- для 7-балльной шкалы (ЕСТ8):
с^ЕСТ8=5Ч0-5е14363У (7)
- для 9-балльной шкалы стенайнов:
Л,г=10-4е°’97бу (8)
- для 10-балльной шкалы стенов:
ёп10п =ю-4е°'8785у (9)
- для 12-балльной шкалы:
с1 = 4,7470~4 е°'6135у (10)
Таким образом, диапазон соответствующей «нормы» обобщенной функции желательности (3) будет определяться межбалльным количественным диапазоном, установленным либо по номограмме на рисунке 6, либо с помощью формул (6)—(10).
Отметим, что при применении метода расстановки приоритетов мы ориентировались только на одинаковую точность вычисления количественных коэффициентов желательности оценок. Поэтому, в силу специфики метода, высшая и низшая оценки шкалы в разы-порядки отличаются по «весу-желательности» от соседних, что особенно заметно для шкал небольшой размерности. Поэтому, например, позитивная оценка «4» по 4-балльной шкале в соответствии с формулой (3) может оказать существенное негативное влияние на конечный результат /).
Устранение указанного замечания возможно, с одной стороны, с помощью уменьшения нелинейности путем снижения формальной точности вычисления коэффициентов желательности, которая повышается при применении метода расстановки приоритетов на каждой итерации. Однако это существеннейшим образом отразится на шкалах достаточно большой размерности.
С другой стороны, следует указать, что при формировании качественных (лингвистических) характеристик баллов (термов, названий) исследуемых шкал нами был использован модификатор «очень». А в соответствии с положениями теории нечетких множеств и ЛП любой терм может действительно быть образован из соседнего атомарного терма с помощью модификатора «очень», чему в теории нечетких множеств соответствуют нечеткие операции [1; 13; 14]:
- концентрации
тр (очень высокий УУД) = гЩ, (высокий) ; (11)
- растяжения
т^. (очень низкий УУД) = тр5 (низкий^ • (12)
Ориентация на формулы (11), (12) является серьезным обоснованием повышения желательности (в количественном «весовом» понимании) и других позитивных оценок шкал, что еще больше приблизит к действительности интегральный показатель академической одаренности (или интеллектуальной). Причем, без ущерба точности вычислений. Изложенное и будет предметом наших дальнейших исследований.
Таким образом, обращаясь к полученным и представленным в данной статье новым научным результатам по интегральной квалиметрии академической и интеллектуальной одаренностей, мы констатируем факт существенного развития методологии системных исследований в дидактике путем адаптации, совершенствования и разработки новых методов получения интегральных оценок уровней учебных достижений, которым и только которым присуще системное свойство эмерджентности и поэтому необходимо обучать педагогов образовательных учреждений. Отдельными результатами наших исследований являются следующие.
1. Обоснована применимость мультипликативного подхода, базирующегося на усовер-
шенствованной желательности шкале Харрингтона, в процессах квалиметрии знаний обучаемых. Интегральная оценка АО или ИО находится путем вычисления среднего геометрического результатов тестирования, либо среднегеометрического показателя коэффициентов желательности оценок.
2. Совершенствование шкалы проведено для широкого спектра качественных шкал, используемых в дидактике, путем применения математического метода расстановки приоритетом для вычисления количественных показателей желательности оценок.
3. Доказана явная нелинейность шкалы и определены диапазоны соответствующей «нормы» количественно-качественного соответствия оценок с помощью номограмм, либо аналитическим путем.
4. Учитывая особенности формирования качественных шкал с помощью специальных модификаторов, определены направления дальнейших исследований по увеличению количественного показателя желательности большего спектра позитивных оценок при заданном уровне их точности.
Библиографический список:
1. Надежность и эффективность в технике : справочник в Ют. - Т. 3. Эффективность технических систем / под общ. ред. В. Ф. Уткина, Ю. В. Крючкова. - М. Машиностроение, 1988.- 328 с.
2. Перегудов Ф. И. Введение в системный анализ / Ф. И. Перегудов, Ф. П. Тарасенко. -М. : Высшая школа, 1989. - 367 с.
3. Михеев В. И. Моделирование и методы теории измерений в педагогике / В. И. Михеев. - М. : Высшая школа, 1987. - 200 с.
4. Анфилатов В. С. Системный анализ в управлении : учеб. пособ. / В. С. Анфилатов, А. А. Емельянов, А. А. Кукушкин. - М. : Финансы и статистика, 2002. - 368 с.
5. Адлер Ю. П. Планирование эксперимента при поиске оптимальных условий / Ю. П. Адлер, Е. В. Маркова, Ю. В. Грановский. - М. Наука, 1976. - 278 с.
6. Бурлачук Л. Ф. Словарь-справочник по психодиагностике / Л. Ф. Бурлачук, С. М. Морозов. - К. : Наук, думка, 1989. - 200 с.
7. Орлов А. И. Теория принятия решений: учеб. пособ. / А. И. Орлов. - М. : Экзамен, 2005. -656 с.
8. Камышин В. В. Совершенствование шкалы Харрингтона для интегральной оценки академической одаренности / В. В. Камышин, А. Н. Рева // Обдаровані діти - інтелектуальний потенціал держави : м-ли Міжнар. наук.-практ. конф., 26-30 вересня 2013 року, смтГасп-ра, АР Крим. - К. : Інститут обдарованої дитини, 2013.-С. 23-33.
9. Боднер В. А. Оператор и летательный аппарат. - М. : Машиностроение, 1976. - 224 с.
10. Рева А. Н. Оптимизация профессиональ-
ной деятельности инструктора авиационного тренажера: научно-практические рекоменда-
ции / А. Н. Рева, В. А. Горячев, В. А. Кузнецов [и др.] ; под ред. А. Н. Ревы, В. А. Бодрова. -М. : ИГТАН, 1990. - 125 с.
11. Берж К. Теория графов и ее применение ; пер. с. франц. / К. Берж. - М. : ИЛ, 1962. -320 с.
12. БлюмбергВ.А. Какое решение лучше? Метод расстановки приоритетов / В. А. Блюм-берг, В. Ф. Глущенко. - Л. : Лениздат, 1982. -160 с.
13. Шапиро Д. И. Принятие решений в системах организационного управления: Использование расплывчатых категорий / Д. И. Шапиро. - М. : Энергоатомиздат, 1983. - 184 с.
14. Кофман А. Введение в теорию нечетких множеств ; пер. с франц. В. Б. Кузьмина / А. Кофман ; под ред. С. И. Травкина. - М. : Радио и связь, 1982. - 432 с.
References:
1. Utkina V. F., Kryuchkova Yu. V. Nadezh-nost' і effektivnost' v tekhnike: Spravochnik v 10 t. T. 3. Effektivnost' tekhnicheskikh sistem [Reliability and Efficiency of the Eechnique: Handbook in 10 Volumes. Volume 3. Effectiveness of Technical Systems]. - M. : Mashinostroenie, 1988. - 328 p.
2. PeregudovF. I. Vvedenie v sistemnyy analiz [Introduction to system Analysis]. - M. : Vysshaya shkola, 1989. -367 p.
3. Mikheev V. I. Modelirovanie і metodv teorii izmereniv v pedctgogike [Modeling and Methods of Measurement Theory in Pedagogy]. - M. : Vysshaya shkola, 1987. - 200 p.
4. Anfilatov V. S. Sistemmy analiz v upravle-nii: ucheb. posob. [System Analysis in Management]. - M. : Finansy i statistika, 2002. - 368 p.
5. Adler Yu. P. Planirovanie eksperimenta pri poiske optimal'nykh usloviyyu [Planning Experiment When Searching for Optimum Conditions]. -M. : Nauka, 1976.-278 p.
6. Burlachuk L. F. Slovar'-spravochnikpo psik-hodiagnostike [Dictionary of Psychodiagnostics]. -K. : Nauk. dumka, 1989. - 200 p.
7. Orlov A. I. Teoriva prinyativa resheniv: ucheb. posob. [Decision Theory], - M. : Ekzamen, 2005.-656 p.
8. Kamyshin V. V. Improvement of Harrington Scale for Integral Evaluation of Academic Giftedness [Sovershenstvovanie shkaly Kharringtona dlya integral'noy otsenki akademicheskoy odarennosti]. Obdarovani diti - intelektiial'niy potentsial derzhavi: m-li Mizhnar. nauk.-prakt. konf., 26-30 veresnva 2013 rohi, smt Gasp-ra, AR Krim [Gifted Children -Intellectual Potential of the Country: Proceedings of the International Scientific and Practical Conference, 26-30 September 2013, Crimea]. - K. : Institut obdarovanoi ditini, 2013. - P. 23-33.
9. Bodner V. A. Operator i letatel'my apparat [Operator and Aircraft]. - M. : Mashinostroenie, 1976.-224 p.
10. RevaA. N. Optimizatsiya professional'noy deyatel'nosti instniktora aviatsionnogo trenazhera: nauchno-prakticheskie rekomendatsii [Optimization of Professional Activities of Flight Simulator Instructor], - M. : IP AN, 1990. - 125 p.
11. Berzh K. Teoriva grafov i ee primenenie [Graph theory and its Application], - M. : IL, 1962. - 320 p^.
12. Blyumberg V. A. Kakoe reshenie Inch she? Me-tod rasstanovki prioritetov [Which Solution is Better? Prioritization Method]. - L. : Lenizdat, 1982. - 160 p.
13. Shapiro D. I. Prinvatie resheniv v sistemakh organizatsionnogo upravleniya: Ispol'zovanie ras-plyvchatykh kategoriv [Decision Making in Organizational Management Systems: Using Vague Categories]. - M. : Energoatomizdat, 1983. - 184 p.
14. Kofman A. Vvedenie v teorivu nechetkikh mnozhestv [Introduction to the Fuzzy Set Theory], - M. : Radio i svyaz', 1982. - 432 p.
