CC BY-NC-ND
40
СТАТИСТИЧЕСКИЕ ПРОЦЕДУРЫ СО МНОГИМИ РЕШЕНИЯМИ В ЗАДАЧЕ АНАЛИЗА ИТОГОВ ПРИЕМА В ФИЛИАЛЫ ВУЗА
А.П. Колданов,
доктор физико-математических наук, профессор кафедры прикладной математики и информатики Нижегородского филиала
Национального исследовательского университета «Высшая школа экономики»
П.А. Колданов,
кандидат технических наук, ассистент кафедры теории и методики дистанционного обучения Нижегородского государственного университета им. Н.И. Лобачевского Адрес: . г. Нижний Новгород, ул. Казанское шоссе, д. 23/104 E-mail: akoldanov@hse.ru; kold@mail.ru
Анализируются особенности многоальтернативных задач сравнения нескольких генераль- « ных совокупностей по малым выборкам и специфика рассматриваемого метода их решения. Предлагается дополнить метод построения статистических тестов со многими решениями предварительной процедурой выделения однородной информации. Приводится пример анализа ^ реальных данных, иллюстрирующий целесообразность такого дополнения.
Ключевые слова: тесты со многими решениями, порождающие гипотезы, группы однородности, несмещенные тесты попарного сравнения, итоги приёма в филиалы.
Введение
В настоящей работе рассматривается задача сравнительного анализа итогов приемных кампаний в филиалы ВУЗа за небольшое (в примерах не более 8) количество лет. При этом изучается спрос на получение высшего образования в этих филиалах, т.е. анализируется число заявлений от абитуриентов. Так как количество абитуриентов
естественно считать случайной величиной, то такая задача относится к математической статистике. При этом одна из основных сложностей заключается в малом объеме наблюдений в каждом филиале. Последнее определяется как реально имеющимися у нас данными так и, что значительно более важно, общепринятым в практике применения математической статистики предположением о повторности (стационарности) выборки.
Предположение о повторности выборки адекватно реальной ситуации, характерной для приема в ВУЗы, только на достаточно коротких промежутках времени, что связано как с изменением демографических факторов, так и с меняющимися правилами приема, вызванными общим изменением социально-экономических условий.
Малость объема наблюдений характерна для многих прикладных задач, связанных со статистической обработкой реальных данных, и методы повышения эффективности соответствующих процедур имеют постоянную актуальность. К числу таких задач из наиболее близких к рассматриваемой в настоящей работе могут быть отнесены задачи одновременного анализа деятельности нескольких, в определенном смысле, родственных организаций. При этом повышение эффективности анализа деятельности одной организации возможно за счет использования данных о результатах деятельности всех однотипных организаций. На такую возможность указывалось в [1]. Позднее эти методы получили название статистического анализа совокупности малых выборок [2].
Задача анализа итогов приема в филиалы ВУЗа была поставлена в [3], как задача проверки гипотезы однородности с двумя решениями: данные не противоречат (или противоречат) гипотезе о том, что во всех филиалах приемные кампании одинаково эффективны. В [4], [5] показана целесообразность использования совокупности малых выборок для проверки гипотезы однородности при использовании простейших статистических процедур. В [6] приведен оптимальный (в классе несмещенных) тест с двумя решениями о сравнительной эффективности приемных кампаний в два филиала. Подчеркнем, что в работах [3-6] исследовались различные аспекты, связанные с решением двухальтернативных задач.
Вместе с тем, при отвержении гипотезы однородности возникает вопрос, в каких филиалах и каким образом ситуация отличается от постулируемой гипотезой однородности. Подобная информация представляет интерес для руководства головного ВУЗа при решении таких вопросов, как проведение адекватной оценки деятельности приемных комиссий и рекламных кампаний; рациональное распределение возможных капитальных вложений в филиалы и принятии других управленческих решений [7]. В этом случае, рассматриваемая задача заключается в выборе одной из многих гипотез о возможных соотношениях эффективностей прием-
ных кампаний в различные филиалы ВУЗа.
Результаты, относящиеся к теории построения статистических процедур со многими решениями, приведены в [8,9,10,11]. В настоящей работе применяется метод, основы которого заложены в [10]. Из прикладных работ, связанных с анализом деятельности именно образовательных организаций можно отметить [12], где для кластеризации регионов страны по результатам ЕГЭ, используется критерий %2.
В настоящей работе рассматривается задача сравнения эффективности приемных кампаний в филиалы ВУЗа именно как многоальтернативная задача. В такой постановке задача была сформулирована в [7]. Соответствующая математическая модель предложена в [13]. Решение этой задачи (и в [13], и в настоящей работе), основано на методе, предложенном в [10], и представляет собой комбинацию тестов попарного сравнения итогов приема во все филиалы ВУЗа. Основное внимание в [13] сосредоточено на проблеме непротиворечивого объединения (проблеме совместимости) всех возможных решений тестов попарного сравнения. При этом используемый в [13] тест сравнения приемных кампаний в два филиала предполагает обработку наблюдений только в этих двух филиалах.
В настоящей работе тест со многими решениями комбинируется из тестов попарного сравнения, использующих (для оценки мешающего параметра) данные о приеме во все филиалы, образующие однородную группу. С целью выделения однородной группы формулируются и проверяются вспомогательные гипотезы однородности. Заметим, что с теоретической точки зрения, увеличение количества наблюдений позволяет улучшить характеристики (уменьшить вероятности ошибочных решений) соответствующих статистических процедур. Приводятся результаты применения построенного теста для обработки реальных данных и сравнения практических выводов (о соотношении итогов приема), полученных с выделением и без выделения однородной группы филиалов.
Основные предположения и математическая модель
Реальные данные о результатах приема удобно представить в виде матрицы \\х.. ||, где х.. численность абитуриентов в филиале в городе . в год I (./=1,.ЛГ;|—1,/Яу), где N количество филиалов, т.—
количество наборов в у'-ый филиал. Величины х.. представляют собой значения случайных величин X,, которые описывают численность абитуриентов в городе у в год і. Будем считать, что случайные величины X.. независимы при всех /=1,/иу.;у—1,.ЛГ и при фиксированном у одинаково распределены,
как X. .
і
Для задания распределения представим X. виде:
пі
к=1
где Р — индикатор того, что к-ый человек будет абитуриентом .-го филиала т.е.
Е Л1’ ^Д=1) = ^ (1)
^ [0, Р(^к=0) = 1-р]к
п. — количество потенциальных абитуриентов в городе ..
Обычно можно выделить группы абитуриентов, представители каждой из которых не влияют (или слабо влияют) на поведение абитуриентов из других групп. Такие группы формируют жители разных населенных пунктов, представители разных социальных слоев населения, выпускники разных школ, техникумов и т.д. При этом к одной группе, в частности, можно отнести одноклассников (возможно, не всех), часто подверженных «стадному» поведению. При достаточно большом числе таких групп (что типично) можно считать, что X. имеет (приближенно) нормальное распределение
N{0,, а2), где
' ъ
ву=5>*
к=1
описывает среднее число абитуриентов .-го филиала.
С целью исключения такого важного фактора, как численность населения, будем характеризовать эффективность приемной кампании (или спрос на обучение в .-ом филиале) параметром
аі
Рі= .
пі
При этом сравниваются результаты работы именно приемных комиссий филиалов (а не условий, в которых они работают, таких как потенциально возможная численность абитуриентов).
Будем считать, что если р, > рі , то приемная комиссия в і-ом филиале работает лучше, чем в .-ом. Таким образом, информационными параметрами являются математические ожидания случайных величин X. с коэффициентами 1/п..
Применительно к рассматриваемой задаче па-
раметр а2 характеризует степень разброса численности абитуриентов, который определяется в основном социальным составом населения, популярностью головного ВУЗа и т.п.
Одно из основных предположений математической модели [13] заключается в том, что эффективность работы собственно приемной комиссии влияет на параметр а2 в значительно меньшей степени, чем на параметр а,, т.е. параметры характеризуют обстановку, в которой работают филиалы, и, с точки зрения оценки эффективности работы приемной комиссии выступают как мешающие параметры [2]. При этом могут существовать филиалы (группа филиалов), которые работают в примерно одинаковых условиях. Формально такое предположение можно сформулировать, как гипотезу однородности вида:
Нн.к-а1=пкао2>г'=1^;Ц> . (2)
В дальнейшем будем говорить, что филиалы, для которых выполняется (2), образуют однородную группу.
Заметим, что гипотезу однородности можно переписать в виде:
При этом, если дополнительно предположить, что процент потенциальных абитуриентов одинаков для филиалов из однородной группы, то соотношение п. /п. можно понимать, как отношение численностей населения соответствующих регионов. В дальнейшем будем считать, что величины п./п. известны при всех г,у = 1... N.
Предположение (2) является основным для настоящей работы, так как если реальные данные не противоречат Н ^ , то для оценки неизвестного параметра о1 можно использовать все наблюдения в филиалах, образующих однородную группу.
Пример выделения однородной группы филиалов
В качестве примера формулировки гипотезы однородности и её проверки проанализируем реальные данные о результатах восьмилетней деятельности крупного регионального (областного) ВУЗа, имеющего 8 филиалов в районных центрах области. Такие данные удобно представить в виде таблиц, в которых указана численность приема в различные филиалы и года работы. В настоящей работе огра-
ничимся анализом приема на сокращенные программы по заочной форме обучения.
Таблица 1.
Данные об итогах приема на сокращенную программу по заочной форме
1 набор 103 131 187 154
2 набор 92 212 262 92 151 99 235
3 набор 122 197 376 129 164 268 338 77
4 набор 48 143 283 146 141 217 239 63
5 набор 86 95 231 125 140 231 187 59
6 набор 89 70 203 127 173 175 123 78
7 набор 147 92 276 183 141 137 139 82
8 набор 134 95 258 213 187 242 185 28
Отсутствие данных в некоторых полях таблицы означает, что на соответствующий филиал в указанный год набор не осуществлялся.
При выделении однородной группы филиалов учитывались такие признаки как перечень реализуемых программ в филиале, социально-экономические показатели городов, удаленность от областного центра и т.п. На основании таких признаков можно сформулировать следующую гипотезу: при анализе итогов приема на сокращенные формы получения высшего образования однородную группу образуют филиалы: 1Ф, 2Ф, 3Ф, 4Ф, 6Ф, 8Ф, т.е.
Я1.(^2=(^ = (^ = (^ = (<^= К)2 (3)
°- л1 щ щ л4 л6 ^
Гипотеза (3) представляет собой гипотезу пропорциональности дисперсий нескольких нормальных совокупностей. Для того, чтобы перейти от нее к классической задаче однородности (равенства дисперсий) нескольких совокупностей достаточно перейти от случайных величин X. к величинам
X.
Гу=-^,У =
л,
В этом случае основное предположение (2) будет иметь вид:
ЯА-А: °АУ = - = °кУ =<’ ’ - А} = {!> ->ЛГ} (4)
где а^г2 — дисперсия случайной величин .
Для проверки гипотезы равенства дисперсий нескольких нормальных совокупностей (4) можно использовать тесты, описанные, например, в [14]. При этом существенно, что при к > 2 оптимального теста не существует.
Применение часто рекомендуемого (пакеты программ $1а1181юа и SPSS) теста Левена к данным таблицы 1 приводит к тому, что не отвергается более «широкая» гипотеза, об однородности филиалов 1Ф, 2Ф, 3Ф, 4Ф, 5Ф, 6Ф, 8Ф.
Как отмечалось в [14] одним из наиболее мощных тестов проверки гипотез (4) при к > 2 является тест Саммиудина. Современные численные исследования мощности тестов равенства дисперсий [15] подтверждают этот вывод. Тест Саммиудина основан на статистике:
0 к
"'-її/
Z 1=1
/ 1 1 Ф!г'!
(5)
где
/,=Щ~
ЇА2
£/'а2
1=1
т. — объем наблюдений из Я{апо2),
1 т< / — — 1 т<
5,2 = (т _Х') ’ *' =----Г^Х“'
\т1 ЧпI 1=1 Щ П1 1=1
(6)
Результаты применения теста (5), (6) к данным таблицы 1 приводят к следующему: при анализе приема на сокращенные программы данные противоречат гипотезе о том, что однородную группу образуют филиалы 1Ф, 2Ф, 3Ф, 4Ф, 5Ф, 6Ф, 8Ф, но не противоречат гипотезе однородности (3).
Результаты применения равномерно наиболее мощного (для сравнения двух совокупностей) теста Фишера [8] к каждой паре филиалов, участвующих в соотношении (3) совпадают с результатами применения теста Саммиудина. Таким образом, можно сделать вывод о том, что данные таблицы 1 не противоречат гипотезе (3).
Тесты со многими решениями и их специфика
Как отмечалось во введении, основной целью настоящей работы является построение и применение для анализа конкретных данных статистического теста со многими решениями для различения гипотез вида:
Щ:р1 = р2 =... = ры Щ -Р1>Рг=~ = РК Нк ■Р1>Р2>Ръ=Р*~=Ры
(7)
где н<, означает, что в первом филиале приемные комиссии работают лучше, чем в других, а эффективность работы приемных комиссий во всех остальных филиалах одинакова и т.д.
Наиболее общий конструктивный метод построения тестов для различения многих гипотез предложен в [10] и основан на сведении многоальтернативной задачи к совокупности соответствующим образом подобранных двухальтернативных порождающих задач и, применительно к (7), подробно рассмотрен в [13].
Отметим здесь основные моменты:
Для различения (7) естественно попытаться скомбинировать результаты применения известных [8] тестов проверки гипотез (которые называются порождающими) Ну : р > р] против альтернатив ку : р < р] при всех = 1,.ЛГ.
При фиксированных I,] комбинация таких тестов при практически допустимых ограничениях приводит к тестам с тремя решениями для различения гипотез:
V] : Р, < Р,> К : р = р., Щ : р, > р.
(8)
Комбинацию таких тестов (при различных ., .) и можно было бы положить в основу решения исходной задачи (7). Однако «объединение» таких тестов с тремя решениями может привести к противоречию, а именно: с ненулевой вероятностью может быть принято решение о том, что (например):
РГР„ Р 2=Р 3 но Рх > Ръ .
Для исключения указанного противоречия в [10,13] рассматривается несколько измененная система порождающих гипотез, а именно, в качестве порождающих задач рассматриваются задачи проверки гипотез Ну : р + А> р] против альтернатив ку: р + А< р1, где А > 0.
Для проверки гипотез +А> р^ используется равномерно наиболее мощный в классе несмещенных тест
о.-!1
IО и< С..
‘'г
(9)
статистика которого имеет вид:
(—
X,
= -
хі
т.п.
т,п1
(10)
Иу ы
Соответствующая трехальтернативная задача при фиксированных ., . заключается в различении трех гипотез:
Н4 : р <р , Я] : р = ру, Н6 : р >ру (П)
Л
где под pi - р, (равенство с точностью А) понимается |р. -р] | < А, а под Р < р, понимается р. +А < р. .
Существенно, что комбинация тестов различения (11) при различных I, ] не приводит к противоречиям, т.к. при (см. пример выше)
Р\=Р% (|р-р,|<А), Рг=Ръ (|^2-/>з |<л)
д
возможно, что рх >Рз (р1 > р3 + А). Следовательно, система тестов для задач (11) будет совместна с исходной задачей, аналогичной (7), в которой все равенства и неравенства заменены на равенства и неравенства с точностью А. Подчеркнем, что применение методики [10] не позволяет решить исходную задачу (7), но позволяет решить практически эквивалентную (при малом А) ей задачу. При этом в [13] применительно к рассматриваемой задаче в статистике (10) используются только итоги приема в г-ый и ]-ый филиалы.
Тест (9) со статистикой (10) допускает улучшение за счет использования наблюдений в филиалах однородной группы. Такой тест имеет вид:
[1
>с
(—
х,
і1 =-
Х1
п, п,
тіпі
'Е^-'Е(ха-х/)2/(п~г)
] 1=1 П1 к=\
(12)
(13)
где П-
1=1
г — число филиалов, входящих в однородную группу, х к = 1, ...т., I = 1, ..., г — наблюдения (итоги приема) в филиалах из однородной группы.
Тест (12), (13) (как и (9), (10)) строится по схеме построения равномерно наиболее мощных в классе несмещенных тестов для проверки равенства (неравенства) средних значений двух нормальных совокупностей, изложенной в [8].
Пороговые значения с.. в (9), с.1 в (12) выбираются из условий: > с!. / р. = р}) = а. Так как стати-
стика имеет большее число степеней свободы, чем статистика ?.., то тест (12), (13) мощнее, чем тест
(9), (10). ]
В [10] показано, что при выполнении условия аддитивности функции потерь, условия совместимости и некоторых естественных структур -ных условий, свойства тестов с двумя решениями для проверки порождающих гипотез переносятся на свойства правила со многими решениями. Поэтому при комбинировании тестов (12), (13) естественно ожидать улучшение характеристик правила со многими решениями по сравнению с правилом, полученным при комбинировании тестов (9), (10).
Пример анализа реальных данных
В качестве иллюстрации характера выводов, получаемых при решении многоальтернативных задач и сравнения этих выводов при использовании тестов (9), (10) и тестов (12), (13) (с проверкой вспомогательной гипотезы однородности) приведем результаты анализа данных таблицы 1. Такой анализ проводился в двух вариантах.
Вариант 1: формальное применение теста (9), (10) ко всем парам филиалов.
Вариант 2: применение теста (12), (13) с выделением однородной группы филиалов.
В первом варианте при отвержении гипотезы однородности тест (9), (10), вообще говоря, не обладает какими-либо оптимальными свойствами. При справедливости гипотезы однородности пар филиалов тест (9), (10) является оптимальным в классе несмещенных «двухвыборочных» тестов. Во втором варианте в знаменателе (13) используются наблюдения из всех филиалов, образующих соответствующую однородную группу и тест является оптимальным в
классе несмещенных «г — выборочных» тестов.
При проведении анализа использовались следующие данные:
1\ = 6390,^ = 7090, и, = 28900, и4 = 6320, п5 = 6320,
п6 = 11130, и, = 4660,«8 = 2530.
Заметим, что из (10), (13) следует, что результаты анализа зависят только от И,/Иу, г,у’ = 1,..,8. Уровни значимости для порождающих гипотез к.. выбирались равными 0.05.
Результаты проверки порождающих гипотез с помощью теста (9), (10) всех пар филиалов (вариант 1) приведены в таблице 2.
Общий вывод о сравнительной эффективности работы приемных комиссий в филиалах можно записать в более коротком виде:
А А А А А А А
рз < А = р6 < р2 < р8 < р4 < р5 < Р! (14)
А
(под нестрогим неравенством « р < р]» понимается « р + А< р] или \р. - р.\ < А»).
А
Запись р3 <... означает, что р3 < р при всех I.
А
Запись р1 = р6 означает не только, что р1 - р6\ < Д, но и что все соотношения относительно р1 и р.(1 = 1, ..., 8), и относительно р6 и р.(;' = 1, ..., 8) имеют одинаковый вид, что видно из таблицы 2.
А А А А
Запись р6 < р2 < р8 < р4 < р5 означает, что между соседними р. (;'= 6, 2, 8,4,5) справедливо равенство с точностью Д, но не существует пары, для которой соотношения со всеми остальными совпадают. В частности, для пары р2, р8 из таблицы 2 имеем:
р8 -р2 \ < Д , р5 > р2+Д, р5 -р8 \ < Д , поэтому р2 <р8 .
Таблица 2.
1Ф 2Ф 3Ф 4Ф 5Ф 6Ф 7Ф
2Ф К -Р2\ < А
3Ф Р1 > р3+Д Р 2 > Рз+А
4Ф Р4 > Рі+А \Р2 -Р4 \ < А Р3 +а < Р4
5Ф Р5 > л+л Р 5 > Р 2+А Р5 > рз+Д Р4 -Р5 \ < А
6Ф Р1 -Рб\ < А Р2 -Рб \ < Д Рб > Рз+Д Р 4 > Рб+Д Рб +А < Р5
7Ф Р7 > Р1+А Р7 > Р2+А Р7 > Р3+А Р7 > Р4+д Р7 > Р5+А Рб +А < Р7
8Ф Р1 -р%\ < А Р8 -Р2 \ < А Р8 > Рз+А Р4 -Р% \ < А Р5 -Р8 \ < А Р8 'Рб \ < А Р 8 +А < Р 7
Таблица 3.
1Ф 2Ф 3Ф 4Ф 6Ф
2Ф Р1 -Р2\ < А
3Ф Р1 > Рз+Д Р2 > Рз+А
4Ф Р4 > Р1+А Р4 -Рг \ < А Р3 +А < Р4
6Ф Р1 -Рб\ < А Р2 -Рб \ < А Рб > Рз+А Рб +А < Р4
8Ф Р1 +А < Р 8 Р2 -Р8 \ < А Р 8 > Рз+А ^4 -Р8 \ < А Рб +А < Р8
А А А
Часть записи р6 < р2 < р8 < р4 означает, что
А А А А
р6 = р2; р2 = р8; р8 = рА; р6 <р4 .
При ограничении только филиалами, входящими в соответствующую однородную группу применение (9), (10) приводит к следующему результату:
А А А А А
рз <р1 = р6 < р2 <рв < р4 (15)
Вариант 2: результаты проверки порождающих гипотез с помощью теста (12), (13) приведены в таблице 3.
Сравнение таблиц 2 и 3 показывает, что использование наблюдений из всех филиалов, образующих однородную группу, позволяет уточнить соотношения между р1,р8 и р6,р8.
Общий вывод об упорядочении филиалов по уровню их популярности среди населения приведен ниже:
А А А А А
рз < Л = р6 < р2 < р8 = р4 (16)
Полученный вывод отличается от (14), (15) уточнением соотношений между р4 и р8, а также однозначной трактовкой записи
А А
рб < р2 < рв .
Таким образом, использование всех наблюдений в филиалах из однородной группы позволяет улучшать характеристики соответствующих процедур со многими решениями, и делать интерпретацию выводов таких процедур практически более понятной.
Заключение
Задачу сравнительного анализа эффективности работы приемных комиссий филиалов ВУЗа, как
и многие задачи, традиционно формулируемые как двухальтернативные задачи проверки гипотезы однородности N совокупностей, целесообразно рассматривать как статистическую задачу выбора одного из Ь (Ь > 2) решений. Такая многоальтернативная постановка позволяет получать более детальные выводы об упорядочении N совокупностей по информативным параметрам.
Для решения подобных задач естественно использовать метод, основанный на объединении результатов всех попарных сравнений N совокупностей. Основное достоинство этого метода заключается в возможности (при определенных условиях
[10]) переноса свойств (оптимальности) статистических процедур с двумя решениями на процедуры со многими решениями. При этом, однако, возникает проблема непротиворечивости указанного выше объединения. Применительно к рассматриваемой в настоящей работе задаче, решение этой проблемы возможно за счет введения дополнительного параметра А [10,13]. Теоретически это означает замену задачи проверки, в частности, равенства параметров совокупностей задачей проверки различия этих параметров не более чем на величину А. С прикладной точки зрения такой переход не меняет сути прикладной задачи, по крайней мере, при малых Д.
Вместе с тем, введение Д приводит к принципиальному отличию характера выводов от результатов, получаемых обычными методами кластеризации (см. например, [12]). Применительно к задаче сравнительного анализа эффективности работы приемных комиссий филиалов это означает, что один и тот же филиал может быть одновременно отнесен, в частности, к двум кластерам [13]. Последнее, с одной стороны, вносит дополнительную неопределенность, однако с другой стороны, соответствует сути многих прикладных задач особенно при анализе малых выборок.
В настоящей работе показана возможность улучшения характеристик статистических процедур со многими решениями за счет рационального использования совокупности малых выборок. Такая процедура основана на введении вспомогательных гипотез однородности и их проверке на адекватность реальным данным. При этом существенно, что филиалы одного ВУЗа являются «родственными» организациями и если они работают в одинаковых условиях, то для анализа параметров обстановки (мешающих параметров) работы каждого филиала можно использовать наблюдения во всех филиалах, образующих однородную (в смысле обстановки) группу.
Приведенный пример показывает, что использование (для оценивания мешающего параметра в соответствии со статистикой (13)) всех наблюдений из однородной группы может существенно уточнить (по сравнению с (10)) отношение порядка параметров N совокупностей. При этом мощность теста (12), (13) больше чем (9), (10).
Изложенный в работе метод построения статистических процедур со многими решениями, включая использование однородной информации, носит достаточно общий характер и может быть применен к решению многих прикладных задач сравнительной оценки результатов деятельности родственных организаций. ■
Литература
1. Нейман Дж. Два прорыва в теории выбора статистических решений. - Пер. с англ. - Математика, 1964, №2.
2. Линник Ю.В. Статистические задачи с мешающими параметрами. М.: Наука, 1966.
3. Колданов П.А. Анализ однородности наборов в ЦДО ННГУ. Материалы международной конференции «Прикладная статистика в социально-экономических проблемах», Н.Новгород, ННГУ, 2003, т.2, - С. 116-121.
4. Колданов П.А. Оценка эффективности приемной кампании подразделений образовательного учреждения // Материалы Всероссийской конференции «Математические методы и информационные технологии в экономике, социологии и образовании». — Пенза 2005. - С. 206-209.
5. Колданов П.А. Статистический анализ совокупности малых выборок // Нелинейный мир - 2007 №7-8, т.5 - С. 531-535.
6. Колданов П.А. Построение оптимального критерия статистического анализа результатов приема в образовательные учреждения // Нелинейный мир — 2008. - №11-12, т.6 - С. 689-696.
7. Хохлов А.Ф., Стронгин Р.Г., Колданов А.П. Региональная образовательная политика (анализ опыта работы Центра дистанционного образования ННГУ). Материалы международной конференции «Прикладная статистика в социально-экономических проблемах», Н.Новгород, ННГУ, 2003, т.1, - С. 7-10.
8. Lehmann E.L., Romano J.P. Testing Statistical Hypotheses. - NY: Springer, 2005. — 786 p.
9. Rao C.V., Swarupchand U. Multiple Comparison Procedures — a Note and a Bibliography — ISSN 1684-8401, Journal of Statistics, v.16, 2009, pp.66-109.
10.Lehmann E.L. A theory of some multiple decision procedures I // Ann. Math. Statist., 1957, V 28, p. 1 — 25.
11.Shaffer J.P. Recent development towards optimality in multiple hypothesis testing. IMS-Lecture Notes-
Monograph Series 2nd Lehmann symposium — Optimality, vol. 49, 2006, pp.16-32.
12.Макаров А.А., Симонова Г.И. К задаче кластеризации регионов РФ по результатам ЕГЭ 2009 г. по математике // Межвузовский сборник научных трудов «Статистические методы оценивания и проверки гипотез». — Пермь — 2010, - С. 24-34.
13.Колданов П.А. Применение метода комбинированной структуры различения многих гипотез в задаче упорядочения нескольких совокупностей. // Межвузовский сборник научных трудов «Статистические методы оценивания и проверки гипотез». — Пермь — 2010. - С. 15-23.
14.Кендалл М. Стюарт А. Статистические выводы и связи — М.: Наука, 1973.
15.Lee H.B., Katz G.S., Restori A.F., A Monte-Carlo Study of Seven Homogeneity of Variance Tests. Journal of Mathematics and Statistics, vol.3, 2010, pp.359-366.
