Научная статья на тему 'Студент, преподаватель и работодатель в системе управления качеством образовательных услуг'

Студент, преподаватель и работодатель в системе управления качеством образовательных услуг Текст научной статьи по специальности «Науки об образовании»

CC BY
234
22
i Надоели баннеры? Вы всегда можете отключить рекламу.

Аннотация научной статьи по наукам об образовании, автор научной работы — Никулина Ирина Евгеньевна, Римская Ольга Николаевна

В данной статье качество обучения рассматривается с позиции оценки качества работы научно-педагогических работников. Представлены критерии оценки преподавательского труда, сложившиеся в российских, зарубежных вузах и среди работодателей.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по наукам об образовании , автор научной работы — Никулина Ирина Евгеньевна, Римская Ольга Николаевна

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

STUDENT, INSTRUCTOR AND EMPLOYER IN THE SYSTEM OF QUALITY MANAGEMENT OF EDUCATIONAL SERVICE

The article considers education quality from the position of rating of science-pedagogical workers' job's quality. The author presents the rating's criterion of instructors' work, forming in Russian and foreign universuties and between employers.

Текст научной работы на тему «Студент, преподаватель и работодатель в системе управления качеством образовательных услуг»

И. Е. Никулина, О. Н. Римская

СТУДЕНТ, ПРЕПОДАВАТЕЛЬ И РАБОТОДАТЕЛЬ В СИСТЕМЕ УПРАВЛЕНИЯ КАЧЕСТВОМ ОБРАЗОВАТЕЛЬНЫХ УСЛУГ

I. E. Nikulina, O. N. Rimskaya

Student, instructor and employer in the system of quality management

of educational service

The article considers education quality from the position of rating of science-pedagogical workers' job's quality. The author presents the rating's criterion of instructors' work, forming in Russian and foreign universuties and between employers.

ля России проблема повышения качества образования явно обозначилась в конце XX в., отразив стремление нашей страны в краткие сроки интегрироваться в глобальное образовательное пространство. Жесткий контроль над качеством отечественного образования — одно из необходимых условий вхождения России во Всемирную торговую организацию и вступления в силу Болон-ского соглашения. По оценкам Всемирной торговой организации, емкость мирового рынка образования составляет 50-69 млрд. долл. Безусловный лидер мирового образовательного рынка—США, которые контролируют треть финансового оборота рынка. Второе место по объемам образовательных продаж занимает Великобритания. Далее следуют Германия и Франция, в конце списка, занимая примерно равные позиции, стоят Австралия, Канада и Испания. Доля России в финансовом контроле образовательного рынка не превышает 1 % [1].

Одним из способов признания российских дипломов за рубежом является сертификация систем менеджмента качества (СМК) образовательных учреждений независимыми органами. За рубежом около пятиста университетов имеют сертификат на СМК. Потребители образовательных услуг в России пока не ставят жестко вопрос о наличии сертификата СМК вуза, но это — ближайшая перспектива. Действующая система показателей для учреждений высшего профессионального образования, применяемая Министерством образования и науки, Федеральной службой по надзору в сфере образования и науки, Национальным акк-редитационным агентством, уже включает в себя одну из качественных характеристик—показатель интенсивности проявления качества.

© И. Е. Никулина, О. Н. Римская, 2006

Контроль качества работы преподавателя является одной из наиболее сложных и важных задач в общей проблеме управления качеством обучения. В настоящее время критерии оценки качества работы преподавателей нормативно не определены. В абсолютном большинстве российских вузов существуют разного рода перечни требований к преподавателям. Как правило, их используют при определении возможности занимать ту или иную должность конкретным преподавателем. В связи с чем становится целесообразным определение рейтинга каждого преподавателя на основе единой унифицированной методики с многомерным анализом его деятельности и многобалльной оценкой. Такой подход к оценке качества деятельности преподавателя высшей школы еще только формируется.

Принимая во внимание факт, что основной деятельностью любого вуза является деятельность по предоставлению образовательных услуг, можно утверждать, что менеджмент качества в вузах должен опираться прежде всего на качество образовательных услуг. Качество образования или получения на выходе востребованного работодателями специалиста в первую очередь зависит от качества работы преподавателей. Особое внимание в российской высшей школе стали уделять повышению уровня качества труда преподавателей, что в итоге должно положительно отразиться на качестве выпускаемых специалистов и, как следствие, на положении вуза в образовательном пространстве.

В настоящее время основным направлением в области обеспечения качества высшего образования становится перенос центра тяжести с проце-

дур внешнего контроля качества образовательного процесса и его результатов, базирующегося на национальных системах аттестации и аккредитации, на внутреннюю самооценку вузов, которая основывается на тех или иных моделях менеджмента качества.

Осуществление намеченных изменений в системе высшего профессионального образования России, в том числе популяризации систем управления качеством образования в соответствии с международными стандартами, предполагает новые подходы к отбору преподавательских кадров высших учебных заведений, организации их профессиональной деятельности и оценке ее результативности. Приоритетными направлениями в решении поставленных задач являются: обеспечение высокой мотивации преподавателей в совершенствовании своего профессионального мастерства, пропаганда педагогической культуры; привлечение молодых кадров; создание условий для научно-исследовательской деятельности преподавателей.

В подавляющем большинстве вузов нашей страны не внедрена система менеджмента качества образовательных услуг, хотя аттестационная экспертиза образовательного учреждения содержит показатель, оценивающий эффективность системы менеджмента качества образовательных услуг. Следовательно, связи критериев качества образования с системой управления вузом, нацеленной на высокое качество образовательных услуг, тоже пока нет.

Оценка качества знаний через качество преподавательской деятельности

Преподаватель является главным участником всех процессов вуза, гарантом качественного образования и связующим звеном между администрацией и студентами. Роль преподавателя в системе менеджмента качества остается приоритетной как участника и владельца основных рабочих процессов жизненного цикла вуза. Следовательно, возрастает важность контроля качества работы преподавателя, который должен иметь некоторое количественное измерение.

В последние годы в высшей школе внедряется квалиметрический подход к оценке качества деятельности преподавателя. Квалиметрия — научно обоснованная оценка и системная диагностика профессиональной деятельности и рефлексии лич-

ности. Необходимость в разработке квалиметрии педагогического труда вызвана потребностью в объективизации оценки результативности работы преподавателя. Диагностирование специфических, профессиональных качеств педагога позволит однозначно судить о его профессионализме, мастерстве, новаторстве, а методика их оценки традиционно определяется как аттестация. Аттестация преподавателей вузов, с одной стороны, фиксирует, делает общепризнанной оценку достигнутого уровня профессионального развития, квалификации, с другой стороны, создает дополнительные стимулы, побуждающие профессиональное развитие. Аттестация является тем механизмом, который призван способствовать контролю за качеством научно-педагогического труда и его улучшению [2].

При квалиметрическом подходе к оценке качества труда преподавателе должны разрабатываться аттестационные листы с оценочными баллами, шкалами, критериями и параметрами. В этих листах оценивается деятельность преподавателя с дифференциацией по качеству преподавания, результативности научно-методической, инновационной и воспитательной работы. Затем проводится анализ балльной оценки деятельности педагога и формируется интегральный показатель количественной и качественной характеристик его труда. Окончательное решение относительно оценки деятельности преподавателя выносит аттестационная комиссия. Технология диагностики качества обучения основана на определении количественных и качественных показателей ряда параметров, характеризующих учебный процесс.

Главной задачей проведения оценки преподавательского труда является улучшение качества работы конкретного преподавателя и через это достижение цели более высокого уровня—нового качества работы высшего учебного заведения, соответствующего требованиям времени. В этом случае человек из объекта процесса оценки становится в какой-то степени субъектом процесса и получает возможность принимать активное участие в оценке самого себя. Мотивацией его участия в процессе самооценки обязательно должно быть стремление к улучшению качества своей работы. Только такая мотивация гарантирует, что самооценка не превратится в подготовку формального отчета о своих достижениях, цель которого—заслужить положительную оценку руководства. Обязательным условием программы самоаттестации преподавателя является также требование возможности

проследить «цепочку обратной связи» в системе менеджмента качества. Это означает, что важно не только оценить работу конкретного преподавателя, но и показать, каким образом сегодняшняя оценка его деятельности повлияет в будущем на устранение недостатков и улучшение результатов его работы. Следуя принципам СМК, деятельность преподавателя должна документально оформляться, контролироваться и корректироваться. Наиболее распространенным способом документирования процедуры контроля является формирование личного файла преподавателя (табл. 1).

Выработка критериев оценки преподавательской деятельности является одним из важных моментов при профессиональном подходе к осуществлению процедуры оценки. Несмотря на существование определенного набора общепризнанных характеристик и критериев оценки деятельности профессорско-преподавательского состава в зависимости от его специфики и миссии, приоритетность критериев в конкретном вузе может быть различной.

Например, основу системы оценки качества деятельности преподавателя, по мнению специалистов Новосибирского государственного технического университета, должны составлять следующие критерии [3]:

1. Профессионализм и образовательный уровень преподавателя.

2. Результативность исследовательской и научно-методической работы.

3. Уровень педагогического мастерства.

4. Личностные качества преподавателя.

5. Повышение квалификации.

При определении критериев оценки научных кадров в вузах России необходимо учитывать традиции высшего образования в нашей стране, поскольку сложилось так, что в высшей школе преимущественно развивались фундаментальные и прикладные науки в ущерб гуманитарным и общественным. Исследование, проведенное в Казанском государственном университете [3], подтвердило тезис о влиянии специфики предметной области на оценку академической деятельности. В ходе опроса, проведенного среди представителей двух предметных областей — математики и истории, обнаружилось много сходства во взглядах на количественные и качественные критерии академической деятельности. Все респонденты среди количественных критериев отмечали число публикаций, индекс цитируемости, гранты, участие в научных конференциях, научное руководство. Качественные критерии также продемонстрировали единство взглядов: международный уровень

Таблица 1

Личный файл преподавателя (примерное содержание)

документа

Наименование документа

Лист регистрации изменений Контракт

Индивидуальный план работы на учебный год

Должностная инструкция ППС

Рабочая программа

Комплект экзаменационных билетов

Рейтинг-план

Ежегодная анкета самоанализа работы преподавателя по преподаваемой дисциплине

Ежегодная анкета самоанализа работы преподавателя по дисциплине

Государственный образовательный стандарт

Образовательный стандарт вуза по специальности

Выписка из журнала регистрации экзаменов и зачетов

Кафедральный журнал учета успеваемости

Отчет о выполнении индивидуального плана за календарный год

Список научно-методических трудов

Анкеты семестрового опроса студентов

План корректирующих мероприятий

Ревизия

оценки, востребованность курсов студентами, гранты, публикации в престижных изданиях и т. д.

Вместе с тем проявилось и много различий. Прежде всего, это существенные различия в приоритетности критериев оценки академической деятельности по видам деятельности. Например, для математиков характерно оценивать продуктивность своей работы через ее востребованность студентами и обществом, через высокую оценку коллег, признание заслуг, наличие степеней, через внедрение научных разработок в практику. Историки больше внимания уделяют таким критериям, как количество публикаций, участие в конференциях и т. д. Были также выявлены различные подходы в использовании коллективных и индивидуальных форм работы, по-разному видятся проблемы улучшения качества академической работы и т. д.

В Томском политехническом институте, лауреате премии Правительства России по качеству продукции и услуг 2005 года, действует и постоянно совершенствуется в соответствии с современными требованиями система оценки рейтинга преподавателей. Деятельность преподавателей оценивается по видам работ, закрепленных в учебном плане, охватывает учебную, учебно-методическую, научно-исследовательскую, организационно-воспитательную работу и учитывает повышение квалификации. По всем видам работ рассчитываются коэффициенты, которые в дальнейшем оказывают влияние на исчисление часов каждого вида работ, принимаемого к зачету рейтинга. По некоторым видам, например учебной работе, предполагается трехсторонняя оценка: заведующим кафедрой, студентами и самооценка преподавателя. По результатам рейтинга преподаватели поощряются из имеющихся внебюджетных средств кафедры или факультета.

В Томском экономико-юридическом институте, имеющем почти 15-летнюю историю подготовки специалистов в области юриспруденции и коммерции, озабочены проблемой качества подготовки специалистов и их востребованности на рынке труда. В связи с чем в течение нескольких последних лет ежегодно проводится анкетирование преподавателей, имеющее целью выявление критериев качественного образования, и в частности определение критериев оценки труда преподавателя.

В большинстве зарубежных университетов уделяют особое внимание качественным критериям (оценке независимых экспертов), которые применяются, как правило, при оценке индивидуальной преподавательской деятельности. Независимо

от специфики подхода к повышению качества образовательного процесса ведущая роль в нем принадлежит его главным субъектам: студенту и преподавателю. Не случайно во многих странах одной из форм контроля качества образования являются жесткие процедуры назначения на должность преподавателей и особенно кандидатов, претендующих на должности доцентов или профессоров. При этом обычно оценка их деятельности производится по трем направлениям [4]:

1. Организационно-методические аспекты проведения занятий.

2. Уровень развития коммуникативной культуры (в ее устной и письменной формах).

3. Наличие профессионально значимых черт личности, обеспечивающих эффективность поведенческой стороны деятельности преподавателя и его взаимоотношений со студентами.

Если проанализировать зарубежные подходы к оценке качества деятельности преподавателя, то в этом случае участие в научно-исследовательской работе и эффективность преподавания рассматриваются как системообразующие, но не единственные компоненты. Например, в США преподаватель выполняет целый ряд общественных поручений, принимает активное участие в организации общественной, спортивной жизни как студенчества, так и ближайшего социального окружения по месту его жительства. Без выполнения перечисленных функций развитие его карьеры значительно затруднено. При наличии общегосударственных требований к профессионально-педагогической культуре преподавателя в каждом отдельном высшем учебном заведении происходит их конкретизация и расставляются акценты. Среди наиболее значимых аспектов деятельности университетского преподавателя обычно называют: педагогическое мастерство, результаты научного исследования, отношение к работе, уровень профессионализма, прошлые заслуги, мотивированность использования отдельных методов обучения. Иногда при оценке качества работы сотрудника используются формальный и неформальный рейтинг преподавателя среди коллег и студенческой аудитории, мнение непосредственного руководства соответствующего департамента, учебно-методического совета, содержание лекционных курсов, стремление к совершенствованию, внедрение инновационных технологий, участие в конференциях и другие факторы. Однако, по мнению ученых, специально исследовавших подобную «разбросанность» в интересах американских преподавателей, вызванную

общенациональным стремлением оказывать населению различные услуги в сфере образования и просветительства, в вузах США утрачивается единство целевой установки высшего образования, что влечет за собой подрыв основной идеи стандартизации всей системы [5].

В классических университетах Англии система оценки качества деятельности преподавателей сложилась несколько столетий назад. Ее основными компонентами являются процедуры назначения на должность, рецензирования учебно-методических пособий, подготовленных преподавателями, повышения квалификационного разряда и получения права на постоянную работу в учебном заведении, т. е. бессрочного контракта. Каждый университет может разработать свои схемы учета и контроля деятельности преподавателя, при этом они могут основываться на рекомендациях, утвержденных Ассоциацией университетских преподавателей и Комитетом вице-канцлеров и ректоров. Наряду с объективными критериями (высокой ученой степенью, длительным педагогическим стажем и обширным списком научных публикаций), большое значение имеет ориентированность сотрудника на совершенствование качества своего труда, личностный рост, перспективность его научной деятельности, а также выбор лиц, дающих письменную характеристику кандидатам, весомость рекомендаций, субъективное мнение специализированного комитета, составленное по результатам собеседования с кандидатом. Вообще в этой стране предпочтение в оценке качества работы университетского преподавателя отдается заполнению разного рода формуляров, отражающих его активность, и привлечению внешней экспертизы [5].

В миссии старейшего научного центра Европы — Католического университета г. Лювена [6] научная деятельность отмечена как основная и приоритетная перед деятельностью вуза как центра образования. Соответственно процедура оценки профессорско-преподавательского состава, которая проводится регулярно, не реже, чем один раз в шесть лет, включает следующие основные критерии:

1. Научные публикации (особо ценятся работы, опубликованные не в самом университете, а за его пределами).

2. Научные премии и награды.

3. Участие в международных научных конференциях.

4. Научная работа за рубежом.

5. Наличие аспирантов.

6. Гранты.

7. Патенты, изобретения.

8. Выход на практические разработки.

Мнения студентов об оцениваемом как о преподавателе учитывается только во вторую очередь.

Иначе обстоят дела в Университете г. Гранада, одном из ведущих образовательных центров Испании, в котором обучается около 60 тыс. студентов. Здесь основным критерием оценки деятельности преподавателя, наряду с количеством публикаций в международных журналах, является степень его загруженности.

Анализ педагогических исследований, посвященных вопросу качественной оценки профессионального мастерства преподавателей высшей школы, позволяет сделать вывод, что объективные и точные данные получить трудно, так как деятельность преподавателя многоаспектна, продолжительна во времени, а достигаемые результаты имеют разную степень валидности, практической или теоретической значимости. Ученые единодушны во мнении, что качество преподавания не сводится только к качеству подготовки преподавателя, а основывается на комплексе личностных свойств, отношений, талантов, внутренней мотивации педагогов, их чувстве профессиональной принадлежности, социальной значимости и удовлетворенности результатами своего труда. Совокупная высокая оценка качества всех видов деятельности преподавателя предполагает наличие профессиональных знаний у выпускника и его востребованность при трудоустройстве.

Требования работодателя к качеству выпускника

В последнее время на рынке образования становится все заметнее новый участник — работодатель. Следуя базовым принципам СМК, предполагающим, в частности, обратную связь производителя с потребителями, подготовка выпускаемых специалистов оценивается прежде всего работодателями. Тем не менее статистики от работодателей по качеству выпускников вузов пока не существует. Официальный рейтинг вузов Минобрнау-ки не слишком информативен для работодателя, поскольку в нем рассматриваются формальные показатели ресурсов вузов: книги, площади, ученые степени преподавателей, наличие интернета и компьютеров. Безусловно, это важно, но достаточно примеров, когда и при хороших ресурсных показателях выпускник не пользуется спросом на рын-

ке труда. Для формирования объективного рейтинга необходимы внешние социологические исследования, например, карьерных достижений вытус-кников вузов, качества их подготовки и способности в краткие сроки влиться в работу.

Многие менеджеры по персоналу говорят о конкуренции между компаниями, стремящимися взять на работу выпускников, как правило, ведущих технических вузов страны. Но руководители подавляющего большинства компаний сегодня не рассчшывают, что полученное в вузе образование позволит молодому специалисту немедленно включиться в работу. Выпускник вуза воспринимается как исходный материал для подготовки полноценного специалиста [7]. Качество же подготовки специалистов руководители связывают напрямую с качеством работы преподавателей, которое должно быть оценено посредством определенных критериев.

Вместе с этим многие компании, в том числе и международные, считают, что российское образование не уступает западному. Для западного образования характерна более узкая специализация. У наших выпускников фундаментальная подготовка, но они не умеют себя достойно презентовать, у них отсутствует опыт публичных выступлений, они некоммуникабельны — их этому в вузах не научили. Поэтому российские работодатели сегодня считают наиболее важными для обеспечения качественного обучения такие критерии оценки качества преподавательской деятельности, как профессионализм и следование современным методикам обучения.

На заседании Комитета Государственной думы РФ по образованию и науке, где обсуждалась программа «Содействие трудоустройству выпускников вузов на 2005-2007 годы», отмечалось, что

российские вузы выпускают каждый год примерно 900 тыс. специалистов, однако половина из них не может найти работу по профилю. Более того, около 10 % этих специалистов регистрируются в качестве безработных. Если обратиться к местной статистике, то исследователи констатируют, что около 80 % выпускников томских вузов находят работу по специальности [8].

Сложившаяся ситуация на рынке труда ставит перед вузами новые задачи, ведь значительным фактором при оценке потенциального сотрудника, помимо оценки его профессиональных знаний, становится способность и желание быстро адаптироваться, профессионально развиваться. Полученные в вузе знания рассматриваются как фундамент для дальнейшего обучения молодого специалиста.

Выводы и рекомендации

Резюмируя обзор критериев оценки качества труда преподавателя, сложившихся в российских и зарубежных школах, принимая во внимание требования российского работодателя к выпускнику, можно выделить наиболее общие критерии качественной оценки деятельности преподавателя высшей школы (табл. 2).

Можно обозначить приоритетные критерии оценки качества труда преподавателя: профессионализм, педагогическое мастерство, научная деятельность и инновационные методики обучения.

Существуют и отличия зарубежных критериев оценки труда преподавателя от российских, выражающиеся в уровне развития коммуникативной культуры, значимости личностных качеств преподавателя, важности выполнения им общественной работы. Необходимо отметить, что во

Критерии Отечественные вузы Зарубежные вузы Работодатели (российские)

Профессионализм + + +

Результаты научной и научно-методической работы + + -

Уровень педагогического мастерства + + -

Личностные качества - + -

Повышение квалификации + - -

Общественная деятельность - + -

Коммуникативность - + -

Инновационные методики обучения + + +

Таблица 2

Основные критерии оценки качества труда преподавателей

многих известных университетах мира для оценки деятельности преподавателя важна внешняя оценка со стороны коллег из других университетов и профессиональных объединений, которая практически не учитывается в российских вузах.

В российских вузах качество работы преподавателя, как правило, оценивается по результатам взаимопосещения открытых занятий коллегами, анализа научно-исследовательской работы преподавателя и в некоторых вузах принимается во внимание рейтинг преподавателя в оценке студента. То есть оценка профессиональной деятельности преподавателя дается только внутри вуза, внешняя оценка отсутствует.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Для более объективной оценки преподавательской деятельности можно предложить учитывать результаты различных рейтингов преподавателя: в студенческой аудитории, среди выпускников, значимость его как специалиста-практика, мнение коллег, оценка работы преподавателя учебно-методическим советом, результаты экзаменационных сессий, стремление к совершенствованию организации учебного процесса, к внедрению инновационных методик обучения, участие в научно-практических семинарах и конференциях.

При сопоставлении критериев оценки преподавательской деятельности и системы управления качеством в образовательном учреждении выяснилось, что вышеназванные критерии встраиваются в систему управления качеством обучения образовательного учреждения и содержатся в основных критериях качественного образования типовой модели СМК вуза, а именно: менеджменте персонала, менеджменте процессов, удовлетворенности потребителей, удовлетворенности персонала. С позиций системы менеджмента качества критерии оценки качества профессиональной деятельности преподавателя влияют на такие принципы СМК, как контроль и корректировка образовательного процесса, удовлетворенность потребителя, востребованность и трудоустройство выпускников, наличие обратной связи с администрацией

вуза, удовлетворенность персонала справедливой оценкой труда, мотивация преподавателей к качественной деятельности, а в итоге — на качество образования в конкретном вузе.

Поэтому требованием времени является разработка и введение в каждом вузе системы оценки труда преподавателей, взаимоувязанной с принципами системы менеджмента качества и основанной на актуальных для сегодняшнего момента критериях, выщвигаемык всеми участниками образовательного процесса. Система оценки преподавательской деятельности в конечном итоге должна способствовать повышению качества предоставляемых образовательных услуг, совершенствованию оплаты труда, улучшению методов управления образовательным учреждением.

Литература

1. АавиксооЯ. Обеспечение качества: неортодоксальный взгляд на проблему // Alma mater (Вестн. высш. школы). 2002. № 6. С. 3-8.

2. О первоочередных задачах реализации Программы развития деятельности профсоюза, принятой съездом, по улучшению условий труда учителей, преподавателей и других работников образования в целях модернизации российского образования: Выступление председателя профсоюза Г. И. Меркуловой на пленарном заседании Центрального комитета профсоюза 6 дек. 2005 г. [Электрон. ресурс]. Режим доступа: // http://www.ecsocman.edu.ru

3. Дрантусова Н, Князев Е. Оценка качества как необходимый элемент (этап) управления в высшем образовании // Университетское управление: практика и анализ. 1999. №№ 1. С. 41-44.

4. Исаева Т. Преподаватель как субъект качества образования // Высш. образование в России. 2003. №№ 2. С. 14-16.

5. Ланкин Н. И. Качество образования и проблемы трудоустройства выпускников вузов // Качество образования: технологии, экономика, законодательство: Тр. регион. конф., 2004. Томск, 2005. С. 49.

6. Российское информационное агентство «Новости» [Электрон. ресурс]. Режим доступа: http://www.inosmi.ru

7. Скок Г. Б., Лебедева Е. А. Оценка качества деятельности преподавателя // Качество образования: концепции, проблемы: Материалы Третьей междунар. науч.-метод. конф. Новосибирск, 2000. С. 38-40.

8. ФедюкинИ, Шмаров А. Годный, необученный // Эксперт. 2005. №№ 6. С. 70-75.

i Надоели баннеры? Вы всегда можете отключить рекламу.