CC BY-NC-ND
47
Дж. Салми
РАСТУЩЕЕ ВНИМАНИЕ К ВОПРОСАМ ПОДОТЧЕТНОСТИ: ПРОГРЕСС ИЛИ СОМНИТЕЛЬНОЕ БЛАГОДЕЯНИЕ?*
Статья Джамила Салми «Растущее внимание к вопросам подотчетности: прогресс или сомнительное благодеяние?» впервые опубликована на английском языке под названием: Jamil Salmi «The growing accountability agenda: Progress or mixed blessing?» в журнале Higher education management and policy. Vol. 21. Issue 1: Journal of the programme on institutional management in higher education.
© 2009 OECD Все права защищены
© 2009 Государственный университет — Высшая школа экономики (ГУ-ВШЭ) для российского издания. Публикуется с разрешения ОЭСР, Париж. Государственный университет — Высшая школа экономики несет ответственность за качество перевода на русский язык и его соответствие оригиналу.
В последнее десятилетие проблема подотчетности учреждений высшего образования вызывает большой интерес во всем мире. Правительства, парламенты и общественность все чаще просят университеты представить доказательства правильного использования общественных ресурсов и более детально отчитываться за результаты обучения и исследований. Хороши ли для высшего образования такие изменения? Не приведет ли излишняя подотчетность к замораживанию инициатив лидеров университетов?
Автор анализирует причины растущего интереса к проблеме подотчетности, негативные и позитивные последствия такого развития ситуации и предлагает несколько ключевых принципов для сбалансированного подхода к проблеме подотчетности в высшем образовании. Всеобщее стремление к повышению подотчетности усложнило функции университетских лидеров, потребовало от них новых компетенций, обусловило необходимость наращивания потенциала университетских управленческих команд. Автор делает вывод, что подотчетность имеет смысл только в той степени, в ко-
* Salmi J. The growing accountability agenda: Progress or mixed blessing? // Higher education management and policy. Vol. 21. Iss. 1: Journal of the programme on institutional management in higher education (пер. с англ. Е. Фруминой). Джамил Салми является координатором работ по высшему образованию во Всемирном банке. Данная работа отражает только мнение автора и не имеет отношения к позиции Всемирного банка, членов его совета директоров или стран, которые они представляют. Статья написана в сентябре 2008 г. на основе заметки, опубликованной в журнале International higher education в октябре 2007 г. Автор выражает благодарность всем коллегам, кто дал свои комментарии и предложения, особенно Михаэлю Адамсу, Свава Бджарнасон, Маргарите Кларк, Грем Дейвис, Элейне Эль-Хавас, Ричарду Хопперу, Гери Маландра, Сэму Михаилу, Бино Миллоту и Аленуш Сароян.
Статья поступила в редакцию в январе 2009 г.
Аннотация
66
Дж. Салми
Растущее внимание к вопросам подотчетности: прогресс или сомнительное благодеяние?
Л
торой учреждения высшего образования получают свободу ответственного автономного действия.
Лично я люблю университеты. Они давали нам средства и оборудование, а нам не нужно было ничего производить. Ты никогда не работал вне университета. Ты не знаешь, что это такое... Я работал в частном секторе. Там от тебя ждут результатов (из разговора Дэна Эйкройда с Биллом Мюрреем после того, как они оба потеряли работу исследователей в университете. Фильм Ghostbusters [17]).
В отличие от укоренившейся в США традиции аккредитации университетов в большинстве стран мира государственные вузы функционируют очень автономно. Во многих случаях их лидеры почти не испытывают контроля извне. Во франкофонных странах Африки, например, государственным университетам предоставлены полная свобода выбирать себе руководство и абсолютная автономия в оперативном управлении. Известно, что они очень неэкономно расходуют средства, но они неподотчетны правительствам, которые их финансируют.
В нескольких латиноамериканских странах, например в Никарагуа, Гондурасе, Боливии, Эквадоре, конституции позволяют государственным вузам тратить по своему усмотрению фиксированный процент годового бюджета без всякой отчетности. В Мексике некоторые государственные университеты, ссылаясь на статус автономного учреждения, отказывались представлять финансовые отчеты правительству до тех пор, пока Конгресс в сентябре 2002 г. не принял решение, предписывающее им выполнять это требование правительства. В Колумбии в 2000-е годы университеты успешно использовали Конституционный суд для блокирования инициативы Министерства образования по введению системы распределения бюджетных средств на основе показателей эффективности. Некоторые страны, такие как Перу, даже не имеют правительственной структуры, официально отвечающей за стратегическое управление и надзор за сектором высшего образования.
Однако за последнее десятилетие подотчетность высшего образования стала важной проблемой в большинстве стран. Правительства, парламенты и общественность все чаще просят университеты представлять доказательства правильного использования общественных ресурсов и более детально отчитываться о результатах обучения и исследований [7]. В Европе важной составляющей Болонского процесса стала разработка квалификационной рамки, которая даст общие критерии оценивания деятельности вузов в форме списка знаний и компетенций для каждой присуждаемой степени. В США одной из ключевых рекомендаций, которую дала Комиссия по вопросам перспектив высшего образования, была необходимость разработки средств оценивания реального эффекта (добавленной стоимости), достигаемого учреждениями высшего образования.
Введение
67
Теоретические и прикладные исследования
Л
Подотчетность может реализовываться в разных формах: внешние контрольные нормы (лицензирование, финансовый аудит и отчетность); процедуры по оценке качества (аккредитация программ или учреждений, сравнение программ разных учреждений, результаты профессиональных квалификационных экзаменов); механизмы выделения бюджетов, которые стимулируют деятельность в нужном направлении; управляющие структуры, в которых представлены внешние заинтересованные стороны. Пресса со своими неоднозначными рейтинговыми таблицами тоже стала активным участником этого процесса.
Растущее внимание к проблеме подотчетности
Ни одна хорошая книга еще не была написана по приказу, хорошее преподавание тоже не появляется по принуждению. Однако, признавая это, тем не менее нужно признать и тот факт, что, предоставленные сами себе, академические круги склонны не меньше, чем любые другие профессиональные организации, пребывать в самодовольстве, руководствоваться своими внутренними стандартами и следовать своим, удобным им канонам. Чтобы противостоять этим тенденциям, всегда будет необходимо вовлекать внешний мир в живую дискуссию о социальной ответственности университетов [3].
Для университетов и их лидеров подотчетность представляет собой этическую и управленческую норму, которая обязывает их докладывать о результатах своей деятельности и нести за них ответственность перед государством и общественностью. Минимальные требования, которые предъявляет к учреждениям высшего образования подотчетность, — это честность в предоставлении образовательных услуг и аккуратность в использовании финансовых ресурсов. Кроме того, заинтересованные стороны имеют законное право ожидать эффективного использования имеющихся ресурсов, высокого качества и релевантности программ и курсов, предлагаемых этими учреждениями.
Основная ответственность государства состоит в том, чтобы создать нормативную базу и добиваться ее исполнения для предотвращения неэтичного поведения, мошенничества и коррупции в высшем образовании так, как это делается в других важных областях социальной жизни. В последние годы обвинения в фальсификации результатов медицинских исследований в Великобритании, сообщения о занижении требований к абитуриентам с целью привлечения иностранных студентов в Австралии, скандалы с кредитами на обучение в США явственно продемонстрировали необходимость усиления бдительности даже в странах с развитыми механизмами подотчетности. Должностные преступления, такие как академическое мошенничество, жульничество при аккредитации и нецелевое использование ресурсов, являются настоящим бедствием в системе высшего образования многих развивающихся стран и стран с переходной экономикой, в которых процветает коррупция [9]. В табл. 1 представлены различные категории мошенничества и неэтичного поведения в высшем образовании. Предотвращение должностных преступлений — первая из задач, решать которые призвана подотчетность вузов.
68
Дж. Салми
Растущее внимание к вопросам подотчетности: прогресс или сомнительное благодеяние?
Л
Таблица 1 Типология мошенничества
и неэтичного поведения в высшем образовании
Тип коррупции/ мошенничества Определение / описание Нарушители Пострадавшие
Финансовый менеджмент
Приобретение незаконным путем / нецелевое использование Кража или нецелевое использование фондов (включая исследовательские гранты); фальсификация отчетных данных Учреждение Государство
Мошенничество в тендерах Предложение взяток (в виде денег или услуг) с целью получения контрактов Учреждение Государство
Сговор с поставщиком Нелегальное соглашение об оплате обучения и финансовая помощь с целью избежать конкуренции Учреждения Студенты
Академический менеджмент
Мошенничество на экзаменах Нечестное поведение студентов при сдаче устного или письменного экзамена (списывание, плагиат) Студенты Учреждение
Неэтичное поведение профессорскопреподавательского состава Продажа экзаменационных вопросов или оценок, принуждение к частным урокам или покупке учебников, семейственность, дискриминация, сексуальные домогательства Профессорско- преподавательский состав Студенты, работодатели, общество
Нарушения при приеме студентов Занижение требований к студентам, оплачивающим свое обучение, взятки или семейственность при зачислении Учреждения Студенты, работодатели, общество
Мошенничество в исследованиях Фальсификация исследовательских данных или результатов Профессорско- преподавательский состав Учреждение, государство, общество
Неэтичное управление профессиональной карьерой профессорскопреподавательского состава Коррупция при приеме на работу и при продвижении по службе; дискриминация по полу, политическим взглядам или этическим основаниям Учреждение Профессорскопреподавательский состав, общество
Мошенничество в процессе оценивания качества Взятки органам, осуществляющим аккредитацию, или внешним проверяющим с целью получения или продления аккредитации; предвзятость внешних проверяющих; фальшивые аккредитационные органы Учреждения, агентства по аккредитации Студенты, учреждения, не участвующие в мошенничестве, общество
Информационный менеджмент
Фальшивые документы об образовании Предоставление абитуриентами при поступлении фальшивых документов об образовании Студенты Учреждение
Манипулирование данными Предоставление фальсифицированных данных в правительственные органы, ассоциацию по аккредитации или орган, составляющий рейтинги Учреждение Государство,студенты, работодатели, общество
Предоставление предвзятой информации Установление университетскими руководителями особых отношений с определенными агентствами, предлагающими услуги студентам Учреждение, агентство, предоставляющее услуги Студенты
Составлена Сонали Баллал и Джамилом Салми по данным [9].
69
Теоретические и прикладные исследования
Л
Во-вторых, университеты по законодательству должны быть подотчетны за использование общественных ресурсов и качество результатов своей деятельности. Точно так же и частные высшие учебные заведения должны быть подотчетны своим учредителям. Говоря словами Джона Миллета, бывшего старшего вицепрезидента Академии развития образования, «подотчетность — это обязанность демонстрировать, каковы специфические и четко определенные результаты деятельности высшего образования, и доказывать, что эти результаты стоят затрат на их достижение».
Следовательно, необходимы средства измерения и мониторинга эффективности использования ресурсов, оценки качества и релевантности образования, которое получают выпускники университетов, продуктивности исследовательской деятельности и вклада университетов в местную экономику, особенно с точки зрения переноса технологий. Некоторые правительства и руководители учреждений также обращают внимание на соблюдение равенства возможностей при наборе студентов и оценивании их успешности.
Система подотчетности в штате Миннесота
В штате Миннесота (США) существует традиция ежегодной подготовки доклада, в котором оценивается вклад системы высшего образования в осуществление стратегии экономического развития штата. Руководители Миннесоты признают, что для того чтобы лидировать в этой области, штат должен сначала ввести систему подотчетности, которая может измерять прогресс в достижении поставленных целей.
Разработанная система отчетности отражает консенсус, объединивший деятелей образования, политиков, работодателей и лидеров сообществ в 2005 и 2006 гг. Вместе они разработали пять широких целей и 23 индикатора, которые определяют задачи высшего образования и измеряют успех в достижении этих целей. Эти пять целей следующие: 1) улучшить результаты учебы всех студентов, особенно относящихся к тем слоям населения, которые традиционно редко получали высшее образование; 2) создать систему, гибко реагирующую на потребности экономики; 3) улучшить обучение студентов так, чтобы получаемые ими навыки помогли им успешно конкурировать на глобальном рынке труда; 4) внести вклад в развитие национальной экономики, которая была бы конкурентоспособна на глобальном рынке благодаря исследовательской базе, подготовке кадров и другим соответствующим средствам; 5) сделать образование доступным и обеспечить выбор для всех студентов.
Источник: Office of Higher Education (2008). Minnesota Measures: 2008 Report on Higher Education Performance. http://www.ohe.state.mn.us/
Повсеместное стремление повысить подотчетность не сводится лишь к тому, что правительства разных стран ожидают от своих университетов ответственности за результативность своей деятельности и вводят новые механизмы для достижения этого. Возрастающий интерес к проблеме подотчетности предполагает
70
Дж. Салми
Растущее внимание к вопросам подотчетности: прогресс или сомнительное благодеяние?
Л
также множество заинтересованных лиц и участников этого процесса, целый ряд рассматриваемых тем и комплекс инструментов и каналов подотчетности. В совокупности все эти три аспекта и делают ситуацию как никогда сложной.
В настоящее время руководители университетов должны одновременно выполнять конкурирующие между собой требования широкого круга заинтересованных лиц, которых грубо можно разделить на шесть категорий: 1) общество в широком смысле (часто представленное университетским управляющим советом); 2) правительство, которое в зависимости от контекста может быть национальным, региональным или муниципальным; 3) работодатели; 4) выпускники; 5) преподаватели; 6) студенты. Даже внутри правительственных структур требования относительно подотчетности в высшем образовании исходят от новых действующих лиц. В Дании, например, ответственность за университетский сектор была возложена на Министерство технологии. В Малайзии отдел экономического планирования при премьер-министре разработал концепцию вклада высшего образования в развитие конкурентоспособности национальной экономики.
Во многих развивающихся странах один из наиболее фундаментальных сдвигов последнего времени заключается в том, что университеты становятся менее ориентироваными на интересы профессоров, а больше — на потребности студенческого сообщества. Смысл существования государственных университетов до недавних пор нередко сводился к обеспечению занятости сотрудников, а не к тому, чтобы быть образовательным институтом, сфокусированным на подготовке студентов как профессионалов и граждан. Такие системы тщательно охранялись академическими советами, которые были подотчетны исключительно администрации и факультету [25]. Но с точки зрения студентов подотчетность означает, что руководство университета поддерживает введение такой институциональной культуры, в которой их права уважают, где поведение преподавателей и профессоров соответствует этическим нормам и где гарантируется хорошее преподавание и релевантность учебной программы.
Чтобы соответствовать требованиям внешних и внутренних заинтересованных лиц, руководство университетов должно обеспечивать и контролировать целый ряд условий, включая: степень равенства доступа к образованию для всех групп населения (равенство возможностей); стандарты преподавания и исследовательской деятельности (качество); степень соответствия образования потребностям рынка труда (релевантность); вклад университетов в развитие национальной или местной экономики (иногда это называют «третьей миссией»); ценности, передаваемые учреждениями высшего образования (гражданственность и конструктивный патриотизм); способ расходования общественных ресурсов (внутренняя эффективность); финансовый потенциал, достаточный для того, чтобы система высшего образования развивалась и
71
Теоретические и прикладные исследования
Л
одновременно удерживала высокие стандарты (устойчивость системы).
В нескольких странах учреждения высшего образования ответственны даже за свое воздействие на окружающую среду. Во время недавнего (2007 г.) обследования 100 университетов и колледжей США деятельность вузов оценивалась с точки зрения выбора продуктов питания, способа переработки отходов, экологически безвредных систем содержания зданий. В сентябре 2007 г., когда Гарвард объявил о строительстве нового кампуса для факультета естественных наук, а Йель — о возведении нового здания бизнес-школы, основной акцент в пресс-релизах делался не на образовательных целях этих капиталовложений, а на обещании сократить выбросы углекислого газа [1]. Студенты университета Санкт-Галлен в Швейцарии подготовили рейтинг бизнес-школ, отражающий степень важности вопросов социальной ответственности для их подходов к развитию и управлению. Аналогичным образом рейтинг, подготовленный Aspen Institute, стремится выделить инновационные программы MBA, которые «лидируют в интегрировании вопросов социального управления и управления окружающей средой в свои программы обучения и исследований в бизнесшколах» [2].
Пытаясь объединить столь разные цели, руководители университетов часто сталкиваются с трудностями в том, чтобы привлечь на свою сторону сотрудников, особенно преподавателей. Преподаватели всегда были самой влиятельной группой в университетах, особенно там, где руководитель университета или факультета выбирается демократическим путем. Профессора и исследователи обычно имеют существенный вес, а иногда и решающий голос, во многих академических советах, управляющих университетами.
Позиция преподавательского корпуса может создать серьезные проблемы для руководства, что хорошо видно на примере неудачной попытки финансовой реформы в Оксфордском университете. Конкуренция на академическом рынке постоянно растет, и руководство Оксфордского университета столкнулось с необходимостью привлечения дополнительных ресурсов для того, чтобы приглашать известных профессоров и исследователей. Однако в своих действиях оно было ограничено существующими уже много столетий процедурами управления и управляющими структурами, которые большую часть университетских ресурсов отдают в распоряжение отдельных колледжей. Ключевое предложение по реформированию системы управления, представленное в 2006 г. вицеканцлером Джоном Худом, заключалось в уменьшении состава университетского совета и включении в него внешних заинтересованных лиц, что привело бы к изменению структуры подотчетности и усилению финансового контроля извне. Реформа была отвергнута академическим сообществом, что повлекло за собой решение Худа уйти со своего поста в 2009 г., в конце своего пятилетнего срока. Точно так же и уход президента Гарвардского университета Саммерса в 2006 г. был в основном обусловлен сопротивлением
72
Дж. Салми
Растущее внимание к вопросам подотчетности: прогресс или сомнительное благодеяние?
Л
факультетов его попыткам усилить контроль за качеством и гибкостью университетских программ. В этом примере видна противоречивость проблемы подотчетности, когда сталкиваются цели контроля изнутри и извне университета.
А когда к этому «ансамблю», сопротивляющемуся изменениям, присоединяются студенты, то вместе они могут стать достаточно мощной силой, чтобы свалить и президента университета. Именно это произошло, например, в университете Бишоп в Канаде в 2005 г. и в университете Галладет в США в 2006 г.
С другой стороны, принуждение к изменениям происходит также через многочисленные механизмы подотчетности, в том числе перед правительствами. Обычно эти механизмы, прописанные в законе о высшем образовании, министерских приказах и актах, регулирующих государственный сектор, включают бюджетные процедуры и обязательный финансовый аудит; оценку качества (лицензирование, аккредитация, академический аудит); общие требования по планированию и отчетности, такие как разработка и мониторинг основных показателей деятельности, как это принято в Великобритании, Австралии и некоторых штатах США.
Подотчетность можно ввести и непрямым способом, например через финансовое стимулирование, выделяя бюджеты на основе оценки результатов деятельности или через конкурс тем учреждениям, чьи проекты соответствуют целям официальной политики. Контракты, заключаемые университетами Франции, Австрии, Испании и Чили, позволяют им получать дополнительное финансирование при условии выполнения ряда государственных задач, решение которых и показатели результативности оцениваются по согласованию с министерством образования. Во многих странах учреждения высшего образования призывают разрабатывать стратегические планы, выражающие их видение будущего и специфические действия по реализации этих планов.
Финансовые механизмы, основанные на спросе, также могут быть использованы для введения большей подотчетности. В шестидесяти с лишним странах, где существует система кредитов на образование, финансовая помощь часто доступна только для обучения в университетах и колледжах, прошедших лицензирование и имеющих аккредитацию. Инновационные подходы к финансированию, такие как система ваучеров, которая была недавно введена в штате Колорадо (США) и в нескольких республиках бывшего Советского Союза (Казахстан, Армения), или система резервирования мест в частных университетах, апробируемая в Бразилии и в департаменте Антигуа в Колумбии, дают студентам больше возможностей поступать в университеты по своему выбору [22], создавая тем самым эффект подотчетности.
Другой способ добиться подотчетности заключается во введении университетских советов, где большинство будут составлять люди, не работающие в данном вузе и имеющие право нанимать (и увольнять) его руководителей. В последнее время полномочия таких советов были расширены в Дании, Норвегии и Квебеке [7].
73
Теоретические и прикладные исследования
Л
Недавнее исследование, посвященное реформам управления в Африке (в регионе Сахары), дало несколько примеров стран, движущихся в сторону большего внешнего представительства в университетских советах, таких как Ботсвана, Лесото, Маврикий, Мозамбик, Уганда и Замбия [13]. В некоторых из этих стран членство в академических советах было расширено с целью включения в них представителей работодателей.
Сочетание новых форм взаимодействия и подотчетности способствовало развитию динамических взаимоотношений между университетами и всеми заинтересованными сторонами, причем необходимость подотчетности исходит иногда с неожиданной стороны, как это было видно на примере опыта аккредитации в Колумбии и на примере составления отрицательного рейтингового списка университетов компанией Intel. Колумбия была первой страной в Латинской Америке, которая ввела национальную систему аккредитации в середине 1990-х годов, но ряд программ, оцененных новым аккредитационным агентством, был довольно низкого качества в первые несколько лет, потому что аккредитация была добровольной и большинство престижных государственных и частных университетов не захотело в ней участвовать. Но после того как ведущая газета страны El Tiempo начала публиковать полный список аккредитованных программ, большое количество университетов присоединилось к процессу аккредитации из страха, что студенты будут остерегаться поступать в них. Похожий эффект вызвали действия компании Intel, которая в августе 2007 г. объявила, что исключает более 100 университетов и колледжей США из своего списка учреждений, в которых ее работники могут повышать квалификацию за счет фирмы, поскольку обеспокоена качеством их программ.
Сила подотчетности общественному мнению нигде так не видна, как в набирающих влияние рейтингах. Изначально существовавшие только в США университетские рейтинги и таблицы лиг получили распространение в последние годы более чем в 35 развитых и развивающихся странах [21].
Рейтинги газеты The U.S. News стали де-факто национальной системой подотчетности, оценивающей колледжи и университеты по единой шкале и создающей мощные стимулы для университетов действовать так, чтобы повышать свой рейтинг [4].
Даже при методологических ограничениях таких рейтингов во многих случаях пресса сыграла полезную роль для образования, сделав информацию доступной для общественности, особенно это касается стран, где отсутствует официальная система оценки качества. В Польше, например, при переходе к рыночной экономике существовал информационный голод относительно качества образовательных учреждений, что заставило владельца журнала Perspektyvy инициировать появление первого рейтинга в стране. Таким же образом в Японии многие годы ежегодный рейтинг,
74
Дж. Салми
Растущее внимание к вопросам подотчетности: прогресс или сомнительное благодеяние?
Л
публикуемый газетой Ashi Shimbun, выполнял важную функцию по оценке качества при отсутствии агентства по аккредитации.
В качестве итога данного анализа в табл. 2 делается попытка представить вклад каждого инструмента в развитие системы подотчетности по пяти основным параметрам.
Таблица 2 Инструменты, используемые для развития системы подотчетности
Аспекты Инструменты Академическая честность Финансовая честность Эффективное использование ресурсов Качество и релевантность Беспри- страстность
Публикуемая стратегия X X
Ключевые показатели эффективности деятельности X X X
Бюджет X
Финансовый аудит X X
Система публичных отчетов X X X
Лицензирование X
Аккредитация/ академический аудит / оценка качества X X
Контракты на решение конкретных задач X X X
Кредиты студентам / ваучеры X X
Рейтинги / исследования по сравнению учреждений X
Не все, что имеет смысл, можно измерить, Не все, что можно посчитать, имеет смысл. А. Эйнштейн
Кризис
отчетности
Говорят, что благими намерениями вымощена дорога в ад. В последние годы жалобы на чрезмерную подотчетность и ее негативные последствия слышны во многих странах. Например, в Великобритании и Австралии университеты недовольны огромным количеством индикаторов для оценки их деятельности, из-за чего сбор данных для мониторинга и написание отчетов отнимают много времени и сил. В США высшие учебные заведения выражают озабоченность большим объемом информации, которую они должны предоставить, включая отчеты региональным и специализированным ассоциациям по аккредитации, Федеральному департаменту образования, Государственной законодательной комиссии и Государственной комиссии по высшему образованию. В отчете Национальной комиссии по подотчетности в высшем образовании за 2005 г. признается тот факт, что «подотчетность для достижения
75
Теоретические и прикладные исследования
Л
лучших результатов необходима, но еще большее количество видов подотчетности наряду с уже существующими не сможет улучшить показатели деятельности. Нашу современную систему подотчетности можно назвать громоздкой, излишне сложной, запутанной и неэффективной. Она не может ответить на ключевые вопросы, перегружает политиков избыточной, часто недостоверной информацией и затрудняет работу университетов тем, что требует, чтобы они составляли отчеты для этой системы» [15].
Бремя отчетности становится все тяжелее не только для университетской администрации, но и для преподавателей. Исследователи тратят все больше времени на борьбу за ресурсы и на оправдание их использования. Ряд стран, например Мексика, ввели сложные системы оценивания и поощрения преподавателей.
Другой источник всеобщего недовольства — тирания публикуемых прессой рейтингов, в которых нередко используются ненадежные данные и очевидны погрешности в методологии сбора информации. После того как Asiaweek опубликовал свои первые рейтинги для Азии и Тихоокеанского региона в 1997 и 1998 г., 35 университетов отказались участвовать в исследовании в 1999 г.; более половины из них были из Японии и Китая. Бойкот привел к действительному прекращению этой инициативы.
В Малайзии после того как в 2005 г. газетой Times Higher Education Supplement был опубликован рейтинг, в котором два лучших университета опустились почти на 100 пунктов по сравнению с прошлым годом, лидер оппозиции призвал на помощь Королевскую комиссию по расследованиям, несмотря на тот факт, что такое значительное снижение показателей было обусловлено изменением методики построения рейтинга. Вице-канцлер Малайского университета, флагманского вуза страны, был вынужден спустя несколько недель уйти в отставку. И совсем недавно, в 2007 г., имели место два бойкота, инициированных ведущими университетами Канады против рейтингов журнала Maclean’s и несколькими университетами США — против рейтингов газеты The US News and World Report. Во Франции после опубликования в 2008 г. Шанхайского рейтинга генеральный секретарь Национального союза преподавателей (SNESUP) сетовал, что несправедливо сравнивать деятельность университетов с подготовкой к Олимпийским играм. Он предложил, чтобы каждое университетское сообщество само разрабатывало свои критерии оценивания [19].
Недавние противоречия, возникшие в связи с рекомендациями Комиссии по вопросам перспектив высшего образования в США относительно необходимости измерения результатов обучения, иллюстрируют усталость сообщества высшего образования от требований подотчетности, выходящих за рамки аккредитации. Комиссия, в частности, утверждала, что аккредитация не дает представления о реальных результатах обучения. По словам секретаря Комиссии, «по закону обучение студентов лежит в основе оценивания при аккредитации. К сожалению, о студентах вспоминают в последнюю очередь. Аккредитация остается одной из наи-
76
Дж. Салми
Растущее внимание к вопросам подотчетности: прогресс или сомнительное благодеяние?
Л
менее публичных и наименее прозрачных областей высшего образования — даже по сравнению с Византией и запутанной системой финансовой помощи» [14]. С момента публикации отчета Комиссии многие заинтересованные лица в среде высшего образования (особенно ассоциации по аккредитации) интенсивно возражали против идеи введения федеральным правительством стандартизированных критериев оценивания результатов обучения студентов.
Дебаты приобрели международный масштаб после того, как ОЭСР объявила о планах проведения исследования по выявлению возможностей измерения учебных достижений студентов вузов различных стран подобно тому, как это было сделано в Программе международного оценивания учащихся (PISA) для среднего образования. И хотя Международное исследование результатов высшего образования (AHELO) планирует исследовать общие навыки, такие как аналитическое мышление и критическое мышление, саму идею оценивания скептически восприняли сообщества высшего образования в Европе и США, как это явствует из приведенных ниже цитат [12].
«Мы просим университеты определить свои результаты обучения, и мы знаем по опыту Америки, что рамки оценивания разрабатываются довольно долго... Это проблема, вне всякого сомнения» (Андре Сурсок, заместитель секретаря Европейской ассоциации университетов).
«Понятие измерения достижений студентов в одной стране — в Соединенных Штатах — носит противоречивый характер. Идея создания механизмов для измерения результатов по всему миру увеличивает противоречия на порядок» (Тэрри В. Хартл, старший вице-президент по связям с правительством и с общественностью в Американском совете по образованию).
«Я не знаю деталей. Но я не думаю, что правительство США должно обнародовать академические стандарты для академического сообщества США. Мне неприятно думать об организации, состоящей из правительств, стремящихся к единым транснациональным стандартам» (Питер Макферсон, президент Национальной ассоциации государственных университетов).
В развивающихся странах и в странах с переходной экономикой руководители университетов часто жалуются на то, что правительство не проводит различия между подотчетностью и избыточным контролем. В общем, нереалистично и несправедливо ожидать, чтобы учреждения высшего образования, имеющие ограниченную автономию, были полностью подотчетны в своей деятельности. В некоторых странах государственные университеты получают недостаточное финансирование, непредсказуемые бюджеты и им не разрешается искать и использовать дополнительные ресурсы. У них недостаточно власти, чтобы определять политику в отношении своего штата, бюджета и численности студентов. Они не
77
Теоретические и прикладные исследования
Л
имеют решающего голоса при определении количества преподавательских позиций, уровня зарплат профессоров или продвижения сотрудников по службе. В Бразилии закон Isonomy определяет единые уровни зарплат для всех видов федеральных работ, включая преподавание в университетах. Исследование, недавно проведенное на Мадагаскаре, обнаружило, что:
«Без зависимости выделения бюджетных средств от оценки деятельности и при отсутствии механизмов подотчетности государственные университеты не имеют ни управленческих, ни финансовых стимулов эффективно использовать ограниченные ресурсы. Внутренняя эффективность очень низкая, преподавание в основном оплачивается за счет дополнительных часов, которые плюсуются к основной зарплате» [20].
В большинстве франкоязычных образовательных систем политика открытого доступа мешает руководителям вузов контролировать число абитуриентов при приеме в университет. Это часто приводит к тому, что количество принятых существенно превышает возможности инфраструктуры и имеющихся ресурсов [25].
Даже когда страна стремится в развитии своей системы высшего образования полагаться на рыночные силы, а не на государственный контроль, сократить этот контроль не всегда оказывается легко. Например, в Чили государственные университеты получают менее 30% своего бюджета от государства, но они подчиняются законам о гражданской службе, особенно в области политики человеческих ресурсов, финансового менеджмента и закупок товаров и услуг. В результате вузы не имеют возможности использовать имеющиеся ресурсы наиболее эффективно и конкурировать с частными институтами того же уровня. Бюджетные студенты, обучающиеся в частном секторе, составляют в Чили более двух третей от общего числа студентов, и правительство активно стимулирует конкуренцию между государственными и частными вузами, используя различные инструменты финансирования (систему ваучеров, конкуренцию за исследовательские гранты, систему гарантированных кредитов на обучение и т.д.). Парадокс состоит в том, что, хотя государственные университеты и получают большую часть финансирования от частных источников, они должны соблюдать закон о гражданской службе, в то время как негосударственные университеты, которые черпают существенную долю своих доходов из общественных фондов, не ограничены такими законами даже в отношении финансового контроля за бюджетной частью своих ресурсов [16].
Ярким примером возникновения излишних контрольных требований в качестве превентивной меры являются последние события в Канаде. В 2007 г. в Квебекском университете в Монреале разразился скандал, связанный с провалом амбициозного проекта развития инфраструктуры. В результате правительство ввело более жесткие нормативные процедуры, распространяющиеся на все государственные университеты провинции. Университеты раз-
78
Дж. Салми
Растущее внимание к вопросам подотчетности: прогресс или сомнительное благодеяние?
Л
вернули кампанию против этих нововведении, доказывая, что вместо того чтобы связывать руки им всем в результате больших ошибок, допущенных в Квебекском университете, правительству следовало бы ввести требования по отчетности, которые позволили бы университетским советам более эффективно выполнять свою надзорную функцию [23].
Рыночные силы против централизованного контроля в Казахстане и Азербайджане
Сравнение недавних преобразований в двух республиках бывшего Советского Союза — Казахстане и Азербайджане — иллюстрирует разницу между избыточным контролем и реальной подотчетностью. В 2001 г. Казахстан ввел систему распределения общественных ресурсов в высшем образовании по аналогии с ваучерной системой. Около 20% студентов имеют гранты на получение образования в государственном или частном секторе — по их выбору. Получить эти гранты имеют право университеты, деятельность которых положительно оценивается отделом контроля качества Министерства образования.
В результате все учреждения высшего образования стали более внимательно относиться к качеству и релевантности своих программ или по крайней мере к своей репутации, поскольку от нее зависит привлечение грантов на образование.
В Азербайджане, наоборот, Министерство образования осуществляет централизованный контроль за набором студентов во все университеты, даже в частные. Министерство решает, какие программы можно открыть в университетах и даже заставляет закрывать программы по специальностям, которые, как ему кажется, нерелевантны или выпускают специалистов, которые уже не требуются экономике. Например, в 2006 г. ряд университетов закрыл программы по юриспруденции, медицине и международным отношениям. Централизованное планирование мешает более динамичным образовательным учреждениям расти и осуществлять инновации.
Источник: поездки автора в Казахстан (2006 г.) и в Азербайджан (2007 г.)
В развивающихся странах, где высок процент безработицы среди выпускников вузов, например в Марокко, Египте или Индии, университеты обвиняют в том, что они предлагают программы низкого качества или нерелевантные потребностям рынка труда. Но реальность такова, что в этих странах существует дисбаланс между быстро растущим числом выпускников школ, что является следствием демографического роста и расширения сектора базового образования, и ограниченным количеством рабочих мест в современном секторе экономики. Даже если высшие учебные заведения выпускают хорошо подготовленных специалистов, этот дисбаланс делает безработицу неизбежной.
Другой пример избыточного внешнего контроля (как следствие 11 сентября 2001 г.) — это введение в большом количестве университетов и колледжей США обязательного политически корректного кода поведения Academic Bill of Rights, выражающего идео-
79
Теоретические и прикладные исследования
Л
логию правого крыла республиканцев, что приводит к существенным ограничениям академической свободы. В последние годы ряд лучших университетов, чтобы избежать необходимости выполнять требования Academic Bill of Rights, решил отказаться от выгодных исследовательских контрактов Министерства обороны. Опрос, проведенный в 2007 г. в 20 лучших университетах, выявил, что в 180 случаях заключения соглашений с государством на проведение тех или иных исследований федеральное правительство внесло в контракты дополнительные контрольные пункты [24].
Ожидаемые и неожиданные преимущества подотчетности
Подотчетность — это не ловля воров, а определенные институциональные и структурные процедуры, гарантирующие предотвращение неправильного поведения (Obiageli Ezekwesili, бывший руководитель антикоррупционного движения, Нигерия).
Несмотря на проблемы, связанные с избыточными требованиями подотчетности, работодатели, студенты и высшие учебные заведения получают определенные преимущества от возросшего количества информации о существующих программах и о ситуации на рынке труда. В странах, где регулярно проводятся опросы о занятости студентов (Австралия, Канада, Великобритания, США), выпускники школ лучше подготовлены к выбору университета или колледжа.
Другим примером релевантной информации, появляющейся в русле движения к подотчетности, являются наблюдения за рынком труда, которые дают информацию о квалификациях и рабочих местах выпускников различных программ. Например, последнее исследование, проведенное в Тунисе, показало, что у выпускников инженерных факультетов, технологических институтов и факультетов с большим конкурсом больше вероятность трудоустроиться, чем у выпускников факультетов с открытым доступом (гуманитарные, юридические и экономические факультеты). В Чили результаты опроса работодателей, проводимого еженедельным журналом Que Pasa, являются важным источником информации для составления ежегодных рейтингов университетских программ [4].
Другим интересным примером является Бразилия, где в 1996 г. Министерство образования создало тест, предназначенный для сравнения качества программ частных и государственных университетов, — Provao. И хотя результаты этого теста не учитываются при определении итоговых оценок выпускников, сначала его использование встретило сопротивление: студенты не хотели его сдавать, а университеты не стремились его пропагандировать среди своих студентов — особенно после того как первые результаты показали, что некоторые лучшие университеты набрали меньше баллов, чем ожидалось, в то время как студенты из менее известных частных университетов получили высокие результаты. Но через какое-то время Provao получил признание. Все чаще работодатели просят соискателей на должность предъявлять его результаты, поэтому все больше студентов стремятся его сдать. Резуль-
80
Дж. Салми
Растущее внимание к вопросам подотчетности: прогресс или сомнительное благодеяние?
Л
таты Provao даже влияют на выбор студентами высшего учебного заведения. В период между 1996 и 2002 гг. спрос на обучение в частных университетах, получивших положительную оценку, вырос на 20%, в то время как спрос на обучение в заведениях с отрицательной оценкой упал на 41% [21].
Понимая необходимость большей прозрачности, многие руководители университетов США рассмотрели возможность сделать учреждения подотчетными на добровольной основе. Американская ассоциация государственных колледжей (AASCU) и Национальная ассоциация государственных университетов (NASULGC) объявили в сентябре 2007 г., что начинают публиковать ключевые индикаторы деятельности в контексте Добровольной системы подотчетности (Voluntary system of accountability program). По их плану каждый участвующий в программе университет будет использовать единую модель (так называемый портрет колледжа) для предоставления основных данных о стоимости обучения, количестве переведенных и выпущенных студентов, а также об удовлетворенности студентов. Планируется, что программа будет включать результаты оценивания студентов по одному из трех тестов: Collegiate assessment of academic proficiency (CAAP — стандартизированный тест по общеобразовательным предметам для высших учебных заведений), Collegiate learning assessment (CLA — стандартизированный тест для оценивания аналитического и критического мышления и умения решать проблемы, а также навыков письменной речи, используется в высших учебных заведениях США для оценки вклада университета в развитие этих умений у студентов) и Measure of academic proficiency and progress (MAPP — интегрированный тест для оценки общеобразовательных навыков: критическое мышление, чтение, письмо и математика) [8]. Среди организаторов инициативы — те же самые президенты университетов, что решили бойкотировать рейтинги журнала US News and World Report.
Вполне в духе этой инициативы и предложение Ассоциации управляющих советов университетов и колледжей, представленное в отчете, опубликованном в январе 2007 г.: управляющим советам рекомендуется самим заняться разработкой стандартов подотчетности и кода поведения, дабы избежать возрастающего вмешательства правительства [6]. Осознавая необходимость поддержки миссии, наследия и ценностей своих учебных заведений, а также обеспечения общественных интересов и завоевания доверия общества, Ассоциация управляющих советов предлагает уделять больше внимания общим правилам финансового управления, организации работы управляющих советов, обеспечению качества обучения, выборам президентов, оцениванию студентов и выплате компенсаций.
Подобная тенденция наблюдается и в других странах. Австралийские университеты выступили с инициативой разработки индикаторов для измерения масштаба и последствий своего влияния на регион. В Бельгии, где отсутствует официальная система аккре-
81
Теоретические и прикладные исследования
Л
дитации, фламандские университеты добровольно объединились с германскими для участия в измерениях для составления рейтингов. Во Франции в июле 2007 г. по иронии судьбы правительство предложило университетам большую автономию в обмен на подотчетность на добровольной основе, встретив единодушное одобрение. Масштаб предложенной автономии был затем уменьшен, но система подотчетности стала обязательной для всех университетов.
Балансирование между автономией и подотчетностью
в Ирландии
Ирландия представляет, возможно, самый интересный опыт партнерства между правительством и университетами во введении всеобщей рамки подотчетности. Признавая, что хорошее управление играет важнейшую роль в высшем образовании, которое со своей стороны является ключевым фактором экономического и социального развития страны, Ирландская ассоциация университетов решила в 2001 г. принять кодекс управления, который выходит за рамки требований подотчетности, установленных Университетским актом 1997 г.
Этот кодекс был пересмотрен в 2007 г. в ходе консультаций с Руководящим советом по высшему образованию с тем, чтобы включить в него последние изменения в правилах управления вузами в Ирландии и в Европе в целом и принять во внимание рекомендации исследования высшего образования Ирландии, проведенного ОЭСР в 2004 г. Новая версия выводит принципы эффективного управления за пределы финансового менеджмента, который был в центре кодекса 2001 г. Он включает, в частности, письменный кодекс поведения членов управляющих советов и работников университетов, принципы качества для обслуживания клиентов, систему международного контроля и управления рисками, роль стратегического планирования в определении целей, относительно которых будет измеряться деятельность, и подробные рекомендации по составлению отчетов.
Источник: HEA and IUA (2007). Governance of Irish universities: A governance code of legislation, principles, best practice and guidelines.
Подотчетность может быть полезна, когда учебные заведения используют обязанность представлять отчеты как управленческий инструмент для достижения стратегических целей. В провинции Квебек ежегодные презентации, которые по закону ректоры должны организовывать для парламента, предоставляют им возможность оценить свои планы и достижения.
Подводя итог, можно сказать, что движение к подотчетности помогает распространять культуру прозрачности результатов деятельности высших учебных заведений. В Нидерландах, например, аккредитационные отчеты доступны широкой общественности. Международные таблицы лиг и особенно рейтинги исследовательских университетов, составляемые шанхайским университетом Джиао Тонг с 2003 г., внимательно изучают страны и учреждения, стремящиеся оценить свои позиции на мировом рынке образова-
82
Дж. Салми
Растущее внимание к вопросам подотчетности: прогресс или сомнительное благодеяние?
Л
ния. Спустя несколько дней после публикации рейтингов 2008 г. французский министр высшего образования заявил, что «эти списки победителей могут быть неидеальны, но они существуют... Они показывают необходимость реформирования [французских] университетов».
Однако не все заинтересованные лица готовы к такого рода прозрачности. Аккредитационные ассоциации США держат свои отчеты в секрете. Многие университеты США, включая те, которые занимают верхние строчки рейтингов, отказались предоставить свои результаты для национального исследования о состоянии дел студентов (NSSE), когда оно только начиналось в 2000 г. Это исследование NSSE собирает полезную информацию о том, что студенты думают о преподавании, как они чувствуют себя в своем университете. В Пакистане вице-канцлеры оказали давление на Высшую комиссию по образованию с тем, чтобы она не опубликовала результаты своего первого рейтинга [21]. В Новой Зеландии два университета в марте 2004 г. возбудили дело против правительства, чтобы помешать ему опубликовать данные международного рейтинга, где их поместили гораздо ниже их британских и австралийских конкурентов. Колумбийское Министерство образования создало структуру по наблюдению за рынком труда, собирающую подробную информацию о том, как котируются на рынке труда выпускники университетов и программ, но правительство согласилось не публиковать эти данные под давлением университетов, которые боятся, что результаты отдельных университетов и программ станут известны общественности.
Основополагающим принципом подотчетности должна стать гордость, а не страх [15].
Подотчетность как обязательная норма и отдельные механизмы ее осуществления не вызвали энтузиазма у многих заинтересованных лиц в сообществе высшего образования. Но, несмотря на эксцессы и непонимание требований подотчетности, возрастающий доступ к информации об учреждениях высшего образования и результатах их деятельности можно только приветствовать.
Множество механизмов подотчетности позволяют студентам, работодателям, правительству и обществу получить данные о деятельности учреждений высшего образования и ее результатах. Соблюдение административных и финансовых правил важно для удовлетворения потребностей государства в подотчетности. Приверженность стандартам качества становится следствием распространения норм подотчетности в среде учреждений высшего образования, так что вузы становятся подотчетны своим коллегам. А фокусирование внимания на результатах учебы студентов и результатах исследований профессоров помогает лучше реагировать на потребности производства и общества в целом. Это также дает вузам инструменты для оценивания своих сильных и сла-
Выводы.
Направление
развития
83
Теоретические и прикладные исследования
Л
бых сторон и возможность поразмышлять о том, как улучшить свою деятельность.
Продвижение университетов к большей подотчетности повысило требования руководству вузов. Они находятся под постоянным давлением необходимости отчитываться о своих планах, подтверждать свои достижения, они открыты для санкций в случае, если не соответствуют ожиданиям, как показала серия недавних увольнений университетских ректоров в США.
В свете предпринятого в данной статье анализа можно предложить два принципа полезной подотчетности. Во-первых, подотчетность срабатывает, если она носит конструктивный, а не карательный характер. Высшие учебные заведения с большей вероятностью положительно оценят необходимость отчетности, если их отношения с основными заинтересованными лицами, особенно правительственными структурами, носят позитивный, стимулирующий, а не карательный характер. Следовательно, подотчетность — это не поиск показателей плохой деятельности, а стратегический выбор для повышения показателей. Инициатива по непрерывному совершенствованию (The continuous quality initiative), предложенная университетом Южной Флориды (США), прекрасно иллюстрирует такой тип активного действия по улучшению процессов и результатов через работу управляющего совета университета.
Во-вторых, наиболее эффективными являются те механизмы, о которых совместно договорились и которые добровольно принимаются университетами. Это гарантирует большую ответственность относительно предоставления обратной связи и большее принятие согласованных инструментов подотчетности. Такие договоренности становятся кульминацией переговорного процесса между руководителями университетов и государственными управляющими, что гарантирует сближение стратегических целей институциональной и государственной политики.
Нам необходим новый подход к подотчетности, подход, который бы давал лучшие результаты. Необходимо, чтобы подотчетность была сосредоточена на государственных и национальных интересах и стимулировала политиков и деятелей образования нести равную ответственность за их достижение. Необходимо, чтобы подотчетность давала нам достоверную информацию для мониторинга результатов решения основных задач и помогала мобилизовать волю, ресурсы и креативность для совершенствования деятельности... Хорошая система подотчетности должна строиться на гордости, а не на страхе и в качестве своих принципов опираться на вдохновение, а не на минимальные стандарты. Она не должна стать инструментом нахождения виновных. Она должна стать инструментом сотрудничества, поскольку основана на взаимной ответственности [15].
Необратимое развитие в сторону все увеличивающейся подотчетности предъявляет новые требования к компетенции руководителей университетов, к деятельности управленческих команд ву-
84
Дж. Салми
Растущее внимание к вопросам подотчетности: прогресс или сомнительное благодеяние?
Л
зов. Президенты университетов, ректоры, вице-ректоры должны теперь отчитываться о выполнении целого ряда функций (лидера академического сообщества; главного исполнительного директора бизнес-организации; представителя, собирающего деньги на общественные нужды; представителя академического сообщества), к которым они не всегда готовы [11]. Им необходимо использовать задачи обеспечения подотчетности в качестве средства фокусирования на результатах.
Существуют разнообразные национальные и международные тренинговые программы для развития навыков эффективного управления. Они включают тренинги лидерства, стратегического и финансового планирования, управления бюджетом, составления финансовой отчетности, взаимодействия с университетскими советами. Фонд лидерства, созданный в Великобритании Гордоном Брауном в 2004 г., в бытность его министром финансов, прекрасно иллюстрирует то значение, которое правительство придает эффективной деятельности университетов с точки зрения их вклада в национальное развитие.
И наконец, как бы парадоксально это ни звучало, изначально университеты сопротивлялись подотчетности во имя автономности, а сегодняшние требования подотчетности могут быть соблюдены только, если высшие учебные заведения действительно функционируют на автономной основе. Успешное развитие высшего образования будет, следовательно, зависеть от баланса между надежной практикой подотчетности и благоприятными условиями для автономии. Только тогда учреждения высшего образования смогут действовать быстро и ответственно для повышения эффективности и реализовывать инновации, которые приведут в конечном счете к более высоким результатам и большей релевантности рынку труда. 1 2 3 4 5 6 7
1. Appelbaum A. (2007) Harvard and Yale go green. BusinessWeek. Литература
28 September 2007. _______________
2. Aspen Institute (2005) Beyond grey stripes: Preparing MBAs for social and environmental stewardship. New York: The Aspen Institute’s Business and Society Program.
3. Bok D. (1990) Universities and the Future of America. Durham, NC: Duke University Press, 1990. P. 111.
4. Carrey K. (2006) College rankings reformed: The case for a new order in higher education. Education sector reports. Washington, DC: Education Sector.
5. Connors R., Smith T. (1994). The OZ principle: Getting results through individual and organizational accountability. Prentice Hall Press.
6. Fain P. (2007). Governing boards should improve accountability standards to ward off federal interference, Report says // The Chronicle of Higher Education. 19 January 2007. http://chronicle.com/daily/2007/01/2007011902n. htm
7. Fielden J. (2007). Global Trends in University Governance. Washington,
DC: The World Bank. Education Working Paper Series Number 9.
Forthcoming.
85
Теоретические и прикладные исследования
Л
8. Fischer K. (2008) Public colleges release plan to measure their performance // The Chronicle of Higher Education. 13 July 2007.
9. Hallak J., Poisson M. (2006) Corrupt schools, corrupt universities: What can be done? Paris, IIEP.
10. June A.W. (2007) On sustainability report card, most colleges surveyed earn only a C // The Chronicle of Higher Education. 24 January 2007. http://chronicle.com/daily/2007/01/2007012404n.htm
11. June A.W. (2006) The modern president: Fund raiser, cheerleader, advocate, CEO // The Chronicle of Higher Education. 24 November 2006. http://chronicle.com/weekly/v53/i14/14b01301.htm
12. Labi A. (2007) Quest for international measures of higher education learning results raises concerns // The Chronicle of Higher Education. 19 September 2007.
13. http://chronicle.com/daily/2007/09/2007091903n.htm
14. Lao C., Saint W. (2008) Legal frameworks for tertiary education in SubSaharan Africa: The quest for institutional responsiveness. Washington, DC: The World Bank. Forthcoming.
15. NACIQI (2007) Secretary spellings encourages greater transparency and accountability in higher education at National accreditation meeting. Press release, National Advisory Committee on Institutional Quality and Integrity. 18 December 2007.
16. National Commission on Accountability in Higher Education — NCAHE (2005). Accountability for Better Results: A National Imperative for Higher Education.
17. OECD and World Bank (2008). Review of the Chilean tertiary education system. Paris and Washington, DC: The OECD and the World Bank. Forthcoming.
18. Penn J. (2007) Assessment for ‘us’ and assessment for ‘them’ // Inside Higher Education. 26 June, 2007.
19. Richardson Jr. R.C., Bracco K.R., Callan P.M., Finney J.E. (1998). Higher education governance: Balancing institutional and market influences. The National Center for Public Policy and Higher Education. P. 13.
20. Rotman C. (2008) Les resultats des facs, ce n’est pas comme aux JO // Le Quotidien. 9 August 2008.
21. Salmi J. (2008) Financing and governance of tertiary education in Madagascar. Washington, DC: The World Bank. Forthcoming.
22. Salmi J., Saroyan A. (2007). League Tables as Policy Instruments: Uses and Misuses // Journal of Higher Education Management and Policy. Vol. 19. No. 2. Paris, OECD.
23. Salmi J., Hauptman A. (2006). Innovations in tertiary education financing: A comparative evaluation of allocation mechanisms. Washington, DC: The World Bank. Education Working Paper Series Number 4, September 2006.
24. Thompson W. (2007) Government response to UQAM fiasco could make things worse // The Gazette. 12 June 2007.
25. http://www.canada.com/montrealgazette/news/editorial/story. html?id=ed7a2fd9-8312-4574-b257-01a22cb9137b
26. University World News (2008). US: Top schools reject government research restrictions. 3 August 2008.
27. World Bank (2002). Constructing knowledge societies. Washington, DC: The World Bank.
