Система формализованных критериев оценки школьного учебника Текст научной статьи по специальности «Науки об образовании»

Система формализованных критериев оценки школьного учебника

С. А. Михеева

Михеева Светлана Александровна

кандидат экономических наук, доцент департамента государственного администрирования Школы социальных и гуманитарных наук НИУ ВШЭ (Санкт-Петербург). Адрес: 198088, Санкт-Петербург, ул. Промышленная, 17. E-mail: [email protected]

Аннотация. Систематизированы теоретические подходы к оценке школьных учебников, анализируется сложившаяся практика экспертизы учебников, обосновывается необходимость формализации критериев оценки для повышения степени ее объективности. Предлагается система диагностируемых (измеримых) критериев оценки учебников и формулируются рекомендации по совершенствованию процедуры экспертизы при формировании федерального перечня учебников, ре-

комендуемых Минобрнауки РФ. Разработанная система критериев может быть использована также для проведения сравнительного анализа учебников по одному предмету в условиях их вариативности. На основе предложенной системы критериев проводится оценка качества и сравнительный анализ шести учебников экономики для старших классов общеобразовательных организаций, формулируются рекомендации для учителей экономики и обществознания по выбору учебников из федерального перечня.

Ключевые слова: учебник, структура учебника, функции учебника, федеральный перечень учебников, система критериев оценки, ФГОС, экспертиза, предметные результаты образования.

DOI: 10.17323/1814-9545-2015-4-147-183

Статья поступила в редакцию в апреле 2015 г.

Проблема оценки школьных учебников многие десятилетия была и остается в центре внимания ученых, педагогов-практиков и широкой общественности, потому что качество образования во многом определяется качеством учебников. Нельзя не согласиться c В. М. Монаховым, когда он называет учебники «особым видом литературы, любые несовершенства которой имеют громадные социальные и культурные последствия» [Монахов, 1984. С. 6].

Разработке теории учебника посвящены труды известных российских ученых: В. П. Беспалько, В.Г. Бейлинсона, Д. Д. Зуева, Г. М. Донского, В. В. Краевского, И. Я. Лернера, В. М. Монахова, М. Н. Скаткина, H. M. Шахмаева, А. В. Хуторского и др. В их исследованиях достаточно полно раскрыты принципы формирования

1. Современная практика экспертизы учебников и необходимость формализации критериев

http://vo.hse.ru

147

ТЕОРЕТИЧЕСКИЕ И ПРИКЛАДНЫЕ ИССЛЕДОВАНИЯ

содержания общего образования, функции учебника и его структурные компоненты [Зуев, 2004].

В последние годы появилось большое число публикаций, посвященных анализу школьных учебников. Все исследования можно условно разделить на две группы. Первую составляют работы ученых — представителей соответствующих наук: учебники истории анализируют историки, учебники русского языка — филологи и т. д. В фокусе этих работ, как правило, находится научность и корректность содержания учебников, соответствие образовательному стандарту. Ко второй группе относятся исследования учебников, выполненные педагогами и методистами. Здесь главный акцент делается на функциях современного учебника, дидактических принципах отбора содержания, построении методического аппарата и т. п. Достаточно редко встречаются работы, объединяющие оба подхода.

Анализ современных отечественных и зарубежных публикаций, в которых проводится оценка школьных учебников, показывает, что количество и содержание критериев могут разниться, но методика оценки сводится к выбору экспертом определенного значения (балла) из предлагаемой шкалы. При этом в отечественных публикациях чаще используется 10-балльная, а в зарубежных — 5-балльная шкала (см., например, [Idrees, Habib, Abuzar, 2014; Williams, 1982]).

Оригинальный подход к оценке качества учебника предложен Х. Махмудом [Mahmood, 2011]. На основе анализа существующих процедур государственных и частных экспертиз учебников в ряде стран (Канада, США, Пакистан, Филиппины и др.) он сформулировал 11 групп критериев, взяв за основу модель оценки качества продукции Д. Гарвина [Garvin, 1984]. При этом соответствие учебника каждому критерию оценивается по четырем уровням.

Использование балльной шкалы предполагает достаточно высокую степень субъективности оценки. Еще менее объективной представляется действующая в настоящее время процедура формирования федерального перечня учебников, опирающаяся на результаты научной, педагогической и общественной экспертиз, при проведении которых эксперты должны ответить по всем критериям только «да» или «нет». Даже высокий уровень профессиональной компетентности экспертов в условиях отсутствия четких и формализованных критериев не может гарантировать качество результатов экспертизы.

Таким образом, анализ научной литературы и действующей процедуры экспертизы учебников показал, что методическая база для оценки качества учебников, которая обеспечивала бы достижение объективных результатов, в настоящее время не разработана.

В соответствии с действующим законом от 29 декабря 2012 г. № 273-ФЗ «Об образовании в РФ» образовательные органи-

148

Вопросы образования. 2015. № 4

С. А. Михеева

Система формализованных критериев оценки школьного учебника

зации могут использовать только «учебники из числа входящих в федеральный перечень учебников, рекомендуемых к использованию при реализации имеющих государственную аккредитацию образовательных программ начального общего, основного общего, среднего общего образования» (ст. 18)1.

В федеральный перечень учебников, рекомендованных Минобрнауки РФ к использованию в 10-11-х классах на 2014/15 учебный год, вошел 191 учебник для базового уровня. Количество рекомендованных учебников по одному предмету варьирует от 2 до 52. Так, например, учебников химии — 8, истории — 15, физики — 16, математики — 52. Выбор учебников из федерального перечня, согласно закону «Об образовании в РФ», относится к компетенции образовательной организации (ст. 28), и при значительном количестве учебников по одному предмету выбрать тот, который соответствовал бы учебным возможностям школьников, особенностям образовательной программы и т. п., нелегко. Инструменты для проведения сравнительного анализа учебников, результаты которого позволили бы учителю осуществить выбор учебника, отсутствуют.

Целью данной работы является разработка системы формализованных (диагностируемых) критериев оценки качества школьных учебников и методики ее использования экспертами.

Очевидно, что не все характеристики учебника поддаются количественной оценке. О таких важных свойствах, как, например, язык и стиль изложения, воспитательный потенциал учебника, мы можем судить лишь субъективно. В ряде публикаций имеются интересные примеры использования контент-анализа для оценки некоторых содержательных параметров учебников, например лежащих в основании его концепции жизненных ценностей, уровня абстрактности, гендерных установок и т. д. [Околь-ская, 2012; Смирнова, 2005; Майер, 2013].

Предлагаемая в данной работе система формализованных критериев нацелена на измерение наиболее важных параметров из числа доступных для количественной оценки и дополнена рядом качественных критериев.

В современной научно-педагогической литературе школьный учебник рассматривается как многофункциональная система, ядром которой является содержание образования, а в качестве составляющих выступают его структурные компоненты, направленные на реализацию основных функций учебника. Среди большого числа дефиниций системы наиболее известным является определение Л. Берталанфи: «Система — это комплекс взаимодействующих компонентов, находящихся в определенных отношениях друг с другом и со средой» [Берталанфи, 1973].

2.Учебник как система, работающая на результат

1

минобрнауки.рф/ документы

http://vo.hse.ru

149

ТЕОРЕТИЧЕСКИЕ И ПРИКЛАДНЫЕ ИССЛЕДОВАНИЯ

Применительно к учебнику представляется важным внести в данное определение уточнение, сделанное академиком П. К. Анохиным: в определении системы важна не вообще совокупность взаимодействующих компонентов, а совокупность «взаимосодействующих» компонентов для достижения «фокусированного результата» [Анохин, 1978].

Поскольку предметом данного исследования является оценка качества учебника, определимся с содержанием данного концепта. Под качеством в квалиметрии принято понимать «совокупность свойств объекта, которые характеризуют результаты, получаемые при его потреблении (как желательные, положительные, так и нежелательные, отрицательные)», а под свойствами — характеристики, проявляющиеся в процессе использования объекта в соответствии с его назначением [Азгальдов, Костин, Садовов, 2012. С. 9-10].

Таким образом, под качеством учебника будем понимать систему взаимосодействующих компонентов, обеспечивающих выполнение учебником его основных функций и способствующих достижению учащимися необходимых предметных результатов образования.

Предлагаемая в работе система критериев должна оценивать основные компоненты структуры учебника (рис. 1). Рассмотрим их подробнее.

Теоретико-познавательные тексты (основные, дополнительные и пояснительные) направлены на реализацию информационной и методологической функций учебника.

Основные тексты содержат дефиниции научных понятий, формулировки законов, принципов, а также материалы, составляющие основу для формирования эмоционально-ценностного отношения к предмету.

Дополнительные тексты — это хрестоматийные материалы (отрывки из художественной и научно-популярной литературы, биографические сведения об ученых, статистические данные и т. п.). К пояснительным текстам относятся введение, терминологические словари, обобщающие таблицы и т. п.

Инструментально-практические тексты представляют собой систему заданий разных типов. Основное назначение внетекстовых элементов—усилить дидактическую эффективность текстов. Аппарат организации усвоения материала предполагает наличие в учебнике методических рекомендаций для ученика (как пользоваться учебником, как написать эссе и т. д.). Иллюстративный материал — это таблицы, схемы, карты, рисунки и т. д.

Аппарат ориентировки обычно представлен следующими компонентами: предисловие, оглавление, предметные указатели и сигналы-символы [Михеева, 2012. С. 248-250]. На рис. 2 показано функциональное назначение отдельных компонентов учебника.

150

Вопросы образования. 2015. № 4

С. А. Михеева

Система формализованных критериев оценки школьного учебника

Рис. 1. Структура учебника

СТРУКТУРА УЧЕБНИКА

Тексты

Теоретико-познавательные Инструментально-практические

Внетекстовые компоненты

Аппарат организации усвоения 'ч- Иллюстративный материал Аппарат ориентировки

Рис. 2. Функциональная нагрузка компонентов структуры учебника

Теоретико-познавательные тексты

- Информационная “ Мотивационная

Инструментально-практические тексты

Методологическая

Внетекстовые компоненты

1---Деятельностная

Система имеет иерархическую структуру. Критерии оценки качества учебника в работе ранжированы с учетом их функциональной нагрузки. Первый уровень — оценка научного содержания основных текстов (их соответствие требованиям образовательного стандарта (K0), корректность научной терминологии (K,)). Второй уровень—оценка степени отражения в содержании методологии изучаемой науки (K2). Третий уровень — оценка структуры учебника: содержания дополнительных и пояснительных текстов, иллюстративных материалов и элементов аппарата ориентировки (K3). Четвертый уровень — оценка методического аппарата учебника (K4). Пятый уровень — оценка дидактического и методического сопровождения учебника (K5).

Для расчета итоговой оценки (R) значения критериев суммируются, при этом каждый критерий имеет свой весовой коэффициент (Wj):

R = W, • K + W2 • K2 + W3 • K3 + W4 • K4 + W5 • K5.

Поскольку предлагаемые критерии оценки упорядочены по предпочтению (по уровням), для определения их весовых коэффициентов используется порядковая шкала Черчмена и Акофа [Churchman, Ackoff, 1954] (цит. по: [Холл, 1975. С. 275]). По за-

3. Структура

системы

критериев

http://vo.hse.ru

151

ТЕОРЕТИЧЕСКИЕ И ПРИКЛАДНЫЕ ИССЛЕДОВАНИЯ

мыслу авторов ценности (весовые коэффициенты) должны удовлетворять следующим требованиям:

W, > (W2 + W3 + W4 + W5);

W2 > (W3 + W4 + W5);

W3 > (W4 + W5);

W4 > W5.

Таким образом, критерии оценки в зависимости от уровня получают следующие весовые коэффициенты: W, = 1,0; W2 = 0,4; W3 = 0,3; W4 = 0,15; W5 = 0,1 2. Итоговая оценка учебника на основе его анализа по критериям K,- К5 рассчитывается по формуле:

(1) R = К\ + 0,4К2 + 0,3К3 + 0,15К4 + 0,1К5.

В предлагаемой методике степень соответствия критериям выражается в процентах, поэтому оценки для каждого уровня находятся в диапазоне от 0 до 100. Максимальный результат оценки учебника (Rmax) составляет 195 баллов (100 + 40 + 30 + 15 + 10).

Система является открытой: количество, содержание и ранжирование критериев оценки определяются целями анализа. Так, например, если перед экспертом стоит задача выбрать лучший учебник с точки зрения наличия в нем дополнительных текстов, иллюстраций и т. д., то на первый уровень выходит критерий оценки структуры учебника. Для проверки валидности оценки при описании каждого критерия в работе приводятся примеры его расчета по гипотетическим учебникам.

4. Методика расчета оценок

4.1. Первый уровень системы критериев

Критерий К0—оценка соответствия содержания учебника ФГОС, учебной программе. Данный критерий является своего рода пропуском учебника в федеральный перечень. На наш взгляд, учебники, у которых значение К0 ниже 90%, должны быть исключены из дальнейшего анализа. Данное пороговое значение выбрано на основе рекомендаций ряда исследователей (например, [Mahmood, 2011]) и практики анализа учебников, вошедших в федеральный перечень. Для проведения анализа по критерию К0 содержание учебного курса группируется в некоторое количество дидактических единиц (тем или их частей). Затем проводится проверка учебников на наличие в них необходимого минимума учебного материала. Показатель определяется как процентное отношение количества имеющихся дидактических единиц к их требуемому количеству:

(2) Ко = Q • 100, Q2

2 Данные коэффициенты получены методом подбора и могут быть изменены по усмотрению экспертов.

152

Вопросы образования. 2015. № 4

С. А. Михеева

Система формализованных критериев оценки школьного учебника

где 01 — количество в учебнике дидактических единиц из числа требуемых программой; Q2 — общее количество дидактических единиц в учебной программе.

Пример. Предположим, общее количество дидактических единиц в программе (Q2) — 50. Проверка показала, что в учебнике X имеется 46, в учебнике Y— 48, в учебнике Z— 40 дидактических единиц. Тогда значения К0 для данных учебников будут следующими: X— 92, Y— 96, Z— 80. В этом случае учебник Z исключается из дальнейшего анализа.

В отличие от ГОС общего образования первого поколения (2004 г.), регламентирующего содержание учебных предметов в форме обязательного минимума, в новом стандарте предметное содержание не прописано. Для регламентации содержания авторы ФГОС разработали «Фундаментальное ядро содержания», однако этот документ не получил официального статуса и формально не имеет отношения к утвержденному стандарту. Основой для отбора содержания должна служить примерная программа по предмету, но в настоящее время такие программы утверждены только для начальной и основной школы. В сложившейся ситуации при расчете данного показателя можно опираться на обязательный минимум из ГОС первого поколения, а также на предметные результаты образования, включенные во ФГОС второго поколения.

Критерий К1 — оценка степени корректности научной терминологии (анализ выполнения учебником информационной функции). Использование в школьном учебнике абсолютно корректных дефиниций научных терминов является принципиально важным требованием. «Научные термины — это специфицированные обозначения характерных для данной области науки предметов, явлений, их свойств и соотношений. В пределах данной науки эти термины однозначны» [Гальперин, 1993]. Для определения величины К1 необходимо проанализировать терминологический словарь (глоссарий) и сравнить представленные в нем дефиниции с эталоном. В качестве такого эталона может служить, например, вузовский учебник, авторитет автора которого в данной науке является общепризнанным. Если число терминов очень велико, можно провести анализ по сокращенному перечню, при этом отбор понятий должен быть аргументированным. Далее определяется процент корректных определений:

К=N-1 • 100, (3)

где N — общее количество терминов в глоссарии (или в выбранном перечне); I—количество некорректных дефиниций терминов.

http://vo.hse.ru

153

ТЕОРЕТИЧЕСКИЕ И ПРИКЛАДНЫЕ ИССЛЕДОВАНИЯ

4.2. Второй уровень системы критериев

Таблица 1. Пример расчета значения критерия К,

A B C D

I 15 12 6 3

75 80 90 95

Поскольку объективно дифференцировать степень некорректности не представляется возможным, будем считать ошибочными дефиниции, содержащие как простые неточности, так и принципиальные ошибки. Эксперт может привести примеры «эталонных» определений ряда терминов и их дефиниции из анализируемых учебников. В этом случае у пользователей будет возможность сформировать собственное представление о степени их соответствия. Очевидно, что ошибки в школьном учебнике, вообще говоря, недопустимы, однако практика показывает, что идеальные учебники встречаются крайне редко. В качестве условно допустимого значения предлагается использовать К, = 90%.

Пример. Пусть N = 60. Рассчитаем значения для четырех гипотетических учебников: A, B, C, D (табл. 1).

Из данных табл. 1 следует, что в учебнике A некорректным является каждое четвертое определение термина, в учебнике B — каждое пятое. Поэтому данные учебники не могут быть включены в федеральный перечень, а в случае, если они уже находятся в числе рекомендованных, их следует исключить из перечня и отправить авторам на доработку и исправление ошибок.

Критерий К2 — интегральный показатель, отражающий специфику изучаемой науки (анализ выполнения учебником методологической функции). Его значение складывается из оценок по двум подкритериям:

• К21 — оценка степени отражения в содержании учебника методов познания, свойственных изучаемой науке (от 0 до 1);

• К22 — оценка степени актуальности статистической и фактической информации (от 0 до 1).

Исходя из принятой методики оценивания значение К2 не должно превышать 100 баллов, поэтому необходимо распределить баллы между подкритериями. Варианты соотношений между К21 и К22 определяются целями анализа и спецификой учебного предмета. В данной работе для распределения баллов между подкритериями используется принцип Парето (правило 80/20) [Кох, 2007. С. 77].

154

Вопросы образования. 2015. № 4

С. А. Михеева

Система формализованных критериев оценки школьного учебника

Таблица 2. Пример расчета критерия К2

A B C D

K,, 0,2 0,6 1 0,6

K2.2 1,0 0,8 0,6 0,4

K 36 64 92 56

K2 = 80K21 + 20K22

(4)

Это означает, что возможность выполнения учебником методологической функции на 80% обеспечивается первым подкритерием и на 20% — вторым. Пример расчета показателя K2.1 будет подробно рассмотрен далее — в процессе анализа учебников экономики.

Для оценки степени актуальности фактической и статистической информации надо определить общее количество статистических и фактических данных, представленных в форме таблиц и диаграмм (St), и количество данных за три года, предшествующие году издания (Sa). Значение K22 рассчитывается по формуле:

Sa

K22 = V

(5)

Пример. Пусть общее количество статистических данных (St) — 25, из них за последние три года (Sa) — 10, тогда К22= 10/25 = = 0,4. Возьмем произвольные значения K21 и К22 для учебников из предыдущего примера и рассчитаем значение критерия К2 (табл. 2). Для расчета будем использовать формулу (4).

Данные табл. 2 показывают, что в учебнике A являются актуальными 100% статистических данных, но при этом он получил самую низкую оценку по первому подкритерию и в целом по критерию K2 занимает последнее место. Таким образом, полученные результаты подтверждают валидность данного критерия.

Критерий K3 — оценка структуры учебника (анализ выполнения 4.3. Третий уровень учебником функции мотивации). Значение K3 рассчитывается системы критериев по формуле:

K3 =AT + ET + IL + OR, (6)

Где AT (additional texts)—дополнительные тексты; ET (explanatory texts) — пояснительные тексты; IL (illustrations) — иллюстративные материалы; OR (orientation) — аппарат ориентировки.

Поскольку максимальное значение K3 — 100, необходимо установить максимальное значение для каждого слагаемого

http://vo.hse.ru

155

ТЕОРЕТИЧЕСКИЕ И ПРИКЛАДНЫЕ ИССЛЕДОВАНИЯ

в формуле. В данной работе будем считать, что все перечисленные компоненты равнозначны, т. е. одинаково важны для выполнения учебником выделенных функций, поэтому их максимальные значения совпадают и равны 25 баллам.

При оценке дополнительных и пояснительных текстов, иллюстраций и других компонентов структуры учебника важно определить не только их наличие, но и разнообразие. Поэтому для расчета показателей AT, ET, IL и OR будем использовать следующие формулы.

(7) AT = Й • V-

где Nat — общее количество возможных видов дополнительных текстов; Vat — число видов дополнительных текстов в учебнике. Возможные виды дополнительных текстов: 1) выдержки из классических трудов ученых прошлого; 2) выдержки из современных исследований; 3) цитаты из художественной, научно-популярной литературы; 4) биографические сведения об ученых; 5) примеры и факты из реальной жизни. В этом случае Nat = 5. Если, например, в учебнике содержатся только биографические сведения об ученых и примеры из реальной жизни, а остальные виды материалов не представлены, то AT = 10. Другие показатели данной группы рассчитываются аналогично.

(8) ET = ff • Vef,

Net

где Net — общее количество видов пояснительных текстов; Vet — количество видов пояснительных текстов в учебнике.

(9) IL = |f • Vi,

Nii

где Nn — общее количество видов иллюстраций; V, — количество видов иллюстративных материалов в учебнике.

25

(10) OR = nl . Vo

Nor

где Nor— общее количество элементов аппарата ориентировки; Vor — количество видов элементов аппарата ориентировки в учеб-

or

нике

что Nat = Net = Nп= Nor = 5. Внесем

Пример. Предположим в табл. 3 произвольные значения Vat, Vet, V„ и Vor для учебников из предыдущего примера и рассчитаем для них значения критерия К3.

Из табл. 3 видно, что лучший результат по критерию К3 имеет учебник D, у которого суммарное количество видов элементов

156

Вопросы образования. 2015. № 4

С. А. Михеева

Система формализованных критериев оценки школьного учебника

Таблица 3. Пример расчета критерия К3

A

B

1 2 3 4

AT 5 10 15 20

Ve, 5 4 3 2

ET 25 20 15 10

V 1 3 2 4

IL 5 15 10 20

Kr 3 2 1 5

OR 15 10 5 25

K3 50 55 45 75

C

D

структуры (Vat + Vet+ V№+ Vor) равно 15 (максимум = 20), а худший результат—учебник C, у которого данный показатель равен 9, что подтверждает валидность данного критерия.

Показатель К3 оценивает только наличие и разнообразие отдельных компонентов структуры, при этом количество элементов каждого вида (например, количество рисунков) в нем не учитывается. При проведении сравнительного анализа ряда учебников для их сопоставления по данному критерию можно подсчитать количество элементов в каждом компоненте структуры.

Критерий К4— оценка методического аппарата учебника (анализ выполнения учебником деятельностной функции). Сегодня акценты в оценивании учебников смещаются с их содержательной роли к деятельностной. В учебнике, безусловно, должно сохраниться некоторое обязательное для всех учебное содержание, но при этом необходимо, чтобы он давал ученику возможность выбирать задания, включал проблемные вопросы, провоцирующие диалог между учеником и автором учебника, предоставлял средства осуществления самоконтроля, самооценки, не связанных с контролем учителя, стимулировал самообразование [Гельфман, 2012. С. 43].

Для расчета К4 необходимо определить наличие в учебнике заданий разных типов (инструментально-практических текстов). Будем рассматривать пять типов заданий: 1) репродуктивные задания; 2) задания для работы со статистической или фактической информацией в учебнике (в Интернете); 3) задачи (упражнения) для самопроверки; 4) проблемные ситуации (кейсы); 5) темы эссе (проектов). В данной работе мы ориентировались на учебные предметы «экономика» и «обществознание». Для других учебных предметов эксперты могут выбрать другие типы заданий. Далее приведена методика расчета К4.

4.4. Четвертый уровень системы критериев

http://vo.hse.ru

157

ТЕОРЕТИЧЕСКИЕ И ПРИКЛАДНЫЕ ИССЛЕДОВАНИЯ

Таблица 4. Пример расчета критерия К4

A B C D

Zr 50 36 20 12

Zt 100 90 80 60

ZNR 50 60 75 80

Zv 2 3 4 5

K 20 36 60 80

1. Определяем ZNR — процент заданий, предполагающих учебную деятельность (2-5-й типы):

(11) Znr = = • 100,

Zt

где ZR — количество заданий репродуктивного типа; Zt — общее количество заданий в учебнике.

2. Определяем количество типов заданий в учебнике (ZV).

3. Полученные данные используем для расчета значения критерия по следующей формуле:

(12)

К =Znr • Z .

Пример. В табл. 4 представлены результаты расчета значений критерия К4 для гипотетических учебников A, B, C и D.

Лучший результат имеет учебник D, худший — у учебника A. Валидность данного критерия подтверждается: результаты по нему не зависят от общего количества заданий в учебнике, а определяются удельным весом заданий, направленных на выполнение деятельностной функции.

Если учебник является частью учебно-методического комплекта (УМК), в который входит практикум и/или рабочая тетрадь, значительная часть заданий бывает вынесена из учебника в другие пособия. Объектом данного исследования является учебник, поэтому в нашу задачу не входит оценка других компонентов УМК. Разработка системы критериев для оценки практикума представляется достаточно актуальной темой для дополнительного исследования.

4.5. Пятый уровень Критерий К5 — оценка дидактического и методического сопросистемы критериев вождения учебника.Важно, чтобы учебник входил составной частью в целостный учебно-методический комплект по предмету. Практика показывает, что число компонентов УМК в нашей стра-

158

Вопросы образования. 2015. № 4

С. А. Михеева

Система формализованных критериев оценки школьного учебника

Таблица 5. Результаты анализа учебников A, B, C и D

A B C D

75 80 90 95

K 36 64 92 56

K 50 55 45 75

K 20 36 60 80

30 30 30 30

R 110,4 130,5 152,3 154,9

не не превышает десяти, поэтому для расчета К5 можно использовать следующую формулу:

К5 = 10X,

(13)

где X— количество компонентов в УМК. Например, если в него входят четыре компонента: учебник, рабочая тетрадь, практикум и методическое пособие для учителя, то К5 = 40.

В соответствии с новым порядком формирования федерального перечня для прохождения экспертизы учебники должны иметь:

• электронное приложение, дополняющее учебник и представляющее собой структурированную совокупность электронных образовательных ресурсов, предназначенных для применения в образовательной деятельности совместно с учебником;

• методическое пособие для учителя, содержащее материалы по методике преподавания, изучения учебного предмета (его раздела,части)или воспитанияз.

Поэтому для учебников, включенных в федеральный перечень, значение К5 должно быть выше 30.

Пример. Предположим, что для всех учебников в группе значение К5 равно 30. Внесем в табл. 5 значения всех критериев и рассчитаем итоговые оценки по формуле (1).

Согласно данным табл. 5, лучшие результаты в группе — у учебников C и D. Если задачей эксперта является оценка одного учебника, достаточно сравнить полученное значение с максимально 3

3 Порядок формирования федерального перечня учебников, рекомендуемых к использованию при реализации имеющих государственную аккредитацию образовательных программ начального общего, основного общего, среднего общего образования. Приказ Минобрнауки России от 5 сентября 2013 г. № 1047 (минобрнауки.рф/ документы).

http://vo.hse.ru

159

ТЕОРЕТИЧЕСКИЕ И ПРИКЛАДНЫЕ ИССЛЕДОВАНИЯ

Рис. 3. Соответствие учебников A, B, C и D выбранным критериям оценки

К

4

А

B

C

D

возможным. В рамках предложенной методики Rmax составляет 195 баллов. Для вынесения положительного заключения экспертизы необходимо определить пороговое значение. Предположим, пороговое значение равно 75% от максимума (R > 0,75Rmax), что составляет 146 баллов. Для учебников C и D это условие выполняется, а для учебников A и B — нет. Поэтому в федеральный перечень могут быть включены только два учебника из четырех анализируемых в нашем примере.

При проведении сравнительного анализа группы учебников по одному предмету для иллюстрации их различий с точки зрения соответствия выбранным критериям можно использовать диаграмму (рис. 3).

4.6. Качественные За рамками системы формализованных критериев остались некритерии которые достаточно важные параметры учебника, которые в контексте настоящего исследования не могут быть измерены количественно. В их числе: 1) организация контента (LO); 2) язык и стиль изложения (SL); 3) воспитательный потенциал учебника (VP); 4) профориентационная направленность (PR); 5) полиграфическое качество издания (PQ).

Перечисленные характеристики объединяются в дополнительный критерий Kd, рассчитываемый как сумма значений пяти подкритериев, каждый из которых эксперту предлагается оценить по шкале и подтвердить примерами из учебника.

(14) Kd = LO + SL + VP + PR + PQ.

При этом для разных подкритериев должны быть использованы разные размерные шкалы (диапазоны баллов), определяемые

160

Вопросы образования. 2015. № 4

С. А. Михеева

Система формализованных критериев оценки школьного учебника

Таблица 6. Шкалы оценок по качественным критериям

Kd LO SL VP PR PQ

0-100 0-20 0-20 0-30 0-15 0-15

исходя из их функциональной нагрузки и степени важности для достижения результатов образования. Наиболее значимым, с нашей точки зрения, является подкритерий «воспитательный потенциал учебника» (VP). В табл. 6 представлен вариант распределения баллов по данной группе критериев.

Предположим, данные подкритерии получили следующие значения: организация контента — 15, язык и стиль изложения — 15, воспитательный потенциал — 20, профориентационная направленность — 5, полиграфическое качество — 10. Тогда Kd = 65 (max = 100).

Значение Kd не может быть включено в результат оценки учебника в качестве слагаемого, поскольку используемые в нем критерии находятся за пределами системы. Дополнение предлагаемой системы формализованных критериев определенным набором субъективных оценок эксперта не повлияет на результирующие показатели анализа, а только поможет получить более полное представление об учебниках.

Таким образом, мы предлагаем оригинальный подход к формализации критериев оценки качества школьных учебников с целью повышения степени объективности оценивания. В рамках данного подхода разработана система диагностируемых критериев, которая может найти практическое применение для решения ряда задач:

• повышения степени объективности экспертизы при формировании федерального перечня учебников, рекомендуемых к использованию при реализации образовательных программ начального общего, основного общего и среднего общего образования;

• оценки учебников, уже включенных в федеральный перечень. Поскольку новый порядок формирования федерального перечня предусматривает процедуру исключения учебников из списка рекомендованных, неудовлетворительный результат оценки учебника на основе предложенной системы критериев может стать убедительным аргументом в пользу его исключения из перечня;

• сравнительного анализа учебников по одному предмету в условиях их вариативности. Для успешной реализации описанного выше подхода к выбору учебников необходимо, чтобы результаты сравнительной оценки учебников были открыты и доступны для учителей, методистов и руководителей

http://vo.hse.ru

161

ТЕОРЕТИЧЕСКИЕ И ПРИКЛАДНЫЕ ИССЛЕДОВАНИЯ

общеобразовательных организаций. В настоящее время существует много информационных каналов для реализации этого условия (специализированные сайты, профессиональные сообщества, журналы и т. п.).

Данный подход к оценке учебника может быть использован авторами и рецензентами новых учебников, а также издателями учебной литературы. Результаты работы могут способствовать дальнейшему развитию теоретических исследований, посвященных системам оценки учебной литературы.

5. Сравнительный анализ учебников экономики для старших классов

На основе описанной авторской методики мы провели оценку качества и сравнительный анализ шести учебников экономики для старших классов.

Экономика изучается в российских школах с 1992 г. В новом ФГОС среднего образования она входит в обязательную предметную область «Общественные науки» и может изучаться на базовом или углубленном уровне4. Таким образом, экономика — законодательно утвержденный предмет в учебном плане старшей ступени школы, и любой учащийся имеет право выбрать его для изучения наряду с географией, химией и другими традиционными школьными предметами.

Среди отечественных публикаций, посвященных школьным учебникам, исследования учебников экономики занимают весьма скромное место. Чаще всего это позитивно-информационные обзоры, помогающие учителям ознакомиться с учебниками для разных ступеней школы. Между тем в других странах сравнительный анализ школьных учебников экономики является обычной практикой. В частности, в США с 1959 по 2003 г. было проведено шесть исследований учебников экономики для старших классов (high school) [Schug, Lopus, 2008; Townshend-Zellner, Carr, 1970; Watts, Leet, Niss, 1986].

В федеральный перечень учебников, рекомендованных Минобрнауки РФ на 2014/15 учебный год, включены шесть учебников экономики для 10-11-х классов (базовый уровень). Учебники написаны в разные годы и, соответственно, имеют разное количество изданий (табл. 7, полное библиографическое описание см. в приложении). В данном исследовании использованы учебники, изданные в 2014 г. и прошедшие экспертизу по новому порядку. Общий тираж учебников экономики для базового уровня в 2014 г. составил 70 тыс. экземпляров. В дальнейшем будем

4 Федеральный государственный образовательный стандарт среднего (полного) общего образования (минобрнауки.рф/ документы/2365/ файл/736/12.05.17-Приказ_413^^.

162

Вопросы образования. 2015. № 4

С. А. Михеева

Система формализованных критериев оценки школьного учебника

Таблица 7. Учебники экономики, включенные в федеральный перечень

Авторы Год первого издания Порядковый номер издания

[1] Автономов В.С. 1998 16

[2] Киреев А.П. 2007 7

[3] Королева Г.Э., Бурмистрова Т. В. 2009 3

[4] Липсиц И.В. 2002 19

[5] Хасбулатов Р. И. 2013 2

[6] Под ред. А. Г. Грязновой, Н.Н Думной 2007 7

использовать для обозначения учебников их номера, указанные в первом столбце табл. 7 в квадратных скобках.

Единственным действующим документом, регламентирующим сегодня содержание учебных предметов на старшей ступени школы, является Обязательный минимум в рамках федерального компонента ГОС общего образования первого поколения5. Поэтому для проведения анализа будем использовать данный документ, но при этом ориентироваться на требования к предметным результатам изучения экономики на базовом уровне, сформулированные в ФГОС для старшей ступени школы5 6.

Предметные результаты:

• сформированность системы знаний об экономической сфере как базовой, определяющей в жизни общества, как пространстве, в котором осуществляется экономическая деятельность индивидов, семей, отдельных предприятий и государства;

• умение применять полученные знания и сформированные навыки для эффективного исполнения основных социальноэкономических ролей (потребителя, производителя, покупателя, продавца, заемщика, акционера, наемного работника, налогоплательщика и т. д.)7.

5 Образовательный стандарт среднего (полного) общего образования по экономике. Базовый уровень. http://www.school.edu.ru/dok_edu.as-p?ob_no=14418

6 Последняя редакция требований к результатам освоения предмета «экономика» на базовом уровне разработана автором данного исследования (см. «Доработка стандарта» от 11 марта 2011 г. на сайте ФГОС: www. standart.edu.ru).

7 Федеральный государственный образовательный стандарт среднего (полного) общего образования. С. 11-12. минобрнауки.рф/докумен-ты/2365/файл/736/12.05.17-Приказ_413.pdf

5.1. Оценка научного содержания учебных текстов: критерии

К и К

http://vo.hse.ru

163

ТЕОРЕТИЧЕСКИЕ И ПРИКЛАДНЫЕ ИССЛЕДОВАНИЯ

Таблица 8. Результаты оценки учебников по критерию К

[1] [2] [3] [4] [5] [6]

0, 18,5 20 18 19 19,5 20

Ко 92,5 100 90 95 97,5 100

Для расчета К0 содержание обязательного минимума было сгруппировано в 20 дидактических единиц. Далее была проведена проверка учебников на наличие в них соответствующего учебного материала.

Используя формулу (2), рассчитываем значение критерия К0 по каждому учебнику (02 = 20). Результаты оценки учебников по данному критерию представлены в табл. 8.

В учебниках [1], [3] и [4] нет темы «Особенности современной экономики России». В учебниках [1] и [5] в теме «Потребление» не рассматриваются понятия «рациональный потребитель» и «семейный бюджет». Поэтому мы сочли необходимым снизить оценки этим учебникам на 0,5 балла. В учебнике [3] отсутствует дидактическая единица «Основные принципы менеджмента. Понятие маркетинга». Учебники [2] и [6] содержат значительное количество дидактических единиц, находящихся за пределами обязательного минимума.

Избыток научной информации — это недостаток или достоинство учебника? Ответ на этот вопрос зависит от объема и характера материала, степени его актуальности и доступности для данной возрастной категории учащихся, наличия учебного времени на его изучение и т. д.

Наличие избыточной информации характерно не только для отечественных школьных учебников. Так, например, американские ученые Д. Лит и Дж. Лопус в результате анализа содержания учебников экономики для старшей школы на соответствие требованиям Добровольных национальных стандартов по экономике пришли к выводу, что семь книг из одиннадцати проанализированных по объему и уровню сложности лишь незначительно уступают односеместровому университетскому курсу. Тот факт, что школьные учебники содержат значительно больше учебного материала, чем требуют стандарты, исследователи объясняют двумя причинами. Во-первых, авторы учебников — университетские профессора могли счесть, что разработчики стандартов упустили некоторые важные экономические понятия, и постарались исправить эту ошибку. Вторая причина — техническая: в силу краткого временного лага (стандарты были приняты в 1998 г., а учебники изданы до 2001 г.) авторы просто не успели переработать содержание уже написанных учебников [Leet, Lopus, 2007]. На наш взгляд, указанные причины актуальны и для российских школьных учебников.

164

Вопросы образования. 2015. № 4

С. А. Михеева

Система формализованных критериев оценки школьного учебника

Таблица 9. Результаты оценки учебников по критерию К

[1] [2] [3] [4] [5] [6]

I 1 3 1 1 11 13

97 90 97 97 63 57

Вывод по критерию К0: все исследуемые учебники получили оценку не ниже 90, т. е. удовлетворяют требованиям данного критерия.

Общее количество терминов в глоссариях учебников варьирует от 63 до 298. Для оценки степени корректности научной терминологии (К,) были выбраны 30 экономических понятий. Принципы отбора понятий: а) входит в обязательный минимум содержания;

б) определение термина является устоявшимся и однозначным;

в) играет важную роль в освоении курса. Если какой-либо из числа отобранных терминов отсутствовал в глоссарии, для анализа использовалось его описание в тексте учебника. В качестве эталона для определения корректности (некорректности) были использованы: учебник «Экономический образ мышления» [Хейне, 2005], «Словарь по экономике Collins» [Дэвис, Лоуз, Пасс, 2004], а также отечественный вузовский учебник «50 лекций по микроэкономике» [Тарасевич, Гальперин, Игнатьев, 2000].

Для расчета К1 используем формулу (3). Результаты оценки по данному критерию представлены в табл. 9.

В учебнике [1] выявлено одно не вполне корректное определение из выбранного перечня: «Земля — фактор производства, включающий в себя природные ресурсы и сырье» (с. 232). На наш взгляд, сырье, используемое в процессе производства товаров, относится к фактору «капитальные ресурсы», поскольку для того, чтобы природные ресурсы стали сырьем, они должны пройти определенный процесс обработки. Например, деревья необходимо срубить, ягоды — собрать, нефть—добыть.

В учебнике [2] не вполне корректно определены 5 понятий из 30 выбранных для анализа: спрос, величина спроса, предложение, величина предложения, рыночное равновесие.

1. Спрос (demand) —количество товара, которое покупатели готовы приобрести на рынке по определенной цене (с. 27, с. 244).

Данное определение является некорректным, поскольку «в экономической теории спросом называется связь между двумя конкретными переменными: ценой и количеством. Нельзя определить спрос на какое бы то ни было благо просто как количество. Спрос — это всегда ряд цен и ряд количеств (или величин), ко-

http://vo.hse.ru

165

ТЕОРЕТИЧЕСКИЕ И ПРИКЛАДНЫЕ ИССЛЕДОВАНИЯ

торые люди будут готовы купить при каждой из этих цен» [Хейне, 2005. С. 45].

2. Величина спроса (quantity of demand) —это любая точка на графике спроса (с. 24).

Строго говоря, каждая точка на графике представляет собой значение функции спроса, она имеет две координаты: цену и максимальное количество товара, которое готов приобрести покупатель по данной цене в единицу времени на данном рынке [Хейне, 2005. С. 44].

Аналогичные ошибки присутствуют в определениях предложения (с. 28, с. 242) и величины предложения (с. 28).

3. Рыночное равновесие — равенство спроса и предложения на рынке определенного товара (с. 29).

При определении рыночного равновесия следует говорить о равенстве величин (объемов), а не функций: «Равновесие на рынке достигается при таком уровне цены, когда объем спроса равен объему предложения» [Хейне, 2005. С.103].

Поскольку четыре замечания к учебнику [2] являются однотипными и относятся к «зеркальным» терминам «спрос» и «предложение», мы сочли возможным объединить их в две ошибки. Таким образом, общее количество выявленных некорректных определений равно трем.

В учебнике [3] допущена неточность в дефиниции понятия «величина спроса», которое определяется как «количество товара, которое купят по данной цене» (с. 32). В данном определении глагол «купят» следует заменить словосочетанием «готовы купить» («хотят и могут купить»), потому что на самом деле покупатели купят товар по равновесной цене, сложившейся на данном рынке в определенный период времени.

В учебнике [4] не вполне корректно определен термин «инфляция»:

Инфляция — это всякое обесценение денежной единицы, т. е. систематический рост цен в экономике независимо от того, какими причинами обусловлен этот процесс (с. 262).

Инфляция — повышение общего уровня цен в экономике, продолжающееся в течение некоторого периода времени [Дэвис, Лоуз, Пасс, 2004. С. 192]. Снижение покупательной способности денег является следствием инфляции.

В учебнике [5] ошибки допущены в дефинициях 11 понятий: альтернативная стоимость, земля, труд, издержки (затраты), общественные блага, величина спроса, спрос, предложение, ры-

166

Вопросы образования. 2015. № 4

С. А. Михеева

Система формализованных критериев оценки школьного учебника

ночное равновесие, рабочая сила, сравнительное преимущество. Рассмотрим несколько примеров.

1. Следует различать понятия «затраты» и «издержки». Издержки — это не просто затраты, а затраты ресурсов, принявшие на рынке стоимостную форму (с. 144).

Во всех учебниках, используемых в данной работе в качестве эталона, понятия «издержки» и «затраты» рассматриваются как синонимы. Использование двух терминов для обозначения одного экономического понятия объясняется различным переводом английского термина cost разными авторами.

2. Государство самостоятельно производит общественные блага, которые частные предприниматели не могут производить в силу больших затрат, долгой окупаемости и малой прибыльности. Это крупные предприятия энергетики, железные и автомобильные дороги, мосты, многие отрасли оборонной промышленности, системы ЖКХ и др. (с. 41).

Среди перечисленных примеров нет ни одного чистого общественного блага. По определению «общественные блага обладают двумя важнейшими свойствами — несоперничеством и неисключаемостью в потреблении. Условие равного потребления общественного блага всеми индивидами, в свою очередь, связано с неделимостью блага, а также с наличием внешних эффектов» [Тарасевич, Гальперин, Игнатьев, 2000. С. 46].

3. К фактору «труд» относят не только наемных трудящихся, но и инженеров, управляющих и вспомогательный персонал — всю рабочую силу. Рабочая сила — это та часть населения, которая непосредственно вовлечена в производственно-трудовые процессы (с. 13).

В цитируемом тексте некорректны дефиниции двух терминов: «труд» и «рабочая сила». Рабочая сила включает людей, занятых на производстве в настоящее время (наемные работники), самозанятых и безработных [Дэвис, Лоуз, Пасс, 2004. С. 460].

4. Принцип сравнительного преимущества: «...любая страна, специализируясь на производстве того или иного товара, в состоянии постепенно доводить это производство до предельного совершенства, снижая расходы на издержки. В результате этот товар реализует сравнительные преимущества» (с. 99).

В данном определении не вполне понятен смысл словосочетаний «предельное совершенство» и «расходы на издержки». Оче-

http://vo.hse.ru

167

ТЕОРЕТИЧЕСКИЕ И ПРИКЛАДНЫЕ ИССЛЕДОВАНИЯ

видно, что «сравнительное преимущество определяется альтернативной стоимостью производства» [Хейне, 2005. С. 187].

Значительное количество ошибок в определениях экономических понятий можно обнаружить в данном учебнике и за рамками выделенного перечня.

В учебнике [6] нет определения одного понятия из выбранного перечня («производительность труда»). Ошибки допущены в дефинициях 12 терминов: альтернативная стоимость, деньги, земля, труд, капитал, общественные блага, спрос, предложение, рыночное равновесие, издержки, инфляция, сравнительное преимущество. Рассмотрим несколько примеров.

5. Земля как фактор производства — природные условия, используемые в производственном процессе (широкое понимание) (с. 478).

Под землей экономисты понимают и собственно землю с присущим ей плодородием, и запасы минерального сырья, и лес, и воду со всеми их природными богатствами — словом, всю ту нерукотворную среду, в которой обитает человек [Дэвис, Лоуз, Пасс, 2004. С. 463].

6. Капитал как фактор производства — совокупность производственных ресурсов, созданных людьми ради получения прибыли (с. 481).

Капитальные ресурсы не всегда используются с целью получения прибыли.

7. Инфляция — процесс длительного и устойчивого обесценения денег, вызванного снижением их относительной редкости по сравнению с товарной массой (с. 480).

Корректная дефиниция понятия «инфляция» рассмотрена выше.

Помимо некорректности в определениях ряда терминов в тексте учебника [6] имеются принципиальные ошибки в толковании важных экономических понятий. Например, в первой главе учебника [6] среди важных проблем, которыми занимается экономическая наука, упоминается: «поискнаиболее эффективного применения ресурса при помощи минимизации альтернативных издержек» (с. 7). Далее авторы настаивают на возможности процедуры «минимизации альтернативной стоимости» (с. 15-17). Однако из определения данного понятия очевидно, что если решение об использовании ограниченных ресурсов принято, то его альтернативную стоимость нельзя ни уменьшить, ни увеличить.

168

Вопросы образования. 2015. № 4

С. А. Михеева

Система формализованных критериев оценки школьного учебника

Выводы по критерию K1: наиболее корректными с точки зрения определения основных экономических понятий являются учебники [1], [2], [3] и [4]. Некорректность определений в этих учебниках чаще всего имеет характер неполноты или неточности. В учебниках [5] и [6] выявлено значительное количество принципиальных теоретических ошибок. Показатели поданному критерию для этих учебников равны соответственно 63,3 и 56,7, что намного ниже порогового значения.

Значение данного критерия рассчитывается на основе показателей двух подкритериев: 1) K21 — оценка степени отражения в содержании учебника методов познания, свойственных изучаемой науке; 2) K22 — оценка степени актуальности статистической и фактической информации.

Основным методом экономического анализа является экономико-математическое моделирование, поэтому учебник экономики должен содержать изложение экономических моделей, которые описывают процессы (явления, ситуации), как правило, в графической или аналитической форме.

Предметные результаты:

5.2. Оценка степени отражения в учебнике методологии изучаемой науки: критерий К2

• умение анализировать, преобразовывать и использовать экономическую информацию для решения практических задач в учебной деятельности и реальной жизни8.

Для определения K21 за основу берется оптимальное, с точки зрения эксперта, количество моделей (графиков и формул), которые должны быть представлены в содержании учебника соответствующего уровня (Yopt). Затем подсчитывается количество графиков и математических формул в учебнике (Yp) и определяете AY (Yp - Yopt).

K2.1 =

1 - |AY|

Yo

opt

(15)

Значение AY берется по модулю, поскольку в нашем случае отклонения от оптимального значения как в одну, так и в другую сторону являются одинаково нежелательными. В данной работе в качестве оптимального выбрано значение 50 (табл. 10).

В анализируемых учебниках было подсчитано количество графиков (YG) и формул (YF) и по формуле (15) произведен расчет показателя по критерию K21 (табл. 11).

Значение K22 рассчитываем по формуле (5). Результаты приведены в табл.12. 8

8 Федеральный государственный образовательный стандарт среднего (полного) общего образования. С. 11-12. минобрнауки.рф/ докумен-ты/2365/файл/736/12.05.17-Приказ_413.pdf

http://vo.hse.ru

169

ТЕОРЕТИЧЕСКИЕ И ПРИКЛАДНЫЕ ИССЛЕДОВАНИЯ

Таблица 10. Оптимальное количество формул и графиков в учебнике экономики для базового уровня

Понятия Количество (opt)

Графики Формулы

Граница производственных возможностей 1 | -

Спрос и предложение 4 2

Рыночное равновесие 5 j 1

Эластичность спроса и предложения 2 4

Полезность (предельная, общая) 2 2

Производство (затраты, выручка, прибыль) 6 8

Рынок труда. Безработица 2 j 1

Деньги. Инфляция 2 2

Валовой внутренний продукт - 2

Кредитно-денежная политика - 3

Абсолютное и сравнительное преимущество 1 ! 1

Всего 25 25

Таблица 11. Результаты оценки учебников по подкритерию К21

[1] [2] [3] [4] [5] [6]

YG + YF 13 38 62 20 20 57

K,, 0,26 0,76 0,76 0,40 0,40 0,86

Таблица 12. Результаты оценки учебников по подкритерию К22

[1] [2] [3] [4] [5] [6]

S. 13 0 9 11 3 0

S, 16 8 18 11 18 15

К2, 0,81 0 0,50 1,00 0,17 0

Таблица 13. Результаты оценки учебников по критерию К2

[1] [2] [3] [4] [5] [6]

K,, 0,26 0,76 0,76 0,40 0,40 0,86

K2.2 0,81 0 0,50 1,00 0,17 0

37 60,8 70,8 52 35,8 68,8

170

Вопросы образования. 2015. № 4

С. А. Михеева

Система формализованных критериев оценки школьного учебника

Рис. 4. Количество графиков и формул в учебниках и их «эталонное» значение

Для определения значений К2 используем формулу (4): К2 = = 80К21 + 20К22. Результаты расчета представлены в табл. 13.

Выводы по критерию K2: высокими показателями степени отражения в текстах методологии экономической науки характеризуются учебники [3], [6] и [2]. Авторы учебников [1], [4] и [5] недостаточно используют математический аппарат, изложение материала в значительной степени носит описательный характер (рис. 4).

Результаты анализа учебников по критерию К3 представлены в табл. 14. В процессе исследования были выделены следующие структурные компоненты учебников:

• дополнительные тексты (AT), в том числе 1) выдержки из классических трудов ученых прошлого; 2) выдержки из современных исследований; 3) отрывки из художественных и научнопопулярных произведений; 4) биографические сведения об ученых; 5) примеры из реальной жизни;

• пояснительные тексты (ET), в том числе 1) введение к учебнику (обращение); 2) введение в тему (мотивационного характера); 3) перечень основных понятий, изучаемых в параграфе; 4) материалы, резюмирующие содержание параграфа; 5) терминологический словарь;

• иллюстративный материал (IL), в том числе 1) логические схемы; 2) рисунки; 3) фотографии; 4) портреты; 5) таблицы;

• аппарат ориентировки (OR), в том числе 1) предисловие;

2) оглавление; 3) предметный указатель; 4) именной указатель; 5) сигналы-символы.

■ Графики

■ Формулы

5.3. Оценка структуры учебников: критерий К3

http://vo.hse.ru

171

ТЕОРЕТИЧЕСКИЕ И ПРИКЛАДНЫЕ ИССЛЕДОВАНИЯ

Таблица 14. Результаты сравнительной оценки учебников по критерию К3

[1] [2] [3] [4] [5] [6]

V„ 3 4 1 5 3 4

AT 15 20 5 25 15 20

Ve, 5 3 5 3 5 3

ET 25 15 25 15 25 15

V 3 4 5 4 4 5

IL 15 20 25 20 20 25

V0, 2 5 2 2 1 1

OR 10 25 10 10 5 5

K 65 80 65 70 65 65

Анализ учебников по данному критерию показал, что большинство авторов отождествляют понятия «предисловие», «введение» и «обращение к читателю». Между тем данные элементы книги имеют принципиально разные задачи. Предисловие служит целям ориентировки в учебнике, оно включает описание его целей и задач, дает представление о его структуре, принятых условных обозначениях, об имеющихся приложениях и др. Введение — элемент пояснительного текста. Его основная задача — ввести учащихся в предмет изучения. Обращение к учащимся — элемент дополнительного текста. Будучи эмоционально окрашенным, оно выполняет мотивационную функцию. Рассмотрим несколько примеров.

В учебнике [3] «Введение» начинается с обращения: «Дорогие друзья!» (с. 7), а по содержанию данный текст включает не только введение и обращение к читателю, но еще и предисловие. В учебнике [5] смешение элементов аппарата ориентировки с дополнительными текстами зафиксировано уже в заголовке: «Предисловие, или Обращение к ученику» (с. 3). В учебнике [6] под заголовком «Предисловие» содержится обращение к читателю (кн. 1, с. 5).

На рис. 5 показано количество иллюстраций каждого вида в шести исследуемых учебниках.

Схемы присутствуют во всех учебниках. Их количество варьируется от четырех в учебнике [1] до 50 в учебнике [3]. Портреты экономистов есть в пяти учебниках (исключение — [3]). Самые большие различия наблюдаются в позиции «рисунки»: они есть только в двух из шести учебников, причем в учебнике [6] содержится 114 рисунков, большинство из них имеет внушительные размеры (почти полстраницы) и выполнено в жанре комиксов.

172

Вопросы образования. 2015. № 4

С. А. Михеева

Система формализованных критериев оценки школьного учебника

Рис. 5. Распределение видов иллюстративных материалов

[1]

[2] 14 0

1_

[3]

0

0

0

[4]

11

42

50

62

Выводы по критерию K3: лучшая структура у учебника [2], на втором месте — учебник [4], остальные четыре учебника получили одинаковые оценки.

При оценке учебников по данному критерию мы ориентировались на следующие предметные результаты, сформулированные в ФГОС:

• владение навыками поиска актуальной экономической информации в различных источниках, включая Интернет;

• умение ориентироваться в текущих экономических событиях в России и в мире;

• сформированность навыков проектной деятельности: умение разрабатывать и реализовывать проекты экономической и междисциплинарной направленности на основе базовых экономических знаний и ценностных ориентиров* 3 9.

По формуле (11) для каждого учебника был рассчитан процент заданий, предполагающих учебную деятельность (ZNR). Затем было

9 Федеральный государственный образовательный стандарт среднего (полного) общего образования. С. 12. минобрнауки.рф/ докумен-ты/2365/файл/736/12.05.17-Приказ_413.pdf

■ Схемы

■ Рисунки

■ Фотографии

■ Портреты

5.4. Оценка методического аппарата учебников: критерий К4

http://vo.hse.ru

173

ТЕОРЕТИЧЕСКИЕ И ПРИКЛАДНЫЕ ИССЛЕДОВАНИЯ

Таблица 15. Результаты оценки учебников по критерию К4

[1] [2] [3] [4] [5] [6]

Zt 129 268 260 46 150 80

Zr 45 125 96 0 92 14

Znr 65 53 63 100 39 82

Zv 4 4 5 1 2 5

K 52 42 63 20 15 82

определено количество типов заданий в учебниках, и по формуле (12) получены значения критерия К4 (табл. 15).

В учебнике [1] после каждой главы размещены «Вопросы и задания» (от двух до пяти), большинство из которых носит проблемный характер.

В учебнике [2] после каждого параграфа следует «Практикум», который включает три раздела: работу с книгой, работу с диском и работу с Интернетом. После каждой главы расположена рубрика «Резервный час», в которую включены тест, задания для работы с диском и Интернетом. В рамках нашего исследования работа с диском не анализировалась, поскольку диск является отдельным изданием.

В учебнике [3] после каждого параграфа есть раздел «Вопросы и задания», а в тексте параграфа содержатся проблемные вопросы. В конце книги размещены задания для самопроверки, темы исследовательских (проектных) работ, задание на разработку бизнес-плана с подробным описанием методики его составления.

В учебнике [4] после каждой главы даны вопросы для обсуждения (от двух до четырех), других видов заданий нет.

В учебнике [5] задания расположены после каждого параграфа. Значительная часть заданий отмечена звездочкой (99 заданий), что предполагает углубленный уровень изучения предмета10, поэтому в рамках нашего анализа данные задания не оценивались.

В учебнике [6] после каждой главы идет рубрика «Проверьте свои знания», которая включает тесты, вопросы и задачи. Большое количество проблемных вопросов расположено в тексте глав. В конце книги представлены проблемные ситуации (кейсы), темы эссе и вопросы для обсуждения к каждой теме учебника.

Выводы по критерию K4: по уровню методического аппарата наиболее высокие оценки получили учебники [6] и [3].

10 Учебник предназначен для изучения на базовом и углубленном уровнях.

174

Вопросы образования. 2015. № 4

С. А. Михеева

Система формализованных критериев оценки школьного учебника

Таблица 16. Результаты сравнительной оценки учебников по критерию К5

[1] [2] [3] [4] [5] [6]

X 3 8 5 4 2 4

K5 30 80 50 40 20 40

Таблица 17. Результаты формализованной оценки качества учебников

К, K3 K4 K R

[1] 97 37 65 сл го 30 -Рг- ГО

[2] 90 61 80 -ti- ro 80 153

[3] 97 71 65 63 50 159

[4] 97 сл го 70 го о 40 146

[5] 63 36 65 15 ГО о 101

[6] 57 69 65 со го 40 ГО о

Информация о составе УМК исследуемых учебников взята с сайтов издательств, в которых они изданы11 12. Показатели К5 (табл. 16) рассчитаны по формуле (13).

Выводы по критерию K5: по количеству компонентов УМК лидирует учебник [2]. УМК к учебнику [5] не содержит необходимого для прохождения экспертизы компонента — методического пособия для учителя.

Из данных, представленных в табл. 17, следует, что оценки не ниже порогового значения, т. е. 146 баллов (75% от Rmax), получили только три из шести учебников: [2], [3] и [4] 12.

Итоговая оценка учебника [1] близка к пороговому значению (142 балла) и составляет 73% от Rmax. Итоговые оценки учебников [5] и [6] значительно ниже порогового значения и составляют соответственно 52 и 62%.

Для оценки ряда параметров учебника, не поддающихся количественной оценке, мы ввели дополнительный критерий (KD). Его

11 «Вентана-Граф»: http://www.vgf.ru; «Вита-Пресс»: http://www.vita-press. ru; «Дрофа»: http://www.drofa.ru; «Интеллект-Центр»: http://www.inte!-lectcentre.ru

12 Значения критериев округлены до целых.

5.5. Оценка дидактического и методического сопровождения учебников: критерий К5

5.6. Итоги формализованной оценки качества учебников

5.7. Качественные критерии

http://vo.hse.ru

175

ТЕОРЕТИЧЕСКИЕ И ПРИКЛАДНЫЕ ИССЛЕДОВАНИЯ

значение определяется суммированием показателей пяти подкритериев:

1) организация контента (LO) — оценка логики и последовательности изучаемых тем, введения новых экономических понятий и т. п.;

2) язык и стиль изложения (SL) — оценка доступности языка, его эмоциональной окрашенности и соответствия возрастным особенностям учащихся; выявление грамматических и стилистических ошибок. Учебник экономики должен быть эмоционально окрашенным, увлекательным и опираться на личный жизненный опыт учащихся. Это должен быть учебник про жизнь, а не про экономическую теорию. Читая формулировки экономических законов и определения сложных экономических понятий, учащийся должен понимать, зачем ему необходимы эти знания, где и как он сможет их применить [Михеева, 2010. С. 149];

3) воспитательный потенциал учебника (VP) — ориентация на предметные результаты, сформулированные в ФГОС:

• понимание значения этических норм и нравственных ценностей в экономической деятельности отдельных людей и общества;

• уважительное отношение к чужой собственности;

• умение принимать рациональные решения, оценивать и брать ответственность за их возможные последствия для себя, своего окружения и общества в целом;

4) профориентационная направленность (PR) — оценка наличия элементов, описывающих области профессиональной деятельности экономистов, предпринимателей;

5) полиграфическое качество издания (PQ) — оценка качества бумаги, обложки, переплета и т. п.

Результаты сравнительного анализа учебников по качественным критериям (Kd) представлены в табл. 18. Как было отмечено выше, значение Kd не может быть включено в результат оценки учебника в качестве слагаемого, поскольку используемые в нем показатели находятся за пределами системы.

На рис. 6 представлен рейтинг учебников по критерию Kd: наиболее высокие оценки получили учебники [2], [4] и [3].

Учебник [5] получил низкие оценки по первым двум подкритериям (LO и SL). Рассмотрим несколько примеров, объясняющих причины снижения оценки. Учебник издан в двух книгах и предназначен для изучения экономики одновременно на базовом и углубленном уровнях. Темы для углубленного уровня отмечены звездочкой. При этом часть понятий, обязательных для изучения экономики на базовом уровне, отмечена как темы для углубленного уровня, и наоборот. Так, например, в базовый

176

Вопросы образования. 2015. № 4

С. А. Михеева

Система формализованных критериев оценки школьного учебника

Таблица 18. Результаты оценки учебников по критерию KD

[1] [2] [3] [4] [5] [6]

Организация контента (20) 20 20 20 20 10 20

Язык и стиль изложения (20) 19 20 20 20 10 10

Воспитательный потенциал (30) 10 15 15 20 5 10

Профориентационная направленность (15) 5 15 5 10 5 10

Полиграфическое качество издания (15) 10 15 15 10 10 10

Критерий KD 64 85 75 80 40 60

Рис. 6. Результаты оценки учебников по критерию KD

[2]

[4] [3] [1] [6]

[5]

| 85

1 80

I 75

] 64

60

40

уровень не вошли следующие понятия: конкуренция, рыночные структуры, фондовый рынок, экономические функции государства, международная торговля, валютные курсы. Очевидно, что первая версия учебника, созданная для углубленного изучения, была превращена во вторую версию (двухуровневую) с явными нарушениями логики.

Параграф 11 называется «Альтернативная стоимость. Добавленная стоимость», что, по мнению автора учебника, предполагает логическую близость данных понятий. При этом ключевое понятие «альтернативная стоимость» изучается только в пятой главе. Текст «Предисловия» к учебнику [5] начинается со слов «заканчивая школу», что противоречит нормам русского языка. Применительно к завершению образования в учебном заведении следует использовать глагол «окончить»: окончить школу, окончить университет. Закончить можно какую-то работу, например уборку квартиры, ремонт и т. п.1з Объяснение безграничного характера потребностей в учебнике [5], на наш взгляд, не только является не вполне корректным с точки зрения современной экономической науки, но и не соответствует нормам «языка учебного издания»: 13

13 Аналогичная ошибка есть в учебнике [1], поэтому его оценка по данному критерию тоже снижена.

http://vo.hse.ru

177

ТЕОРЕТИЧЕСКИЕ И ПРИКЛАДНЫЕ ИССЛЕДОВАНИЯ

5.8. Результаты сравнительного анализа учебников

Еще 150 лет назад Карл Маркс сформулировал закон о повышении потребностей общества. Этот закон актуален в настоящее время, когда постоянно меняется мода, на прилавки магазинов выбрасываются горы новой одежды, парфюмерии, украшений, производятся новые машины и т. д. А реклама и маркетинг постоянно предлагают все новые товары и услуги. Люди не хотят пользоваться устаревшими, немодными товарами (с. 12).

Далее мы приводим примеры грамматических и стилистических ошибок, допущенных в учебнике [6] (курсив наш. — С. М.).

«Почему мы взялись за школьный учебник? В чем наш особый интерес? (с. 3).

«Цена есть главный „спусковой крючок" механизма закона спроса» (с. 61).

«Деньги —все, что признается людьми за деньги и выполняет их функции» (с. 477).

«Недостаток малых предприятий связан с их высокой „смертностью" на ранних этапах существования» (с. 87).

Результаты сравнительного анализа учебников по формализованным критериям представлены на рис. 7.

Проведенный сравнительный анализ шести учебников экономики на основе авторской методики позволил сделать следующие выводы.

Первое место занимает учебник [3]. Авторы — Г. Э. Королева, Т. В. Бурмистрова. Его результаты: формализованная оценка (R) — 159 баллов (82% от Rmax), оценка по дополнительному критерию (KD) — 75 баллов.

На втором месте учебник [2]. Автор — А. П. Киреев. Результаты: формализованная оценка (R) — 153 балла (78% от Rmax), оценка по дополнительному критерию (KD) — 85 баллов.

Третье место занимает учебник [4]. Автор — И. В. Липсиц. Его результаты: формализованная оценка (R) — 146 баллов (75% от Rmax), оценка по дополнительному критерию (KD) — 80 баллов.

Таким образом, учебники [2], [3] и [4] имеют хорошие качественные характеристики и могут быть рекомендованы для изучения экономики на базовом уровне в качестве отдельного предмета в 10-11-х классах общеобразовательных организаций.

На четвертом месте учебник [1]. Автор — В. С. Автономов. Результаты: формализованная оценка (R) — 142 балла (73% от Rmax), оценка по дополнительному критерию (KD) — 64 балла. Данный учебник получил достаточно высокие оценки по трем из пяти

178

Вопросы образования. 2015. № 4

С. А. Михеева

Система формализованных критериев оценки школьного учебника

Рис. 7. Результаты сравнительного анализа по пяти формализованным критериям и итоговый рейтинг учебников

а) рейтинг по К

[1]

[2]

[3]

[4]

[5]

63

57

I 97 ■ 97 I 97 90

б) рейтинг по К2

[3] 71

[6] 69

[2]

[4] [1]

[5]

61

52

37

36

г) рейтинг по К4

[3] [1] [2]

[4]

[5]

15

82

е) итоговый рейтинг

[3] [2]

[4] [1] [6]

[5]

159

153

146

формализованных критериев: 1) степень корректности научной терминологии (97 баллов); 2) структура учебника (65 баллов);

3) методический аппарат (52 балла). По дополнительному интегральному показателю (KD) оценка учебника тоже достаточно высока (65 баллов).

По подкритерию «степень отражения в содержании учебника методов познания, свойственных изучаемой науке» учебник получил только 37 баллов. Такая оценка объясняется описательным характером изложения материала: в данном учебнике семь графиков и пять формул. К недостаткам можно отнести также отсутствие в УМК практикума к данному учебнику. Мы считаем, что учебник [1] можно рекомендовать для изучения экономики в рамках курса обществознания, а также в качестве пропедевтического курса экономики для учащихся 8-9-х классов.

Пятое место занимает учебник [6] под редакцией А. Г. Грязновой и Н.Н. Думной. Его результаты: формализованная оценка (R) — 120 баллов (62% от Rmax), оценка по дополнительному критерию (KD) — 60 баллов. У данного учебника высокие оценки по двум критериям: 1) степень отражения методологии эконо-

http://vo.hse.ru

179

ТЕОРЕТИЧЕСКИЕ И ПРИКЛАДНЫЕ ИССЛЕДОВАНИЯ

Литература

мической науки (69 баллов); 2) методический аппарат учебника (82 балла). Основной недостаток учебника [6] — некорректность определений научных понятий и терминов: ошибки допущены в 12 терминах из 30 проанализированных.

На последнем месте — учебник [5]. Автор — Р. И. Хасбулатов. Результаты: формализованная оценка (R) — 101 балл (52% от Rmax), оценка по дополнительному критерию (KD) — 40 баллов. Данный учебник получил низкие оценки по всем шести критериям. Он не имеет минимально необходимого методического обеспечения (нет пособия для учителя). Это означает, что данный учебник включен в федеральный перечень с нарушением нового порядка его формирования.

Таким образом, результаты оценки качества учебников [5] и [6], полученные на основе используемой методики, показывают, что данные учебники не могут быть рекомендованы для использования в общеобразовательных организациях. Они должны быть исключены из федерального перечня и отправлены авторам на доработку.

Несмотря на то что в двух из пяти формализованных критериев присутствуют элементы субъективного мнения автора (при выборе перечня анализируемых понятий и при определении оптимального количества экономико-математических моделей), мы считаем полученные результаты достаточно объективными, что позволяет рекомендовать данную методику для проведения экспертизы и сравнительного анализа учебников.

Объективность результатов можно повысить, если проводить оценку качества учебников по данной методике будут не один, а два-три независимых эксперта.

1. Азгальдов Г. Г., Костин А. В., Садовов В. В. Квалиметрия для всех: учеб. пособие. М.: ИнформЗнание, 2012.

2. Анохин П. К. Философские аспекты теории систем. М.: Наука, 1978.

3. Берталанфи Л. История и статус общей теории систем. М.: Наука, 1973.

4. Гальперин В. М. Слово о словах // Экономическая школа. 1993. Вып. 3. С. 18-23.

5. Гельфман Э. Г. Анализ текстов заданий школьных учебников физики // Вестник ТГПУ. 2012. № 4. С. 42-45.

6. Дэвис Л., Лоуз Б., Пасс К. Словарь по экономике СоП^.СПб.: Экономическая школа, 2004.

7. Зуев Д. Д. (ред.) Проблемы школьного учебника. XX век. Итоги. М.: Просвещение, 2004.

8. Кох Р. Закон Парето или принцип 80/20 // Общая и прикладная ценология. 2007. № 4. С. 76-79.

9. Майер Р. В. Определение уровня абстрактности, сложности и информативности различных тем школьного учебника физики //Психология, социология и педагогика. 2013. № 2. http://psychology.snauka. ru/2013/02/1813

10. Михеева С. А. Школьное экономическое образование: методика обучения и воспитания: учебник для студентов педвузов. М.: Вита-Пресс, 2012.

180

Вопросы образования. 2015. № 4

С. А. Михеева

Система формализованных критериев оценки школьного учебника

11. Михеева С. А. Становление школьного экономического образования в России // Вопросы образования. 2010. № 2. С. 136-151.

12. Монахов В. М. Проблемы содержания и методов обучения в свете реформы // Вопросы психологии. 1984. № 5. С. 5-16.

13. Окольская Л. А. Жизненные ценности в учебниках для старшей школы // Вопросы образования. 2012. № 1. С. 93-125.

14. Смирнова А. Учимся жить в обществе. Гендерный анализ школьных учебников. М., 2005.

15. Тарасевич Л. С., Гальперин В. М., Игнатьев С. М. 50 лекций по микроэкономике: учеб. пособие. СПб.: Экономическая школа, 2000.

16. Хейне П. Экономический образ мышления. М.: Вильямс, 2005.

17. Холл А. Д. Опыт методологии для системотехники. М.: Советское радио, 1975.

18. Churchman C. W., Ackoff R. L. (1954) An Approximate Measure of Value // Operations Research. No 2. P. 172-181.

19. Garvin D. A. (1984) What does “Product quality” Really Mean? // MIT Sloan Management Review. Vol. 26. No 1. P. 25-43.

20. Idrees M., Habib Z., Abuzar M. (2014) Evaluating and Comparing the Textbooks of General Science: A Comparative Study of Published Textbooks in Pakistan // International Journal of Social Sciences and Education. Vol. 4. No 2. P. 551-555.

21. Leet D. R., Lopus J. S. (2007) Ten Observations on High School Economics Textbooks // Citizenship, Social and Economic Education: An International Journal. Vol. 7. No 3. P. 201-241.

22. Mahmood Kh. (2011) Standardization of Textbook Evaluation Criteria through Development of Quality Textbook Indicators / Pakistan 12th International Convention on Quality Improvement and 2nd ANQ Regional Conference, Lahore PIQC Institute of Quality. http://piqc.edu.pk/

23. Schug M., Lopus J. (2008) Economic and Financial Education for the 21st Century // Social Education. Vol. 72. No 7. P. 359-362.

24. Townshend-Zellner N., Carr E. R.(1970) A New Look at the High School Economics Texts // The Journal of Economic Education. Vol. 2. No 1. P. 63-68.

25. Watts M., Leet D. R., Niss J. F. (1986) Reviews of Secondary (Economics) Textbooks // Curriculum Reviews. November/December. P. 24-28.

26. Williams D. (1982) Developing Criteria for Textbook Evaluation // Arts&Hu-manities.ELT Journal. Vol. 37. No 3. P. 251-255.

1. Автономов В. С. Экономика: учебник для 10-х, 11-х классов общеобразовательных организаций. Базовый уровень образования. 16-е изд., доработ. М.: Вита-Пресс, 2014.

2. Киреев А. П. Экономика: учебник для 10-11-х классов общеобразовательных организаций (базовый уровень). 7-е изд. М.: Вита-Пресс, 2014.

3. Королева Г. Э., Бурмистрова Т. В. Экономика: 10-11-й классы: базовый уровень: учебник для учащихся общеобразовательных организаций. 3-е изд., испр. и доп. М.: Вентана-Граф, 2014.

4. Липсиц И. В. Экономика. Базовый курс: учебник для 10-х,11-х классов общеобразовательных организаций. 19-е изд. М.: Вита-Пресс, 2015.

5. Хасбулатов Р. И. Экономика. Базовый и углубленный уровни. 10-й класс: учебник. 2-е изд., стреотип. М.: Дрофа, 2014.

6. Хасбулатов Р И. Экономика. Базовый и углубленный уровни. 11-й класс: учебник. М.: Дрофа, 2014.

7. Г рязнова А. Г., Думная Н. Н. (ред.) Экономика: учебник для 10-11-х классов. М.: Интеллект-Центр, 2014.

Приложение.

Список

использованных в исследовании учебников

http://vo.hse.ru

181

THEORETICAL AND APPLIED RESEARCH

System of Formalized Criteria for School Textbook Assessment

Author Svetlana Mikheeva

Candidate of Sciences in Economics, Associate Professor, Department of Public Administration, St. Petersburg School of Social Sciences and Humanities, National Research University—Higher School of Economics (St. Petersburg). Address: 17 Promyshlennaya str., 198088, St. Petersburg, Russian Federation. E-mail: [email protected]

Abstract We systematize the theoretical approaches towards assessment of school textbooks, analyze the existing practice of textbook evaluation, and justify the need to formalize the assessment criteria in order to improve objectivity. We also suggest a system of diagnosable (measureable) criteria for textbook assessment. The criteria are ranged depending on their functional load. Level-one criteria are used to assess the scientific content of the basic texts (conformance to the educational standard and accuracy of scientific terms). At level two, we assess the extent to which methodology of a specific science affects the content of textbooks. At level three, there is textbook structure: the content of supplementary and explanatory texts, illustrative materials and navigation tools. Level four is where the guidance techniques used in a textbook are assessed. Finally, level five is assessment of relevant didactic and guidance materials. The paper contains advice to enhance the textbook evaluation procedure applied when developing the national list of textbooks recommended by the Ministry of Education and Science of the Russian Federation. The developed system of criteria may also be used to perform comparative analysis of textbooks on the same subject, where there is choice between textbooks. We use the proposed system to perform comparative analysis and assess the quality of six economics high school textbooks, as well as to develop recommendations for economics and social studies teachers to select textbooks from the national list.

Keywords textbook, textbook structure, textbook functions, national list of textbooks, assessment criteria system, federal state educational standard, evaluation, subject-specific education outcomes.

References Anokhin P. (1978) Filosofskie aspekty teorii system [Philosophical Aspects of the Systems Theory]. Moscow: Nauka.

Azgaldov G., Kostin A., Sadovov V. (2012) Kvalimetriya dlya vsekh. Uchebnoe posobie [Qualimetry for Everyone. Study Guide]. Moscow: InformZnanie. Bertalanffy L. von (1973) Istoriya i status obshchey teorii sistem [The History and Status of General Systems Theory]. Moscow: Nauka.

Churchman C. W., Ackoff R. L. (1954) An Approximate Measure of Value. Operations Research, no 2, pp. 172-181.

Davies L., Lowes B., Pass C. L. (2004) Slovarpo ekonomike Collins [Collins Dictionary of Economics]. St. Petersburg: Ekonomicheskaya shkola.

Galperin V. (1993) Slovo o slovakh [A Word about Words]. Ekonomicheskaya shkola, iss. 3, pp. 18-23.

Garvin D. A. (1984) What does “Product quality” Really Mean? Sloan Management Review, vol. 26, no 1, pp. 25-43.

Gelfman E. (2012) Analiz tekstov zadaniy shkolnykh uchebnikov fiziki [Analyzing Tasks in High School Physics Textbooks]. Vestnik, no 4, pp. 42-45.

Hall A. D. (1975) Opyt metodologii dlya sistemotekhniki [A Methodology for Systems Engineering]. Moscow: Sovetskoye radio.

Heyne P. (2005) Ekonomicheskiy obrazmyshleniya [The Economic Way of Thinking]. Moscow: Vilyams.

182

Educational Studies. Moscow. 2015. No 4

THEORETICAL AND APPLIED RESEARCH

Idrees M., Habib Z., Abuzar M. (2014) Evaluating and Comparing the Textbooks of General Science: A Comparative Study of Published Textbooks in Pakistan. International Journal of Social Sciences and Education, vol. 4, no 2, pp. 551-555.

Koch R. (2007) Zakon Pareto ili printsip 80/20 [The 80/20 Principle]. Obshchaya i prikladnaya tsenologiya, no 4, pp. 76-79.

Leet D. R., Lopus J. S. (2007) Ten Observations on High School Economics Textbooks. Citizenship, Social and Economic Education: An International Journal, vol. 7, no 3, pp. 201-241.

Mahmood Kh. (2011) Standardization of Textbook Evaluation Criteria through Development of Quality Textbook Indicators. Paper presented at Pakistan 12th International Convention on Quality Improvement and 2nd ANQ Regional Conference, Lahore PIQC Institute of Quality. Available at: http://piqc.edu. pk/(accessed 10 October 2015).

Mayer R. (2013) Opredelenie urovnya abstraktnosti, slozhnosti i informativnosti razlichnykh tem shkolnogo uchebnika fiziki [Assessing the Level of Abstractness, Difficulty and Informative Value of Different Topics in the Physics High School Textbook]. Psikhologiya, sotsiologiya i pedagogika, no 2. Available at: http://psychology.snauka.ru/2013/02/1813 (accessed 10 October 2015).

Mikheyeva S. (2012) Shkolnoe ekonomicheskoe obrazovanie: metodika obu-cheniya i vospitaniya. Uchebnik dlya studentov pedvuza [High School Economic Education: Methods of Teaching and Upbringing. Textbook for Teacher Education Students]. Moscow: Vita-Press.

Mikheeva S. (2010) Stanovlenie shkolnogo ekonomicheskogo obrazovaniya v Rossii [Development of Economic Education in Russian High Schools]. Voprosy obrazovaniya/Educational Studies. Moscow, no 2, pp. 136-151.

Monakhov V. (1984) Problemy soderzhaniya i metodov obucheniya v svete reform [Education Content and Teaching Methods Issues in the Light of the Reforms]. Voprosy psikhologii, no 5, pp. 5-16.

Okolskaya L. (2012) Zhiznennye tsennosti v uchebnikakh dlya starshey shkoly [Value Orientations in Textbooks for High School]. Voprosy obrazovaniya / Educational Studies. Moscow, no 1, pp. 93-125.

Smirnova A. (2005) Uchimsya zhit v obshchestve. Genderny analiz shkolnykh uchebnikov [Learning to Live in a Society. Gender-Based Analysis of School Textbooks]. Moscow.

Schug M., Lopus J. (2008) Economic and Financial Education for the 21st Century. Social Education, vol. 72, no 7, pp. 359-362.

Tarasevich L., Galperin V., Ignatyev S. (2000) 50 lektsiy po mikroekonomike. Uchebnoe posobie [50 Lectures on Microeconomics. Study Guide]. St. Petersburg: Ekonomicheskaya shkola.

Townshend-Zellner N., Carr E. R. (1970) A New Look at the High School Economics Texts. The Journal of Economic Education, vol. 2, no 1, pp. 63-68.

Watts M., Leet D. R., Niss J. F. (1986) Reviews of Secondary (Economics) Textbooks. Curriculum Reviews, November/December, pp. 24-28.

Williams D. (1982) Developing Criteria for Textbook Evaluation. Arts & Humanities. ELT Journal, vol. 37, no 3, pp. 251-255.

Zuyev D. (ed.) (2004) Problemy shkolnogo uchebnika. XX vek. Itogi [Problems of School Textbooks. 20th Century. Resume]. Moscow: Prosveshchenie.

http://vo.hse.ru/en/

183