CC BY
126
УДК 336.6 doi: 10.20310/1819-8813-2017-12-1-65-71
МЕТОДИЧЕСКИЕ ПОДХОДЫ К ОЦЕНКЕ ЭФФЕКТИВНОСТИ ПРОГРАММ ФИНАНСОВОЙ ГРАМОТНОСТИНАСЕЛЕНИЯ
МНАЦАКАНЯН АЛЬБЕРТ ГУРГЕНОВИЧ
Калининградский государственный технический университет, г. Калининград, Российская Федерация, e-mail: rektor64@mail.ru
ЕВСТАФЬЕВ КОНСТАНТИН АЛЕКСАНДРОВИЧ
Калининградский государственный технический университет, г. Калининград, Российская Федерация, e-mail: konst-evst@yandex.ru
Предметом исследования является оценка эффективности программ финансовой грамотности, реализуемых в рамках федерального проекта «Содействие повышению уровня финансовой грамотности населения и развитию финансового образования в Российской Федерации». Целевые группы проекта разнообразны как по возрасту, так и по уровню образования. В этой связи научное обоснование методологии оценки результатов различных образовательных программ будет способствовать формированию общего подхода к оценке и сравнению их эффективности. Целью работы является разработка методики расчета количественного индикатора эффективности программ финансовой грамотности. Методология исследования включает в себя компетентностный подход к оценке уровня финансовой грамотности в соответствии с рамочной системой Министерства финансов России, статистический анализ результатов тестирования обучающихся, включающий в себя оценку согласия аналитического распределения с данными статистической выборки, регрессионный и корреляционный анализ. Результатом является предлагаемая авторами методика расчета интегрального количественного индикатора, учитывающая уровни развития компетенций и мотивации целевой аудитории. Показано, что результаты освоения программ финансовой грамотности могут быть представлены в виде совокупности нормальных распределений с параметрами, соответствующими результатам представленных ранее исследований. Результаты освоения программ финансовой грамотности зависят не только от уровня подготовки слушателей, но и от наличия мотивации к получению новых знаний и навыков. Оценка эффективности обучения с использованием традиционного критерия сравнения результатов входного и выходного теста не может обеспечить сопоставимость программ, рассчитанных на разные целевые группы. Предлагаемая методика позволяет установить целевые уровни развития компетенций для различных учебных программ и провести объективное сравнение их эффективности.
Ключевые слова: финансовая грамотность, статистика, нормальное распределение, регрессионный анализ
Повышение финансовой грамотности населения в соответствии с «Концепцией долгосрочного социально-экономического развития Российской Федерации на период до 2020 года» относится к одному из основных направлений формирования инвестиционного ресурса государства. Минфином России совместно с рядом федеральных органов исполнительной власти и при участии Всемирного банка в настоящее время реализуется проект «Содействие повышению уровня финансовой грамотности населения и развитию финансового образования в Российской Федерации», поддержка которого на местах осуществляется региональными государственными программами, финансируемыми из бюджетов субъектов Российской Федерации.
В рамках этих проектов проводятся мероприятия для различных категорий граждан нашей страны, от учащихся школ до лиц пенсионного возраста, направленные на формирование у них взвешенного и ответственного отношения к личным финансам. Пилотное внедрение и апробация результатов разработок осуществляется в девяти регионах - от Калининградской области до Алтайского края.
Одним из важных аспектов решаемой комплексной задачи является адекватная и объективная оценка эффективности образовательных курсов и учебных программ. При этом очевидно, что понятие эффективности выходит далеко за пределы сравнения количественных показателей, таких как охват целевой аудитории, степень узнаваемо-
сти программ или показатели статистических опросов, характеризующие поведенческие модели населения в области личных финансов, но и должно включать в себя оценку полученных практических навыков принятия финансовых решений с учетом сложившейся на рынке розничных финансовых услуг ситуации.
Отправной точкой в изучении текущего уровня компетенций в области личных финансов является «Базовое исследование уровня финансовой грамотности и компетентности российского населения», которое проводилось в 2012 г. по различным целевым группам в целом по России и в разрезе пилотных регионов. Его авторы отмечают, что «базовое исследование необходимо для того, чтобы впоследствии оценить эффективность проводимых программ» [1], однако в их задачи разработка самих критериев эффективности не входила.
С необходимостью оценки эффективности программ повышения финансовой грамотности специалисты Калининградского государственного технического университета столкнулись в 2013-2015 гг. при разработке и реализации в рамках национального проекта и региональной государственной программы «Эффективные финансы» ряда образовательных курсов по финансовой грамотности, включающих в себя программы и учебные материалы [2] для студентов, сотрудников бюджетных учреждений, работающего населения с низким и средним уровнем доходов, пенсионеров.
Согласно предложенной шкале, эффективность образовательного курса оценена была как средняя, а итоговый уровень знаний - как хороший.
Вместе с тем был сделан вывод, что первоначально принятый подход характеризуется определенными недостатками:
1) приведенные численные показатели не были строго научно обоснованы и выступали как экспертная оценка;
2) показатели эффективности ориентированы не на достижение целевого показателя, а на относительное изменение результата тестирования;
3) показатели не учитывали разницу в уровне начальной подготовки слушателей. Так, наимень-
В качестве инструментария для оценки эффективности образовательного курса для «школ третьего возраста» (населения старше 45 лет) нами были определены статистические и математические методы обработки информации, полученной в результате проведения обучения. Оценка знаний слушателей проводилась при помощи тестов объемом 26 вопросов, предусматривающих выбор одного правильного ответа из нескольких предложенных. На этапе разработки образовательного курса, исходя из экспертных оценок, то есть с определенной степенью произвольности, его эффективность было предложено оценивать по критерию улучшения средних результатов входного и выходного тестирования:
- менее 20 процентных пунктов - низкая;
- 20-50 процентных пунктов - средняя;
- свыше 50 процентных пунктов - высокая.
При этом знания обучающихся по результатам тестирования оценивались по следующей шкале доли правильных ответов:
- менее 30 % - неудовлетворительные;
- 30-55 % - удовлетворительные;
- 55-75 % - хорошие;
- более 75 % - отличные.
В соответствии с принятым подходом была проведена оценка эффективности завершенного образовательного курса в целом и в разрезе входящих в его состав трех учебных модулей (табл. 1).
Таблица 1
шая эффективность достигнута для модуля «Общественные финансы», уровень выходных знаний по которому имеет наивысшую оценку. Очевидно, что при показателе входного тестирования в 50 % правильных ответов и выше оценить эффективность образовательного курса как высокую (улучшение свыше 50 п. п.) не представляется возможным.
Полученная по результатам проведения образовательного курса статистическая выборка включает данные по результатам 347 входных и 327 выходного тестов. Подобная выборка представляется достаточно мощной для выявления статистических закономерностей и углубленного анализа результатов проведенного обучения, а также выработки
Результаты тестирования
Наименование модуля Доля правильных ответов, % Изменение, процентных пунктов
входной тест выходной тест
Личное финансовое планирование 32 65 +33
Услуги коммерческих банков 37 72 +35
Общественные финансы 51 75 +24
В целом по образовательному курсу 40 72 +32
подхода к более строгому определению критериев эффективности с использованием количественных целевых индикаторов.
Следует отметить, что предусмотренная учебной программой методика тестирования не предполагает сопоставления результатов входного и выходного контроля по каждому обучаемому (тестирование проводилось анонимно), поэтому анализ индивидуальных результатов не мог быть проведен. Алгоритм статистического исследования эффективности образовательного курса заключался в следующем:
1. Представление результатов входного и выходного тестирования в виде дискретного распределения.
2. Расчет статистических показателей распределения: математического ожидания, дисперсии и среднеквадратичного отклонения.
Результаты входного тестирования с высокой степенью соответствия аппроксимируются нормальным распределением (распределением Гаусса), широко применяемым в статистическом анализе и, в частности, в математическом анализе качества тестовых заданий [3]. Коэффициент корреляции результатов входного тестирования с функцией нормального распределения, использующей рассчитанные статистические параметры, составил 98,4 %. Уровень достоверности аппроксимации в
3. Выбор аналитического закона распределения, аппроксимирующего полученное дискретное распределение.
4. Определение численных параметров построенной модели с использованием методов регрессионного анализа. При этом параметры модели должны удовлетворять следующим требованиям:
- максимальный коэффициент корреляции фактических данных и модели распределения;
- равенство средних результатов по выборке и по математической модели;
- удовлетворение модели выбранному статистическому критерию согласия.
5. Интерпретация полученных результатов.
Графическое представление дискретного распределения результатов входного и выходного тестирования приведены на рисунке 1. Статистические параметры показаны в таблице 2.
Таблица 2
соответствии с критерием согласия Пирсона оценен в 1 (максимальное соответствие).
В то же время применение нормального распределения с рассчитанными параметрами для выходного теста продемонстрировало меньшее соответствие. Математически эти выражается в росте дисперсии, а диаграмма (рис. 2) показывает существенное отклонение от нормального распределения. Корреляция функции Гаусса и результатов выходного тестирования оказывается меньше, чем в случае входного те-
Рис. 1. Распределение результатов входного и выходного тестирования
Статистические параметры нормального распределения
Описание Значения для входного теста Значения для выходного теста
математическое ожидание, процентов 40,0 71,5
дисперсия 8,70 10,20
среднеквадратичное отклонение 2,95 3,19
стирования и составляет 94,19 %. Кроме того, максимальный показатель распределения для выходного тестирования, в отличие от входного, не соответствует математическому ожиданию.
В ходе проведения анализа сделано предположение о существенном различии в результатах выходного тестирования слушателей в зависимости от личностных характеристик, которые обобщенно можно определить как мотивацию к получению знаний. В этом случае итоговую функцию можно представить в виде двух нормальных распределений - для группы с наличием мотивации и для группы с несформированной мотивацией (рис. 3):
f (x) = f x) + (1 - km )f2( x)
Параметр кт представляет собой коэффициент мотивации, показывающий статистическую долю слушателей, в необходимой степени воспринимающих учебный материал. Соответственно, величина (1- кт) характеризует долю слушателей, у которых снижен уровень освоения программы.
Рис. 2. Аппроксимация результатов тестирования функциями нормального распределения
Рис. 3. Разложение результатов выходного тестирования по уровню мотивации слушателей
Для группы с несформированной мотивацией статистические параметры распределения (дисперсия и среднеквадратичное отклонение) приняты равными значениям входного тестирования.
При проведении регрессионного анализа итогового распределения определены значения параметров, при которых корреляция полученной функции с результатами выходного тестирования будет максимальной (табл. 3).
При использовании полученных значений достигается высокая степень соответствия результатов выходного тестирования и функции распределения (рис. 4). Рассчитанная корреляция функции итогового распределения и результатов тестирования составила 99,05 %.
Результаты проведенного анализа интерпретируются следующим образом.
1. В состав групп обучаемых входят лица с различной степенью восприимчивости учебного материала, которая может зависеть как от сложности курса, так и от индивидуальных личностных характеристик. Материал учебной программы по финансовой грамотности разработан с учетом образовательных и возрастных характеристик целевой аудитории и облегчен для восприятия. В связи с этим можно предположить, что главным фактором, влияющим на освоение программы, выступает мотивация слушателей к обучению, то есть осознание ими получаемых знаний и навыков нужными и актуальными.
Таблица 3
Результаты регрессионного анализа результатов выходного тестирования
Параметр Значение
Коэффициент мотивации км 73 %
Математическое ожидание по группе с несформированной мотивацией 57,2
Математическое ожидание по группе со сформированной мотивацией 76,9
дисперсия результатов для группы со сформированной мотивацией 4,5
дисперсия результатов для группы с несформированной мотивацией 8,7
Рис. 4. Аппроксимация результатов выходного тестирования с учетом уровня мотивации
2. Уровень финансовой грамотности слушателей до начала образовательного курса в незначительной степени зависит от степени их мотивации, что характеризуется соответствием результатов входного тестирования нормальному распределению.
3. Доля слушателей со сформированной мотивацией к обучению характеризуется коэффициентом мотивации и составляет около % общего количества обучаемых (73 %).
4. Слушатели со сформированной мотивацией показали улучшение результатов тестирования на 37 п. п. по сравнению с общими результатами входного тестирования. Средний результат по данной группе, оцененный по показателю математического ожидания, соответствует 77 % правильных ответов, что согласно принятой методике оценки характеризует уровень полученных знаний «отлично» (свыше 75 %).
5. Слушатели с пониженной мотивацией составляют около % (27 %) обучаемых и демонстрируют худший результат: улучшение результатов тестирования на 17 п. п. (низкая эффективность курса - ниже 20 п. п.) со средним результатом выходного тестирования 57 % (оценка уровня знаний «хорошо»). Характерно, что рассчитанная доля ука-
занных слушателей полностью соответствует принятой в психометрической статистике доле учащихся низким уровнем успеваемости [4].
6. Средневзвешенный выходной результат с применением коэффициента мотивации составляет 32 п. п. улучшения результатов тестирования, что полностью соответствует совокупному среднему значению выходного теста.
Изложенный подход позволяет более строго и обоснованно подойти к оценке эффективности программ финансовой грамотности. Методологическую базу расширяет разработанная по заданию Министерства финансов Российской Федерации и в соответствии с мировым опытом «Рамочная система компетентности в области финансовой грамотности» [5]. Эта система для девяти предметных областей финансовой грамотности (доходы и расходы, личные сбережения, кредитование, финансовая безопасность и т. д.) предусматривает базовый и продвинутый уровни компетенций, включающих в себя три компоненты: личные характеристики и установки, знания и понимание, умения и поведение.
На основе установленной рамки компетенций и полученных в результате статистического анализа
значений численных показателей предложен метод для расчета целевого индикатора образовательного курса по финансовой грамотности для взрослого населения при использовании тестов в качестве контрольно-измерительных материалов. В соответствии с компетентностным подходом 50 % тестовых заданий направлены на оценку компонентов базового уровня и 50 % - на оценку компонентов продвинутого уровня. Целевой индикатор должен соответствовать уверенному подтверждению по окончании курса компетенций базового уровня и формированию у части обучающихся компетенций продвинутого уровня.
Количественное значение целевого индикатора должно соответствовать следующим показателям:
- доля обучающихся со сформированной мотивацией составляет 73 %;
- в качестве значений дисперсии и среднеквадратичного отклонения принимаются статистически полученные величины для групп со сформированной и несформированной мотивацией;
- медианное значение для обучающихся с несформированной мотивацией должно соответствовать базовому уровню (правильные ответы на вопросы, сформулированные для данного уровня) - не менее 50 % от всех вопросов;
- 99,7 % обучающихся со сформированной мотивацией дают правильные ответы на все вопросы базового уровня. Медианное значение результата выходного теста при этом соответствует целевому критерию для обучающихся с несформиро-ванной мотивацией (50 % ответов на вопросы) плюс утроенное значение среднеквадратичного отклонения.
С учетом того, что при проведении тестирования вопросы базового и продвинутого уровня могут оцениваться разным количеством баллов, предложена формула для расчета целевого индикатора I:
wB - весовой коэффициент (балльная оценка) вопросов базового уровня;
w4 - весовой коэффициент (балльная оценка) вопросов продвинутого уровня.
В соответствии со сформулированными целевыми показателями значение количественного индикатора составит 68 % при одинаковой оценке вопросов базового и продвинутого уровня (весовые коэффициенты wB и wA равны 1) и 58 % при оценке вопросов продвинутого уровня с весовым коэффициентом 2.
Предложенный подход к оценке эффективности образовательных программ по финансовой грамотности с учетом компетентностного подхода и обоснованием численной величины целевого индикатора эффективности позволит систематизировать показатели разных программ, рассчитанных на различные целевые группы, и провести их сравнительный анализ.
Литература
1. Базовое исследование уровня финансовой грамотности и компетентности российского населения / Министерство финансов Российской Федерации. 2015. URL: http ://minfin.ru/ru/document/?id_4=63405
2. Личные финансы: учебное пособие / под ред. А. Г. Мнацаканяна. Калининград: Изд-во ФГБОУ ВО «КГТУ». 2016.
3. Звонников В. И., Челышкова М. Б. Контроль качества обучения при аттестации: компетентностный подход. М.: Логос. 2009. С. 206.
4. Беляков Н. А. Система образования и подготовка преподавателей / под ред. Н. А. Белякова, А. П. Щер-бо. С.-Петербург, 2002. Т. 1. URL: http://www.pub-health.spb.ru/WHealth/evalu.htm
5. Министерство финансов Российской Федерации. Система («рамка») финансовой компетентности взрослого населения от 05.06.2015 г. URL: http://minfin.ru-/ru/document/?id 4=63407
I = к„
Ri ■ wB
m
+ К ■ w
m
A \
wB + wA
+ 0 - km )■ RB ■ WB
wB + wA
где кт - коэффициент мотивации, характеризующий возможность полного прохождения образовательного курса и формирования компетенций продвинутого уровня;
ЯтБ - целевая доля правильных ответов мотивированных обучающихся на вопросы базового уровня;
Ят4 - целевая доля правильных ответов мотивированных обучающихся на вопросы продвинутого уровня;
Япв - целевая доля правильных ответов немотивированных обучающихся на вопросы базового уровня;
References
1. Bazovoye issledovaniye urovnya finansovoj gramotnosti i kompetentnosti rossijskogo naseleniya [Basic research of level of financial literacy and competence of the Russian population] / Ministerstvo finansov Rossijskoj Feder-atsii. 2015. URL: http://minfin.ru/ru/document/?id_4=63405
2. Lichnye finansy: uchebnoye posobiye [Personal finance: study guide] / pod red. A. G. Mnatsakanyana. Kaliningrad: Izd-vo FGBOU VO «KGTU». 2016.
3. Zvonnikov V. I., Chelyshkova M. B. Kontrol' kachestva obucheniya pri attestatsii: kompetentnostnyj pod-khod [Quality control of training at certification: competence-based approach]. M.: Logos. 2009. S. 206.
4. Belyakov N. A. Sistema obrazovaniya i podgotovka prepodavatelej [Education system and training of teachers] / pod red. N. A. Belyakova, A. P. Shcherbo. S.-Peterburg,
2002. T. 1. URL: http://www.pub-health.spb.ru/WHealth-/evalu.htm
5. Ministerstvo finansov Rossijskoj Federatsii. Sistema («ramka») finansovoj kompetentnosti vzroslogo
naseleniya ot 05.06.2015 g. [Ministry of Finance of the Russian Federation. System («frame») of financial competence of adult population from 05.06.2015] URL: http://minfin.ru-/ru/document/?id_4=63407
* * *
ASSESSMENT OF EFFICIENCY OF PROGRAMS OF FINANCIAL LITERACY OF THE POPULATION
MNATSAKANYAN ALBERT GURGENOVICH Kaliningrad State Technical University, Kaliningrad, the Russian Federation, e-mail: rektor64@mail.ru
EVSTAFYEV KONSTANTIN ALEKSANDROVICH Kaliningrad State Technical University, Kaliningrad, the Russian Federation, e-mail: konst-evst@yandex.ru
Object of research is the assessment of efficiency of the programs of financial literacy realized within the federal project «Assistance to Increase in Level of Financial Literacy of the Population and to Development of Financial Education in the Russian Federation». Target groups of the project are various both on age, and on education level. In this regard scientific justification of methodology of an assessment of results of various educational programs will promote formation of the general approach to an assessment and comparison of their efficiency. The purpose of work is development of a method of calculation of the quantitative indicator of efficiency of programs of financial literacy. The methodology of a research includes competence-based approach to an assessment of level of financial literacy according to frame system of the Ministry of Finance of the Russian Federation, the statistical analysis of results of testing of students including an assessment of consent of analytical distribution with data of statistical selection, the regression and correlation analysis. The method of calculation of the integrated quantitative indicator offered by authors considering the levels of development of competences and motivation of target audience is result. Authors showed that results of development of programs of financial literacy can be in the form of set of normal distributions with the parameters corresponding to results of the researches presented earlier. Results of development of programs of financial literacy don't only depend on level of training of listeners, but also on existence of motivation to obtaining new knowledge and skills. The learning efficiency assessment with use of traditional criterion of comparison of results of the entrance and output test cannot provide comparability of the programs calculated on different target groups. The offered technique allows to establish the target levels of development of competences for various training programs and to carry out objective comparison of their efficiency.
Key words: financial literacy, statistics, normal distribution, regression analysis
Об авторах:
Мнацаканян Альберт Гургенович, доктор экономических наук, профессор, директор Института финансов, экономики и менеджмента Калининградского государственного технического университета, г. Калининград
Евстафьев Константин Александрович, кандидат экономических наук, доцент кафедры финансов и кредита Калининградского государственного технического университета, член Экспертного совета по финансовой грамотности Министерства финансов Калининградской области, г. Калининград
About the authors:
Mnatsakanyan Albert Gurgenovich, Doctor of Economics, Professor, Director of Institute of Finance, Economy and Management, Kaliningrad State Technical University, Kaliningrad
Evstafyev Konstantin Aleksandrovich, Candidate of Economics, Associate Professor of the Finance and Credit Department, Kaliningrad State Technical University, Member of Advisory Council on Financial Literacy of the Ministry of Finance of the Kaliningrad Region, Kaliningrad
A. G. MNATSAKANYAN, K. A. EVSTAFYEV ^ JJ J\o 1 2017
