CC BY
40
УДК 336.71 JEL: G10, G21 Матвеевский Сергей Сергеевич
канд. техн. наук, ФГОБУ ВО «Финансовый университет при Правительстве Российской Федерации» (Финуниверситет), г. Москва, Российская Федерация ORCID: 0000-0002-8307-910X e-mail: ssmatveevskii@fa.ru
DOI 10.26425/1816-4277-2021-2-144-151
СИСТЕМА ОЦЕНКИ ЭФФЕКТИВНОСТИ АЗИАТСКОГО БАНКА РАЗВИТИЯ
Аннотация. Рассмотрено содержание и особенности системы оценки эффективности Азиатского банка развития. Представлены основные требования к созданию надежных систем оценки деятельности банков развития, основанные на зарубежном опыте. Дано краткое описание деятельности Азиатского банка развития, подчеркнуто значение Независимого департамента оценки Азиатского банка развития. Выполненный автором анализ системы оценки эффективности работы Азиатского банка развития показал, что банк использует как классические финансовые показатели, так и специализированные обобщенные экономические показатели, являющиеся количественно измеримыми. Вся система экономических показателей разделена на четыре уровня, что позволяет раздельно оценивать как развитие в Азиатско-Тихоокеанском регионе, вклад Азиатского банка развития в данное развитие, так и качество управления в самом Азиатском банке развития; для каждого уровня оценки использовано свое множество показателей (индикаторов). Каскадная система оценки корпоративных результатов Азиатского банка развития обеспечивает вовлеченность всех сотрудников в достижение поставленных целей. Важно, что Азиатский банк развития использует переход от количественных данных к качественным характеристикам, что решает проблему неточности данных: формируются кластеры показателей. Система оценки эффективности Азиатского банка развития не связана с использованием единого критерия эффективности. Ключевые слова: банк развития, Азиатский банк развития, оценка эффективности, индикаторы, характеристики, финансовые показатели, экономические показатели, каскадная система оценки
Для цитирования: Матвеевский С.С. Система оценки эффективности Азиатского банка развития// Вестник университета. 2021. № 2. С. 144-151
Sergey S. Matveevskii
Cand. Sci. (Techn.), Financial University, Moscow, Russia ORCID: 0000-0002-8307-910X e-mail: ssmatveevskii@fa.ru
ASIAN DEVELOPMENT BANK PERFORMANCE ASSESSMENT SYSTEM
Abstract. The paper considers the content and features of the efficiency assessment system of the Asian Development Bank. The article presents the basic requirements for the creation of reliable systems for assessing the activities of development banks, based on foreign experience. The author gives a brief description of Asian Development Bank's activities, emphasizes the importance of Asian Development Bank's Independent Evaluation Department. The author's analysis of the Asian Development Bank performance assessment system showed that the bank uses both classical financial indicators and specialized generalized economic indicators that are quantitatively measurable. The entire system of economic indicators is divided into 4 levels, which makes it possible to separately assess both the development in the Asian Pacific Region, the contribution of Asian Development Bank to this development, and the quality of management in the Asian Development Bank itself; for each level of assessment the author used its own set of indicators (indicators). Asian Development Bank's corporate performance cascade system ensures that all staff are engaged in achieving set goals. It is important that Asian Development Bank uses the transition from quantitative data to qualitative characteristics, which solves the problem of inaccurate data: clusters of indicators are formed. Asian Development Bank's performance assessment system is not linked to the use of a single performance criterion.
Keywords: development bank, Asian Development Bank, performance assessment, indicators, characteristics, financial indicators, economic indicators, cascade assessment system
For citation: Matveevskii S.S. (2021) Asian development bank performance assessment system. Vestnik universiteta, no. 2, pp. 144-151. DOI: 10.26425/1816-4277-2021-2-144-151
© Матвеевский С.С., 2021.
Статья доступна по лицензии Creative Commons «Attribution» («Атрибуция») 4.0. всемирная (http://creativecommons.Org/licenses/by/4.0/). © Matveevskii S.S., 2021.
This is an open access article under the CC BY 4.0 license (http://creativecommons.org/licenses/by/4.0/).
Введение
Проблема оценки деятельности банков развития (далее - БР) весьма актуальна: например, Х. де Луна Мар-тинес считает, что БР, для достижения хороших результатов, должны иметь эффективную систему мониторинга и оценки; данная система должна обеспечивать отслеживание динамики основных финансовых и экономических показателей, что предоставит БР возможность своевременно вносить изменения в планы и свою деятельность [13]. Отмечается тот факт, что без надлежащей системы оценки БР не смогут понять, какие их приемы и программы действительно эффективны.
Обсуждая оценку работы БР, следует учитывать тот факт, что БР существуют для устранения так называемых провалов рынка, решения конкретных проблем в соответствии с существующими мандатами (как правило, частные банки не обеспечивают полностью необходимое финансирование), поэтому невозможно полностью полагаться на сигналы рынка об успехах или неудачах БР.
Литературный обзор
В обзоре 2017 г. «Национальные банки развития» был обобщен опыт работы большого количества БР, сформулированы рекомендации, являющиеся условием создания надежных систем оценки деятельности БР [13].
1. БР должен иметь четкий мандат.
2. На основании мандата БР, должен выбрать конкретные результаты и значимые показатели. Следует одновременно использовать как финансовые показатели, так и социальные, экономические и экологические результаты (в связи с тем, что они могут способствовать или «вредить» финансовым показателям БР).
3. БР следует тщательно отбирать показатели. Многие БР сталкиваются с высокой стоимостью данных: не следует собирать все возможные данные; важно выяснить, кто еще регулярно собирает данные, которые могут быть использованы БР.
4. БР должен иметь ясную процедуру сбора и анализа данных.
5. БР должны регулярно использовать данные в процессе принятия решений.
6. БР должны учитывать эффект ролевого моделирования: обмен данными и демонстрация того, как БР действовал (используя фактические данные), может приносить пользу БР, в том числе при сотрудничестве с другими финансовыми организациями.
В России также активно исследуются проблемы оценки деятельности институтов развития (далее -ИР). В работе Е. А. Селявиной предлагается использовать ряд критериев и индикаторов, однако, все они основаны на финансовых характеристиках [6]. В работах И. А. Никоновой предлагается использовать несколько классов показателей (как финансовых, так и социально-экономических и экологических) - фактически, более сотни отдельных показателей для комплексной оценки, но на практике, с учетом погрешностей используемых исходных данных, будет сложно получить относительно точные значения отдельных показателей, что приведет к ошибкам в оценке [2; 3]. Р. О. Левашов в своей работе предлагает для активизации инвестиционной деятельности в Ивановской области Российской Федерации создать новый региональный БР, а его эффективность оценивать с помощью совокупности финансово-экономических показателей (предлагается измерять экономический, бюджетный, социальный и экологический эффекты) [1]. Д. А. Савка предлагает использовать метод анализа среды функционирования (англ. data envelopment analysis, DEA) для оценки эффективности БР при реализации проектов государственно-частного партнерства; автор применил данный метод на практике - проанализировал и систематизировал виды и содержание финансовых и нефинансовых услуг БР [5].
В научном докладе «Оценка эффективности деятельности российских и зарубежных институтов развития» проведена оценка эффективности российских ИР, осуществлен сравнительный анализ российских ИР с зарубежными аналогами [4]. В систему основных показателей эффективности российских ИР предлагается включить: прирост ВВП (регионального ВВП), непосредственно связанный с деятельностью (инвестициями) ИР; рост налоговых поступлений в бюджеты всех уровней в абсолютных числах. Авторы считают, что одним из основных показателей эффективности вложения бюджетных средств при работе ИР является рост добавленной стоимости и объем инновационных товаров (работ, услуг), а главными бизнес-процессами ИР (они и подлежат комплексной оценке) должны быть: реализация проектов,
связанных с расширением экспорта, активизацией внешнеторговой деятельности в России, аккумулирование и использование прямых инвестиций для расширения международных экономических связей и поддержки малых и средних предприятий внутри России.
Таким образом, можно сделать вывод о том, что российские специалисты считают возможным использовать для оценки деятельности БР группу финансово-экономических показателей.
Анализ результатов
Особенный интерес представляет опыт Азиатского банка развития (далее - АБР) в области оценки своей деятельности [12]. АБР начал работать 19 декабря 1966 г. и был ориентирован преимущественно на развитие сельскохозяйственных регионов (в то время банк имел 31 члена)
В 2019 г. АБР выделил займы в объеме 21,64 млрд долл. США. Было предоставлено 4,49 млрд долл. США в виде льготной помощи и 17,15 млрд долл. США из обычных источников. Вместе с официальным и коммерческим финансированием и технической помощью общие расходы АБР в 2019 г. составили 33,74 млрд. долл. США. Возврат денежных средств (погашение кредитов) увеличился в 2019 г. на 16,1 % до 16,47 млрд. долл. США. В 2019 г. в связи с выпуском 50 издания серии ключевых показателей для Азиатско-Тихоокеанского региона (далее - АТР), была запущена новая база данных, что расширило доступ к ее комплексным макроэкономическим и социальным показателям [11].
В 2018 г. объем выданных кредитов и грантов составил 21,58 млрд долл. США, превысив целевой показатель в 19,71 млрд долл. США. Доля финансирования частного сектора в 2018 г. увеличилась за год на 37 % и составила около 3,14 млрд долл. США. Операции АБР в частном секторе позволили привлечь софинанси-рование в объеме 7,17 млрд долл. США.
Таким образом, с учетом официального и коммерческого софинансирования, технической помощи, общий объем финансирования, инициированный АБР в 2018 г., составил 35,82 млрд долл. США (рост на 13 % по сравнению с 2017 г.).
Погашение выданных кредитов и исполнение иных обязательств в 2018 г. выросли и составили 14,19 млрд долл. США (рост на 24 % по сравнению с 2017 г.).
В течение 2018 г. АБР проводил консультации и разрабатывал новую корпоративной систему оценки результатов деятельности банка, рассчитанную на использование в 2019-2024 гг. Планируется, что в структуре результатов АБР будут использоваться индикаторы, базовые показатели и целевые показатели, направленные на мониторинг деятельности банка в связи с необходимостью достижения целей Стратегии 2030.
В апреле 2018 г. АБР увеличил потолок распределения ресурсов для своих программ RBL (от англ. results based lending) до 10 % от общих ассигнований. RBL, стартовавший в марте 2013 г. как новый механизм финансирования АБР, предполагает кредитование, основанное на результатах, - очередные выплаты денежных средств увязываются с достижением конкретных результатов (в отличие от авансовых выплат, которые осуществляются при традиционном инвестиционном кредитовании) [10].
Независимый департамент оценки (англ. independent evaluation department, IED) АБР помогает совершенствовать деятельность банка, осуществляя оценку эффективности его деятельности. В частности, в 2018 г. IED оценивал взаимодействие банка с государственными предприятиями, проекты в сельском хозяйстве, производительность, проектирование и планирование кредитования. IED оценило поддержку АБР малых и средних предприятий, уделяя особое внимание деловой среде, доступу к финансам, производственно-сбытовым цепочкам и участию женщин в бизнесе. В течение 2018 г. IED, в частности, выполнило проверку реализации стратегии партнерства с такими странами, как Кыргызская Республика, Соломоновы острова и Узбекистан. Результаты проверок были использованы при подготовке и разработке страно-вых стратегий партнерства и оперативных планов АБР. В 2018г., по заданию Совета директоров АБР, был проведено исследование деятельности IED, определившее возможности совершенствования его деятельности [8].
В годовом отчете АБР за 2018 г., анализ содержания подраздела «Обзор результатов 2018 г.» позволяет заключить, что результаты деятельности АБР оцениваются с помощью:
- важнейших финансовых показателей (в частности объема предоставленных кредитов);
- успешных экономических показателей (финансирование частного сектора - 19,3 % при цели в 20 %; финансирование образования - цель достигнута; финансирование здравоохранения - цель не достигнута; государственно-частное партнерство - 99 ед., цель в 100 ед. почти достигнута; сокращение сроков закупок -на 38 дней); успешность предполагает достижение заданного количественного показателя;
- проблемных экономических показателей (успешность проектов ниже заданного уровня в 80 %; улучшение социального обеспечения - 4,9 % при целевом значении в 6 % и др.);
- ряда конкретных экономических результатов, которые можно измерить количественно (количество обученных студентов, километры построенных дорог, количество домохозяйств с улучшением водоснабжения и др.) [10].
В настоящее время в АБР используются 85 показателей переходной системы оценки результатов на 20172020 гг. для оценки развития АТР и деятельности АБР [14]. Показатели используются для четырех уровней и разделяются на два раздела.
Раздел 1 включает в себя уровень 1, который связан с оценкой результатов развития в АТР. Он не оценивает результаты деятельности АБР, но отражает динамику общего развития в регионе в соответствии с показателями, соответствующими Целям в области устойчивого развития [15].
Раздел 2 включает уровни 2, 3 и 4. Он содержит оценки результатов деятельности АБР, связанной с реализацией Стратегии 2020. Дается оценка вклада АБР в развитие с помощью представления результатов операций банка, которые были выполнены в течение предыдущих трех лет (уровень 2); уровень 3 позволяет оценить оперативное управление АБР операциями, а уровень 4 оценивает эффективность управления АБР внутренними ресурсами и процессами.
В отчете 2018 г. используются цветные индикаторы, иллюстрирующие направление изменений уровня 1, а также для оценки эффективности достижения целей уровней 2, 3 и 4. Эффективность показателей, имеющих годовые цели, определяется путем сравнения с минимальными или максимальными пороговыми значениями, установленными для каждого года в течение 2017-2020 гг.
В частности, в 2018 г. в «Обзоре эффективности развития» АБР приводятся следующие данные.
Уровень 1: динамика развития в АТР. Средний годовой темп роста реального валового внутреннего продукта на душу населения в странах - участницах АБР снизился с 5,8 % в 2015 г. до 5,4 % в 2017 г.; детская смертность снизилась с 36 на 1 тыс. рождений в 2014 г. до 31 на 1 тыс. в 2017 г.; около 92 % людей в странах - участницах АБР имели доступ к электроэнергии в 2017 г.; «охват» населения дорогами увеличился на 2,2 км на 10 тыс. человек в 2013-2016 гг.; в 2014-2017 гг. еще 396 млн взрослых граждан в странах - членах АБР открыли счета в финансовых учреждениях (70 %).
Уровень 2: вклад АБР в результаты развития. Уровень успешности суверенных проектов - 74 % - ниже целевого показателя 80 %; показатели несуверенных операций стабильны, но существенно ниже целевых значений: только 56 % подобных операций были оценены как успешные в 2016-2018 гг.; достигнут высокий уровень достижения результатов: завершенные проекты обеспечили достижение 85 % или более запланированных результатов для 20 из 22 показателей АБР.
Уровень 3: качество оперативного управления АБР. Среднее время от одобрения проекта до первого контракта на поставку сократилось до 10,4 месяца в 2018 г.; АБР выделил рекордные 14,18 млрд долл. США, объем прямого софинансирования в 2018 г. составил 13,9 млрд долл. США - 64 % от общего финансирования АБР; доля реализованных проектов, связанных с социальной защитой, поддерживающих необходимое условие инклюзивного экономического роста, снизилась до 4,9 % в 2016-2018 гг. для АБР в целом; финансирование проектов в области образования достигло 7,5% от общего объема финансирования в 2018 г.; финансирование проектов в сфере здравоохранения выросло до 2,4 %; объем финансирования проектов частного сектора увеличился на 37 % - до 3,14 млрд долл. США в 2018 г.
Уровень 4: организационное управление АБР. Доля бюджетных и международных сотрудников достигла целевого значения 56 %; до 59 % увеличилась доля сотрудников региональных отделений, работающих в представительствах АБР; среднегодовое отношение внутренних административных расходов АБР за три года на 1 млн долл. США финансирования остается в рамках целевого диапазона [14].
Для совершенствования системы оценки деятельности АБР в 2018 г. был проведен опрос сотрудников и руководителей банка [12]. Результаты опроса позволили сделать следующие выводы.
1. Индикаторы корпоративных результатов. Большинство руководителей АБР считают, что использование индикаторов позволило АБР улучшить управление результатами. Индикаторы помогли обеспечить последовательное достижение корпоративных целей при проведении операций и планировании. Например, если значение конкретного индикатора ухудшается, выявляются причины и готовятся соответствующие корректирующие действия; АБР периодически пересматривал используемые показатели (индикаторы); например, после того, как было выявлено снижение доли секторов образования и здравоохранения в общем финансировании, в систему индикаторов были добавлены новые показатели, которые имели целевые значения для обоих секторов; к 2011 г. АБР полностью интегрировал структуру корпоративных результатов (англ. corporate results framework, CRF) в цикл корпоративного управления: достигнутые результаты начали непосредственно использоваться при управлении; вовлеченность руководства и сотрудников банка позволила создать надежную методологию мониторинга и укрепить заинтересованность персонала АБР.
2. Отчетность перед участниками, включая акционеров. Акционеры АБР оценивает текущие значения индикаторов уровня 1, они также уделяют внимание уровню 2. Менеджеры АБР в основном концентрируются на индикаторах уровней 3 и 4; они подчеркнули необходимость выделения трех видов показателей: для оценки только результатов деятельности АБР, для оценки результатов развивающихся стран-членов банка и для оценки и того, и другого.
3. Возможность постановки достижимых и важных целей. Руководители АБР считают пять факторов особенно важными для эффективного управления результатами и установления целевых показателей:
- баланс амбиций и реалистичности; например, Стратегия 2020 АБР устанавливает долгосрочный целевой показатель для ежегодного прямого софинансирования - «доллар за доллар», но некоторые менеджеры банка считали такой целевой показатель явно недостижимым и неуместным;
- оценка полезности и пригодности; по мнению некоторых менеджеров банка, не все индикаторы полезны или подходят для достижения поставленных целей; менеджеры предложили исключать цели, когда прогресс (результаты) в основном находится за пределами прямого контроля АБР;
- использование надежных исходных условий и заинтересованности вовлеченных сторон; большинство опрошенных менеджеров банка заявили, что важно привлечь специалистов отрасли, которые с наибольшей вероятностью будут иметь необходимые данные и знания для участия в установлении целевых показателей;
- постоянный контроль за показателями и целевыми значениями; около половины менеджеров банка считают, что используется слишком много показателей, как следствие, мониторинг и отчетность по ним отнимают много времени; некоторые менеджеры считают идеальной ситуацией использование 10-15 индикаторов с целевыми значениями (сейчас - 85), достижение которых менеджерами банка было бы простимулировано;
- по мнению многих менеджеров АБР, слишком большое внимание к количеству в сочетании со слишком малым вниманием к качеству (в отчетах по эффективности) может оказать непреднамеренное негативное влияние на корпоративную культуру АБР; менеджеры считают, что только стремление к достижению целевых показателей эффективности может снизить внимание к качеству взаимодействия АБР с заинтересованными сторонами, планированию операций и реализации проектов.
4. Каскадные целевые показатели корпоративных результатов. Более половины руководителей АБР считают критически важным информировать всех сотрудников АБР о необходимости достижения целевых значений индикаторами; менеджеры банка также отметили важность наличия специальных механизмов для постоянного мониторинга ситуаций (обеспечение раннего выявления проблем с производительностью и принятие корректирующих действий).
В настоящее время АБР использует целевую каскадную систему оценки корпоративных результатов (переходный период 2017-2020 гг.). Данная система предполагает использование результатов годового обзора эффективности развития для формирования (уточнения) общих планов банка, дополнения (корректировки) рабочих программ, внесения уточнений в систему бюджетирования. Как следствие, вносятся изменения в отраслевую и тематическую структуру операций банка, страновые стратегии партнерства, систему проектирования и мониторинга банка. Общие планы детализируются и используются для формирования (уточнения) рабочих планов департаментов, подразделений банка, вплоть до планов работы отдельных сотрудников. Представленные действия носят итерационный характер. В 2018 г. была введена автоматизация
каскадирования целей и задач, что привело к более тесному согласованию между планами работы отделов, подразделений и персонала [9].
Выводы
Анализ системы оценки эффективности работы АБР позволяет сделать выводы о том, что банк использует:
- важнейшие финансовые показатели (объем предоставленных кредитов, объем возвращенных средств, объем софинансирования, привлеченные ресурсы и др.), характеризующие сущность и основные операции АБР как БР;
- специализированные обобщенные экономические показатели (например, объем финансирования частного сектора; успешность проектов; улучшение социального обеспечения; финансирование образования, здравоохранения; сокращение сроков закупок и др.), «успешность» которых увязывается с достижением конкретным показателем некоторого заданного для данного интервала времени значения; если конкретный показатель меньше заданного значения, то соответствующий экономический показатель характеризуется как проблемный;
- конкретные экономические результаты, которые можно измерить количественно (количество обученных студентов, сокращение выбросов парниковых газов, километры построенных дорог, количество домохозяйств с улучшением водоснабжения, количество микрофинансовых ссуд, объем трансграничных перевозок и др.);
- систему экономических показателей, которая разделена на четыре уровня; это позволяет раздельно, количественно и качественно, оценивать как развитие в АТР регионе, вклад АБР в данное развитие, так и качество управления в самом АБР; для каждого уровня оценки используется свое множество показателей (индикаторов); допускается изменение (дополнение) индикаторов, если по итогам работы за некоторый интервал времени выясняется, что система управления банка работает не эффективно;
- каскадную систему оценки корпоративных результатов, предоставляющую возможность детализировать показатели (общие цели) до уровня задач рядовых сотрудников банка, что обеспечивает вовлеченность сотрудников в достижение поставленных целей;
- многоуровневая система оценки деятельности АБР, основанная на совокупности показателей и индикаторов, может быть адаптирована к изменению стратегии АБР (например, «реакция» банка на пандемию коронавируса);
- различные цвета и условные обозначения позволяют быстро визуализировать успехи и проблемы в деятельности АБР.
Принципиально важно, что АБР использует переход от количественных данных к качественным характеристикам (например, успешность реализации проекта), что решает проблему неточности (грубости) данных (фактически формируются кластеры показателей); система оценки эффективности АБР не связана с использованием единого критерия эффективности (как делают, например, рейтинговые агентства).
Безусловно, опыт АБР в создании системы оценки своей эффективности будет полезен и для российских ИР. Это особенно актуально в связи с реорганизацией российских ИР: в конце ноября 2020 г. «Роснано», «Сколково» и еще шесть ИР перешли под управление ВЭБ.РФ [7]. В настоящее время ВЭБ.РФ использует для характеристики своей деятельности только финансовые показатели, в частности по итогам трех кварталов 2020 г. активы ИР составляли 42,7 млрд долл. США, обязательства - 35,2 млрд долл. США, а кредитный портфель был равен 20,1 млрд долл. США. Операционный доход равнялся 146,1 млрд долл. США (на 34,2 % больше, чем в 2019 г.) [8].
Библиографический список
1. Левашов, Р.О. Оценка эффективности деятельности регионального банка развития на примере Ивановской области //
Вестник Белгородского университета кооперации, экономики и права. - 2015. - № 3. - С. 427-433.
2. Никонова, И.А. Банк развития: оценка эффективности кредитно-инвестиционной деятельности // Труды Института
системного анализа Российской академии наук. - 2013. - Т. 63, № 1. - С. 77-84.
3. Никонова, И.А. Оценка социально-экономической эффективности деятельности национального банка развития // Финансы и кредит. - 2013. - № 5 (533). - С. 2-10.
4. Оценка эффективности деятельности российских и зарубежных институтов развития: научный доклад / под ред. И.Н. Рыковой. - М.: Научно-исследовательский финансовый институт, 2016. - 204 с.
5. Савка, Д.А. Применение метода DEA для оценки эффективности банков развития в сфере ГЧП // Экономика. Бизнес. Банки. - 2019. - № 3. - С. 128-141.
6. Селявина, Е.А. Модель оценки эффективности деятельности банков развития на макроуровне // Экономика. Налоги. Право. - 2015. - № 2. - С. 135-145.
7. О реорганизации институтов развития // РБК [Электронный ресурс]. - Режим доступа: https://www.rbc.ru/business/23/1 1/2020/5fb8ce659a79471e74bd2245 (дата обращения: 06.12.2020).
8. Презентация для инвесторов. Декабрь 2020 // ВЭБ.РФ [Электронный ресурс]. - Режим доступа: http://www.вэб.рф/ (дата обращения: 10.12.2020).
9. An External Review of the Independent Evaluation Department of the Asian Development Bank // Asian Development Bank. -October 2018; [Электронный ресурс]. - Режим доступа: https://www.adb.org/documents/adb-independent-evaluation-department-external-review (дата обращения: 19.11.2020); https://dx.doi.org/10.22617/TCS189610-2.
10. Annual Report 2018 // Asian Development Bank [Электронный ресурс]. - Режим доступа: https://www.adb.org/sites/default/ files/institutional-document/496016/adb-annual-report-2018.pdf (дата обращения: 02.12.2020).
11. Annual Report 2019 // Asian Development Bank [Электронный ресурс]. - Режим доступа: https://www.adb.org/sites/default/ files/institutional-document/650011/adb-annual-report-2019.pdf (дата обращения: 22.12.2020).
12. Asian Development Bank: official website [Электронный ресурс]. - Режим доступа: http://www.adb.org/ (дата обращения: 10.12.2020).
13. De Luna-Martinez, J. 2017 Survey of National Development Banks: Global Report // World Bank Group, World Federation of Development Financing Institutions, 2018. - 68 p.
14. Development Effectiveness Review 2018 // Asian Development Bank. - April 2019; [Электронный ресурс]. - Режим доступа: https://www.adb.org/documents/development-effectiveness-review-2018-report (дата обращения: 02.12.2020); https://dx.doi. org/10.22617/TCS190119-2.
15. The 2030 Agenda for Sustainable Development and the SDGs // European Commission website [Электронный ресурс]. - Режим доступа: https://ec.europa.eu/environment/sustainable-development/SDGs/index_en.htm (дата обращения: 02.12.2020).
References
1. Levashov R.O. Evaluation of the effectiveness of the regional development bank on the example of the Ivanovo region, Herald of the Belgorod University of Cooperation, Economics and Law, 2015, no.3, pp. 427-433. (In Russian).
2. Nikonova I.A. Development bank: assessment of the effectiveness of credit and investment activities, Proceedings of the Institute of System Analysis of the Russian Academy of Sciences, 2013, vol. 63, no.1, pp. 77-84. (In Russian).
3. Nikonova I.A. Assessment of the socio-economic effectiveness of the national development bank, Finance and Credit, 2013, no. 5 (533), pp. 2-10. (In Russian).
4. Evaluation of the effectiveness of Russian andforeign development institutions, edited by Rykova I.N., Moscow, Financial Research Institute, 2016, 204 p. (In Russian).
5. Savka D.A. Application of the DEA method to assess the effectiveness of development banks in the field of public-private partnerships, Ewnomy. Business. Banks, 2019, no. 3, pp. 128-141. (In Russian).
6. Selyavina E.A. Model for assessing the effectiveness of development banks at the macro level, Economy. Taxes. Law, 2015, no. 2, pp. 135-145. (In Russian).
7. On the reorganization of development institutions, RBC. Available at: https://www.rbc.ru/business/23/11/2020/5fb8ce-659a79471e74bd2245 (accessed 06.12.2020). (In Russian).
8. Investor presentation. December 2020, VEB.RF. Available at: http://www.veb.rf/ (accessed 10.12.2020). (In Russian).
9. An External Review of the Independent Evaluation Department of the Asian Development Bank, Asian Development Bank, October 2018. Available at: https://www.adb.org/documents/adb-independent-evaluation-department-external-review (accessed 19.11.2020) https://dx.doi.org/10.22617/TCS189610-2.
10. Annual Report 2018, Asian Development Bank, Available at: https://www.adb.org/sites/default/files/institutional-docu-ment/496016/adb-annual-report-2018.pdf (accessed 02.12.2020).
11. Annual Report 2019, Asian Development Bank. Available at: https://www.adb.org/sites/default/files/institutional-docu-ment/650011/adb-annual-report-2019.pdf (accessed 22.12.2020).
12. Asian Development Bank: official website. Available at: http://www.adb.org/ (accessed 10.12.2020).
13. De Luna-Martinez J. 2017 Survey of National Development Banks, Global Report, World Bank Group, World Federation of Development Financing Institutions, 2018, 68 p.
14. Development Effectiveness Review 2018, Asian Development Bank, April 2019. Available at: https://www.adb.org/documents/ development-effectiveness-review-2018-report (accessed 02.12.2020). https://dx.doi.org/10.22617/TCS190119-2.
15. The 2030 Agenda for Sustainable Development and the SDGs, European Commission website. Available at: https://ec.europa. eu/environment/sustainable-development/SDGs/index_en.htm (accessed 02.12.2020).
