Научная статья на тему 'ТЕСТИРОВАНИЕ ЗАРУБЕЖНЫХ И ОТЕЧЕСТВЕННЫХ МОДЕЛЕЙ ПРОГНОЗИРОВАНИЯ БАНКРОТСТВ НА РОССИЙСКИХ ПРЕДПРИЯТИЯХ'

ТЕСТИРОВАНИЕ ЗАРУБЕЖНЫХ И ОТЕЧЕСТВЕННЫХ МОДЕЛЕЙ ПРОГНОЗИРОВАНИЯ БАНКРОТСТВ НА РОССИЙСКИХ ПРЕДПРИЯТИЯХ Текст научной статьи по специальности «Экономика и бизнес»

CC BY
277
48
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
БАНКРОТСТВО / ФИНАНСОВАЯ НЕСОСТОЯТЕЛЬНОСТЬ / ПРАВОВОЕ РЕГУЛИРОВАНИЕ / МОДЕЛИРОВАНИЕ БАНКРОТСТВ

Аннотация научной статьи по экономике и бизнесу, автор научной работы — Ковалев В. В., Молдобаев Т. Ш.

В последнее время в отечественной аналитической науке и практике довольно популярной стала тема прогнозирования финансовой несостоятельности организации на основе публичных открытых данных. Как правило, все модели строятся по одному принципу: на основе выборки организаций из реестра банкротств выискиваются определенные зависимости между отдельными коэффициентами, которые должны удовлетворять определенным статистическим тестам. Фактически исследователь широко использует лишь математический (статистический) аппарат, не придавая значения логике и экономическому смыслу представленных соотношений. Нисколько не принижая роль математического инструментария в исследованиях подобного рода, отметим, что любая модель должна иметь некий экономический стержень, описывающий логику и характер влияния предлагаемых факторов на конечный результат. Статья посвящена тестированию наиболее популярных моделей прогнозирования на предприятиях реального сектора с целью изучения возможности применения указанных моделей в хозяйственной практике.

i Надоели баннеры? Вы всегда можете отключить рекламу.
iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

TESTING OF FOREIGN AND DOMESTIC MODELS OF BANKRUPTCY PREDICTION AT RUSSIAN ENTERPRISES

Recently, the topic of forecasting the financial insolvency of an organization based on public open data has become quite popular in domestic analytical science and practice. In general, all models are built according to the same principle: a sample of organizations from the bankruptcy register reveals certain dependencies between individual coefficients that must satisfy certain statistical tests. In fact, the researcher makes extensive use only of the mathematical (statistical) apparatus, not attaching importance to the logic and economic meaning of the represented ratios. Without at all belittling the role of mathematical tools in research of this kind, we note that any model should have a certain economic core that describes the logic and the nature of the influence of the proposed factors on the final result. The article is devoted to testing the most popular forecasting models at enterprises of the real sector in order to study the possibility of using these models in economic practice.

Текст научной работы на тему «ТЕСТИРОВАНИЕ ЗАРУБЕЖНЫХ И ОТЕЧЕСТВЕННЫХ МОДЕЛЕЙ ПРОГНОЗИРОВАНИЯ БАНКРОТСТВ НА РОССИЙСКИХ ПРЕДПРИЯТИЯХ»

УДК 336

ТЕСТИРОВАНИЕ ЗАРУБЕЖНЫХ И ОТЕЧЕСТВЕННЫХ МОДЕЛЕЙ ПРОГНОЗИРОВАНИЯ БАНКРОТСТВ НА РОССИЙСКИХ ПРЕДПРИЯТИЯХ

Ковалев В. В., Mолдобаев Т. Ш.

Санкт-Петербургский государственный университет E-mail: vvk77@inbox.ru

В последнее время в отечественной аналитической науке и практике довольно популярной стала тема прогнозирования финансовой несостоятельности организации на основе публичных открытых данных. Как правило, все модели строятся по одному принципу: на основе выборки организаций из реестра банкротств выискиваются определенные зависимости между отдельными коэффициентами, которые должны удовлетворять определенным статистическим тестам. Фактически исследователь широко использует лишь математический (статистический) аппарат, не придавая значения логике и экономическому смыслу представленных соотношений. Нисколько не принижая роль математического инструментария в исследованиях подобного рода, отметим, что любая модель должна иметь некий экономический стержень, описывающий логику и характер влияния предлагаемых факторов на конечный результат. Статья посвящена тестированию наиболее популярных моделей прогнозирования на предприятиях реального сектора с целью изучения возможности применения указанных моделей в хозяйственной практике.

Ключевые слова: банкротство, финансовая несостоятельность, правовое регулирование, моделирование банкротств

DOI: 10.32324/2412-8945-2021-3-10-19

TESTING OF FOREIGN AND DOMESTIC MODELS OF BANKRUPTCY PREDICTION

AT RUSSIAN ENTERPRISES

Kovalev V. V., Moldobaev T. Sh.

Saint Petersburg State University E-mail: vvk77@inbox.ru

Recently, the topic of forecasting the financial insolvency of an organization based on public open data has become quite popular in domestic analytical science and practice. In general, all models are built according to the same principle: a sample of organizations from the bankruptcy register reveals certain dependencies between individual coefficients that must satisfy certain statistical tests. In fact, the researcher makes extensive use only of the mathematical (statistical) apparatus, not attaching importance to the logic and economic meaning of the represented ratios. Without at all belittling the role of mathematical tools in research of this kind, we note that any model should have a certain economic core that describes the logic and the nature of the influence of the proposed factors on the final result. The article is devoted to testing the most popular forecasting models at enterprises of the real sector in order to study the possibility of using these models in economic practice.

Key words: bankruptcy, insolvency, legal regulation, modeling of bankruptcies

DOI: 10.32324/2412-8945-2021-3-10-19

Введение

Эффективность деятельности предприятий во многом зависит от их способности преждевременно выявлять и снижать предпринимательские риски, которые могут возникнуть на любом этапе процесса воспроизводства — начиная с момента приобретения товарно-материальных ценностей и заканчивая реализацией готовой продукции. Поэтому для обеспечения непрерывности бизнес -процессов организации необходимо осуществлять мониторинг деятельности как текущих, так и потенциальных контрагентов на предмет риска возникновения признаков банкротства для дальней-

ISSN 2412-8945. Развитие территорий. 2021. № 3 (25). © Ковалев В. В., 2021 © Mow6aeB Т. Ш., 2021

шего принятия управленческих решений, направленных на снижение возможных убытков. К негативным последствиям, которые могут появиться в результате признания арбитражным судом поставщиков и покупателей банкротами, можно отнести: приостановление деятельности из-за срыва договоров о поставке запасов и других материальных ценностей, используемых в процессе производства; невозврат авансов, перечисленных поставщикам; полное или частичное неполучение дебиторской задолженности, возникшей в результате реализации готовой продукции; прекращение действия договоров по предоставлению займов, кредитов или инвестиций.

В соответствии с данными Единого федерального реестра юридически значимых сведений о фактах деятельности юридических лиц, инди-

видуальных предпринимателей и иных субъектов экономической деятельности средняя продолжительность процедуры банкротства увеличилась, что обусловлено использованием недобросовестными должниками сложных схем по выводу активов, которые требуют много времени на оспаривание сделок и возврат имущества. Кроме того, доля удовлетворенных требований по делам о банкротстве составила 4,7 %, при этом доля дел, в которых по итогам конкурсного производства кредиторы ничего не получили, равна 68 % [1] (наиболее красноречивый параметр). Приведенная статистика свидетельствует об актуальности применения различных мер, направленных на

прогнозирование вероятности возбуждения дел о банкротстве контрагентов с целью снижения возможных убытков. В этой связи моделирование финансовой несостоятельности потенциального контрагента представляется экономически оправданной мерой предосторожности в современных условиях хозяйствования.

Целью настоящего исследования является тестирование зарубежных и отечественных моделей прогнозирования банкротства (табл. 1) на предмет их прогнозной ценности с применением больших массивов данных, представленных в форме бухгалтерских отчетностей российских организаций за 2016—2018 гг.

Таблица 1

Описание зарубежных и отечественных моделей прогнозирования банкротства (МПБ)

Авторы модели Формула Интерпретация результатов

Э. Альтман г = 0,717 • А1 + 0,847 • А2 + 3,107 • А3 + 0,42 • А4 + 0,998 • А5, где А1 — отношение рабочего капитала к совокупным активам; А2 — отношение нераспределенной прибыли к совокупным активам; А3 — отношение ЕВ1Т к совокупным активам; А4 — отношение собственного капитала к совокупным обязательствам; А5 — отношение выручки к совокупным активам г > 2,9 — область финансовой устойчивости; 2,9 > г > 1,23 — область неопределенности; г < 1,23 — область банкротства

Р. Лис г = 0,063 • 11 + 0,092 • 12 + 0,057 • 13 + 0,001 • 14, где Ь1 — отношение рабочего капитала к совокупным активам; Ь2 — отношение ЕВ1Т к совокупным активам; Ь3 — отношение нераспределенной прибыли к совокупным активам; Ь4 — отношение собственного капитала к совокупным обязательствам г > 0,037 — область финансовой устойчивости; г < 0,037 — область банкротства

Р. Таффлер, Г. Тишоу г = 0,53 • Т1 + 0,13 • Т2 + 0,18 • Т3 + 0,16 • Т4, Т1 — отношение прибыли от продаж к краткосрочным обязательствам; Т2 — отношение оборотных активов к совокупным обязательствам; Т3 — отношение краткосрочных обязательств к совокупным активам; Т4 — отношение выручки к совокупным активам г > 0,3 — область финансовой устойчивости; 0,3 > г > 0,2 — область неопределенности; г < 0,2 — область банкротства

Г. Спрингейт г = 1,03 • 51 + 3,07 • 82 + 0,66 • 53 + 0,4 • 84, где 81 — отношение рабочего капитала к совокупным активам; 82 — отношение ЕВ1Т к совокупным активам; 83 — отношение прибыли до налогообложения к краткосрочным обязательствам; 84 — отношение выручки к совокупным активам г > 0,862 — область финансовой устойчивости; г < 0,862 — область банкротства

А. В. Казаков, А. В. Колышкин Р = 1 / (1 + в"7) Сельское хозяйство: 7 = -6,903 - 16,416 • К1 - 0,43 • К2 - 0,326 • К3 + 0,335 • К4 Строительство: 7 = -17,603 - 0,038 • К5 + 0,007 • К6 + 0,961 • К4 Торговля: 7 = -22,329 - 1,825 • К1 - 0,181 • К7 - 0,039 • К8 + 1,395 • К4 Услуги: 7 = -16,478 - 3,493 • К1 - 0,215 • К9 + 0,888 • К4, где К1 — отношение денежных средств к краткосрочным обязательствам; К2 — отношение чистой прибыли к совокупным обязательствам; К3 — отношение собственного капитала к совокупным обязательствам; К4 — натуральный логарифм совокупных обязательств; К5 — отношение собственного капитала к оборотным активам; К6 — отношение совокупных обязательств к выручке; К7 — натуральный логарифм совокупных активов за вычетом дебиторской задолженности; К8 — натуральный логарифм выручки; К9 — отношение прибыли до налогообложения к совокупным активам Р > 0,5 — область финансовой устойчивости; Р < 0,5 — область банкротства

Е. А. Фёдорова, С. Е. Довженко, Ф. Ю. Фёдоров Р = 1 / (1 + в~2), где г = -2,2 - 0,29 • 01 + 1,45 • 02 - 0,42 • 03 - 8,24 • 04 - 0,9 • 05 + 1,01 • 06 + + 0,94 • 07 - 0,06 • 08 - 0,58 • 09 + 0,00002 • 010, где 01 — отношение выручки к среднему значению оборотных активов за период; 02 — отношение краткосрочных обязательств к краткосрочным обязательствам; 03 — отношение чистого оборотного капитала к совокупным активам; 04 — рентабельность активов; 05 — коэффициент автономии; 06 — отношение дебиторской задолженности к совокупным активам; 07 — отношение рабочего капитала к совокупным активам; 08 — натуральный логарифм материальных активов; 09 — натуральный логарифм отношения ЕВ1Т к процентам к уплате; 010 — обратный коэффициент абсолютной ликвидности Для 10 отраслей были представлены нормативные значения Р

Окончание табл. 1

Авторы модели Формула Интерпретация результатов

Е. А. Фёдорова, Л. Е. Хрустова, Д. В. Чекризов р = -3,04 + 0,91 • Л + 2,41 • ^2 - 0,12 • - 0,25 • ^4 + 0,14 • ^5 - 0,19 • где Л — отношение оборотных активов к совокупным активам; га = 1, если совокупные активы меньше совокупных обязательств, иначе га = 0; ^3 — отношение выручки к совокупным обязательствам; .Р4 — рентабельность продукции; ^5 — натуральный логарифм материальных активов; .Р6 — натуральный логарифм отношения ЕВ1Т к процентам к уплате Для 10 отраслей были представлены нормативные значения р

Обзор литературы

Основные научно-практические работы в области прогнозирования финансовой несостоятельности организаций можно рассмотреть с позиции исторического изменения взглядов на банкротство и развития подходов к решению этой проблемы. Так, ряд отечественных исследователей выделяют три этапа в эволюции методов прогнозирования банкротства [8].

Первый этап. Еще в XIX в. купцы активно использовали в своей практике оценку потенциальной платежеспособности клиентов, информацию о которых вносили в реестры. Однако только в первой половине XX в. стали широко использоваться финансовые показатели. Одним из значимых исследований этого периода является работа У. Чадсона, опубликованная в 1945 г. [14]. В своей статье автор установил существование схожей финансовой структуры у организаций одной отрасли и одного масштаба деятельности. Результаты анализа стали использоваться в дальнейшем учеными при разработке моделей прогнозирования банкротства. В целом данный этап характеризуется использованием отдельных финансовых показателей для прогнозирования финансовой состоятельности.

Второй этап. В 1966 г. была опубликована статья У. Бивера, в которой исследовалась проблема прогнозирования банкротства с применением системы финансовых показателей, характеризующих деятельность организации с позиции ее ликвидности, рентабельности и финансовой устойчивости. С помощью статистических методов У. Бивер выбрал из 30 финансовых индикаторов 5 основных, включающих: сумму чистой прибыли и амортизации к совокупным обязательствам, рентабельность активов, финансовый рычаг, коэффициент покрытия активов собственными оборотными средствами и коэффициент текущей ликвидности. Для каждого коэффициента У. Бивер определил интервалы, которые позволяют распределить организации на три группы: финансово устойчивые, высокий риск банкротства через 5 лет и высокий риск банкротства через 1 год [13]. К основным недостаткам рассматриваемого подхода можно отнести отсутствие интегрального показателя, однозначно определяющего риск наступления банкротства предприятия, и сложность интерпретации результатов, согласно которым организация может быть финансово состоятельной по одной группе индикаторов, но при этом банкротом — по другой.

Третий этап. На основе дискриминантного анализа в 1968 г. Э. Альтман разработал линей-

ную модель, результат которой определялся исходя из значений пяти финансовых коэффициентов, взвешенных с применением статистических методов. При разработке модели Э. Альтман анализировал деятельность 66 предприятий в производственной отрасли за период с 1946 по 1965 г., 33 из которых обанкротились, а остальные продолжили свою деятельность [12]. Предложенный ученым подход позволяет получить результирующий интегральный показатель (2-счет), значение которого сравнивается с пороговым показателем и однозначно определяет вероятность наступления банкротства в краткосрочном периоде. Идеи Э. Альтмана впоследствии были реализованы другими зарубежными учеными-экономистами, среди которых наиболее популярными являются Р. Таффлер и Г. Тишоу [20], Р. Лис [15], Г. Спрингейт [19]. Последователи Э. Альтмана в своих исследованиях либо использовали тот же набор финансовых индикаторов, но пересчитывали весовые коэффициенты с учетом национальной и отраслевой специфики деятельности анализируемых организаций, либо создавали новые модели, включая в них другие финансовые показатели.

Наряду с дискриминантным анализом с 1980 г. начали создавать логит-модели, оценивающие вероятность наступления банкротства в интервале от 0 до 1 [17]. Кроме того, с 1990 г. для исследования финансовой состоятельности начали применять методы машинного обучения, которые позволяют распределять элементы статистической совокупности по нескольким кластерам по заранее заданным количественным параметрам [16 ; 18]. Однако применение последнего подхода не предполагает построение математической модели, использование которой возможно любым заинтересованным лицом, так как для этого требуются специальные навыки и знания в области математической статистики и информационных технологий.

В настоящее время в отечественной практике разработки моделей прогнозирования банкротства наблюдается активное применение методов дискриминантного анализа и построение логит-моделей, что обусловлено доступностью больших массивов данных, представленных в виде бухгалтерских отчетностей российских организаций и интегрированных в различные информационные системы, такие как «СПАРК Интерфакс», «Руслана» и др. Кроме того, российские ученые достаточно активно создают «авторские» модели, принимая во внимание отраслевые особенности и масштаб деятельности [5 ; 10 ; 11].

Кого считать банкротом (несостоятельным)?

Среди множества исследований в области прогнозирования банкротства можно выделить два подхода к классификации организаций в качестве банкротов (несостоятельных): правовой и экономический.

Правовой подход основан на юридической интерпретации понятий банкротства и должника. Так, в соответствии с Федеральным законом № 127-ФЗ «О несостоятельности (банкротстве)» под банкротством (несостоятельностью) понимается признанная арбитражным судом неспособность должника в полном объеме удовлетворить требования кредиторов по денежным обязательствам, о выплате выходных пособий и (или) об оплате труда лиц, работающих или работавших по трудовому договору, и (или) исполнить обязанность по уплате обязательных платежей; должником является гражданин, в том числе индивидуальный предприниматель, или юридическое лицо, оказавшиеся неспособными удовлетворить требования кредиторов по денежным обязательствам, о выплате выходных пособий и (или) об оплате труда лиц, работающих или работавших по трудовому договору, и (или) исполнить обязанность по уплате обязательных платежей в течение установленного срока.

Следовательно, должник, в частности юридическое лицо, которое является объектом исследования в настоящей статье, считается банкротом только после решения арбитражного суда на этапе конкурсного производства. При этом организация-должник может испытывать финансовые трудности до момента признания банкротства, но после возбуждения дела, например на одном из этапов: наблюдения, финансового оздоровления или внешнего управления. Стоит отметить, что продолжительность рассмотрения арбитражным судом поданного заявления о банкротстве составляет до 7 месяцев с даты подачи заявления, продолжительность реабилитационных процедур (финансового оздоровления и внешнего наблюдения) — до 2 лет. После каждого из перечисленных этапов арбитражный суд может принять решение о признании должника банкротом и начале конкурсного производства, которое, как показывает статистика, в среднем превышает 2 года [6]. На каком бы этапе процедуры банкротства ни находилась организация-должник, так или иначе вовлечение кредитора в такой затяжной процесс приводит к негативным экономическим последствиям. С одной стороны, у кредиторов снижается уровень ликвидности дебиторской задолженности, увеличивается вероятность признания сомнительной задолженности безнадежной, возникает риск нарушения непрерывности бизнес-процессов по причине задержки в поставках материально-производственных запасов и других ресурсов, необходимых для осуществления предпринимательской деятельности. С другой стороны, кредиторам необходимо тратить дополнительные материальные ресурсы на привлечение экспертов и заключение договоров с целью полу-

чения максимального возмещения от контрагента-должника, а также временные ресурсы на участие в различных мероприятиях в рамках процедуры банкротства, которые предприятие смогло бы направить на развитие бизнеса.

Экономический подход к определению банкротства предполагает отсутствие у организации-должника возможности обслуживать свои обязательства в результате снижения уровня ликвидности и платежеспособности, а также ухудшение финансовой устойчивости в течение нескольких периодов. Такое негативное изменение финансового положения организации может быть вызвано как внутренними (неэффективная маркетинговая стратегия, неоптимальное использование ресурсов в производстве, проблемы в финансировании, снижение объема продаж и др.), так и внешними (инфляция, изменения в законодательном регулировании деятельности, научно-технический прогресс и др.) факторами, которые приводят к реальному банкротству предприятия. Поэтому важно предварительно выделить из множества всех организаций-должников подмножество организаций, банкротство которых не является преднамеренным или фиктивным, в противном случае информация о недобросовестных организациях исказит результаты работы моделей прогнозирования банкротства.

Для выделения класса реальных банкротств предлагается проанализировать изменения в динамике трех финансовых коэффициентов: текущей ликвидности, платежеспособности по текущим обязательствам и финансовой устойчивости. Перечисленные индикаторы применяются Федеральной налоговой службой для учета и анализа финансовой устойчивости и платежеспособности коммерческих организаций (Приказ Минэкономразвития Российской Федерации от 21 апреля 2006 г. № 104), а также арбитражными управляющими при проведении финансового анализа при банкротстве (постановление Правительства Российской Федерации от 25 июня 2003 г. № 367). Отрицательная динамика коэффициентов текущей ликвидности и финансовой устойчивости и положительная динамика коэффициента платежеспособности по текущим обязательствам свидетельствуют об ухудшении ликвидности и платежеспособности организации, а также финансовой нестабильности в течение ближайших лет и, как следствие, приводят к возникновению реального банкротства.

Для удовлетворения правовых и экономических требований к содержанию понятия банкротства в целях дальнейшего исследования моделей прогнозирования банкротства будут рассмотрены организации-должники, в отношении которых было возбуждено дело о банкротстве в периоде, следующем за периодом прогнозирования, и которые в течение трех периодов, предшествующих возбуждению дела, имели отрицательную динамику коэффициентов текущей ликвидности и положительную динамику коэффициента платежеспособности по текущим обязательствам.

Экономические особенности моделей прогнозирования банкротств (МПБ)

На основе анализа бухгалтерской отчетности российских организаций специалисты отмечают, что некоторые из них имеют низкое качество отражаемых данных по причине нелогичных и противоречивых значений, а также множества пропусков в статьях отчетности [2]. По мнению Н. А. Соколова и Н. В. Генералова, на всех этапах жизненного цикла учетного процесса — начиная с отражения хозяйственных операций бухгалтером и заканчивая анализом финансовой отчетности заинтересованным лицом, бухгалтерская информация проходит несколько информационных преломлений, которые возникают из-за учетных противоречий [3 ; 4]. Концепция информационных преломлений применима для объяснения искажений в бухгалтерских отчетностях, которые оказывают негативное влияние на прогнозную точность МПБ. Предлагается выделить следующие этапы учетного процесса для понимания того, что существует вариативность в интерпретации бухгалтерской информации:

1. Отражение хозяйственных операций в бухгалтерском учете.

В рамках действующего законодательства в области регулирования бухгалтерского учета организации имеют право выбора одного из нескольких способов учета хозяйственных операций, что позволяет бухгалтеру манипулировать значениями учетных данных таким образом, чтобы повысить интерес пользователей отчетности. В частности, к операциям, которые в дальнейшем способны оказать влияние на оценку прогнозирования банкротства, можно отнести: начисление амортизации линейным или нелинейным методом; списание материально-производственных запасов методом ФИФО или по средневзвешенной стоимости, включение в себестоимость продукции или списание на расходы периода управленческих расходов и выбор соответствующей базы распределения.

2. Составление финансовой отчетности.

В стандартах, регламентирующих порядок составления и представления финансовой отчетности, допускается вариативность в группировке и степени агрегации статей отчетности, что, как следствие, влияет на точность финансового анализа.

3. Анализ финансовой отчетности.

В целях прогнозирования банкротства исследователи выделяют группы относительных финансовых показателей, отражающих ликвидность, платежеспособность, финансовую устойчивость и рентабельность [2]. На этапе расчета финансовых индикаторов конечный результат, как отмечает Н. А. Соколова, зависит от следующих факторов:

— способа содержательного наполнения сопоставляемых разделов бухгалтерской отчетности (включение доходов будущих периодов и оценочных обязательств в состав собственного капитала или обязательств; исключение из состава оборотных активов сомнительной дебиторской

задолженности, долгосрочной дебиторской задолженности, неликвидных материально-производственных запасов или сохранение данного раздела без изменений и др.);

— несопоставимости оценок статей отчета о финансовом положении, используемых при вычислении финансовых индикаторов. Так, в зависимости от выбранной учетной политики немонетарные статьи в активах могут оцениваться по историческим ценам, которые не соответствуют справедливой стоимости активов на дату составления отчетности [9].

Особенности обработки данных при разработке МПБ

Использование различных информационных сервисов — агрегаторов информации о деятельности российских организаций — предоставляет возможность импортировать большие массивы данных в виде бухгалтерских отчетностей, удобных для дальнейшей автоматизированной обработки. Такая опция позволяет исследователям тестировать ранее созданные модели на точность их прогноза, а также создавать авторские МПБ, обрабатывая большие данные и применяя накопленный научно-практический опыт предшествующих ученых.

Автоматизированная обработка данных доступна благодаря установленной Федеральной службой государственной статистики форме бухгалтерской отчетности, в которую включены статистические регистры, применяемые для определения вида экономической деятельности, организационно-правовой формы, формы собственности и др. Например, отечественные ученые используют общероссийский классификатор видов экономической деятельности (ОКВЭД) для разделения исследуемой группы организаций на экономические отрасли. Такая практика имеет ряд недостатков. Во-первых, для определения принадлежности отдельной организации к определенной отрасли используются разделы ОКВЭД, в состав которых включено множество классов, уточняющих вид деятельности. Однако каждый класс одного и того же раздела отличается своей экономической сущностью от других классов в части объема и структуры активов и источников их финансирования, генерирования доходов от операционной и прочей деятельности, особенностей калькулирования себестоимости и т. д. Во-вторых, организации по законодательству имеют право заниматься несколькими видами экономической деятельности, для этого им необходимо при регистрации указать основной вид деятельности (ОВД) и дополнительные. При этом выбор организацией ОВД может быть обусловлен налоговой оптимизацией, которая включает выбор наиболее выгодной системы налогообложения, получение льгот по взносам за сотрудников, снижение тарифов по взносам на травматизм и др. Перечисленные недостатки могут оказать негативные последствия при использовании ОКВЭД для распределения организаций по отраслям и дальней-

шего построения МПБ на основе нерепрезентативной выборки.

В состав бухгалтерской отчетности, представляемой органами государственной статистики, не включен статистический регистр, на основании которого имелась бы возможность установить, на каком этапе процедуры банкротства находится исследуемая организация, за исключением конкурсного производства, по окончании которого предприятие признается банкротом и исключается из реестра юридических лиц. Следовательно, можно предположить, что в выборочные совокупности, используемые исследователями в области финансовой несостоятельности, не включены организации, в отношении которых возбуждено дело о банкротстве и которые находятся на одном из этапов: наблюдения, финансового оздоровления или внешнего управления. В любом из этих периодов организация сталкивается с финансовыми трудностями и в большинстве случаев ликвидируется в результате признания арбитражным судом банкротом. С целью решения выявленной проблемы предлагается для тестирования или создания МПБ на этапе подготовки данных разработать консолидированную базу данных, объединяющую реестр бухгалтерских отчетностей (Федеральная служба государственной статистики) и реестр должников начиная с этапа возбуждения дела о банкротстве (Единый федеральный реестр сведений о банкротстве).

Проанализировав отечественные МПБ, можно заметить, что авторы используют в качестве ре-грессоров как относительные, так и абсолютные показатели рентабельности. Вместе с тем для снижения меры рассеивания исследователи вычисляют функцию логарифма от финансовых индикаторов, что, в свою очередь, накладывает ограничения на область определения логарифмической функции. Это обстоятельство во многом обеспечивает необходимую приемлемость моделей с точки зрения их тестирования на предмет соответствия статистическим параметрам, однако в конечном итоге приводит к отсутствию экономического смысла в представленных соотношениях.

В ходе исследования деятельности организаций-банкротов было выявлено 29 % организаций с отрицательной валовой прибылью, 47 % — с отрицательной прибылью от продаж, 54 % — с отрицательной прибылью до налогообложения, 56 % — с отрицательной чистой прибылью. Анализ рентабельности на множестве организаций-банкротств подтвердил нецелесообразность использования логарифмических функций, ограничивающих вычисление итоговой оценки финансовой несостоятельности.

При создании моделей прогнозирования банкротства с помощью метода дискриминантного анализа и логит-моделей ученые разделяют статистическую совокупность на два множества: множество организаций-банкротов и множество финансово устойчивых организаций. Так, доля корпоративных банкротств в Российской Федерации в 2018 г. составило 0,3 % от общего количе-

ства зарегистрированных компаний, следовательно, доля организаций, продолжающих предпринимательскую деятельность, равна 99,7 % [7]. Опираясь на приведенную статистику, можно прийти к следующему выводу: при создании моделей у исследователя имеется возможность сформировать выборку финансово устойчивых организаций таким образом, чтобы получить адекватную модель, удовлетворяющую всем критериям статистических тестов, предлагаемых И. П. Бойко и др. [2].

Кроме того, можно заметить, что классические зарубежные модели существенно отличаются от современных отечественных в части объема статистической выборки и периода исследования деятельности организаций. Так, например, Э. Альтман разработал пятифакторную модель, исследуя деятельность 66 компаний за 1946— 1965 гг., из которых 33 оказались банкротами и 33 — финансово состоятельными [12], Р. Таф-флер и Г. Тишоу разработали модель, используя выборку из 46 организаций-банкротов и 46 финансово состоятельных организаций за 1969— 1975 гг. [20]. В противоположность классическим моделям современные отечественные модели основаны на исследовании больших массивов данных, предоставляемых различными информационными системами. В ходе исследования тестировались МПБ А. В. Казакова, А. В. Колышкина с объемом выборки, равной 31 377 организациям (25 871 и 5 506 — количество банкротов и финансово состоятельных соответственно), за 2014— 2015 гг. [5], а также МПБ Е. А. Фёдоровой, С. Е. Довженко, Ф. Ю. Фёдорова, объем выборки которой составил 8 573 организации (2 136 и 6 437 — количество банкротов и финансово состоятельных соответственно), за 2011—2013 гг. [10]. Можно предположить, что разные подходы к созданию моделей влияют на точность прогнозирования банкротства — чем больше выборка, тем больше точность, но в нашем случае наблюдается совершенно иная картина. Классические модели создавались на основе исследования немногочисленного количества организаций на протяжении длительного периода, что позволило ученым проанализировать деятельность каждой компании детально, используя дополнительную финансовую и экономическую информацию и консультируясь с экспертами, которые имели прямое или косвенное отношение к анализируемым организациям. Фактически в модели была в неявном виде добавлена качественная составляющая анализа — исследователи рассматривали соотношения на ограниченной (небольшой) выборке, но выискивали их логику и экономический смысл. В современных отечественных моделях используются большие массивы данных, которые обрабатываются с помощью программных продуктов, включающих различные статистические методы работы с данными, что подтверждает отсутствие у ученых возможности оценивать финансовую состоятельность каждой организации, при этом исследователи подходят к этой задаче,

применяя исключительно математико-статистические методы и не придавая экономического содержания полученным результатам. Забегая вперед, отметим, что именно это обстоятельство и покажет в будущем полную несостоятельность применения таких моделей на практике для выборки, иной, чем используемая при формировании модели.

Тестирование зарубежных и отечественных МПБ

Тестирование моделей прогнозирования банкротства на правильность классификации основано на применении больших массивов данных, представляемых органами государственной власти. Для исследования использовались следующие информационные источники:

— открытые данные Федеральной службы государственной статистики в виде бухгалтерских отчетностей организаций за 2016—2018 гг.;

— Единый федеральный реестр сведений о банкротстве для сбора информации об организациях, в отношении которых возбуждено дело о банкротстве в 2019 г.

Первый этап работы с данными включал формирование базы данных, содержащей список организаций-должников и связанные с ними бухгалтерские отчетности за 2016—2018 гг., объем полученной совокупности составил 11 021 организацию. На втором этапе осуществлялся процесс обработки данных, направленный на выявление и последующее исключение из базы данных организаций, которые были классифицированы как преднамеренно обанкротившиеся. Предлагаемый подход к выявлению преднамеренного банкротства основан на вычислении и анализе динамики трех показателей, характеризующих финансовую состоятельность организаций: коэффициента текущей ликвидности, коэффициента платежеспособности по текущим обязательствам и коэффициента финансовой устойчивости — за три отчетных периода. Если один из перечисленных показателей снижал уровень финансовой состоятельности организации в течение трех лет, то такая организация не исключалась из реестра и использовалась для дальнейшего исследования. В результате применения описанного критерия объем сформированной совокупности данных сократился до 5 881 организации.

Сбор, обработка и анализ данных осуществлялись с применением языка программирования Python 3.0. Промежуточная информация об организациях и итоговые консолидированные данные, включающие реестр бухгалтерских отчетностей организаций, реестр организаций-банкротов и рассчитанные для них показатели ликвидности, платежеспособности и финансовой устойчивости, а также итоговые значения применяемых моделей, хранились в нереляционной базе данных MongoDB, запросы к которой были реализованы с применением библиотеки pymongo. Перечисленные инструменты использовались при написании программных скриптов, которые позволили

протестировать каждую модель прогнозирования банкротства на большом массиве данных.

В рамках данного исследования точность прогноза рассчитывалась как отношение количества организаций, попавших в область банкротства по результатам вычисления модели, к общему объему выборки, содержащей бухгалтерские отчетности за 2016—2018 гг. по всем организациям, в отношении которых было возбуждено дело о банкротстве в 2019 г., в процентах. Следовательно, ошибка прогноза равна разности 100 % и вычисленной точности прогноза в процентах.

Точность прогноза трех классических зарубежных моделей (Альтмана, Лиса и Спрингейта) является высокой: данные модели правильно предсказали банкротство в более чем 84 %. Кроме того, выделение организаций, которые обанкротились непреднамеренно, позволило увеличить точность прогноза более чем на 10 % и снизить долю организаций с непригодной для анализа бухгалтерской отчетностью. Что касается современных отечественных моделей, полученные результаты свидетельствуют о низком уровне точности прогноза, которая изменяется для всех моделей в пределах 7—26 % для первичных данных и 2—9 % для обработанных данных. Низкая прогнозная ценность отечественных моделей обусловлена тем, что в качестве объясняющих переменных используются логарифмические функции от показателей рентабельности, которые невозможно вычислить для отрицательных значений, при этом доля организаций с отрицательной чистой прибылью в общей совокупности организаций-банкротов составила 56 %. Кроме того, в последнюю группу рассматриваемых моделей включены и другие относительные показатели, при вычислении которых знаменатель равен нулю, следовательно, в таком случае вычисления являются математически не осуществимыми. Вместе с тем тестирование отечественных моделей на выборке непреднамеренно обанкротившихся организаций привело к значительному снижению точности прогноза, в то время как для зарубежных моделей правильность прогноза, напротив, увеличилась (табл. 2).

Одной из особенностей рассматриваемых моделей является их применение для краткосрочного прогнозирования. Как отмечают А. В. Казаков и А. В. Колышкин, классические зарубежные модели имеют наилучшую прогнозную оценку на горизонте в один год, при прогнозировании финансовой несостоятельности за два и более периодов до возбуждения дела о банкротстве точность прогноза значительно уменьшается [5]. Описанная гипотеза протестирована в настоящем исследовании с использованием классических зарубежных и современных отечественных моделей на данных бухгалтерской отчетности за 2016— 2018 гг. российских организаций, которые находились на одном из этапов процедуры банкротства в течение 2019 г., но при этом в отношении них еще не было возбуждено дело о банкротстве в 2018 г. (табл. 3).

Можно заметить, что точность прогноза классических моделей снижается от одного периода к другому (в 2018 г. — самая высокая точность прогноза, в 2016 г. — самая низкая точность прогноза). Выявленная закономерность подтверждает применимость исследуемых моделей для прогнозирования банкротства в краткосрочном периоде. Стоит отметить, что доля отчетностей, непригодных для анализа, в самом раннем периоде (в 2016 г.) была наибольшей. Данное обстоятельство могло оказать влияние на неправильность работы рассматриваемых моделей. Следователь-

но, можно выделить два фактора, обеспечивающих применимость зарубежных моделей для российских организаций: период прогнозирования и нормативные требования к преставлению бухгалтерской отчетности. Что касается отечественных моделей, полученные результаты демонстрируют отсутствие отрицательной динамики точности прогноза при расширении горизонта прогнозирования, что может свидетельствовать о случайном характере итоговых интегральных показателей, использование которых приведет к ошибочным выводам на практике.

Таблица 2

Тестирование моделей на первичных и обработанных данных, количество организаций

Зона финансовой устойчивости Модель Э. Альтмана Модель Р. Лиса Модель Р. Таффлера, Г. Тишоу Модель Г. Спрингейта Модель А. В. Казакова, А. В. Колышкина Модель Е. А. Фёдоровой, С. Е. Довженко, Ф. Ю. Фёдорова Модель Е. А. Фёдоровой, Л. Е. Хрустовой, Д. В. Чекризова

пер- обрабо- пер- обрабо- пер- обрабо- пер- обрабо- пер- обрабо- пер- обрабо- пер- обрабо-

вичные танные вичные танные вичные танные вичные танные вичные танные вичные танные вичные танные

Область

финансовой устойчивости 1 121 339 896 264 6 999 3 946 1 443 451 2 455 2 154 0 0 184 280

Область

неопределенности 1 154 522 0 0 1 540 942 0 0 0 0 0 0 0 0

Область банк-

ротства 7 831 4 918 9 210 5 515 1 525 880 8 621 5 317 1 462 43 1 028 520 679 143

Не подходящие

для анализа

организации 915 102 915 102 957 113 957 113 1 697 627 9 227 4 959 9 348 5 030

Точность

прогноза, % 71 84 84 94 14 15 78 90 26 2 10 9 7 3

Ошибка про-

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

гноза, % 29 16 16 6 86 85 22 10 74 98 90 91 93 97

Таблица 3

Оценка точности и ошибки прогноза моделей и определение доли непригодных для анализа отчетностей за 2016—2018 гг., %

Отчетный период Показатель, % Модель Э. Альтмана Модель Р. Лиса Модель Р. Таффлера, Г. Тишоу Модель Г. Спрингейта Модель А. В. Казакова, А. В. Колышкина Модель Е. А. Фёдоровой, С. Е. Довженко, Ф. Ю. Фёдорова Модель Е. А. Фёдоровой, Л. Е. Хрустовой, Д. В. Чекризова

2018 г. Точность

прогноза 84 94 15 90 2 9 3

Ошибка

прогноза 16 6 85 10 98 91 97

Доля орг.

с непригод

ной отчет-

ностью 2 2 2 2 22 91 92

Точность

прогноза 67 90 14 78 1 20 5

Ошибка

прогноза 33 10 86 22 99 80 95

Доля орг.

с непригод

ной отчет-

ностью 1 1 2 2 12 80 82

2016 г. Точность

прогноза 42 64 11 52 0 24 5

Ошибка

прогноза 58 36 89 48 100 76 95

Доля орг.

с непригод

ной отчет-

ностью 27 27 27 27 31 76 78

Заключение

В ходе проведенного исследования авторы протестировали применение классических и современных моделей диагностики банкротства на актуальных данных, выявили недостатки в современных подходах моделирования в части юридических и экономических предпосылок, а также обработки больших массивов данных. Кроме того, в ходе работы была проверена гипотеза об использовании рассматриваемых моделей для краткосрочного (долгосрочного) прогноза.

Следует отметить, что классические зарубежные модели характеризуются высоким уровнем точности прогноза для организаций-должников, у которых хотя бы один из показателей (коэффициент текущей ликвидности, коэффициент платежеспособности по текущим обязательствам, коэффициент финансовой устойчивости) в течение трех лет, предшествующих году признания банкротства, негативно влиял на финансовое состояние. В то же самое время современные отечественные модели для первичных и обработанных

данных продемонстрировали низкие показатели точности, что свидетельствует о необходимости их существенной доработки.

Данные бухгалтерской отчетности, используемые для вычисления результирующего показателя модели, могут быть искажены в результате информационных преломлений в процессе применения бухгалтерских процедур. Поэтому при моделировании рекомендуется использовать те статьи отчетности, которые в наименьшей степени подвержены искажению. К тому же для обеспечения универсального применения моделей существует необходимость в согласовании подходов к расчету аналитических финансовых показателей, являющихся регрессорами МПБ.

Результаты тестов подтвердили гипотезу о краткосрочном горизонте прогнозирования классических МПБ. При увеличении периода прогнозирования ошибка прогноза значительно увеличивается, применение моделей фактически ничего не дает.

Список литературы

1. Банкротства компаний — статистика Федресурса за 2019 год. URL: https://fedresurs.ru/news/7b3c8884-b159-4ee7-b5fb-7770d9d941da?attempt=2 (дата обращения: 10.09.2020).

2. Бойко И. П., Казаков А. В., Колышкин А. В. Методы прогнозирования несостоятельности: проблемы и перспективы // Рос. предпринимательство. 2017. Т. 18, № 8. С. 1313—1326.

3. Генералова Н. В., Соколова Н. А. Вариативность интерпретации бухгалтерской информации // Вестн. С.-Пе-терб. ун-та. Сер. 5. 2012. Вып. 1. С. 175—181.

4. Генералова Н. В., Соколова Н. А. Полиморфизм интерпретаций экономической информации в интегрированной системе учета // Финансы и бизнес. 2013. № 2. С. 159—168.

5. Казаков А. В., Колышкин А. В. Разработка моделей прогнозирования банкротства в современных российских условиях // Вестн. С.-Петерб. ун-та. Экономика. 2018. Т. 34. Вып. 2. С. 241—266.

6. Обзор: Хитрость и стагнация растянули банкротства. URL: https://fedresurs.ru/news/ccfc7b66-7065-4eef-9bc2-a2426e0e895d?attempt=1 (дата обращения: 12.09.2020).

7. Обзор: Число корпоративных банкротств в РФ в 2018 году снизилось до естественного уровня. URL: https://fedresurs.ru/news/5e75d843-000b-4ce1-9925-9e02d89fa0e7?attempt=1 (дата обращения: 12.09.2020).

8. Прогнозирование финансовой несостоятельности предприятий / А. В. Колышкин, Е. В. Гиленко, С. Е. Довженко, С. А. Жилкин, С. Е. Чое // Вестн. С.-Петерб. ун-та. Сер. 5. 2014. Вып. 2. С. 122—142.

9. Соколова Н. А. Проблемы определения сомнительной дебиторской задолженности на основании анализа платежеспособности // Финансы и бизнес. 2011. № 2. С. 174—184.

10. Фёдорова Е. А., Довженко С. Е., Фёдоров Ф. Ю. Модели прогнозирования банкротства российских предприятий: отраслевые особенности // Проблемы прогнозирования. 2016. № 3. С. 32—40.

11. Фёдорова Е. А., Хрустова Л. Е., Чекризов Д. В. Отраслевые особенности применения моделей прогнозирования банкротства предприятия // Стратег. решения и риск-менеджмент. 2018. № 1 (104). С. 64—71.

12. Altman E. I. Financial ratios, discriminant analysis and the prediction of corporate bankruptcy // The Journal of Finance. 1968. Vol. 4. P. 589—609.

13. Beaver W. H. Financial ratios as predictors of failure // Journal of Accounting Research. 1966. No. 4. P. 71—111.

14. Chudson W. A. A Survey of Corporate Financial Structure // NBER Chapters in „The Pattern of Corporate Financial Structure: A Cross-Section View of Manufacturing, Mining, Trade, and Construction". National Bureau of Economic Research. 1945. P. 1—16.

15. Edmister R. O. An Empirical Test of Financial Ratio Analysis for Small Business Failure Prediction // Journal of Financial and Quantitative Analysis. 1972. 7. Р. 1477.

16. Odom M., Sharda R. A. Neur al Network Model for Bankruptcy Prediction // Proceedings of the International Joint Conference on Neural Networks. San Diego. 1990. 17—21 June. Vol. II. P. 163—171.

17. Ohlson J. Financial ratios and the probabilistic prediction of bankruptcy // Journal of Accounting Research. 1980. Vol. 18, Iss. 1. Р. 109—131.

18. Salchengerger L. M., Cinar E. M., Lash N. A. Neural networks: A New Tool for Predicting Thrift Failures // Decision Sciences. 1992. № 23 (4). P. 899—916.

19. Springate G. L. Predicting the possibility of failure in a Canadian firm // Unpublished MBA project, Simon Fraser University. 1978.

20. TafflerR. J., Tisshaw H. Going, Going, Gone — Four Factors which Predict // Accountancy. 1977. Vol. 3. P. 50—54.

Bibliography

1. Bankrotstva kompanii — statistika Fedresursa za 2019 god, available at: https://fedresurs.ru/news/7b3c8884-b159-4ee7-b5fb-7770d9d941 da?attempt=2 (accessed 10.09.2020).

2. Boiko I.P., Kazakov A.V., Kolyshkin A.V. Metody prognozirovaniya nesostoyatel'nosti: problemy i perspektivy, Ros. predprinimatel'stvo, 2017, vol. 18, no. 8, pp. 1313—1326.

3. Generalova N.V., Sokolova N.A. Variativnost' interpretatsii bukhgalterskoi informatsii, Vestn. S.-Peterb. un-ta, Ser. 5, 2012, iss. 1, pp. 175—181.

4. Generalova N.V., Sokolova N.A. Polimorfizm interpretatsii ekonomicheskoi informatsii v integrirovannoi sisteme ucheta, Finansy i biznes, 2013, no. 2, pp. 159—168.

5. Kazakov A.V., Kolyshkin A.V. Razrabotka modelei prognozirovaniya bankrotstva v sovremennykh rossiiskikh uslovi-yakh, Vestn. S.-Peterb. un-ta. Ekonomika, 2018, vol. 34, iss. 2, pp. 241—266.

6. Obzor: Khitrost' i stagnatsiya rastyanuli bankrotstva, available at: https://fedresurs.ru/news/ccfc7b66-7065-4eef-9bc2-a2426e0e895d?attempt=1 (accessed 12.09.2020).

7. Obzor: Chislo korporativnykh bankrotstv v RF v 2018 godu snizilos' do estestvennogo urovnya, available at: https://fedresurs.ru/news/5e75d843-000b-4ce1-9925-9e02d89fa0e7?attempt=1 (accessed 12.09.2020).

8. Kolyshkin A.V., Gilenko E.V., Dovzhenko S.E., Zhilkin S.A., Choe S.E. Prognozirovanie finansovoi nesostoyatel'nos-ti predpriyatii, Vestn. S.-Peterb. un-ta, Ser. 5, 2014, iss. 2, pp. 122—142.

9. Sokolova N.A. Problemy opredeleniya somnitel'noi debitorskoi zadolzhennosti na osnovanii analiza platezhesposob-nosti, Finansy i biznes, 2011, no. 2, pp. 174—184.

10. Fedorova E.A., Dovzhenko S.E., Fedorov F.Yu. Modeli prognozirovaniya bankrotstva rossiiskikh predpriyatii: ot-raslevye osobennosti, Problemy prognozirovaniya, 2016, no. 3, pp. 32—40.

11. Fedorova E.A., Khrustova L.E., Chekrizov D.V. Otraslevye osobennosti primeneniya modelei prognozirovaniya bankrotstva predpriyatiya, Strateg. resheniya i risk-menedzhment, 2018, no. 1 (104), pp. 64—71.

12. Altman E.I. Financial ratios, discriminant analysis and the prediction of corporate bankruptcy, The Journal of Finance, 1968, vol. 4, pp. 589—609.

13. Beaver W.H. Financial ratios as predictors of failure, Journal of Ac-counting Research, 1966, no. 4, pp. 71—111.

14. Chudson W.A. A Survey of Corporate Financial Structure, NBER Chapters in „The Pattern of Corporate Financial Structure: A Cross-Section View of Manufacturing, Mining, Trade, and Construction ". National Bureau of Economic Research, 1945, pp. 1—16.

15. Edmister R.O. An Empirical Test of Financial Ratio Analysis for Small Business Failure Prediction, Journal of Financial and Quantitative Analysis, 1972, 7, pp. 1477.

16. Odom M., Sharda R.A. Neur al Network Model for Bankruptcy Prediction, Proceedings of the International Joint Conference on Neural Net-works. San Diego, 1990, 17—21 June, vol. II, pp. 163—171.

17. Ohlson J. Financial ratios and the probabilistic prediction of bankruptcy, Journal of Accounting Research, 1980, vol. 18, iss. 1, pp. 109—131.

18. Salchengerger L. M., Cinar E.M., Lash N.A. Neural networks: A New Tool for Predicting Thrift Failures, Decision Sciences, 1992, no. 23 (4), pp. 899—916.

19. Springate G.L. Predicting the possibility of failure in a Canadian firm, Unpublished MBA project, Simon Fraser University, 1978.

20. Taffler R.J., Tisshaw H. Going, Going, Gone — Four Factors which Predict, Accountancy, 1977, vol. 3, pp. 50—54.

КОВАЛЕВ Виталий Валерьевич — доктор экономических наук, профессор, профессор кафедры теории кредита и финансового менеджмента, Санкт-Петербургский государственный университет, Санкт-Петербург, Российская Федерация. E-mail: vvk77@inbox.ru

Vitaly V. KOVALEV — Doctor of Economic Sciences, Professor, Professor of Department of Credit Theory and Financial Management, St Petersburg University, Saint Petersburg, Russian Federation. E-mail: vvk77@inbox.ru

МОЛДОБАЕВ Тимирлан Шайырбекович — магистрант, Санкт-Петербургский государственный университет, Санкт-Петербург, Российская Федерация. E-mail: vvk77@inbox.ru

Timirlan Sh. MOLDOBAEV — master's student, St Petersburg University, Saint Petersburg, Russian Federation. E-mail: vvk77@inbox.ru

i Надоели баннеры? Вы всегда можете отключить рекламу.