CC BY
46
2017, № 4
С.П. КОВАЛЕВ,
к.т.н., заслуженный экономист РФ, начальник Лаборатории информационных технологий в управлении Российской академии народного хозяйства и государственной службы (РАНХиГС) при Президенте Российской Федерации, e-mail: kovalev-sp@ranepa.ru П.В. СОРОКОЛЕТОВ,
д.т.н., ведущий научный сотрудник Лаборатории информационных технологий в управлении РАНХиГС при Президенте Российской Федерации, e-mail: SorokoletovPV@yandex.ru Е.Р. ЯШИНА,
д.м.н., ведущий научный сотрудник Лаборатории информационных технологий в управлении РАНХиГС при Президенте Российской Федерации, e-mail: socinstitut@mail.ru Я.И. ГУЛИЕВ,
к.т.н., руководитель Исследовательского центра медицинской информатики Института программных систем им. А.К. Айламазяна РАН, e-mail: viit@yag.botik.ru
информационный агрегатор для управленческого учета в цифровом здравоохранении
УДК 61:007
Ковалёв С.П, Сороколетов П.В., Яшина ЕР, Гулиев Я.И. Информационный агрегатор для управленческого
учета в цифровом здравоохранении (Российская академия народного хозяйства и государственной службы (РАНХиГС) при Президенте Российской Федерации, Москва, Россия; Институт программных систем им. А.К. Айламазяна РАН, Переславль-Залесский, Россия)
Аннотация. В сфере здравоохранения активно создаются инфраструктурные информационные системы, совместно с Единой государственной информационной системой здравоохранения (ЕГИСЗ), закладывающие основу для цифрового управления и контроля. Предложенный принцип информационного агрегатора - нового системного элемента и экспертно-аналитического дополнения этой инфраструктуры, позволяет регулятору решать интеллектуальные задачи поддержки принятия решений (ППР). Реализация информационного агрегатора на основе трехуровневой иерархии разработанных и апробированных платформ, включающей в себя медицинскую информационную систему (МИС) Интерин PROMIS, программный комплекс сбора и визуализации ключевых показателей Dashboard и экспертно-аналитическую систему ППР medAudit, обеспечивает качественно новый уровень управления и прогнозирования изменений в системе здравоохранения.
Ключевые слова: цифровое здравоохранение, управленческий учет, системы поддержки принятий решений, СППР, информационный агрегатор, Единая государственная информационная система в сфере здравоохранения, ЕГИСЗ.
UDC 61:007
Kovalev S.P., Sorokoletov P.V., Yashina ER, Guliev Y.I. The information aggregator for management and accounting in digital health care (The Presidential Russian Academy of national economy and public administration (RANEPA), Moscow, Russia; Ailamazyan Program Systems Institute of RAS, Pereslavl-Zalessky, Russia)
Abstract. In Russian health care the infrastructure information systems together with the Uniform State Information System of Health Care (USISHC) have nowadays founded the fundamentals for digital control and management. The principle of the information aggregator as the new system element and expert and analytical add-on to this infrastructure offers and allows the regulator to solve intellectual problems of decision-making support (DMS). Developing of the information aggregator on the basis of three-level hierarchy of the ready-to-use and approved platforms including the medical information system (MIS) Interin PROMIS, the key indicators collecting and visualizing program "Dashboard" and the DMS system medAudit provides the abilities for new quality of management and dynamic forecasting in health care system. Keywords: digital health care, management and accounting, decision-making support systems, DMSS, information aggregator, Uniform State Information System of Health Care, USISHC.
© С.П. Ковалёв, П.В. Сороколетов, Е.Р. Яшина, Я.И. Гулиев, 2017 г.
и информационные
технологии
> ВВЕДЕНИЕ
^^^^ азработка
«Цифровая
и принятие программы экономика» фиксирует цели государства на период до 2024 года, в рамках финансового обеспечения которых планируется затратить около 100 млрд. рублей, согласно последним заявлениям министра связи и массовых коммуникаций. По мнению аналитиков МсК^еу: «...цифровая экономика обеспечит до 34% роста ВВП к 2025 году» [1]. На важность цифровой экономики с точки зрения национальной безопасности России и конкурентоспособности Российских компаний прямо указал Президент РФ на заседании Совета по стратегическому развитию и приоритетным проектам в Ново-Огарево 5 июля [2].
В соответствии с этой стратегической линией в сфере здравоохранения среди приоритетов постоянно называются разработка и внедрение новых цифровых технологий контроля и управления. В частности, министром здравоохранения на заседании Совета при Президенте РФ по стратегическому развитию и приоритетным проектам 21 марта 2017 года указано, что в 2020 году Минздрав планирует «в целом завершить» формирование единой государственной информационной системы сферы здравоохранения (ЕГИСЗ) на основе единой электронной медицинской карты пациента. Министр полагает, что это позволит проводить комплексный анализ ресурсной эффективности и выйти «... на качественно новый уровень управления здравоохранением» [3].
В настоящее время, согласно официальным данным Минздрава [4], всего вместе с автоматизированными информационными системами (АИС) Федерального и территориальных Фондов обязательного медицинского страхования (ОМС), а также АИС обращения лекарств и медицинских изделий, насчитывается 12 государственных информационных систем, которые можно отнести к разряду действующих:
1. Подсистема ведения расписания приемов специалистов, проведения консультаций, в том числе телемедицинских, и загрузки мощностей медицинской организации, а также электронной записи на прием ко врачу.
2. Подсистема ведения интегрированной электронной медицинской карты и сервисов доступа к ней.
3. Подсистема ведения федерального регистра медицинского персонала.
4. Подсистема мониторинга реализации Федеральных целевых программ.
5. Программный комплекс по ведению паспортов медицинских учреждений.
6. Централизованный сервис информирования о взаимодействии лекарственных средств.
7. Программный комплекс «Реестр нормативно-справочной информации системы здравоохранения».
8. Подсистема мониторинга реализации государственного задания по оказанию высокотехнологичной медицинской помощи за счет средств федерального бюджета.
9. Государственный реестр лекарственных средств.
10. Государственный реестр предельных отпускных цен.
11. Государственный реестр выданных разрешений на проведение клинических исследований лекарственных препаратов.
12. Федеральная электронная медицинская библиотека.
В то же время стоит отметить, что, согласно независимым исследованиям [5], в системе Минздрава насчитывается более 60 различных систем и сервисов, которые используются или могут быть использованы в качестве составной части ЕГИСЗ.
Все эти системы, а также региональные медицинские информационные системы (РМИС) и медицинские информационные системы (МИС) медицинских организаций,
в соответствии с принятой идеологией Минздрава, должны быть подключены к Единой государственной информационной системе здравоохранения (ЕГИСЗ).
Вместе с тем, информационное наполнение перечисленных систем направлено скорее на медицинское, а не на управленческое обеспечение деятельности здравоохранения; ЕГИСЗ при этом выполняет, в большей степени, инфраструктурную функцию. Из примерно 120 параметров [6], которые позволяют объединить медицинские и финансовые показатели для оценки качества комплексной услуги здравоохранения, анализа и прогноза системных тенденций, в ЕГИСЗ присутствуют параметры мощности медучреждений (число пациентов, врачей, коек, загрузка и т. п.). Основной же массив данных составляют лечебные показатели, данные медицинских карт пациентов, результаты диагностики, врачебные заключения и т. п. Финансовая информация, а также экономические показатели доходов и расходов медучреждений существуют раздельно в налоговых органах, подразделениях ФОМС и ФСС. В частных страховых медицинских организациях (СМО) также имеется значительный блок данных, которыми они далеко не всегда охотно и оперативно (кроме регламентных форм) делятся по цепочке ТФОМС -ФОМС - Минздрав.
Ведущие эксперты Национального исследовательского университета Высшая школа экономики (НИУ ВШЭ) [7] полагают, что такое распределенное и многоуровневое администрирование информации ведет к риску искажения статистической отчетности. Среди негативных факторов отмечаются смешение разнородных категорий данных, излишнее в цифровую эпоху калькирование традиционных форм врачебной отчетности и их автоматический перенос в цифровые базы данных, что иллюстрирует рис. 7. Как показывает анализ 30 основных нормативно-правовых документов (НПД), регулирующих отношения
■ ■■
www.idmz.ru ,_
2017, № 4 ^
в системе здравоохранения [8], процесс управленческого учета в сфере здравоохранения сегодня в значительной степени унаследован от «бумажной эры».
Все это определяет не только разрывы в едином информационном поле управленческого учета и финансового анализа параметров, характеризующих функционирование системы здравоохранения как отрасли, но и понятийный отрыв лечебных учреждений от государственных и частных структур, обеспечивающих финансирование оказанных услуг и функцию обратной связи.
Подытоживая сказанное, можно заключить, что для системного управления здравоохранением цифровая инфраструктура ЕГИСЗ нуждается в экспертно-аналитических дополнениях либо надстройках, решающих задачи поддержки принятия решений (ППР) глобальным и региональными регуляторами, которые:
• используя, в том числе, инфраструктуру ЕГИСЗ будут способны строить иерархические структуры интегральных показателей, соединяющих поле знаний и компетенций медицинского и финансового менеджмента;
• будут располагать интеллектуальными компонентами для построения и многоуровневой проверки достоверности, адекватности и связности управленческих и финансовых индикаторов здравоохранения;
• реализуют подсистему обратной связи типа «Лицо, принимающее решение - среда - модель», позволяющую оценивать и прогнозировать тенденции (например, по принципу «что если?») и обеспечивать за счет этого научную поддержку принимаемых регулятором решений.
Предложим новый системный элемент цифрового здравоохранения, который можно условно назвать информационным агрегато-ром, способный решить три перечисленные интеллектуальные задачи, дополняя созданную в ЕГИСЗ инфраструктуру сбора и первичного накопления данных.
и информационные
технологии
Поликлинибси:
95 видов форм первичного учета (талоны, карты, журналы, справки и др.)
Стационары:
40 видов форм первичного учета (карты, журналы, выписки и пр.)
> Регламентные отчеты
ФФОМС: 10 форм, в т.ч. ежемесячные - 5, ежеквартальные -3, полугодовая - 1, годовая -1
Минздрав РФ: 50 форм
РОССТАТ: 20 форм
Рис. 1. Иллюстрация схем отчетности и взаимодействия источников и приемников информации в системе здравоохранения (по итогам экспертного доклада НИУ ВШЭ [7])
2017, № 4
Информационный агрегатор: новый принцип и системный элемент здравоохранения
Попробуем ответить по-новому на вопрос: «Что же такое цифровое государство?». На момент написания настоящей работы Агентство стратегических инициатив (АСИ) продолжает проводить заседания экспертной группы по цифровой экономике [9]; в частности, в марте 2017 года интенсивно обсуждалась программа «Цифровая экономика», а также перевод правоприменительной деятельности на цифровые технологии и перспективы уже существующих ГИС. Многими экспертами было отмечено, что среди существующих на федеральном уровне примерно 400 ГИС и примерно 1000 региональных ИС большинство используются с чрезвычайно низкой эффективностью от доли процента до нескольких процентов (если рассматривать количество накопленных данных). Некоторые авторы указывают, что по сравнению с цифровыми платформами Alibaba либо E-bay «... ГИС в качестве инструментов самоуправляемой цифровой экономики абсолютно нефункциональны» [9]. Не разделяя столь радикальную точку зрения, авторы вместе с тем полагают, что «цифровое государство» - отнюдь не только дальнейшее количественное наращивание ГИС. А именно:
1) Цифровое государство - это не прямой директивный перевод существующих доку-ментопотоков, унаследованных порой еще из середины прошлого столетия, а осознанная реализация принципа «четвертой информационной революции» [11], который можно выразить словесной формулой:
данные Ф полезная информация Ф знания, где информация и знания для принятия решений предстают не просто в форме числовых рядов данных, индикаторов и т. п., а в соответствии с парадигмой систем, основанных на принципах искусственного интеллекта и включающих в себя моделирование на основе нечетких множеств, многозначной логики, мягких
вычислений и других методов интеллектуальных систем [12]. Именно такой подход дает возможность перейти от констатации простых статистически измеренных фактов, как это происходит сегодня, к интеллектуальному анализу данных, их преобразованию сначала в полезную информацию, а затем и в знания. И, уже на их основе, обоснованному планированию и прогнозированию средне-и долгосрочных изменений в поведении сложных систем [13], зачастую в корне меняющих сами принципы работы системы.
2) «Цифровое государство» - это осознание и использование того факта, что деньги в цифровом обществе представляют собой всего лишь один из видов информации, с точки зрения информационных технологий точно такой же, как, например, данные о численности коечного фонда и его оборачиваемости в лечебном учреждении.
3) «Цифровое государство» - это единое информационное пространство равноправных и взаимодействующих сетевых сервисов, которые позволяют любому абоненту сети получать любые перекрестные данные, «на лету» обрабатываемые для него программными средствами сервисов и преобразуемые в компактную, доступную для восприятия полезную информацию и знания предметной области, в терминах, соответствующих запросу этого абонента.
На рис. 2 представлена архитектура информационного агрегатора как интеллектуального дополнения ЕГИСЗ.
Общая идея заключается в сочетании локальной и облачной опНпе-компонент единой платформы, взаимодействующих между собой на основе трехуровневой экономико-математической модели «медучреждения - группы медучреждений - отрасль здравоохранения» [14, 15, 16]. Устранение имеющегося информационного разрыва между медицинским и финансовым менеджментом при управлении многопрофильной медицинской организацией
>
и информационные
технологии
Web-интерфейс
Г
Облачная экспертно-аналитическая система
ППР типа Ме<Шм1й-оп1ше: 10-20 индикаторов плюс
ситуационное моделирование «что если?». Уровень федерального регулятора
ЛПУ
Экспертно-аналитические системы ППР типа ЭС МеёАисЙ: 100-120 интегральных показателей
плюс ситуационное моделирование «что если?», уровень менеджмента ЛПУ
Системы построения
ключевых показателей
(dashboard)
Облачная экспертно-аналитическая система ППР типа
'МёЗАисШ-опПпе: 100-120 интегральных показателей
швос ситуационное моделирование «что если?», уровень регионального регулятора
Доступ по запросу для сравнения показателей со средними значениями
Web-интерфейс
Медицинская информационная система медучреждения типа МИС «Интерин»
Приборные и лабораторные информационные
системы медучреждений
Финансовые, экономические и
бухгалтерские информационные
системы медучреждений
Рис. 2. Архитектура информационного агрегатора на примере МИС Интерин, системы Dashboard, локальной и online-версий medAudit в качестве готовых инфраструктурных компонент
■ ■■
РЧН
2017, № 4
Информационные и первичные аналитические
функции Росздравнадзора
Информационные и первичные аналитические функции Роспотребнадзора
Информационные и
аналитические функции Росстата в части медицинской статистики
Рис. 3. Принцип перехода от унаследованной многоуровневой схемы сбора финансовой и управленческой информации к схеме с информационным агрегатором
>
и информационные
технологии
(МО) достигается за счет гибридного характера многопараметрической модели. Она интегрирует в себе более 120 разнородных, с точки зрения медиков и управленцев, параметров: производственно-медицинских, бухгалтерских, управленческого учета, микроэкономических [14, 16].
На основании работы с экспертами - представителями выборки медучреждений в качестве параметров модели с использованием методов оценки «важности», «полезности» и прямого ранжирования экспертных оценок были выбраны группы наиболее информативных параметров, с достаточной полнотой описывающих предметную область здравоохранения на уровне лечебного учреждения, органов надзора и исполнительной власти. Модель разбита на четыре модуля соответственно четырем группам параметров:
• Модуль «Макроэкономика» - учет влияния инфляции, тарифов на энергоснабжение и жилищно-коммунальные услуги (ЖКУ) (тепло, водоотведение, вывоз мусора и пр.), нормативно устанавливаемых федеральных и региональных минимальных уровней средней заработной платы различных категорий медицинского и немедицинского персонала.
• Модуль «Поликлиника» - укрупненная финансовая модель деятельности амбулатор-но-поликлинического блока медицинского учреждения.
• Модуль «Стационар» - укрупненная финансовая модель деятельности блока стационара.
• Модуль «Микроэкономика» - модель затрат и доходности основной деятельности на уровне структуры отделений и организационных единиц медицинского учреждения.
Переход от унаследованной схемы сбора управленческой и финансовой информации здравоохранения к информационному агре-гатору (рис. 3) также будет содействовать назревшему разрешению организационного противоречия, состоящего в совмещении
информационно-аналитических и исполнительных функций в таких органах, как Рос-здравнадзор и Роспотребнадзор.
Функции сбора, анализа и контроля параметров в сфере здравоохранения переходят к новому инфраструктурному элементу здравоохранения - информационному агрегато-ру, равноудаленному от всех потребителей информации, что системно устраняет риски искажения информации, либо ее некорректного использования в силу конфликта интересов внутри одного ведомства.
Важной особенностью является возможность адаптивной настройки первичных факторов и связанных с ними параметров, позволяющая настраивать модель на реальные условия, отражающие местные и региональные законодательные и экономические особенности, нюансы работы учреждения или группы медучреждений, специфику их ведомственной принадлежности.
Сбор данных в подсистеме локального уровня осуществляется с минимальной нагрузкой на медицинский и немедицинский персонал (регистратура и статистика, бухгалтерия и пр.) за счет ряда специальных процедур:
• автоматизированного кодирования данных вычислительным центром (отделом автоматизации) медучреждения;
• унификации данных;
• записи порядка 120 унифицированных ключевых показателей в специальный раздел базы данных МИС с возможностью их отображения в виде интегрированных аналитических форм системы Dashboard (рис. 4), представляющей собой первый уровень в информационной иерархии системы ППР.
Отметим, что вышеприведенные рассуждения были подтверждены на практике апробацией принципов и упоминаемых продуктов в процессе внедрения МИС Интерин и подсистемы ключевых показателей Dashboard в 2009-2012 годах на базе ФГБУ «Клиническая больница» Управления делами (УД)
2 ООО ООО 1 800 ООО 1 600 ООО 1 400 000 1 200 000 1 000 000
2017, № 4
Движение ТМЦ по подразделению - Бак. лаборатория
Остаток на 29.02.2012 - 1 805 002,44 руб. Максимальный месячный расход - 229 088,06 Запас - 7.9
Т-Н 2 тЦ д тН гч| rg
о о О О о о о
OJ гм <N N EN M M
Б JQ Л л Л л л
\о г Г Ю Ю ю s ^ га
ю < 1 О X ш I Ci со ш
щ и О СГ е
Щ Приход # Расход всепоН Остаток Объем денежных средств за 26 месяцев (с 1 января 2010 года по 29 февраля 2012 года)
Приход Расход всего Расход персонифицированный Расход по актам Расход в другие отделения
5 158 516,24 3 735 312,83 3 107 105,99 595 966,84 32 240,00
Рис. 4. Пример аналитической формы системы Dashboard. Анализ движения товарно-материальных ценностей (ТМЦ) демонстрирует необоснованное увеличение складских запасов в отделении
Президента Российской Федерации. Только контроль ключевых показателей позволил увеличить за год доходную часть больницы почти на 100 млн. рублей и на треть увеличить количество пролеченных пациентов. В развитие успеха в 2013 году на основе приказа Финансово-экономического управления (ФЭУ) УД Президента была обоснована группа из 100 ключевых показателей, которые помогали определять достижение стратегических и тактических (операционных) целей медицинских учреждений в составе УД. Руководство ФЭУ также поддержало разработку следующего уровня платформы - экспертной системы (ЭС) поддержки принятия решений medAudit, которая обеспечивала формирование знаний в терминах главного врача и финансового менеджера медучреждения в виде интегральных показателей качества производственной деятельности и финансовых результатов, а также моделирование ситуации по принципу «что если?».
Компонента ЭС ППР верхнего уровня, облачная опНпе-система medAudit (рис. 5), позволила агрегировать уже обработанные локальной компонентой показатели, вычисляя тренды, прогнозируя их развитие методами экстраполяции и визуализируя в виде графиков для лица, принимающего решения (ЛПР).
Таким образом, предлагаемый информационный агрегатор как системный элемент здравоохранения:
(1) позволяет реализовать иерархический принцип укрупнения (агрегации) показателей для стратегического управления отраслью с одноранговой сетевой моделью обмена данными на уровне исполнительных элементов системы;
(2) устраняет промежуточные элементы, не вырабатывающие собственных управляющих воздействий, сигналов на адаптацию на основе обратной связи и занятых исключительно трансформацией поступающей на вход
и информационные
технологии
Рис. 5. Иерархия компонент платформы информационного агрегатора, реализованного на примере подсистемы медицинских учреждений УД Президента Российской Федерации
информации, т.е. транслирующие элементы, системно избыточные в эпоху цифрового общества;
(3) использует многоуровневую подсистему актуализации на основе информативных целевых параметров и их последующего контроля по принципу двух петель обратной связи (локально-региональной и глобальной);
(4) формирует дополнительный системный элемент цифрового здравоохранения, вырабатывающий стимулы на адаптацию системы, если выход значений целевых параметров за границы допустимых диапазонов становится тенденцией, а система здравоохранения попадает в нежелательное состояние - аттрактор.
В заключение отметим, что сегодня понимание необходимости интеллектуальных центров агрегации информации и формирования знаний складывается на государственном уровне, в том числе это отражает ряд нормативных документов:
• Концепция долгосрочного социально-экономического развития Российской Федерации на период до 2020 года, утвержденная распоряжением Правительства РФ от 17 ноября 2008 года № 1662-р.
• Государственная программа Российской Федерации «Развитие науки и технологий» на 2013-2020 годы, утвержденная Постановлением Правительства РФ № 301 от 15 апреля 2014 года.
• Программа модернизации и создания сетевых распределенных ситуационных центров (СРСЦ), реализуемая согласно Поручению Председателя Правительства Российской Федерации Д.А. Медведева. № ДМ-П7-5840 от 24 августа 2015 года.
• Стратегия развития информационного общества на 2017-2030 годы, утвержденная Указом Президента РФ № 203 от 09 мая 2017 года.
• Стратегия экономической безопасности Российской Федерации на период до
2017, № 4
2030 года, утвержденная Указом Президента РФ от 13 мая 2017 года № 208.
ЗАКЛЮЧЕНИЕ
Информатизация здравоохранения являлась неотъемлемой частью программы модернизации здравоохранения. На начальном этапе были решены действительно необходимые проблемы приобретения технических средств, создания локальных сетей и множества медицинских прикладных систем. Текущий этап -формирование цифровой инфраструктуры отрасли - также практически завершен. Однако проблемы иерархичности данных, перехода от «сырых данных» к интегральным индикаторам, извлечения знаний о структурных и ресурсных диспропорциях, верификации, применения интеллектуальных методов обработки сверхбольших массивов данных (big data) во многом остаются сегодня вне зоны внимания
регулятора здравоохранения, сконцентрированного в большей степени на лечебных и медико-статистических аспектах ЕГИС.
Предложенный новый системный элемент для контроля и управленческого учета в здравоохранении, информационный агрегатор основан на парадигме агрегации знаний медицинского и финансового менеджмента вместо накопления и классической статистической обработки рядов первичных медицинских данных, что позволит регулятору решить проблему «проклятия размерности» при управлении отраслью.
В сочетании с концепцией сетевых распределенных ситуационных центров предложенный подход на основе описанного информационного агрегатора может стать недорогой и надежной основной для завершающих этапов перехода к цифровой экономике здравоохранения.
ЛИТЕРАТУРА
1. Цифровая Россия: новая реальность. [Электронный источник]. - URL: http://www. mckinsey.com/russia/our-insights/ru-ru (Дата обращения: 07.08.2017).
2. Официальный сайт ТАСС. [Электронный источник]. - URL: http://tass.ru/ekonomika/ 4389411 (Дата обращения: 10.07.2017).
3. Доклад Министра здравоохранения Российской Федерации на заседании Совета при Президенте Российской Федерации по стратегическому развитию и приоритетным проектам 21.03.2017 [Электронный источник]. - URL: http://www.kremlin.ru/events/councils/ by-council/1029/54079 (Дата обращения: 10.04.2017).
4. Перечень государственных информационных систем. Официальные данные Министерства здравоохранения Российской Федерации [Электронный ресурс]. - URL: https://www.rosminzdrav.ru /opendata/7707778246-perechengosinformacionnyhsistem (Дата обращения: 05.04.2017).
5. Перечень федеральных информационных систем для регионального использования [Электронный источник]. - URL:, http://www.kmis.ru/site.nsf/apages/fsys_list.htm (Дата обращения: 11.09.2017).
6. Официальный сайт дискуссионной площадки Эффективное здравоохранение - инновационный путь развития. [Электронный ресурс]. - URL: http://www.healthinnovation.ru (Дата обращения: 23.05.2017).
>
РЧН
Медицинские информационные системы
и информационные
технологии
7.
Попович Л. Проблемы эффективности статистического наблюдения системы здравоохранения РФ / Л. Попович // Доклад на круглом столе НИУ ВШЭ «Оптимизация статистического учета и отчетности в системе здравоохранения», 27.04.2017.
8. Ковалев С.П. Графоаналитический метод оценки качества нормативно-правового регулирования на примере здравоохранения России / С.П. Ковалев, П.В. Сороколетов, А.С. Евсеев, К.Е. Лукичев // Экономика и предпринимательство. - 2017. - № 5 (ч. 2). -С. 57-66.
9. Официальный сайт Агентства стратегических инициатив [Электронный ресурс]. - URL: http://asi.ru/projects/ (Дата обращения: 05.04.2017).
10. Пахомов Ю. Цифровая трансформация: как освободить государство от его собственных оков? / Ю. Пахомов // PCWEEK, март 2017. Изд-во: АО «СК ПРЕСС» [Электронное издание]. - URL: https://www.pcweek.ru/gover/article/detail.php? ID=193667 (Дата обращения: 17.04.2017).
11. Сороколетов П.В. Мир на пороге 4-й информационной революции / П.В. Сороколетов // Информационно-аналитический журнал «Система». - 2004. -№ 4. - С. 20-24.
12. Заде Л. Роль мягких вычислений и нечеткой логики в понимании, конструировании и развитии информационных интеллектуальных систем / Л. Заде // Новости искусственного интеллекта - 2007 - № 2. - С. 7-11.
13. Ковалев С.П. Анализ научных подходов к прогнозу перспективности R&D / С.П. Ковалев, П.В. Сороколетов // Наука и Мир. - 2016. - № 5 (33) - Т. 2. - С. 147-152.
14. Ковалев С.П. Методика анализа, прогноза и планирования показателей функционирования медицинского учреждения в экспертной системе medAudit®: методическое пособие / С.П. Ковалев, П.В. Сороколетов, А.В. Генералов. - М.: Изд-во «Альянс Медиа стратегия», 2013. - 42 с.
15. Ковалев С.П. Системы поддержки принятия решений для обеспечения финансовой устойчивости медицинских организаций / С.П. Ковалев, П.В. Сороколетов, Е.Р. Яшина, А.В. Генералов. - М.: Издательский дом «Дело» РАНХиГС, 2015. - 348 с.
16. Ковалев С.П. Инновационное развитие медицинской организации в период реформирования системы здравоохранения / С.П. Ковалев, П.В. Сороколетов, Е.Р. Яшина, А.В. Генералов // Отчет о НИР Государственного задания Российской академии народного хозяйства и государственной службы при Президенте Российской Федерации на 2015 г. - М.: ФГБОУ ВПО «РАНХиГС», 2015. - 111 с.
