CC BY
10Бюллетень науки и практики /Bulletin of Science and Practice Т. 5. №12. 2019
https://www.bulletennauki.com DOI: 10.33619/2414-2948/49
ЭКОНОМИЧЕСКИЕ НАУКИ/ECONOMIC SCIENCES
УДК 330+004 https://doi.org/10.33619/2414-2948/49/31
КАК УМЕНЬШИТЬ ВЕРОЯТНОСТЬ ОШИБОК ПРИ ВЫБОРЕ ПРИОРИТЕТНЫХ
НАПРАВЛЕНИЙ СОЦИАЛЬНОГО И ЭКОНОМИЧЕСКОГО РАЗВИТИЯ СТРАНЫ
©Хубаев Г. Н., д-р экон. наук, Ростовский государственный экономический университет,
г. Ростов-на-Дону, Россия, [email protected]
HOW TO REDUCE THE PROBABILITY OF ERRORS WHEN SELECTING THE PRIORITY DIRECTIONS OF THE SOCIAL AND ECONOMIC DEVELOPMENT OF THE COUNTRY
©Khubaev G., Dr. habil., Rostov State Economic University (RINH), Rostov-on-Don, Russia,
Аннотация. Предложена оригинальная методика, позволяющая уменьшить вероятность ошибок при выборе приоритетных направлений социального и экономического развития страны. Приведены примеры реализации методики с использованием созданных методов и программ для ЭВМ.
Abstract. An original technique is proposed to reduce the likelihood of errors when choosing priority areas of the country's social and economic development. Examples of the methodology implementation using the created methods and computer programs are given.
Ключевые слова: методика, вероятность ошибки, приоритетные направления, развитие страны, имитационные модели, автоматизированный синтез, программы для ЭВМ.
Keywords: methodology, probability of error, priority areas, development of the country, simulation models, automated synthesis, computer programs.
Постановка задачи. Как отмечено в Указе Президента РФ №208 от 13 мая 2017 года «О Стратегии экономической безопасности Российской Федерации на период до 2030 года», к «основным вызовам и угрозам экономической безопасности относятся: стремление развитых государств использовать свои преимущества в уровне развития экономики, высоких технологий (в том числе информационных) в качестве инструмента глобальной конкуренции; ... изменение структуры мирового спроса на энергоресурсы и структуры их потребления, развитие энергосберегающих технологий и снижение материалоемкости, развитие «зеленых технологий; . уязвимость информационной инфраструктуры финансово-банковской системы; . исчерпание экспортно-сырьевой модели экономического развития, резкое снижение роли традиционных факторов обеспечения экономического роста, связанное с научно-технологическими изменениями; . отсутствие российских несырьевых компаний среди глобальных лидеров мировой экономики; . отставание в области разработки и внедрения новых и перспективных технологий (в том числе технологий цифровой экономики), недостаточный уровень квалификации и ключевых компетенций отечественных специалистов; . ограниченность масштабов российского несырьевого экспорта, связанная с
Бюллетень науки и практики /Bulletin of Science and Practice Т. 5. №12. 2019
https://www.bulletennauki.com DOI: 10.33619/2414-2948/49
его низкой конкурентоспособностью ...; низкие темпы экономического роста, обусловленные внутренними причинами» (http://www.garant.ru).
Спрашивается, почему все так случилось? Почему никто не предупредил лиц, принимающих решения (ЛИР), о преимуществах высоких технологий, о возможных изменениях в структуре мирового спроса, о предстоящем снижении роли традиционных факторов обеспечения экономического роста, о грядущем отставании в области разработки перспективных технологий и снижении уровня квалификации и ключевых компетенций отечественных специалистов, об обусловленном какими-то внутренними причинами существенном снижении через, примерно, столько-то лет темпов экономического роста?
И почему были допущены столь грубые ошибки, негативно отразившиеся на уровне жизни населения страны, на «качестве человеческого потенциала»? Правда, вполне возможно и то, что лица и члены их команды, связанные с принятием таких непростых решений, не обладали достаточно высоким уровнем профессионализма в определенных конкретных предметных областях и творческими способностями.
Нам представляется, что многие из перечисленных проблем в области экономики обусловлены ошибками, допущенными кем-то, возможно, многие годы назад при выборе приоритетных направлений вложения средств из бюджета государства в перспективные отрасли, обеспечивающие ускорение социального и экономического развития страны.
В статье, базируясь на ранее выполненных исследованиях, предложен и обоснован способ подготовки коллективом экспертов рекомендаций (в помощь ЛИР) по выбору состава приоритетных направлений социально-экономического развития страны. Применение предложенного способа обеспечивает минимальную вероятность ошибки при выделении ограниченного подмножества направлений вложения средств бюджета развития, ранжировании и количественной оценке прикладной эффективности каждого из выделенных направлений.
Предварительные замечания. 1. Почему люди ошибаются. Люди, как известно, очень существенно различаются по своим ключевым компетенциям и творческим, «подаренным природой» способностям.
1.1. Ошибки по объективным причинам. *Люди очень разные по способностям, которыми их наделила природа. О том, насколько велика разница в творческих способностях индивидов покажем на примерах из реальной жизни. Так, из сотен миллионов игроков в шахматы лишь 3-5 человек могут сыграть 20 партий «вслепую» и только один человек в мире (А. А. Алехин) сыграл «вслепую» 32 партии. Причем в зависимости от природных способностей индивида разными будут и затраты времени на освоение нового материала, на получение знаний. Так, в экспериментах в очередной раз подтверждено очень существенное влияние индивидуальных способностей на скорость осознания возможностей практического применения полученных знаний и реальной реализации этих возможностей [1-2]. Оказалось, что при одинаковых внешних условиях и одинаковом исходном уровне знаний теоретических положений, время, достаточное для практического освоения нового учебного материала, имеет существенный разброс, значительную величину правосторонней асимметрии и, зачастую, может быть аппроксимировано альфа-распределением. Позднее подтвердилось, что при одинаковом уровне начальной подготовки и условиях эксперимента с увеличением сложности работы возрастает и величина правосторонней асимметрии распределения затрат времени на выполнение работы.
Бюллетень науки и практики / Bulletin of Science and Practice Т. 5. №12. 2019
https://www.bulletennauki.com DOI: 10.33619/2414-2948/49
*Люди очень разные по уровню профессиональной подготовки. С развитием научно-технического прогресса (НТП) все меньшую часть актуальной информации может освоить даже очень ответственный и способный член команды ЛПР. Так, в современных условиях из-за непрерывного ускорения НТП, уменьшения периода удвоения знаний, лавинообразного роста числа публикаций по большинству направлений науки и техники мало кому удается достаточно долго удерживать передовые позиции даже в одной, узкой области знания. Как отмечается в литературе, читая по 8 часов в сутки по 50 страниц в час, можно прочесть лишь ничтожно малую долю издаваемой в мире периодики по физике, математике, информатике, экономике и другим базовым наукам; и в то же время, чтобы разобраться с новой теорией и применить ее на практике даже хорошо подготовленному профессионалу зачастую нужны годы упорного труда.
Поэтому представляется вполне правдоподобным тезис о том, что из каждой тысячи физиков, медиков, экономистов, представителей других областей знания едва ли наберется несколько десятков таких, кто а) стоит на передовых рубежах конкретной науки и б) потенциально, в принципе способен понять и правильно оценить новую теорию, результаты, идеи или предложения другого члена этой небольшой группы профессионалов (Подчеркнем, что мы говорим лишь о тех, кто обладает способностями и необходимыми профессиональными знаниями. Но это еще не означает, что данный профессионал, во-первых, захочет, разбираться с теорией или идеями коллеги-конкурента, а, во-вторых, разобравшись, будет объективен и честен в своих оценках).
1.2. Ошибки по субъективным причинам. *Люди очень разные по целевым приоритетам, по стойкости к соблазнам, по чертам характера: сангвиники, холерики, ..., альтруисты, эгоисты, смелые и боязливые, ... «Люди субъективны. Если судья голоден, приговор будет более суровым, а если он сыт и доволен, то приговор будет мягким. Антибиотики врачи прописывают чаще днем, чем утром. Потому что с утра врач еще свеж и полон сил, а днем уже устал и прописывает более жесткое лекарство.» (Даниэль Канеман. Из доклада в Москве 7 октября 2019 г.).
*Люди очень разные по личной заинтересованности, включая разную стойкость к коррупции, лоббированию, разную реакцию на внешнее давление и т. д.
2. Ущерб для населения страны от ошибок ЛПР. Ошибки команды ЛПР — одна из основных причин возникновения угроз для экономики страны.
2.1. Явный, реальный ущерб. Наглядным примером того, к каким негативным последствиям для социально-экономического развития страны могут привести такие ошибки, является отрасль вычислительной техники и информационных технологий. Так, примерно 50 лет назад кто-то по каким-то причинам решил, что страна может вполне обойтись без вложения в развитие этой отрасли достаточного количества бюджетных средств: *в обучение достаточного количества студентов, аспирантов, в переподготовку преподавателей, *в проектирование и разработку достаточного количества вычислительных машин и программного обеспечения высокого потребительского качества, *в стимулирование научной деятельности граждан путем увеличения количества грантов, премий, диссертационных советов (например, в Ленинграде-СПб действовал только один диссертационный совет по специальности «Математические методы и применение вычислительной техники в экономических исследованиях, планировании и управлении народным хозяйством и его отраслями» и лишь несколько таких советов на весь СССР).
И в результате оказалось, что сегодня на мировом рынке практически отсутствуют отечественные разработки в области алгоритмических языков, СУБД, пакетов прикладных
Бюллетень науки и практики / Bulletin of Science and Practice Т. 5. №12. 2019
https://www.bulletennauki.com DOI: 10.33619/2414-2948/49
программ для использования в различных предметных областях (причем, всего пять десятилетий назад корреляционные матрицы, корреляционные функции, регрессионные модели, затрачивая «массу» труда, времени и интеллектуальных усилий, приходилось рассчитывать, разрабатывая программы, в отличие от США, в кодах ЭВМ на машинах Минск-1 и Минск-2, соответственно, с 1 кб. и 2 кб. ОП) [3-5]. А ведь в настоящее время «конкурентным преимуществом на мировом рынке обладают государства, отрасли экономики которых основываются на технологиях анализа больших объемов данных. Такие технологии активно используются в России, но они основаны на зарубежных разработках. Отечественные аналоги в настоящее время отсутствуют. Повсеместное внедрение информационных и коммуникационных технологий, в том числе на объектах критической информационной инфраструктуры, усложняет решение задачи по обеспечению защиты интересов граждан и государства в информационной сфере» [6].
2.2. Неявный, предполагаемый ущерб. В мире 200 стран ориентируются на рыночную (или квази-рыночную) экономику, а результаты социально-экономического развития этих стран почему-то разные. Да и скорость появления позитивных изменений в экономике стран мира тоже разная (см. данные ООН и Всемирного банка по КНР, Индии и ряду других стран). Причем, как оказалось, ни климат, ни площадь территории, ни географическая широта почему-то не оказывают существенного влияния на самые главные экономические показатели и результаты.
Можно также предположить, что чем больше разброс в уровне профессионализма и способностях у команды ЛПР, тем заметнее будет разница в уровне жизни людей, которыми управляют такие ЛПР. Действительно, в двух сотнях стран с рыночной экономикой (и даже в разных административно-территориальных образованиях одной страны) доходы на душу населения и средняя величина прироста ВВП на душу населения за 5-10 лет различаются в несколько раз, продолжительность жизни населения — более чем в 1,5 раза, а доля лиц с высшим образованием, уровень образования, относительное количество тяжких преступлений и их раскрываемость, ресурсоемкость проектирования, изготовления и использования одинаковых товаров, производительность общественного труда и т. д. — в десятки раз (!).
По-видимому, все-таки основная причина в социальных и экономических успехах отдельных стран и народов заключается именно в знаниях и способностях команды ЛПР (или их помощников), в умении сделать правильный выбор ограниченного подмножества направлений вложения средств бюджета развития из множества возможных вариантов (в целях ускорения роста экономики).
3. Почему трудно выявить лиц с неординарными профессиональными компетенциями и творческими способностями.
3.1. О профессиональной компетентности. Пусть требуется выявить профессионалов в конкретной области знаний.
Из множества граждан любой страны мира, включая ограниченные подмножества ЛПР на всех уровнях, совсем не просто выделить не только профессионалов в любой предметной области (их же, к сожалению, не так много), но и профессионалов с наличием творческих способностей - этих лиц еще меньше. А альтруистов среди этого, весьма немногочисленного сообщества окажется вообще ничтожно малое количество.
Действительно, причин для таких предположений множество. Например, на Рисунке, представлены в виде диаграммы Венна объемы знаний, которыми обладают общающиеся между собой индивиды A-E. Легко увидеть, что индивид А вряд ли сомневается в том, что
Бюллетень науки и практики / Bulletin of Science and Practice Т. 5. №12. 2019
https://www.bulletennauki.com DOI: 10.33619/2414-2948/49
индивид С, с которым у А много общего, компетентнее, умнее индивида В. В свою очередь В. по тем же причинам будет считать D более компетентным, чем А. Однако все они будут убеждены в том, что Е — весьма ограниченная личность, хотя в действительности последний обладает гораздо большим объемом знаний, чем А, В, С и D вместе взятые [6].
При таких условиях индивиду Е невозможно доказать индивидам А или В большую эффективность, (продуктивность, полезность) своего предложения, если для доказательства он будет использовать те знания, по которым у него нет пересечения с А и В. Правда, в отличие от случая, связанного с врожденными способностями, здесь непонимание позиции Е обусловлено различиями в объеме знаний у отдельных индивидов.
Предположим теперь, что организаторы экспертиз, формируя коллектив экспертов с использованием процедуры «взаимных рекомендаций», обратились к А с просьбой указать самого квалифицированного специалиста из тех, кого знает А. Очевидно, что А, В, С или D вряд ли будут рекомендовать в состав коллектива экспертов индивида Е.
Рисунок. Объемы знаний, которыми обладают индивиды A-E.
3.2. О творческих способностях. Не менее трудно выделить и тех, кто обладает творческими способностями: ассоциативным мышлением, умением мысленно «просчитать» последствия принятого решения на много ходов (лет) вперед. Ведь, очевидно, что тот, кто в состоянии мысленно представить 4 шага алгоритма решения задачи, не сможет убедить в правильности, обоснованности своего решения того, кто способен видеть лишь на 2 шага (или хода) вперед (если речь идет, например, о выборе путей развития экономики; при игре в шахматы все обстоит гораздо проще: правоту легко доказать реальной игрой, а ошибка в расчетах не окажет негативного влияния на жизнь других людей).
ВЫВОДЫ из содержания Предварительных замечаний:
1) В современных условиях (при непрерывном ускорении процесса удвоения знаний, почти экспоненциальном росте количества публикаций по результатам научных исследований, росте количества изобретений, патентов и открытий) НИКТО не может избежать ошибок при выборе приоритетных направлений социально-экономического развития страны и, соответственно, при формировании ее бюджета развития.
2) Величина ущерба при неправильном (ошибочном) выборе направлений расходования бюджетных средств для ускорения роста экономики страны может быть огромной и, как следствие, эта ошибка негативно отразится на уровне жизни населения всей страны.
3) В настоящее время отсутствуют (не описаны в открытой печати) способы (методики, алгоритмы), позволяющие уменьшить вероятность ошибки при выборе приоритетных направлений развития любой страны мира.
4) Как-то не очень хорошо получается: кто-то 50 лет назад всего лишь ошибся в выборе приоритетного направления вложения бюджетных средств, например, в развитие вычислительной техники и информационных технологий, а сегодня вынуждено страдать
Бюллетень науки и практики / Bulletin of Science and Practice Т. 5. №12. 2019
https://www.bulletennauki.com DOI: 10.33619/2414-2948/49
население всей страны (!). Ведь именно такой вывод следует из содержания представленного выше фрагмента из Стратегии экономической безопасности РФ (http://www.garant.ru).
Напомним, что согласно Указу Президента РФ №208 от 13 мая 2017 года «О Стратегии экономической безопасности Российской Федерации на период до 2030 года» (http://www.garant.ru), целями и задачами обеспечения экономической безопасности страны являются: «повышение устойчивости экономики к воздействию внешних и внутренних вызовов и угроз; обеспечение экономического роста, ... повышение уровня и улучшение качества жизни населения». И есть четкие количественные показатели состояния экономической безопасности: «валовой внутренний продукт на душу населения (по паритету покупательной способности; . доля граждан с денежными доходами ниже величины прожиточного минимума; ... децильный коэффициент;».
Но, спрашивается, как добиться осуществления этих актуальных целей и успешно решить поставленные задачи?
Нам представляется, что в современных условиях есть единственный реально осуществимый способ уменьшить вероятность ошибок при выборе приоритетных направлений социального и экономического развития страны и, соответственно, увеличить вероятность ускорения роста экономики, уровня жизни населения [7], развития человеческого потенциала [8] — для этого необходимо сформировать коллектив высокообразованных экспертов-профессионалов (из разных предметных областей) для регулярной подготовки рекомендаций (в помощь ЛПР на верхних уровнях управления) по выбору приоритетных направлений роста экономики.
Предлагаемая методика состоит из четырех относительно самостоятельных процессов: отбор кандидатов в эксперты, тестирование кандидатов и формирование коллектива экспертов, выбор приоритетных направлений развития экономики и их ранжирование, оценка и затрат ресурсов на реализацию каждого направления, и возможной величины временного лага, и эффекта (социального, экономического), оценка вероятности значений определенных затрат на реализацию выбранных направлений и диапазона временного лага.
1. Формирование коллектива экспертов для подготовки рекомендаций по составу приоритетных направлений вложения средств бюджета развития (в целях ускорения роста экономики страны)
Коллектив экспертов формируется в 3 этапа. На первом этапе на основании обычно используемых количественных показателей научной компетентности работника вуза и НИИ (количество цитирований, индекс Хирша, количество выполняемых и выполненных в качестве исполнителя и руководителя проектов-грантов РФФИ, Минвуза и других ведущих организаций России и мира, и ряд других показателей) формируется первоначальная исходная совокупность кандидатов в эксперты. Всего более 4-х десятков показателей.
Кандидатами в эксперты становятся те из сотрудников вуза или НИИ, у которых значения отдельных из используемых в данном учреждении показателей профессиональной компетентности превышают средние у специалистов в данной предметной области в этом вузе или НИИ.
На втором этапе для оценки реальной компетентности кандидатов в экспертную группу по конкретной предметной области (генной инженерии, информатике, медицине, биологии, математике, химии, образовании, растениеводстве, в области проектирования или закупки технологий .) и выявления творческих способностей у членов сформированной на первом этапе совокупности кандидатов используется алгоритм классификации ЛПР по уровню профессиональных знаний и творческим способностям [9-10]. С этой целью сначала необходимо выделить среди кандидатов в эксперты профессионалов в рассматриваемых
Бюллетень науки и практики /Bulletin of Science and Practice Т. 5. №12. 2019
https://www.bulletennauki.com DOI: 10.33619/2414-2948/49
предметных областях и разработать перечни тестовых задач для каждой из предметных областей. В результате по всем предметным областям создаются таблицы, включающие кандидатов в эксперты и перечни решенных ими задач (например, вида Таблицы 1)
Пояснение 1. В разделе «Предварительные замечания п. 3» мы обратили внимание на то, что в обычном общении трудно, вернее, невозможно выявить самого компетентного профессионала даже в одной предметной области и, тем более, обнаружить профессионала с творческими способностями. Правда, многие годы назад нам случайно удалось обнаружить в процессе поиска подмножества определяющих факторов при построении регрессионных моделей [11], что все члены одной из многочисленных группировок участников опросов (по методу пошагового уточнения ранжирования объектов) не только практически точно предсказали состав определяющих факторов, но даже правильно предвидели ранги Ь-коэффициентов, характеризуемые отношением Ь\/оь\,- Причем члены этой группировки *не общались друг с другом, *проживали в разных городах и *не знали о том, что они совместно участвуют в опросах. Таким образом, получалось, что какая-то самопроизвольно сформировавшаяся группа специалистов обладает большей компетентностью, чем остальные группы. Но обнаружить, выявить такую группу удалось, к сожалению, только после ретроспективного анализа уже решенной задачи. В дальнейшем в многочисленных экспериментах с участием студентов и слушателей ИПК руководящих работников и специалистов [12-13] мы убедились в том, что при большом количестве участников можно получить подобный неожиданный результат с достаточно высокой вероятностью. При этом тестирование заключалось в решении одинакового набора задач разного уровня сложности из одной предметной области и из разных предметных областей, то есть только тестирование путем решения испытуемым задач разного уровня сложности из разных предметных областей позволяет обнаружить и наиболее знающих специалистов в определенной предметной области, и лиц, обладающих творческими способностями.
Таблица 1.
РЕЗУЛЬТАТЫ ТЕСТИРОВАНИЯ КАНДИДАТОВ В СОСТАВ КОЛЛЕКТИВА ЭКСПЕРТОВ
Кандидат в состав коллектива экспертов Задачи, решенные кандидатами в состав коллектива экспертов (предметная область в)
X1 X2 X X;+1 X;+k Xm
Zi 1 1 1 1 0 1
Z2 0 0 0 1 1 0
Z3 1 1 1 1 0 1
. . . . . . . . . . . . . . . . . . . . .
Zi 0 1 0 0 0 0
. . . . . . . . . . . . . . . . . . . . .
Пусть Z=|Z^|, (1=1, 2, ...) — множество кандидатов в состав экспертов, которым с использованием таблицы (или датчика) случайных чисел присвоены идентификаторы Z1. Всем кандидатам в эксперты предложены для решения задачи {х^-}. При этом _ (1, если / — й кандидат в эксперты решил _/ — ю задачу ^ = { 0, если ] — я задача им не решена.
Для каждой из таблиц построены матрицы Р = {р((01)},, С = {д^} (/, к £ 1, п), где
9 Не = + Р^ + ^¿А-1") — мера подобия Жаккарда. Выделим экспертов и (/, k
(11)
=1, 2,.) и введем следующие обозначения: Р-^ — количество одинаковых задач, решенных
Бюллетень науки и практики /Bulletin of Science and Practice Т. 5. №12. 2019
https://www.bulletennauki.com DOI: 10.33619/2414-2948/49
кандидатами и в состав коллектива экспертов, т.е. Р\к ) = ^ П 2^| — мощность
пересечения множеств 2^ = {х^} и 2^ = {х^} (/' £ 1,т;х \ х^, Хц = 1); Р^0"* — количество
задач, решенных кандидатом в состав экспертов 2и которые не смог решить 2к, т.е. Р(^10) =
|— мощность разности множеств 2^ = {х^} и 2^ = {х^}; Р(°1) — количество задач,
решенных 2^, которые не смог решить 2и т.е. Р(|01) = 12к/ 2^
По матрице G строят графы взаимосвязи между кандидатами в эксперты по составу и сложности решенных задач, а анализ матрицы (Р+Р2) позволяет получить упорядочение кандидатов в эксперты по уровню профессиональной компетентности в выбранной конкретной предметной области.
Замечание 1. На обработку таблицы, содержащей 100 тысяч экспертов и 1000 задач, с использованием программы для ЭВМ, созданной студентами И. А. Ермоловым, А. Р. Загировым и Д. А. Полиевым, и ноутбука с 8 Гб ОП, потребовалось менее 80 мин.
На третьем этапе формирования коллектива экспертов выполняется оценка наличия у кандидатов творческих способностей. С этой целью строится таблица, аналогичная Таблице 1, в которую включены все кандидаты в эксперты (работающие в рассматриваемых предметных областях) и тестовые задания, подготовленные для этих предметных областей.
В результате тестирования выявляют тех из кандидатов, которые решили или были близки к решению задач, подготовленных для решения специалистами из других предметных областей. Затем выполняется обработка результатов тестирования с вычислением матриц G и (Р+Р2), оценкой взаимосвязи между кандидатами в эксперты по группам решенных задач и упорядочением (ранжированием) кандидатов в состав коллектива экспертов по творческим способностям (исходя из количества и сложности решенных задач из разных предметных областей, непосредственно не связанных с повседневной деятельностью кандидата).
Таблица 2.
РЕЗУЛЬТАТЫ ТЕСТИРОВАНИЯ ВСЕХ КАНДИДАТОВ В СОСТАВ КОЛЛЕКТИВА ЭКСПЕРТОВ ДЛЯ ОЦЕНКИ НАЛИЧИЯ ТВОРЧЕСКИХ СПОСОБНОСТЕЙ
Все кандидаты в состав коллектива экспертов Задачи из разных предметных областей, решенные кандидатами в состав коллектива экспертов (предметные области)
биология информатика технологии
Xi X2 X Xj+1 Xj+k Xm
биология
Я 0 0 0 1 1 0
0 0 0
информатика
2т 0 0 0 0 0 1
0 0 0
технологии
£ 1 1 1 1 0 0
0 0
Теперь, исходя из требований системы верхнего уровня, осуществляют (на основе упорядоченной пропорционально количеству и сложности решенных задач совокупности кандидатов) отбор в формируемый коллектив экспертов наиболее компетентных профессионалов, которые будут нести ответственность перед обществом, населением
Бюллетень науки и практики / Bulletin of Science and Practice Т. 5. №12. 2019
https://www.bulletennauki.com DOI: 10.33619/2414-2948/49
страны за качество подготовленных ими рекомендаций по ограниченному составу приоритетных направлений социально-экономического развития страны.
Замечание 2. Располагая в каждой предметной области упорядоченным по уровню профессиональной компетентности списком кандидатов в состав коллектива экспертов (упорядоченным пропорционально количеству и сложности решенных задач из той предметной области, в которой они работают) легко установить, какие из обычно используемых показателей объективно характеризуют компетентность специалиста в данной предметной области.
2. Информационное обеспечение и алгоритм реализации интуитивно согласованного коллективного выбора приоритетных направлений социально-экономического развития страны.
В результате обработки Таблиц 1 и 2 сформирован коллектив экспертов для подготовки рекомендаций команде ЛПР по составу приоритетных направлений развития экономики. Однако, как отмечено в Предварительных замечаниях, в связи с ускорением процесса удвоения знаний и лавинообразным ростом количества новых изобретений, открытий, технологий, методов даже коллективу талантливых профессионалов придется затрачивать много времени на поиск перспективных направлений научно-технического прогресса, правильный выбор которых при формировании бюджета развития позволит увеличить вероятность роста экономики страны. В таких условиях для обеспечения продуктивной работы коллектива экспертов целесообразно создание базы данных, содержащей сведения о новых научных результатах исследований и о новых технологиях. Например, создание базы данных «Новости науки и технологий».
Использование такой базы данных позволит уменьшить трудозатраты *на выделение подмножества приоритетных направлений вложения бюджетных средств, *на выполнение ранжирования (упорядочения) выделенных направлений по степени их полезности, экономической эффективности, *на оценку затрат бюджетных средств на реализацию каждого из выбранных направлений и *оценку возможного диапазона временного лага.
Получается, что в составе исходных данных для принятия решений есть поддерживаемые в актуальном состоянии базы данных (БД) большой мощности: *база высокообразованных экспертов-профессионалов и база, содержащая информацию о множестве достижений в сфере науки и техники.
Основываясь на созданных БД, покажем обоснованность и эффективность использования алгоритмов [6, 14-16] применительно к процедуре интуитивно согласованного коллективного выбора ограниченного подмножества приоритетных направлений социально-экономического развития страны из множества возможных вариантов, т. е. на первом этапе необходимо выделить из базы «Новости науки и технологий» ограниченное подмножество перспективных разработок для последующего более глубокого анализа. Предлагаемая последовательность операций процесса такого отбора включает следующие шаги:
Шаг 1. С использованием таблицы или датчика случайных чисел из базы данных, содержащей сведения об экспертах-профессионалах в различных областях знаний выбираются компетентные потенциальные участники экспертных исследований.
Шаг 2. Выбранным экспертам предлагают принять участие в решении конкретной, задачи по выбору ограниченного подмножества перспективных разработок в области науки и технологий.
Бюллетень науки и практики /Bulletin of Science and Practice Т. 5. №12. 2019
https://www.bulletennauki.com DOI: 10.33619/2414-2948/49
Шаг 3. Экспертам, согласившимся участвовать в опросе, присваивают идентификаторы (также с использованием датчика случайных чисел). Количество участвующих в экспертизе может быть практически неограниченным.
Замечание 1. Все три шага и ряд последующих шагов выполняются автоматически, т. е. не только участники, но и организаторы экспертизы не знают, кто конкретно участвует в опросах, кто и как обосновал свое решение, как возникают группировки участников опроса.
Шаг 4. Каждого участника экспертного опроса информируют о необходимости выбрать приоритетные направления социально-экономического развития страны. В итоге у каких-то групп экспертов могут быть выбраны одинаковые приоритетные направления развития экономики, у других — различные сочетания нескольких направлений.
Замечание 2. Если эксперт указал несколько приоритетных направлений, то в этом случае его просят выполнить их упорядочение по степени значимости, полезности, эффективности.
В результате выполнения шага 4 будет сформирована Таблица 3.
Замечание 3. Экспертов, у которых в списках приоритетных направлений оказались выбранные не более, чем 10-15 процентами участвующих в экспертизе просят объяснить, почему выбрано именно это направление, и с объяснениями знакомят всех экспертов, предлагая при желании изменить свои предыдущие ответы.
Таблица 3.
РЕЗУЛЬТАТЫ ЭКСПЕРТИЗЫ ПО ВЫБОРУ ПРИОРИТЕТНЫХ НАПРАВЛЕНИЙ РАЗВИТИЯ ЭКОНОМИКИ
Эксперт Выбранные приоритетные, по мнению участников опроса, направления социально- экономического развития страны
Yi Y2 Yj Y+i Y j+k Ym
Z1 1 1 1 1 0 1
Z2 0 0 0 1 1 0
Z3 1 1 1 1 0 1
Z 0 1 0 0 1 0
IY4
Шаг 5. Обработка результатов экспертизы Таблицы 3.
Пусть Z=|Z¿|, 0=1, 2, ...) — множество экспертов, которым с использованием таблицы (или датчика) случайных чисел присвоены идентификаторы Zi. Исходная информация представляется в виде таблицы {у^}. При этом
_ ( 1, если / — й эксперт выбрал _/' — е направление;
= { 0, если ] — е направление отсутствует в списке у I — го эксперта.
Выделим экспертов и (/, к =1, 2,.) и введем следующие обозначения: Р^1" -количество приоритетных направлений, выбранных одновременно и т.е. Р^1" = П мощность пересечения множеств = {у„] и = {у^.} (у е 1,ш;у | у„, у„ = 1); Р^0" — количество приоритетных направлений, выбранных экспертом но отсутствующих в списке т.е. Р^0" = мощность разности множеств = {у^.} и = {у^}; Р(01) —
количество приоритетных направлений, отсутствующих в списке но выбранных т.е. Р^ =
Бюллетень науки и практики / Bulletin of Science and Practice https://www.bulletennauki.com
Т. 5. №12. 2019 DOI: 10.33619/2414-2948/49
В качестве меры рассогласования между строками и выберем величину =
^(01)/(^(11) + ^¿(1и)), а для оценки степени поглощения экспертом списка приоритетных направлений, выбранных экспертом (степени включения, «вхождения» списка в ) — величину к1к = Р^ДР^ + Р(;0)).
Построим матрицы Р = {р^}^ = G = Я = (i, fc е 1, п), где
^fc
Р^ДР^ + Р(10) + Р(^°1)) — мера подобия Жаккарда.
Разницу в составе приоритетных направлений развития экономики, выбранных участниками экспертного опроса, можно наглядно показать на графах, построенных по матрицам С или Степень взаимосвязи экспертов по составу выбранных ими приоритетных направлений можно оценить, анализируя матрицу С =
Анализ матрицы (Р+Р2) позволяет определить, какое из приоритетных направлений, по мнению участников экспертного опроса, имеет наибольший информационный вес (ранг).
Шаг 6. По данным анализа таблицы 3 формируется список возможных приоритетных направлений для дальнейшего исследования.
Шаг 7. Выполняется ранжирование сформированного списка с использованием метода пошагового уточнения ранжирования объектов [14]. Применение этого метода позволяет *корректно осуществлять разбиение (классификацию) экспертов на группы, *повышать точность результатов экспертизы за счет наличия обратной связи при реализации каждого тура, *сохранить преимущества дельфийской процедуры, *находить согласованное с членами каждой группы участников экспертного опроса упорядочение приоритетных направлений, рассчитав точно или приближенно медиану Кемени.
ВЫВОДЫ. 1. Используя рассмотренный алгоритм и разработанные на его основе программные продукты, можно оперативно проводить сравнительный анализ практически неограниченного количества мнений экспертов, корректно и с минимальными трудозатратами осуществлять классификацию (группировку) экспертов.
2. Предложенный вариант выбора приоритетных направлений социально-экономического развития страны является универсальным и обладает рядом преимуществ:
Во-первых, существенно возрастает вероятность правильного выбора приоритетных направлений вложения бюджетных средств, соответственно, вероятность ускорения роста экономики страны. Во-вторых, впервые появляется возможность по результатам участия в конкретных экспертизах формировать рейтинг экспертов. В-третьих, тот факт, что вся организация экспертиз выполняется в автоматизированном режиме, и ни сами участники, ни организаторы экспертных опросов не знают, кто участвует в конкретной экспертизе, кто и какие дал обоснования своему решению, позволяет практически исключить влияние на результат личных качеств и возможной заинтересованности участников и организаторов экспертиз, затрудняющие получение объективной информации об изучаемой проблеме.
3. Оценка значений затрат ресурсов на реализацию выделенных приоритетных направлений вложения бюджетных средств (и эффекта социального и экономического, и временного лага — времени от момента вложения средств до получения отдачи).
Для оценки значений перечисленных показателей используется Метод пошагового уточнения значений затрат ресурсов с оценкой характеристик распределения (ПУЗ-ОХР) [19]. Отличие метода заключается, во-первых, в использовании многошаговой процедуры, на каждом шаге которой осуществляется имитационное моделирование, и, во-вторых, в интеграции метода Дельфи с экспертизой, направленной на получение обобщенного мнения группы экспертов о возможном диапазоне значений искомого показателя.
Бюллетень науки и практики / Bulletin of Science and Practice Т. 5. №12. 2019
https://www.bulletennauki.com DOI: 10.33619/2414-2948/49
Предположим, что процедура пошагового уточнения значений затрат ресурсов (эффекта, временного лага) реализована. Но, спрашивается, как определить, что коллективное мнение стабилизировалось и пора прекращать дальнейшие опросы? С какой вероятностью, например, не будет превышено определенное значение искомого показателя? Какова вероятность того, что значение показателя будет находиться в заданных доверительных границах?
Для ответа на поставленные вопросы реализуются следующие операции: Оценки каждого /-го эксперта на j-м шаге ЭЧ- аппроксимируются равномерным (если эксперт указал два значения показателя) или треугольным (если указано три значения) распределениями. Обобщенное коллективное мнение п экспертов об искомом значении показателя определяется как среднее п случайных величин, имеющих равномерное или треугольное распределения путем реализации на каждом к-ом шаге имитационного моделирования функции Э(к)об=(2Э(к)г)/п, (/€п). В качестве инструментальных средств реализации имитационного моделирования используется программный продукт [18], позволяющий с минимальными трудозатратами (в автоматизированном режиме) строить имитационную модель. В результате имитационного моделирования на каждом к-ом шаге получают статистические характеристики (математическое ожидание, дисперсию, коэффициент вариации, эксцесс, асимметрию) и распределение (таблицу и гистограмму) значений показателя - функции Э(к)об=/(Э(к)г). После каждого шага (цикла экспертизы) участников экспертной группы знакомят с объяснениями, представленными в защиту сильно отличающихся оценок значений показателя, и предлагают при желании изменить свои предыдущие ответы. На каждом очередном j-ом шаге оценивают изменение значений коэффициента вариации К(jvar функции Э(/)об. При отклонении коэффициента вариации от предыдущего значения, например, на 5% и менее можно считать, что оценки экспертов стабилизировались и целесообразно завершать экспертизу. На основании результатов имитационного моделирования на последнем шаге оценивают доверительные границы значений показателя и вероятность того, что его значения окажутся больше или меньше определенного числа.
При использовании метода ПУЗ-ОХР можно также определить, как взаимосвязаны ответы участников экспертной группы, какова степень этой взаимосвязи, и влиянием каких факторов объясняется наличие такой взаимосвязи. Задача состоит в том, чтобы выявить группы экспертов, мнения которых о значениях искомого показателя являются достаточно близкими, согласованными. Легко также увидеть группировки экспертов, по мнению которых значения искомого показателя попали в диапазон с вероятностью, не превышающей, например, 0,3; 0,5; 0,7; 0,85 или 0,95.
Автоматизированный синтез имитационных моделей в процессе реализации алгоритма позволяет многократно снизить затраты трудовых ресурсов на получение искомых значений показателей.
Метод ПУЗ-ОХР может применяться при оценке значений различных показателей — значений спроса на конкретный товар, ущерба от реализации угроз безопасности предприятия, времени выполнения конкретной операции делового процесса, убытков от возможных недружественных санкций конкурентов, времени, затраченного на взлом информационной системы, прогнозируемого времени решения задачи и др. [19-20].
Выводы.
1. Показана возможность *определять диапазон возможных значений искомого показателя, *экономически обоснованно выбирать оптимальный вариант вложения финансовых ресурсов бюджета развития; (например, по критерию минимума затрат
Бюллетень науки и практики / Bulletin of Science and Practice Т. 5. №12. 2019
https://www.bulletennauki.com DOI: 10.33619/2414-2948/49
ресурсов); *обосновывать целесообразность ориентации на внедрение новых технологий, видов продукции, услуг; * исследовать причины возникновения правосторонней асимметрии распределения; *выявлять группы экспертов, оценки которых оказывают основное влияние на возрастание асимметрии.
2. Предложено значения искомого показателя определять с использованием программной системы автоматизированного синтеза имитационной модели для пошагового получения обобщенной групповой экспертной оценки. Показано, что имитационное моделирование является единственным инструментальным средством, позволяющим получать статистические характеристики и распределение значений искомых показателей, дает возможность оценить доверительные границы значений искомого показателя и определить вероятность попадания затрат времени и различных ресурсов в заданный диапазон значений.
Заключение
1. Показано, что в современных условиях (при непрерывном ускорении процесса удвоения знаний) невозможно избежать ошибок при выборе приоритетных направлений социально-экономического развития страны и, соответственно, при формировании ее бюджета развития. При этом величина ущерба при ошибочном выборе направлений расходования бюджетных средств для ускорения роста экономики страны может быть огромной и, как следствие, эта ошибка негативно отразится на уровне жизни населения всей страны.
2. Предложена универсальная методика, позволяющая уменьшить вероятность ошибки при выборе приоритетных направлений социального и экономического развития страны, включающая методы и инструментальные средства формирования коллектива высокообразованных экспертов-профессионалов (из разных предметных областей) для регулярной подготовки рекомендаций (в помощь ЛПР на верхних уровнях управления) по выбору приоритетных направлений роста экономики, в т. ч. методы *для отбора и тестирования кандидатов в эксперты, *для оценки значений: и затрат ресурсов на реализацию каждого направления, и возможной величины временного лага, и эффекта (социального, экономического), *для оценки доверительных границ значений искомого показателя и определения вероятности попадания значений показателей в заданный диапазон.
Статья подготовлена по результатам исследований, выполненных при поддержке Российского фонда фундаментальных исследований (РФФИ) — проект 18-010-00806/18 «Уровень жизни населения административно-территориальных образований: выявление, исследование, анализ и оценка значимости определяющих факторов (для последующей оптимизации в условиях ограниченных ресурсов)»
Источники:
(1). Указ Президента РФ №208 от 13 мая 2017 года «О Стратегии экономической безопасности Российской Федерации на период до 2030 года». URL: http://www.garant.ru
(2). Указ Президента РФ №203 от 9 мая 2017 года «О Стратегии развития информационного общества в Российской Федерации на 2017-2030 годы». URL: http://www.garant.ru
Бюллетень науки и практики / Bulletin of Science and Practice Т. 5. №12. 2019
https://www.bulletennauki.com DOI: 10.33619/2414-2948/49
Список литературы:
1. Хубаев Г. Н. О законе распределения времени освоения нового учебного материала // Системный анализ в проектировании и управлении: материалы 6-ой Международной науч.-практ. конференции (СПб., 28 июня - 5 июля 2002 г.). СПб.: СПбГПУ, 2002. С. 431-434.
2. Khubaev G. Assessment of the time required for the acquisition of knowledge // Applied Sciences and technologies in the United States and Europe: common challenges and scientific findings: 5th International Scientific Conference (New York, USA; February 12, 2014). Section 6. Pedagogy. New York. 2014. P. 86-90.
3. Шор Я. Б., Хубаев Г. Н. Корреляционный анализ надежности тиратронов с холодным катодом // Надежность и контроль качества. 1969. №8. С. 29-44.
4. Хубаев Г. Н. Расчет параметрической надежности тиратронов с холодным катодом при векторном определяющем параметре // Известия высших учебных заведений. Электромеханика. 1970. №1.
5. Хубаев Г. Н. Математическое моделирование на предприятии. Ростов-на-Дону, 1973. С. 67-77.
6. Khubaev G. Expert review: method of intuitively agreed choice // Economy modernization: new challenges and innovative practice: 5th International Conference (November 12, 2017, Sheffield, UK). P. 65-80.
7. Хубаев Г. Н., Щербакова К. Н., Сидоренко Д. С. Веб-приложение для сравнительной оценки, анализа динамики и прогнозирования уровня жизни населения субъектов РФ // Свидетельство о государственной регистрации программы для ЭВМ. № 2019619362. М.: Роспатент, 2019. http://uroven-zhizni.ru
8. Хубаев Г. Н. Уровень жизни населения субъектов Российской Федерации: статистическое исследование // II Открытый российский статистический конгресс: сборник докладов (г. Ростов-на-Дону, 4-6 декабря 2018 г.). 2018. Т. 1. Ростов-на-Дону. С. 409-414.
9. Хубаев Г. Н. Алгоритмы классификации лиц, принимающих решения, по уровню профессиональных знаний и творческим способностям // Наука и мир. 2016. №5 (33). Ч. 2. С. 168-176.
10. Khubaev G. Management personnel classification by skill level and creativity // European science review. Section 14. Economics and management. 2016. №5-6. P. 223-228.
11. Машинная обработка и экономико-статистический анализ информации для решения задач, связанных с повышением эффективности использования зерноуборочной техники. Шифр темы 308/75. Номер гос. регистрации №75024806. Ч. 1, 2. Ростов-на-Дону, 1976; 1977.
12. Хубаев Г. Н. Математические модели и методы анализа качества продукции: методические рекомендации для руководящих работников и специалистов предприятий. Ростов-на-Дону, 1974. С. 11-24.
13. Хубаев Г. Н. Количественные методы принятия решений: методические рекомендации в помощь руководящим работникам и специалистам предприятий. Ростов-на-Дону, 1975. 31 с.
14. Хубаев Г. Н. Методы формирования согласованного коллективного выбора в процессе экспертизы (на примере ранжирования сложных проблем) // Бюллетень науки и практики. 2017. №7 (20). С. 59-77.
15. Хубаев Г. Н. Метод интуитивно согласованного коллективного выбора лучшего решения // Материалы Российско-Китайского форума высоких технологий (г. Москва, 24-25 ноября 2017 г.). М.: НИТИ МИСиС, 2017.
Бюллетень науки и практики / Bulletin of Science and Practice Т. 5. №12. 2019
https://www.bulletennauki.com DOI: 10.33619/2414-2948/49
16. Khubaev G. N. Method of isolating a desired subset of objects from a set of greater power // Scientific research of the SCO countries: synergy and integration: materials of the International Conference (July 31, 2019. Beijing, PRC). Part 1. Beijing, 2019. P. 50-57.
17. Хубаев Г. Н. Имитационное моделирование для получения групповой экспертной оценки значений различных показателей // Автоматизация и современные технологии. 2011. №11. С. 19-23.
18. Хубаев Г. Н., Щербаков С. М., Рванцов Ю. А. Система автоматизированного синтеза имитационных моделей на основе языка UML «СИМ-UML» // GeBIT 2015 (Ганновер, 2015). Каталог разработок российских компаний. МСП ИТТ, 2015.
19. Хубаев Г., Родина О. Модели, методы и программный инструментарий оценки совокупной стоимости владения объектами длительного пользования (на примере программных систем). Saarbrucken: LAP LAMBERT Academic Publishing, 2012. 370 с.
20. Khubaev G. N. Stepwise determination of damage from realization of security hazards of a company // European Sciences review (Scientific journal). Section 13. Economics and management. 2014. №11-12. P. 111-113.
References:
1. Khubaev, G. N. (2002). O zakone raspredeleniya vremeni osvoeniya novogo uchebnogo materiala. In Sistemnyi analiz vproektirovanii i upravlenii: materialy 6-oi Mezhdunarodnoi nauch.-prakt. konferentsii (SPb., 28 iyunya - 5 iyulya 2002 g.). St. Petersburg, 431-434.
2. Khubaev, G. (2014). Assessment of the time required for the acquisition of knowledge. In Applied Sciences and technologies in the United States and Europe: common challenges and scientific findings: 5th International Scientific Conference (New York, USA; February 12, 2014). Section 6. Pedagogy, New York, 86-90.
3. Shor, Ya. B., & Khubaev, G. N. (1969). Korrelyatsionnyi analiz nadezhnosti tiratronov s kholodnym katodom. Nadezhnost'i kontrol'kachestva, (8), 29-44.
4. Khubaev, G. N. (1970). Raschet parametricheskoi nadezhnosti tiratronov s kholodnym katodom pri vektornom opredelyayushchem parameter. Izvestiya vysshikh uchebnykh zavedenii. Elektromekhanika, (1).
5. Khubaev, G. N. (1973). Matematicheskoe modelirovanie na predpriyatii. Rostov-on-Don.
6. Khubaev, G. (2017). Expert review: method of intuitively agreed choice. In Economy modernization: new challenges and innovative practice: 5th International Conference (November 12, Sheffield, UK), 65-80.
7. Khubaev, G. N., Shcherbakova, K. N., & Sidorenko, D. S. (2019). Veb-prilozhenie dlya sravnitel'noi otsenki, analiza dinamiki i prognozirovaniya urovnya zhizni naseleniya sub"ektov RF. Svidetel'stvo o gosudarstvennoi registratsii programmy dlya EVM. No. 2019619362. Moscow, Rospatent, http://uroven-zhizni.ru
8. Khubaev, G. N. (2018). Uroven' zhizni naseleniya sub"ektov Rossiiskoi Federatsii: statisticheskoe issledovanie. In: II Otkrytyi rossiiskii statisticheskii kongress: sbornik dokladov (g. Rostov-on-Don, 4-6 dekabrya 2018 g.). (1). Rostov-on-Don, 409-414.
9. Khubaev, G. N. (2016). Algoritmy klassifikatsii lits, prinimayushchikh resheniya, po urovnyu professional'nykh znanii i tvorcheskim sposobnostyam. Nauka i mir, (5), 2, 168-176.
10. Khubaev, G. (2016). Management personnel classification by skill level and creativity. European science review. Section 14. Economics and management, (5-6), 223-228.
11. Mashinnaya obrabotka i ekonomiko-statisticheskii analiz informatsii dlya resheniya zadach, svyazannykh s povysheniem effektivnosti ispol'zovaniya zernouborochnoi tekhniki. Shifr temy 308/75. Nomer gos. registratsii No. 75024806. 1, 2. Rostov-on-Don, 1976; 1977.
Бюллетень науки и практики / Bulletin of Science and Practice Т. 5. №12. 2019
https://www.bulletennauki.com DOI: 10.33619/2414-2948/49
12. Khubaev, G. N. (1974). Matematicheskie modeli i metody analiza kachestva produktsii: metodicheskie rekomendatsii dlya rukovodyashchikh rabotnikov i spetsialistov predpriyatii. Rostov-on-Don, 11-24.
13. Khubaev, G. N. (1975). Kolichestvennye metody prinyatiya reshenii: metodicheskie rekomendatsii v pomoshch' rukovodyashchim rabotnikam i spetsialistam predpriyatii. Rostov-on-Don.
14. Khubaev, G. (2017). Methods of forming the agreed collective choice in the expertise process (on an example of ranking methods of solving complex problems). Bulletin of Science and Practice, (7), 59-77.
15. Khubaev, G. N. (2017). Metod intuitivno soglasovannogo kollektivnogo vybora luchshego resheniya. In: Materialy Rossiisko-Kitaiskogo foruma vysokikh tekhnologii (g. Moskva, 24-25 noyabrya 2017 g.). Moscow.
16. Khubaev, G. N. (2019). Method of isolating a desired subset of objects from a set of greater power. In: Scientific research of the SCO countries: synergy and integration: materials of the International Conference (July 31, 2019. Beijing, PRC). 1. Beijing, 50-57.
17. Khubaev, G. N. (2011). Imitatsionnoe modelirovanie dlya polucheniya gruppovoi ekspertnoi otsenki znachenii razlichnykh pokazatelei. Avtomatizatsiya i sovremennye tekhnologii, (11), 19-23.
18. Khubaev, G. N., Shcherbakov, S. M., & Rvantsov, Yu. A. (2015). Sistema avtomatizirovannogo sinteza imitatsionnykh modelei na osnove yazyka UML "SIM-UML". In: GeBIT2015 (Gannover, 2015). Katalog razrabotok rossiiskikh kompanii, MSP ITT.
19. Khubaev, G., & Rodina, O. (2012). Modeli, metody i programmnyi instrumentarii otsenki sovokupnoi stoimosti vladeniya ob"ektami dlitel'nogo pol'zovaniya (na primere programmnykh sistem). Saarbrucken, LAP LAMBERT Academic Publishing.
20. Khubaev, G. N. (2014). Stepwise determination of damage from realization of security hazards of a company. European Sciences review (Scientific journal). Section 13. Economics and management, (11-12), 111-113.
Работа поступила Принята к публикации
в редакцию 06.11.2019 г. 11.11.2019 г.
Ссылка для цитирования:
Хубаев Г. Н. Как уменьшить вероятность ошибок при выборе приоритетных направлений социального и экономического развития страны // Бюллетень науки и практики. 2019. Т. 5. №12. С. 265-280. https://doi.org/10.33619/2414-2948/49/31
Cite as (APA):
Khubaev, G. (2019). How to Reduce the Probability of Errors When Selecting the Priority Directions of the Social and Economic Development of the Country. Bulletin of Science and Practice, 5(12), 265-280. https://doi.org/10.33619/2414-2948/49/31 (in Russian).
