CC BY
10
УДК 004.021+51-7
DOI 10.21685/2072-3059-2018-3-2
С. А. Пиявский, Р. Б. Шаталов
ИНФОКОММУНИКАЦИОННАЯ СИСТЕМА ОЦЕНКИ ИССЛЕДОВАТЕЛЬСКИХ РАБОТ МОЛОДЕЖИ
Аннотация.
Актуальность и цели. Объектом исследования является процесс многокритериального отбора данных в информационных системах. Предметом исследования является деятельность по организации многокритериального отбора данных в информационных системах. Цель исследования - разработка инфо-коммуникационной системы по организации и проведению научно-исследовательских работ творчески одаренной молодежью в сфере науки и техники, разработка методик - комплексной оценки творческого уровня исследовательских работ творчески одаренной молодежи и наиболее одаренного контингента творческой молодежи на основе уникальности и совокупности творческих качеств, а также проведение соответствующих исследований на их основе.
Материалы и методы. Анализ структуры творческой деятельности школьников и наиболее одаренного контингента творческой молодежи на основе уникальности и совокупности творческих качеств проведен при помощи разработанных и описанных в настоящей статье методик.
Результаты. Разработана и внедрена (в пределах Самарской области) ин-фокоммуникационная система по организации и проведению научно-исследовательских работ творчески одаренной молодежи в сфере науки и техники, а также две методики. Первая методика - комплексная оценка творческого уровня исследовательских работ творчески одаренной молодежи, вторая - отбор наиболее одаренного контингента творческой молодежи на основе уникальности и совокупности творческих качеств (сравнением по Парето).
Выводы. Анализ наиболее одаренного контингента творческой молодежи на основе уникальности и совокупности творческих качеств показал недостаток использования традиционного метода при отборе творчески одаренной молодежи, вызванный тем, что в традиционном методе используется подход среднего, т.е. смешивание того, что нельзя смешивать (например, исследовательский уровень проекта и качество его оформления).
Ключевые слова: инфокоммуникационная система, творческая одаренность, аналитика, управление, оптимальность по Парето, критерии оценки, творческий уровни проекта.
S. A. Piyavskiy, R. B. Shatalov
AN INFOCOMMUNICATION SYSTEM OF YOUTH RESEARCH WORKS ESTIMATION
Abstract.
Background. The object of the study is the process of multicriteria data selection in information systems. The subject of the study is the organization of multi-criteria
© Пиявский С. А., Шаталов Р. Б., 2018. Данная статья доступна по условиям всемирной лицензии Creative Commons Attribution 4.0 International License (http://creativecommons.org/licenses/by/4.0/), которая дает разрешение на неограниченное использование, копирование на любые носители при условии указания авторства, источника и ссылки на лицензию Creative Commons, а также изменений, если таковые имеют место.
selection of data in information systems. The purpose of the work is the development of an infocommunication system for the organization and conduct of research works by creative gifted young people in the field of science and technology, the development of methods of comprehensive assessment of the creative level of research works of creative gifted youth and the most gifted contingent of creative youth on the basis of uniqueness and totality of creative qualities, and also carrying out relevant studies on their basis.
Materials and methods. An analysis of the structure of the creative activity of schoolchildren and the most gifted contingent of creative youth on the basis of uniqueness and totality of creative qualities was carried out using the techniques developed and described in this article.
Results. The infocommunication system for the organization and conduct of research works by creative gifted young people in the field of science and technology, as well as two methods, has been developed and implemented (in Samara region). The first method is integrated assessment of the creative level of research works of creative gifted youth, the second is selection of the most talented contingent of creative youth on the basis of uniqueness and totality of creative qualities (Pareto comparison).
Conclusions. The analysis of the most gifted contingent of creative youth on the basis of uniqueness and a set of creative qualities showed a lack of use of the traditional method in selecting highly gifted young people, due to the fact that the traditional method uses an average approach, that is, a mix of what can not be confused (for example, the research level of a project and the quality of its design).
Keywords: infocommunication system, creative endowment, analytics, management, Pareto optimality, evaluation criteria, creative levels of projects.
Введение
Одной из важнейших задач в стране является работа с творчески одаренной молодежью. Усилия по решению этой задачи активно принимаются и в одном из регионов России - Самарской области [1]. Постановлением Губернатора Самарской области № 272 от 30.10.2013 был образован Координационный совет по работе с одаренной молодежью в сфере науки и техники при Администрации губернатора Самарской области. В рамках решения основных задач Координационного совета в 2015 г. постановлением Правительства Самарской области № 346 от 17.06.2015 была создана научно-образовательная программа конкурсного отбора школьников в Губернаторский реестр творчески одаренной молодежи в сфере науки, техники и технологий (НОП «ВЗЛЕТ») [2]. В качестве одной из составляющих НОП «ВЗЛЕТ» была разработана и введена в эксплуатацию инфокоммуникационная система по организации и проведению научно-исследовательских работ творчески одаренной молодежью в сфере науки и техники (ИКС «ВЗЛЕТ») [3, 4]. Основным направлением деятельности ИКС «ВЗЛЕТ» является осуществление непрерывного мониторинга формирования и работы исследовательских «микроколлективов» - автора проекта, его руководителя и научного консультанта (ученого крупного вуза Самарской области). Также ИКС «ВЗЛЕТ» является инструментом разносторонней многокритериальной оценки выполняемых исследовательских работ на дистанционном, а затем и очном этапах областного конкурса «ВЗЛЕТ» исследовательских проектов обучающихся образовательных организаций в Самарской области (Конкурс «ВЗЛЕТ»).
2. Функционал ИКС «ВЗЛЕТ»
ИКС «ВЗЛЕТ» разработана в виде Интернет-сайта (http://vzletsamara.ru).
В ИКС «ВЗЛЕТ» существует распределение прав доступа, основные роли пользователей ИКС «ВЗЛЕТ»: автор проекта, руководитель проекта, консультант проекта, рецензент, аналитик.
Наиболее важными функциями ИКС «ВЗЛЕТ» являются:
• ввод научным консультантом вуза предлагаемой тематики исследований;
• ввод руководителем проекта запроса на осуществление консультирования со стороны ученого вуза;
• мониторинг хода работы всеми участниками «микроколлектива»;
• организация представления выполненных работ на дистанционный этап конкурса и их дистанционное рецензирование по методически обоснованной и глубоко детализированной системе критериев с вычислением общего творческого рейтинга работ;
• формирование статистических отчетов на различных этапах функционирования Программы «ВЗЛЕТ».
ИКС «ВЗЛЕТ» является широким инструментом осуществления поиска и развития талантливой молодежи. В данной статье речь пойдет об одной из основополагающих задач, которая решается посредством разработанной ин-фокоммуникационной системы - сбор данных, их оценка и анализ творческого уровня выполненных проектов.
Основным цикличным итогом работы Программ «ВЗЛЕТ» и ИКС «ВЗЛЕТ» является проведение Конкурса «ВЗЛЕТ». Конкурс проводится по 20 секциям в два этапа - дистанционный и очный. Дистанционный этап проводится посредством ИКС «ВЗЛЕТ» (авторы прикрепляют в своем персональном журнале файл с текстом проекта, после чего все участники этого проекта оценивают его, этот этап называется саморецензированием). Далее представленный проект проходит этап рецензирования (рецензирование проводится двумя независимыми экспертами). Каждый из рецензентов посредством ИКС «ВЗЛЕТ» имеет возможность ознакомиться с текстом проекта, а также посмотреть рецензии всех его участников. Каждый из рецензентов имеет право произвести экспертизу проекта только один раз, повторное рецензирование одного проекта не допускается.
За время проведения Конкурса «ВЗЛЕТ» посредством ИКС «ВЗЛЕТ» стало возможным получить очень глубокую информацию по структуре творческой деятельности одаренной молодежи (в настоящей статье - на примере школьников).
3. Результаты реализации ИКС «ВЗЛЕТ»
ИКС «ВЗЛЕТ» была разработана в 2015 г. и в третьем квартале 2015 г. была введена в опытную эксплуатацию.
В 2015/16 учебном году в ИКС «ВЗЛЕТ» было зарегистрировано порядка 1700 основных участников (790 учеников-авторов проектов, 510 учителей-руководителей проектов и 445 научных консультантов). Разработанный функционал ИКС «ВЗЛЕТ» активно использовался в 15 территориальных управлениях, 12 университетах, а также более чем в 500 образовательных организациях Самарской области.
В результате работы ИКС «ВЗЛЕТ» в 2015/16 учебном году в системе было размещено учеными вузов более 500 предложений тематики индивидуальных проектов школьников, а также был произведен мониторинг научного консультирования порядка 300 проектов, выполняемых школьниками 250 школ Самарской области. В рамках Конкурса «ВЗЛЕТ» на дистанционный этап было представлено более 180 завершенных проектов по 20 секциям технического направления.
В 2016/17 учебном году охват аудитории ИКС «ВЗЛЕТ» был расширен, поскольку в поле зрения попали и социально-гуманитарные направления. На тот момент в ИКС «ВЗЛЕТ» было зарегистрировано более 5 000 основных участников-авторов проектов, 1 687 руководителей проектов и 1 006 ученых крупных вузов Самарской области (научных консультантов). Вузами было представлено более 1 500 тем проектов исследовательской направленности, 883 из которых были успешно выполнены и представлены на дистанционный этап Конкурса «ВЗЛЕТ». Результатом работы очередного цикла ИКС «ВЗЛЕТ» стало проведение в апреле 2017 г. очередного Конкурса «ВЗЛЕТ». На дистанционный этап конкурса было представлено 883 проекта, из них более 200 были приглашены на очный этап конкурса. По результатам очного этапа 85 человек стали победителями.
4. Аналитические исследования
4.1. Методика комплексной оценки творческого уровня исследовательских работ творчески одаренной молодежи
Ключевую роль при организации исследовательской деятельности школьников в рамках Программы «ВЗЛЕТ» играет многокритериальная оценка творческого уровня выполненных ими проектов. Каждый проект оценивается системой, состоящей из 15 критериев [5-7]. Эта система критериев показана в табл. 1. Оценка работы осуществляется как школьниками, так и их руководителями и консультантами, а в конечном счете и рецензентами, на различных этапах выполнения проекта. На начальном этапе, обдумывая содержание проекта, школьник, его руководитель и консультант оценивают проект по схеме «как будет», т.е. так, как планируется его выполнение. При этом большую роль играют комментарии, которые в совокупности составляют подробную предварительную аннотацию проекта. В процессе выполнения проекта участники имеют возможность в любое время заново оценить будущий проект, учитывая промежуточные результаты его выполнения. Наконец, при подаче проекта на дистанционный этап конкурса автор, его руководитель и консультант независимо имеют возможность оценить проект и вместе с проектом отправить свои рецензии на рассмотрение рецензентов жюри. Рецензенты, анализируя всю представленную информацию по проекту, в свою очередь заполняют соответствующие листы оценки.
На всех этих стадиях на основе оценок по критериям необходимо рассчитать комплексный творческий рейтинг проекта, который дает всем заинтересованным лицам интегральную оценку и лежит в основе сравнения различных проектов в рамках конкурса. Соответствующая методика определяет порядок расчета в ИКС «ВЗЛЕТ» предварительного балла проекта на дистанционном этапе Конкурса. В расчетах использовался широко применяемый во
всем мире для многокритериальной сравнительной оценки альтернатив метод аналитической иерархии [8].
Таблица 1
Сводные результаты оценки проектов по 15 критериям
Критерий Итоговая уровневая оценка
1. Характер проекта 2.08
2. Актуальность направления 1.52
3. Связь работы с исследовательской и методической деятельностью научного консультанта 2.02
4. Связь работы с исследовательской и методической деятельностью руководителя 2.63
5. Практическая значимость 1.30
6. Обзор проблематики по направлению 2.98
7. Обзор литературы по теме проекта 3.84
8. Освоены дополнительные знания, умения, навыки 3.12
9. Используются специальные теоретические методы 2.92
10. Используются специальные прикладные приемы, методы и методики 1.95
11. Разработаны и реализованы специальные средства для выполнения работы 1.27
12. Масштабность и многоплановость проведенного исследования 2.10
13. Получены новые научные результаты 2.74
14. Имеются оригинальные идеи 1.95
15. Качество оформления работы 4.99
При оценке по каждому критерию указывается его значение в порядковой шкале, например, для критерия 1 «Характер работы» следующие уровни:
• 0 - реферативный;
• 1 - исследовательский, т.е. в работе имеется результат, который был неочевиден до ее выполнения;
• 2 - кроме 1, автор сопоставляет полученный результат с известными аналогичными результатами.
Для получения творческого рейтинга проекта, когда указаны уровни по всем критериям, производится сумма произведений весовых коэффициентов уровня на весовой коэффициент критерия и получается конечный результат. Если предположить, что по всем критериям получен высший уровень, то результат будет равен единице, или 100 %.
4.2. Анализ структуры творческой деятельности школьников
В данной статье приводится метод, разработанный одним из авторов, позволяющий проводить этот отбор наиболее глубоко, основываясь не на проблеме общего рейтинга (в котором происходит смешивание всех значений критериев), а на проблеме уникальности и неповторимости деятельности аспектов каждого из критериев.
С помощью разработанной системы критериев посредством ИКС «ВЗЛЕТ» представилось возможным собрать информацию от экспертов и
всесторонне (структурно и многопланово) оценить качество представленных на Конкурс «ВЗЛЕТ» проектов. В табл. 2 показан процент проектов, получивших (на основе среднего значения по данным двух экспертов) результирующий рейтинг проекта в конкретном диапазоне. Всего на дистанционный этап Конкурса «ВЗЛЕТ» по 20 секциям было представлено 883 завершенных проекта.
Таблица 2
Распределение результирующего рейтинга проектов по квартилям
Номер квартиля Название Интервал рейтингов Процент проектов
1 Наивысший 100-75 2
2 Высокий 74-50 18
3 Базовый 49-25 52
4 Невысокий 24-0 28
Итого 100
Данные, представленные агентством стратегических инициатив [9], указывают на то, что количество одаренных детей составляет всего 2-3 %. На этой основе можно сделать соответствующий вывод, что данный факт подтверждается, так как при выборке по творческому рейтингу именно 2 % проектов попадает в первый квартиль с наивысшим рейтингом.
На рис. 1 представлена диаграмма, отражающая поквартальный процент проектов, получивших результирующий рейтинг на дистанционном этапе Конкурса «ВЗЛЕТ».
Рис. 1. Поквартальное распределение результирующего рейтинга проектов
При помощи ИКС «ВЗЛЕТ» удалось собрать, обобщить и обработать информацию, которая позволила структурно оценить качество творческой деятельности большого количества школьников. На этой основе было проведено исследование, отражающее поквартильный процент проектов, которые
были оценены по различным уровням всех 16 критериев. Стоит отметить, что в критериях число уровней изменяется от трех до пяти. Исходя из этого было принято решение объединить «Невысокий» и «Базовый» квартиль в «Базовый» при трех уровнях и объединить «Наивысший» и «Высокий» квартили при пяти уровнях оценки.
В результате проведенного исследования на основе данных в табл. 1 можно говорить о том, что наиболее высокая деятельность представленных проектов наблюдается по следующим аспектам - наличие обзора литературы по теме и качество оформления работы. Это отражает сложившиеся приоритеты при выполнении школьниками проектов с элементами исследования. Именно для того чтобы не ограничиваться этими составляющими творческой деятельности, разработанная информационная система и обеспечивает включение в процесс руководства школьниками научных консультантов, которые могут внести более высокие составляющие творческой деятельности: приоритетность тематики, использование современных методов и технологий, практическую направленность.
На основании этой информации можно проводить соответствующие отборы школьников, к примеру, для учета при зачислении в университет [10], составлении команд для летних сессий, отбор лучших проектов школьников для приглашения на очный этап конкурса и т.п. Традиционно этот отбор проводится на основе рейтингов.
4.3. Метод отбора наиболее одаренного контингента творческой молодежи на основе уникальности и совокупности творческих качеств
В ИКС «ВЗЛЕТ» имеется большой массив данных, представляющих особый интерес для проведения соответствующих исследований, это данные о рецензиях экспертов, осуществлявших оценку проектов, представленных на дистанционный этап Конкурса «ВЗЛЕТ».
При проведении отбора (например, в университет, на сессию в летнем лагере, где нужно осуществить выбор в пользу не одного человека, а целого контингента) традиционно используется метод отбора на основе рейтинговой модели. Такой подход приводит к тому, что все оценки внутри общего рейтинга подвергаются смешиванию. В данной статье предлагается метод, использующий за основу уникальность творческих качеств и несущий в себе определение наиболее эффективных альтернатив на основе метода эффективности по Парето - метод структуризации данных. В настоящее время направление структуризации актуально, за рубежом этим занимаются V. Я. Kanagavalli и О. Maheeja. В своей работе [11] они рассматривают проблему структуризации данных при осуществлении поиска информации.
Результаты проведенного отбора традиционным и разработанным методом. Ставится задача отобрать определенное количество лучших проектов (в данной статье рассматривается пример по допуску к участию в очном этапе Конкурса «ВЗЛЕТ»), при этом учитывается совокупность оценок по всем критериям. Эта задача решается путем «расслоения» этих данных методом эффективности по Парето. Определенно, в первом слое будут «лучшие» проекты. Но при этом, к примеру, если не достигнуто нужное количество проектов для отбора (например, требуется 50, а получилось 35), то при снятии очередного слоя из оставшихся можно попытаться снова найти лучшие. И так дальше - до тех пор, пока не останутся несравненные проекты.
В качестве материала для проведения отбора были взяты данные экспертов по секции «Математика» (всего по этой секции поступило 175 рецензий от двух независимых экспертов, общее количество проектов - 87). Традиционным способом было отобрано 30 лучших проектов с наивысшим творческим рейтингом. Также были отобраны лучшие проекты по разработанному методу с использованием оптимальности по Парето. При сравнении результатов выяснилось, что 16 проектов (53 %), отобранных традиционным методом в выборку разработанным методом не попали. Их место заняли 16 участников с уникальными значениями совокупности частных критериев, которые при использовании традиционного метода остались бы вне отобранного коллектива, хотя именно они - обладатели уникального набора творческих качеств, и представляют особую ценностью. Этот пример показал недостаток использования традиционного метода при отборе творчески одаренной молодежи, вызванный тем, что в традиционном методе используется подход среднего, т.е. смешивание того, что нельзя смешивать (например, исследовательский уровень проекта и качество его оформления).
Библиографический список
1. Бальзанников, М. И. Объединенная вузовская система научного консультирования индивидуальных проектов старшеклассников / М. И. Бальзанников, С. А. Пиявский, В. В. Козлов // Научное обозрение. - 2014. - № 2. - С. 161-166.
2. Положение о научно-образовательной программе конкурсного отбора школьников Самарской области в Губернаторский реестр творчески одаренной молодежи в сфере науки, техники и технологий (программа ВЗЛЕТ). - ЦКЪ: http://vzletsamara.ru/ files/documents/approvalRegulationNOPVZLET.pdf.
3. Шаталов, Р. Б. Региональная инфокоммуникационная система мониторинга выполнения исследовательских проектов школьниками / Р. Б. Шаталов // Перспективные информационные технологии (ПИТ-2016) : тр. Междунар. науч.-техн. конф. / под ред. С. А. Прохорова. - Самара : Изд-во Самар. науч. центра РАН, 2016. - С. 819-822.
4. Концепция развития творческого потенциала Самарской области / Д. Е. Овчинников, Л. Е. Загребова, М. И. Бальзанников, С. А. Пиявский, Г. В. Акопов, С. В. Смирнов, Р. Б. Шаталов, А. А. Глушков // Проблемы управления и развития Самарской области : тр. науч.-практ. конф. (Самара 20-25 сентября 2016 г.). -Самара, 2016. - С. 36-44.
5. Пиявский, С. А. Оценка факторов и параметров, влияющих на развитие научных способностей / С. А. Пиявский // Математическое моделирование : межвуз. сб. науч. тр. - Самара : СамГАСА, 1998. - С. 3-11.
6. Пиявский, С. А. Стратегии научного руководства исследовательскими работами молодежи / С. А. Пиявский. - Самара : СамГАСА, 1998. - 62 с.
7. Пиявский, С. А. Математическое моделирование управляемого развития научных способностей / С. А. Пиявский // Известия Академии наук. Теория и системы управления. - 2000. - № 3. - С. 100-106.
8. Ларичев, О. И. Теория и методы принятия решений : учебник / О. И. Ларичев -М. : Логос, 2002. - 392 с.
9. Одаренные: новую модель выявления и развития талантов детей внедрят в При-волжье. - URL: https://asi.ru/news/18480/.
10. Пиявский, С. А. Несправедливость отбора в университеты по среднему баллу / С. А. Пиявский, С. Г. Абламунец // Информационные технологии в работе с одаренной молодежью : сб. ст. / под ред. М. И. Бальзанникова, С. А. Пиявского, В. В. Козлова. - Самара : СГАСУ, 2015. - С. 25-30.
11. Kanagavalli, V. R. A study on the usage of data structures in information retrieval / V. R. Kanagavalli, G. Maheeja // Computer science. - 2016. - February.
References
1. Bal'zannikov M. I., Piyavskiy S. A., Kozlov V. V. Nauchnoe obozrenie [Scientific review]. 2014, no. 2, pp. 161-166.
2. Polozhenie o nauchno-obrazovatel'noy programme konkursnogo otbora shkol'nikov Samarskoy oblasti v Gubernatorskiy reestr tvorcheski odarennoy molodezhi v sfere nauki, tekhniki i tekhnologiy (programma VZLET) [Statute of the research and educational program of the competition to select of school children of Samara region into the Governor's register of gifted youth in the field of science and technology (VZLET program)]. Available at: http://vzletsamara.ru/files/documents/approvalRegulation NOPVZLET.pdf.
3. Shatalov R. B. Perspektivnye informatsionnye tekhnologii (PIT-2016): tr. Mezhdunar. nauch.-tekhn. konf. [Prospective information technologies (PIT-2016): proceedings of an International scientific and technical conference]. Samara: Izd-vo Samar. nauch. tsentra RAN, 2016, pp. 819-822.
4. Ovchinnikov D. E., Zagrebova L. E., Bal'zannikov M. I., Piyavskiy S. A., Akopov G. V., Smirnov S. V., Shatalov R. B., Glushkov A. A. Problemy upravleniya i razvitiya Samarskoy oblasti: tr. nauch.-prakt. konf. (Samara 20-25 sentyabrya 2016 g.) [Problems of management and development of Samara region: proceedings of a scientific and practical conference (Samara, September 20th-25th, 2016)]. Samara, 2016, pp. 36-44.
5. Piyavskiy S. A. Matematicheskoe modelirovanie: mezhvuz. sb. nauch. tr. [Mathematical simulation: interuniversity collected articles]. Samara: SamGASA, 1998, pp. 3-11.
6. Piyavskiy S. A. Strategii nauchnogo rukovodstva issledovatel'skimi rabotami mo-lodezhi [Strategies of research supervision over youth research works]. Samara: SamGASA, 1998, 62 p.
7. Piyavskiy S. A. Izvestiya Akademii nauk. Teoriya i sistemy upravleniya [Proceedings of the Academy of Sciences. Theory and systems of management]. 2000, no. 3, pp. 100106.
8. Larichev O. I. Teoriya i metody prinyatiya resheniy: uchebnik [Theory and methods of decision making: textbook]. Moscow: Logos, 2002, 392 p.
9. Odarennye: novuyu model' vyyavleniya i razvitiya talantov detey vnedryat v Privolzh'e [The gifted: a new model of children's gifts and talents detection and development to be adopted in Volga region]. URL: https://asi.ru/news/18480/.
10. Piyavskiy S. A., Ablamunets S. G. Informatsionnye tekhnologii v rabote s odarennoy molodezh'yu: sb. st. [Information technologies in working with talented youth: collected articles]. Samara: SGASU, 2015, pp. 25-30.
11. Kanagavalli V. R., Maheeja G. Computer science. 2016, February.
Пиявский Семен Авраамович
доктор технических наук, профессор, заведующий межвузовской кафедрой информационных и развивающих образовательных систем и технологий, Самарский государственный технический университет (Россия, г. Самара, ул. Молодогвардейская, 194)
E-mail: [email protected]
Piyavskiy Semen Avraamovich Doctor of engineering sciences, professor, head of interuniversity sub-department of information and developmental educational systems and technologies, Samara State Technical University (194 Molodogvardeyskaya street, Samara, Russia)
Шаталов Роман Борисович аспирант, Самарский государственный технический университет (Россия, г. Самара, ул. Молодогвардейская, 194)
E-mail: [email protected]
Shatalov Roman Borisovich Postgraduate student, Samara State Technical University (194 Molodogvardeyskaya street, Samara, Russia)
УДК 004.021+51-7 Пиявский, С. А.
Инфокоммуникационная система оценки исследовательских работ молодежи / С. А. Пиявский, Р. Б. Шаталов // Известия высших учебных заведений. Поволжский регион. Технические науки. - 2018. - № 3 (47). -С. 13-22. - DOI 10.21685/2072-3059-2018-3-2.
