CC BY
17ФИЛОСОФСКИЕ НАУКИ
УДК 179
DOI: 10.24411/2618-8120-2023-4-67-77
А. А. Попов
Федеральное государственное бюджетное образовательное учреждение высшего образования «Национальный исследовательский Мордовский государственный университет им. Н.П. Огарёва», Саранск, Россия,
e-mail: [email protected]
ТЕХНИЧЕСКИЕ И ЭТИЧЕСКИЕ СТАНДАРТЫ В СФЕРЕ БОЛЬШИХ ДАННЫХ1
Большие данные представляют собой технологию, основанную на быстром приросте огромных объемов разнообразной информации. Для обработки больших данных требуются автоматизированные системы, поэтому для человека не всегда очевидно, каким образом сделаны выводы, основанные на аналитике больших данных.
Для регулирования работы с большими данными требуются не только технические стандарты, но и нормы, предназначенные для обеспечения этичного использования данных (защита конфиденциальности, прозрачность сбора, хранения, обработки больших данных, их справедливое использование).
В данной статье отражены результаты авторского исследования, направленного на сопоставление положений правовых, технических и этических стандартов по работе с большими данными. Технологические возможности управления жизнью и поведение человека должны быть ограничены таким образом, чтобы пользователям гарантировалась защита их прав и законных интересов. Отраслевые, и, тем более, внутриорганизационные технические стандарты могут обеспечивать, в первую очередь, интересы государства или бизнеса, но не конечного пользователя. Поэтому представляет интерес разработка этических стандартов работы с большими данными, которая может стать результатом совместной работы специалистов по данным и специалистов по этике.
Ключевые слова: большие данные, этика больших данных, технические стандарты, конфиденциальность, прозрачность, ответственное использование данных.
A. A. Popov
Federal State Budgetary Educational Institution of Higher Education
«National Research Ogarev Mordovia
1 Исследование выполнено за счет гранта Российского научного фонда № 23-28-01288, https://rscf.ru/project/23 -28-01288/
State University», Saransk, Russia, e-mail: [email protected]
TECHNICAL AND ETHICAL STANDARDS IN THE FIELD OF BIG
DATA
Big data is a technology based on the rapid growth of huge volumes of diverse information. Processing big data requires automated systems, so it is not always obvious to humans how conclusions based on big data analytics are drawn.
To regulate the work with big data, not only technical standards are required, but also norms designed to ensure the ethical use of data (protection of confidentiality, transparency in the collection, storage, processing of big data, their fair use).
This article reflects the results of the author's research aimed at comparing the provisions of legal, technical and ethical standards for working with big data. Technological capabilities to control human life and behavior must be limited in such a way that users are guaranteed the protection of their rights and legitimate interests. Industry, and, especially, intra-organizational technical standards can ensure, first of all, the interests of the state or business, but not the user. It is therefore of interest to develop ethical standards for working with big data, which could result from the collaboration of data scientists and ethicists.
Keywords: Big Data, big data ethics, technical standards, data privacy, transparency, responsible data use.
Введение
Большие данные (Big Data) существенно влияют на все сферы жизни человека и общества; на основе больших данных создаются технологии и программные продукты, которые меняют подходы к процессам принятия решения, привычные социальные практики и влияют на переосмысление моральных норм и ценностей.
В широком смысле слова большими данными можно назвать любой датасет, которые пользователь не может обработать «вручную». Однако с профессиональной точки зрения большие данные характеризуются не только объемом, но и скоростью прироста и разнообразием. Для обработки больших данных требуются специальные автоматизированные решения.
Для сбора, хранения, обработки, анализа больших данных разработан ряд технических стандартов, которые устанавливают общие принципы и правила для разработки и внедрения технических решений в различных сферах. Технические стандарты по работе с данными необходимы для интеграции каждой технологии или приложения в существующие экосистемы, а также для обеспечения безопасности технологии. Однако ни технические стандарты, ни нормативные правовые документы не могут заполнить пробелы в этическом регулировании больших данных.
В целях определения направлений совершенствования нормативного регулирования сбора, хранения, обработки, интерпретации и использования
больших данных представляется перспективным исследование технических стандартов и сопоставления их положений с существующими нормами морали и права, предназначенными для регулирования больших данных.
Методы
Для достижения целей исследования был использован комплекс методов: анализ нормативных документов и технических стандартов; анализ исследований, посвященных проблемам конфиденциальности, безопасности и ответственного использования больших данных; систематизация и анализ собранной информации для выявления закономерностей и трендов в области нормативного регулирования работы с большими данными.
Результаты и обсуждение
Современное развитие информационных технологий и внедрение систем обработки больших данных ставят перед обществом новые вызовы не только в области технических стандартов, но и в сфере морали. Рассмотрим ключевые аспекты, связанные с разработкой и внедрением технических стандартов, а также этическими вопросами, возникающими в ходе работы с большими данными.
Одним из самых проработанных документов в анализируемой сфере является общий регламент по защите данных (General Data Protection Regulation - GDPR) [15]. Это европейский стандарт, регулирующий сбор, хранение, обработку и передачу персональных данных граждан Европейского союза. Нормы GDPR направлены на защиту прав граждан ЕС, а также на обеспечение возможности контроля над собственными персональными данными. Ключевые ценности и права, которые защищает GDPR, это конфиденциальность, легитимная обработка данных только при наличии информированного согласия субъекта данных, уведомление субъекта о нарушении безопасности данных, несение ответственности за несоблюдение регламента.
Еще одним значимым документом, предназначенным для регулирования больших данных, является фреймворк нормативной этики данных (Data Ethics Framework) [16]. Он разработан для оценки и разрешения моральных проблем, связанных с использованием данных в государственных организациях.
Data Ethics Framework включает в себя:
1. Ценности и принципы, которыми надлежит руководствоваться в государственном секторе. К ним относятся прозрачность, справедливость, согласованность, ответственность и доверие.
2. Шаги по принятию решений, связанных с данными. Это включает определение контекста, оценку влияния на этические аспекты деятельности государственного органа, привлечение заинтересованных сторон и определение стратегий управления этическими аспектами.
3. Применение методологии оценки этических аспектов в конкретных проектах, основанных на данных. Методология включает оценку воздействия, оценку рисков, обзор юридических и этических аспектов, а также оценку справедливости и доверия.
4. Практические инструменты и ресурсы для поддержки организаций в применении этических принципов: чеклисты, кейсы, руководства и др.
На текущий момент огромный скачок в развитии стандартов и разработке кодексов этики происходит в сфере искусственного интеллекта - технологии, тесно связанной с большими данными. Различные органы и организации разрабатывают, так называемые, «принципы искусственного интеллекта». В частности, OECD (Организация экономического сотрудничества и развития) и IEEE (Институт инженеров электротехники и электроники) разработали набор принципов и рекомендаций для этичного использования и разработки искусственного интеллекта [1, 7, 10, 13, 14, 17]. Данные принципы включают в себя вопросы ответственности, прозрачности, справедливости и доверия в отношении использования данных.
Однако в современных реалиях наиболее распространены и применяются общие технические стандарты, модели и законы по работе с большими данными: ISO/IEC 27001 [18] - ГОСТ Р ИСО/МЭК 27001-2006 [19], ISO/IEC 20546:2019 [20] - ГОСТ Р ИСО/МЭК20546-2021 [21], Gartner's 3Vs of Big Data, CRISP-DM [9], ISO/IEC 20547-3:2020 «Information technology - Big Data - Reference architecture» [22], HIPAA (Health Insurance Portability and Accountability Act) [11, 13].
За разработку стандартов отвечает огромное количество организаций по всему миру. При этом часть стандартов разрабатывается сторонними организациями, но существенная работа по стандартизации осуществляется на внутриорганизационном уровне. Такие стандарты, как правило, недоступны широкой общественности и не получают надлежащей общественной оценки. Существующие стандарты и регламенты играют важную роль в обеспечении безопасности и качества данных, связанных с Big Data. Они помогают компаниям защищать свои данные от утечек и злоупотреблений, а также обеспечивать их конфиденциальность и целостность.
Обзор технических стандартов, которые применяются в сфере больших данных, позволил выделить ключевые функции, которые обеспечиваются этими стандартами, и основные преимущества, коррелирующие с каждой функцией. Результаты обобщения приведены в таблице 1.
Таблица / Table 1.
Ключевые роли и преимущества технических стандартов в сфере больших данных
Роль / Role Преимущество / Advantage
Единые процессы и методологии Обеспечивает единые процессы сбора, обработки и хранения данных, снижая сложность и повышая эффективность.
Совместимость и интеграция Упрощает интеграцию различных систем и инструментов, обеспечивая совместимость и согласованность данных.
Обеспечение безопасности данных Гарантирует соблюдение стандартов безопасности, предотвращая угрозы и обеспечивая защиту конфиденциальности.
Эффективное управление ресурсами Оптимизирует использование вычислительных ресурсов и хранилищ, повышая производительность и снижая издержки.
Сокращение рисков и соблюдение нормативов Помогает сокращать риски нарушений и штрафов, обеспечивая соблюдение законодательства и нормативов.
Повышение достоверности данных Гарантирует качество данных, улучшая точность и надежность информации в системе.
Улучшение взаимодействия и обмена данными Облегчает обмен данными между различными системами и организациями, повышая синергию.
Примерами успешной реализации стандартов является их применение и развитие, в частности, такими огромными корпорациями как Google, IBM, Amazon, Microsoft. Например, применение технических стандартов Google File System (GFS) и MapReduce в Google обеспечивает высокую отказоустойчивость и масштабируемость при обработке огромных объемов данных. Реализация стандарта ISO/IEC 27001 в инфраструктуре IBM Cloud гарантирует высокий уровень информационной безопасности в обработке данных клиентов. Интеграция принципов General Data Protection Regulation (GDPR) в облачных сервисах Amazon Web Services (AWS) обеспечивает безопасность и конфиденциальность данных. Реализация стандарта Open Data Protocol (OData) в проекте Microsoft Power BI обеспечивает унифицированный доступ и обмен данными в больших объемах.
Некоторые технические стандарты содержат ряд морально чувствительных понятий: конфиденциальность, прозрачность, анонимизация, минимизация собираемых данных, добровольное согласие на обработку персональных данных и др. [2]. Однако соблюдение технических стандартов не всегда гарантирует защиту достоинства личности, чьи данные попадают в большие выборки данных, ее моральной автономии.
Основные моральные проблемы, связанные с большими данными, обозначены в таблице 2.
Таблица / Table 2.
Основные моральные проблемы и их примеры в сфере больших данных
Проблема / Problem Пример / Example
Нарушение конфиденциальности и приватности - несанкционированный доступ к личной информации, угрожающий конфиденциальности пользователей. Сбор и использование персональных данных без согласия субъектов.
Дискриминация и предвзятость -алгоритмическая предвзятость, приводящая к дискриминации по различным критериям (раса, пол, возраст). Автоматизированный процесс подбора кандидатов, который учитывает некорректные факторы.
Ответственность и прозрачность -отсутствие прозрачности в отношении использования данных и четких критериев ответственности. Недостаточное информирование пользователей о том, как их данные используются.
Система определения личности - создание систем распознавания лиц и биометрических данных без должных ограничений. Использование технологий распознавания лиц без согласия отдельных индивидов.
Угрозы кибербезопасности - возможность кибератак и утечек данных. Недостаточные меры безопасности в хранилищах данных, ведущие к утечке личной информации.
Социальные вопросы и этика исследований - исследования, нарушающие права субъектов данных. Проведение исследований на основе данных, собранных без явного согласия.
Поскольку, согласно исследовательской гипотезе, технические стандарты и нормативные акты содержат положения, которые отражают моральные проблемы, связанные с большими данными, необходимо четко обозначить границы, которые позволяют четко дифференцировать технические и этические нормы и правила (таблица 3). Эти границы позволяют обозначить пробелы, требующие разработки кодексов этики и иных этических стандартов, внедрение которых позволит обеспечить справедливое, прозрачное, дружественное пользователям применение больших данных
Таблица / Table 3.
Различия технических стандартов и этических норм и правил в сфере больших данных_
Технические стандарты Этика
Цель Обеспечение стандартизации и согласованности в технологических решениях. Защита прав и интересов индивидов, обеспечение справедливости и уважения.
Назначение Улучшение эффективности и совместимости в системах обработки данных. Обеспечение этичного использования данных и предотвращение возможных негативных последствий.
Область Технологии, структуры данных, протоколы передачи и т.д. Моральные нормы, нормотворчество.
Применение Обеспечение стандартов в разработке, хранении и обработке данных. Обеспечение законности, честности и уважения к правам индивидов при обработке данных.
Основной фокус Технические аспекты, структуры данных, принципы обработки и хранения данных. Права и интересы индивидов, честное и этичное использование данных, предотвращение дискриминации.
Процесс Разрабатываются техническими организациями, обычно с участием экспертов в соответствующей области. Определяется социальными нормами, законодательством и взглядами общества.
Изменения Обновляются при необходимости, с учетом технологического прогресса. Могут происходить в ответ на социокультурные изменения и законодательные новации.
Таким образом, технические стандарты не могут помочь в разрешении моральных дилемм, связанных со сбором, обработкой, хранением, аналитикой больших данных. Техническое и этическое регулирование больших данных сфокусировано на принципиально разных аспектах, что создает новые вызовы и возможности взаимодействия этих двух способов нормативного регулирования.
Заключение
Исходя из результатов исследования можно утверждать, что одних только технических стандартов работы с Big Data недостаточно, чтобы обеспечить высокий уровень доверия технологии. Поэтому актуальны иные способы регуляции работы с большими данными:
- разработка и применение технических стандартов с учетом принципов этики больших данных;
- разработка кодексов этики для специалистов в области больших данных (аналитики данных, аннотаторы данных и пр.);
- включение дисциплин и модулей по этике в программы обучения специалистов в области больших данных;
- создание независимых органов, занимающихся контролем соблюдения норм и принципов этики больших данных.
Для того чтобы технические стандарты отвечали ключевым принципам этики больших данных, необходимо привлекать к их разработке междисциплинарные коллективы, включающие как профессионалов по работе с данными, так и специалистов по этике.
Методы сбора и обработки больших данных постоянно развиваются, поэтому стандарты должны быть гибкими и способными адаптироваться к новым моральным вызовам [2-4, 12], возникающим здесь и сейчас. Обеспечение соблюдения технических стандартов и этических требований в работе с большими данными является нетривиальной задачей. Необходимо внедрять адекватные ситуации механизмы контроля и самоконтроля, чтобы обеспечить соблюдение моральных норм всеми заинтересованными сторонами, включая правительства, коммерческие и некоммерческие организации, специалистов и пользователей.
Сочетание технических стандартов и этики больших данных не всегда гармонично, можно обозначить некоторые противоречия между необходимостью развития технологий и защитой прав и интересов пользователей. Поэтому важной задачей становится поиск баланса между стимулированием развития технологий и обеспечением соблюдения моральных требований при работе с большими данными, а также баланс между личным и общим благом. Пользователь может добровольно предоставить свои данные для развития общественно полезной технологии, но для этого необходимо обеспечить максимальную прозрачность технологии еще на этапе ее дизайна и предоставить пользователю возможность управлять своими данными, попавшими в большие наборы данных, даже при условии их обезличивания.
Библиографический список
1. Карпов В. Э., Готовцев П. М., Ройзензон Г. В. К вопросу об этике и системах искусственного интеллекта // Философия и общество. 2018. №2 2. C. 84105.
2. Коваль Е. А., Мартынова М. Д., Жадунова Н. В. Информированное согласие в эпоху больших данных: необходимость нормативного обновления // Этическая мысль. 2020. № 2 (20). C. 115-131.
3. Мартынова М. Д. Ключевые направления этических исследований в эпоху больших данных. // Вестник Кыргызско-Российского славянского университета. 2021. № 6 (21). C. 81-86.
4. Мартынова М. Д., Коваль Е. А., Жадунова Н. В. Big Data как технологический вызов этическим принципам // Вестник Московского университета. Серия 7: Философия. 2021. (4). C. 84-101.
5. Georgiadis G., Poels G. Delphi Study to Identify Criteria for the Systematic Assessment of Data Protection Risks in the Context of Big Data Analytics // Proceedings - IEEE 8th International Conference on Big Data Computing Service and Applications, BigDataService 2022. 2022. C. 177-178.
6. Kshetri N., Voas J. Thoughts on General Data Protection Regulation and Online Human Surveillance // Computer. 2020. № 1 (53). C. 86-90.
7. Loi M., Heitz C., Christen M. A. Comparative Assessment and Synthesis of Twenty Ethics Codes on AI and Big Data // Proceedings - 2020 7th Swiss Conference on Data Science, SDS 2020. 2020. C. 41-46.
8. Lopes I. M., Oliveira P. Implementation of the general data protection regulation: A survey in health clinics // Iberian Conference on Information Systems and Technologies, CISTI. 2018. (2018-June). C. 1-6.
9. Martinez-Plumed F. [и др.]. CRISP-DM Twenty Years Later: From Data Mining Processes to Data Science Trajectories // IEEE Transactions on Knowledge and Data Engineering. 2021. № 8 (33). C. 3048-3061.
10. McGregor C., Dewey C., Luan R. Big data and artificial intelligence in healthcare: Ethical and social implications of neonatology // International Symposium on Technology and Society, Proceedings. 2021. (2021-October).
11. Nahra K. J. HIPAA security enforcement is here // IEEE Security and Privacy. 2008. № 6 (6). C. 70-72.
12. Шляпников В. В. Некоторые проблемы этики данных и этики социальных сетей // Вестник Санкт-Петербургского университета. Философия и конфликтология. 2023. № 3 (39). C. 504-513.
13. Ugwu A. O. [и др.]. Ethical Implications of AI in Healthcare Data: A Case Study Using Healthcare Data Breaches from the US Department of Health and Human Services Breach Portal between 2009-2021 // Proceedings - 2022 International Conference on Industrial IoT, Big Data and Supply Chain, IIoTBDSC 2022. 2022. C. 343-349.
14. Xu Q. A. [и др.]. Artificial Intelligence Ethics and Applications // Proceedings - 2022 International Conference on Industrial IoT, Big Data and Supply Chain, IIoTBDSC 2022. 2022. C. 322-328.
15. General Data Protection Regulation (GDPR) - Official Legal Text [Электронный ресурс]. URL: https://gdpr-info.eu/ (дата обращения: 06.12.2023).
16. Data Ethics Framework - GOV.UK [Электронный ресурс]. URL: https://www.gov.uk/government/publications/data-ethics-framework (дата обращения: 06.12.2023).
17. AI-Principles Overview - OECD.AI [Электронный ресурс]. URL: https://oecd.ai/en/ai-principles (дата обращения: 06.12.2023).
18. ISO/IEC 27001:2022(en), Information security, cybersecurity and privacy protection - Information security management systems — Requirements [Электронный ресурс]. URL: https://www.iso.org/obp/ui/ru/#iso:std:iso-iec:27001:ed-3:v1:en (дата обращения: 06.12.2023).
19. ГОСТ Р ИСО/МЭК 27001-2006 Информационная технология (ИТ). Методы и средства обеспечения безопасности. Системы менеджмента информационной безопасности. Требования - docs.cntd.ru [Электронный ресурс]. URL: https://docs.cntd.ru/document/1200058325 (дата обращения: 06.12.2023).
20. ISO/IEC 20546:2019(en), Information technology — Big data — Overview and vocabulary [Электронный ресурс]. URL: https://www.iso.org/obp/ui/en/#iso: std:iso-iec:20546:ed- 1:v1:en (дата обращения: 06.12.2023).
21. ГОСТ Р ИСО/МЭК 20546-2021 Информационные технологии (ИТ). Большие данные. Обзор и словарь - docs.cntd.ru [Электронный ресурс]. URL: https://docs.cntd.ru/document/1200180276 (дата обращения: 06.12.2023).
22. ISO/IEC 20547-3:2020 (en), Information technology — Big data reference architecture - Part 3: Reference architecture [Электронный ресурс]. URL: https://www.iso.Org/obp/ui/en/#iso:std:71277:en (дата обращения: 06.12.2023).
References
1. Karpov V. E., Gotovtsev P. M., Roizenzon G. V. On the issue of ethics and convenience of artificial intelligence // Philosophy and Society. 2018. No. 2. pp. 84-105.
2. Koval E. A., Martynova M. D., Zhadunova N. V. Big Data as a technological challenge to ethical principles // Ethical T hought. 2020. № 2 (20). pp. 115-131.
3. Martynova M. D. Key areas of ethical research in the age of Big Data. // Vestnik of the Kyrgyz-Russian Slavic University. 2021. № 6 (21). pp. 81 -86.
4. Martynova M. D., Koval E. A., Zhadunova N. V. Big Data as a technological challenge to ethical principles // Bulletin of Moscow University. Series 7: Philosophy. 2021. (4). pp. 84-101.
5. Georgiadis G., Poels G. Delphi Study to Identify Criteria for the Systematic Assessment of Data Protection Risks in the Context of Big Data Analytics // Proceedings - IEEE 8th International Conference on Big Data Computing Service and Applications, BigDataService 2022. 2022. pp. 177-178.
6. Kshetri N., Voas J. Thoughts on General Data Protection Regulation and Online Human Surveillance // C omputer. 2020. № 1 (53). pp. 86-90.
fyMaHumapHbie u noAumuKO-npaeoeue uccAedoeaHun. 2023. № 4 (23).
7. Loi M., Heitz C., Christen M. A. Comparative Assessment and Synthesis of Twenty Ethics Codes on AI and Big Data // Proceedings - 2020 7th Swiss Conference on Data Science, SDS 2020. 2020. pp. 41-46.
8. Lopes I. M., Oliveira P. Implementation of the general data protection regulation: A survey in health clinics // Iberian Conference on Information Systems and Technologies, CISTI. 2018. (2018-June). pp. 1-6.
9. Martinez-Plumed F. [h gp.]. CRISP-DM Twenty Years Later: From Data Mining Processes to Data Science Trajectories // IEEE Transactions on Knowledge and Data Engineering. 2021. № 8 (33). pp. 3048-3061.
10. McGregor C., Dewey C., Luan R. Big data and artificial intelligence in healthcare: Ethical and social implications of neonatology // International Symposium on Technology and Society, Proceedings. 2021. (2021-October).
11. Nahra K. J. HIPAA security enforcement is here // IEEE Security and Privacy. 2008. № 6 (6). pp. 70-72.
12. Shlyapnikov V.V. Some problems of data ethics and ethics of social networks // Bulletin of St. Petersburg University. Philosophy and conflictology. 2023. № 3 (39). pp. 504-513.
13. Ugwu A. O. [et al.]. Ethical Implications of AI in Healthcare Data: A Case Study Using Healthcare Data Breaches from the US Department of Health and Human Services Breach Portal between 2009-2021 // Proceedings - 2022 International Conference on Industrial IoT, Big Data and Supply Chain, IIoTBDSC 2022. 2022. pp. 343-349.
14. Xu Q. A. [et al.]. Artificial Intelligence Ethics and Applications // Proceedings - 2022 International Conference on Industrial IoT, Big Data and Supply Chain, IIoTBDSC 2022. 2022. pp. 322-328.
15. General Data Protection Regulation (GDPR) - Official Legal Text [Electronic resource]. URL: https://gdpr-info.eu/ (access date: 12/06/2023).
16. Data Ethics Framework - GOV.UK [Electronic resource]. URL: https://www.gov.uk/government/publications/data-ethics-framework (accessed 12/06/2023).
17. AI-Principles Overview - OECD.AI [Electronic resource]. URL: https://oecd.ai/en/ai-principles (access date: 12/06/2023).
18. ISO/IEC 27001:2022(en), Information security, cybersecurity and privacy protection - Information security management systems — Requirements [Electronic resource]. URL: https://www.iso.org/obp/ui/ru/#iso:std:iso-iec:27001:ed-3:v1:en (access date: 12/06/2023).
19. GOST R ISO/IEC 27001 -2006 Information technology (IT). Methods and means of ensuring security. Information security management systems. Requirements - docs.cntd.ru [Electronic resource]. URL: https://docs.cntd.ru/document/1200058325 (access date: 12/06/2023).
20. ISO/IEC 20546:2019(en), Information technology - Big data -Overview and vocabulary [Electronic resource]. URL: https://www.iso.org/obp/ui/en/#iso:std:iso-iec:20546:ed-1:v1:en (access date: 12/06/2023).
21. GOST R ISO/IEC 20546-2021 Information technology (IT). Big data. Review and dictionary - docs.cntd.ru [Electronic resource]. URL: https://docs.cntd.ru/document/1200180276 (access date: 12/06/2023).
22. ISO/IEC 20547-3:2020(en), Information technology - Big data reference architecture - Part 3: Reference architecture [Electronic resource]. URL: https://www.iso.org/obp/ui/en/#iso:std:71277:en (access date: 12/06/2023).
Сведения об авторе
Попов Александр Александрович - младший научный сотрудник института корпоративного обучения и непрерывного образования Федерального государственного бюджетного образовательного учреждения высшего образования «Национальный исследовательский Мордовский государственный университет им. Н.П. Огарёва». E-mail: [email protected]
About the author
Popov Alexander Aleksandrovich - junior researcher at the Institute of Corporate Training and Continuing Education, Federal State Budgetary Educational Institution of Higher Education «National Research Ogarev Mordovia State University». E-mail: [email protected]
