CC BY
23
Б01: 10.15514/КРКА8-2020-32(5)-11
Распределенная модульная платформа «Цифровая Лаборатория» как среда для
проведения научных исследований и разработок НИЦ «Курчатовский Институт»
А.Н. Поляков, ORCID: 0000-0002-0316-409Х <andrew@kiae.ru> И.М. Енягина, ORCID: 0000-0003-0004-0582 <irina_enyagina@mail.ru> Д.С. Коковин, ORCID: 0000-0002-6292-2591 <dskokovin@gmail.com>
НИЦ «Курчатовский Институт», 123182 г. Москва, пл. Академика Курчатова, 1
Аннотация. Курчатовский комплекс НБИКС-природоподобных технологий ориентирован на междисциплинарные исследования и разработки в области нано-, био-, информационных, когнитивных, социогуманитарных наук и технологий. Экспериментальной основой НБИКС комплекса являются Ресурсные центры, действующие в режиме коллективного пользования различными научными лабораториями и содержащие современное оборудование для проведения широкого спектра научных экспериментов. Обработка и хранение полученных экспериментальных данных производится на суперкомпьютере Вычислительного центра, пользование которым также является коллективным. Таким образом, возникают задачи обмена данными между различными зданиями, организации их обработки, анализа и упорядоченного хранения, а также совмещения гетерогенных экспериментальных данных для получения научных результатов более высокого уровня. Для решения данных вопросов на базе распределённой модульной платформы «Цифровая Лаборатория» была организована информационно-аналитическая среда как система, объединяющая в единое виртуальное пространство научное оборудование Ресурсных центров, суперкомпьютер Вычислительного центра, виртуальные машины и персональные компьютеры научных лабораторий, организуя при этом обмен данными между различными зданиями, их обработку, анализ и хранение. Работа с системой осуществляется посредством пользовательского веб-интерфейса. По запросу исследователей каждая процедура работы с экспериментальными данными заданного типа реализуется в виде автономного модуля платформы «Цифровая Лаборатория». Так, например, введен в эксплуатацию и успешно функционирует Модуль «Нейровизуализация» для обработки и анализа фМРТ/МРТ экспериментальных данных головного мозга человека, получаемых на томографе Ресурсного центра. Использование этого модуля делает задачу анализа фМРТ/МРТ данных максимально простой для пользователя, а также позволяет многократно ускорить процесс обработки данных за счёт расспараллеливания вычислений на узлах суперкомпьютера. Помимо создания модулей для работы с экспериментальными данными, система предусматривает возможность создания модулей для работы с данными иного типа. В качестве примера можно привести Модуль «Проектная деятельность» для анализа эффективности научной деятельности исследовательских лабораторий. Использование данной системы позволяет оптимизировать работу с экспериментальными данными в ходе проведения научных исследований за счёт возможности программной реализации необходимых процедур их передачи, хранения, обработки и анализа.
Ключевые слова: анализ данных; научные данные; суперкомпьютер; распределённая платформа; информационная система; экспериментальные данные
Для цитирования: Поляков А.Н., Енягина И.М., Коковин Д.С. Распределенная модульная платформа «Цифровая Лаборатория» как среда для проведения научных исследований и разработок НИЦ «Курчатовский Институт». Труды ИСП РАН, том 32, вып. 5, 2020 г., стр. 143-152. Б01:
10.15514Л8РКА8-2020-32(5)-11
Благодарности: Работы выполнены в рамках научно-исследовательской деятельности по теме «Создание распределенной модульной платформы для исследований и разработок «Цифровая лаборатория», утвержденной приказом НИЦ «Курчатовский институт» от 02 июля 2020 года №1055 и при поддержке РФФИ, в рамках научного проекта № 18-29-23020 мк.
«Digital Lab» Platform as an Environment for Scientific Research and Development at the Kurchatov Institute
A.N. Polyakov, ORCID: 0000-0002-0316-409Х <andrew@kiae.ru> I.M. Enyagina, ORCID: 0000-0003-0004-0582 <irina_enyagina@mail.ru> D.S. Kokovin, ORCID: 0000-0002-6292-2591<dskokovin@gmail.com> National Research Center «Kurchatov Institute», 1 Akademika Kurchatova pl., Moscow, 123182, Russia
Abstract. The Kurchatov Complex of NBICS Nature-Like Technologies is focused on interdisciplinary research and development in the field of nano-, bio-, information, cognitive, socio-humanitarian sciences and technologies. The experimental basis of the NBICS complex is the Resource Centers operating in the mode of collective use by various scientific laboratories and containing modern equipment for conducting a wide range of scientific experiments. The processing and storage of the obtained experimental data is carried out on the supercomputer of the Computing Center, the use of which is also collective. Thus, there are problems of data exchange between different buildings, organizing their processing, analysis and orderly storage, as well as combining heterogeneous experimental data to obtain scientific results of a higher level. To solve these issues on the basis of the distributed modular platform «Digital Laboratory», an information and analytical environment was organized as a system that combines the scientific equipment of the Resource Centers, the supercomputer of the Computing Center, virtual machines and personal computers of scientific laboratories into a single virtual space, while organizing the exchange of data between various buildings, their processing, analysis and storage. The work with the system is carried out through the user web interface. At the request of researchers, each procedure for working with experimental data of a given type is implemented as an autonomous module of the «Digital Laboratory» platform. For example, the Module «Neuroimaging» for processing and analysis of fMRI / MRI experimental data of the human brain obtained on the tomograph of the Resource Center was put into operation and is successfully functioning. The use of this module makes the task of fMRI / MRI data analysis as simple as possible for the user, and also makes it possible to speed up the data processing many times over by parallelizing the computations on the supercomputer nodes. In addition to creating modules for working with experimental data, the system provides the ability to create modules for working with data of a different type. An example is the Module «Project Activity» for analyzing the effectiveness of scientific activities of research laboratories. The use of this system allows to optimize the work with experimental data in the course of scientific research due to the possibility of software implementation of the necessary procedures for their transfer, storage, processing and analysis.
Keywords: scientific data; data analysis; supercomputer; information system; experimental data
For citation: Polyakov A.N., Enyagina I.M., Kokovin D.S. «Digital Lab» platform as an environment for scientific research and development at the Kurchatov Institute. Trudy ISP RAN/Proc. ISP RAS, vol. 32, issue 5, 2020, pp. 143-152 (in Russian). DOI: 10.15514/ISPRAS-2020-32(5)-11
Acknowledgements. This works was supported by the Kurchatov Institute research activities on the project «Creation of a distributed modular research and development platform "Digital laboratory"» approved by order of the Kurchatov Institute on July 02, 2020, No. 1055 and by the RFBR research project No 18-29-23020 mk.
1. Введение
В Ресурсных центрах Курчатовского института имеется более 400 единиц современной экспериментальной техники и установок, что позволяет получать различного рода научные данные. Результаты каждого проводимого эксперимента имеют научную ценность и должны быть сохранены, с возможностью последующего многократного использования в различных исследованиях. Соответственно, необходимо обеспечить упорядоченное централизованное хранение экспериментальных данных, с возможностью автоматического формирования 144
запрашиваемых выборок данных в соответствии с потребностями того или иного исследования. При этом в ходе современных исследований нередко используются гетерогенные данные, полученные в результате экспериментов разного типа, на различном оборудовании, что позволяет получать научные результаты более высокого уровня. Как пример, объединение данных экспериментов ЭЭГ и фМРТ позволяет получить более точную карту функциональной нейрональной связности головного мозга человека. Однако данные, получаемые на различных экспериментальных установках, разнородны по своей структуре и формату хранения. Таким образом, актуальна задача технического обеспечения интеграции гетерогенных экспериментальных данных в целях проведения их общего анализа. Далее, для обработки и анализа научных данных привлекается суперкомпьютер Вычислительного центра, обеспечивающий высокопроизводительные вычисления. На этом этапе возникает задача обеспечения обмена данными между зданиями Ресурсных центров и зданием Вычислительного центра, а также задача разворачивания на суперкомпьютере или же виртуальных машинах специализированного программного обеспечения, необходимого для выполнения обработки, анализа и визуализации данных заданного вида, в зависимости от потребностей того или иного типа исследований. И наконец, необходим инструмент коммуникации исследователей с организованной системой хранения и анализа данных, наиболее удобным форматом которого является пользовательский веб-интерфейс. Для решения вышеперечисленных задач на базе распределённой модульной платформы «Цифровая Лаборатория» [1] была организована единая среда как информационно -аналитическая система, обеспечивающая обмен данными между Вычислительным центром, Ресурсными центрами и научными лабораториями, с возможностью привлечения специализированного программного обеспечения заданного типа для обработки, анализа и визуализации. Данная информационная система представляет собой совокупность автономных модулей, базирующихся на платформе «Цифровая Лаборатория». Работа с системой осуществляется посредством пользовательского веб-интерфейса. Помимо общего описания системы, в качестве действующих примеров внедрения в данной статье будут описаны Модуль «Нейровизуализация» для обработки и анализа фМРТ/МРТ данных головного мозга человека [2], а также Модуль «Проектная деятельность» для учёта и анализа эффективности научной деятельности исследовательских лабораторий.
2. Платформа «Цифровая Лаборатория»
Информационно-аналитическая платформа «Цифровая лаборатория» - это распределённая модульная система для интенсивной работы с данными и метаданными в разнородном хранилище данных, с функцией динамического изменения пользователем как самих данных, так и моделей метаданных. Динамичная модификация моделей данных и типов связей между ними позволяет развивать функциональность системы и разрабатывать новые методы обработки и анализа данных [3]. Платформа «Цифровая Лаборатория» выполняет роль менеджера потоков данных для организации преобразования и передачи данных между отдельными элементами информационной среды как системы обработки и анализа данных. Ключевым компонентом платформы «Цифровая Лаборатория» является хранилище метаданных, основными элементами которого являются модели данных и метаданных. Интерфейс к этим моделям имеет стандартизованный формат и предоставляется сервисами. На базе платформы «Цифровая Лаборатория» возможно создание как простых модулей для обработки и анализа однородных данных, так и сложных модулей для обработки и анализа гетерогенных (разнородных) данных.
2.1 Архитектура
Архитектура платформы представлена на рис. 1. Ключевой компонент платформы - регистр метазаписей по данным, основными элементами которого являются модели данных и
145
метаданных [4]. С помощью информационных моделей описываются объекты предметной области, взаимосвязи между ними и другие метаданные. Стандартизированный интерфейс к информационным объектам предоставляется через сервисы платформы. Сервисы делятся на системные, прикладные и пользовательские. Основной функцией системных сервисов является работа с информационными объектами, в том числе: формирование информационных объектов о загружаемых данных через блок приема, запуск задач на вычислительных ресурсах, обработка запросов к системе хранения данных и др. Пользовательские сервисы служат для создания и модификации моделей данных и метаданных, поиска и визуализации, создания новых информационных объектов. Доступ к системе осуществляется по протоколу http через веб-портал. Основной функцией портала является обеспечение доступа пользователей к информационным объектам, объектам данных и сервисам, авторизованный доступ к веб-интерфейсу взаимодействия с другими компонентами комплекса, а также администрирование информационного наполнения самого портала.
Рис. 1. Архитектура платформы «Цифровая Лаборатория» [1] Fig. 1. Architecture of the platform "Digital Laboratory" [1]
2.2 Ключевые функции
Платформа располагает набором инструментов для обеспечения следующих функций:
• создание новых моделей данных и метаданных с функцией их динамической модификации;
• регистрация входных данных с извлечением исходных метаданных;
• многокритериальный поиск по атрибутам метаданных;
• легкая интеграция внешних приложений и сервисов пользователями;
• прием, реструктуризация и обработка заданий и рабочих процессов;
• совместное использование данных и права доступа к ресурсам инструментария;
• совместная работа для нескольких пользователей.
2.3 Программное обеспечение
При разработке платформы использовалось следующее свободно распространяемое ПО:
• языки программирования Java (версии 8 и выше), JavaScript, HTML 5;
• форматы описания метаданных XML и бизнес процессов BPMN 2.0 [5];
• СУБД MySQL версии 5.5 [6];
• интерфейсы J2EE [7];
• фреймворки Spring, Hibernate, Activiti;
• веб сервер Apache и сервер приложений Tomcat [8].
Для хранения прав доступа используется реляционная СУБД. Каждая запись определяется кортежем <ObjectId, GroupId, RoleId, AccessLevel>, где ObjectId - идентификатор объекта доступа, GroupId и RoleId - идентификатор группы и роли в этой группе, для которой требуется проверить права доступа, AccessLevel - уровень доступа.
Для повышения скорости доступа к объектам и работы сервисов системы используются права доступа в первую очередь для регулирования доступа к сервисам и функциям, предоставляемым платформой. Это уменьшает количество записей и сокращает число проверок.
3. Примеры внедрения модулей системы 3.1 Модуль «Нейровизуализация»
Создание методов МРТ и фМРТ томографии открыло новые возможности для исследования анатомической структуры и функциональной нейрональной активности головного мозга человека. Однако с увеличением количества проводимых экспериментов возникла задача быстрой обработки и анализа потоков экспериментальных МРТ/фМРТ данных, а также их упорядоченного централизованного хранения [9]. С этой целью на базе платформы «Цифровая Лаборатория» был разработан и внедрён Модуль «Нейровизуализация», представляющий собой систему хранения, анализа и визуализации экспериментальных нейробиологических данных (МРТ, фМРТ), с привлечением в качестве вычислительного ресурса кластера HPC4 суперкомпьютера НИЦ «Курчатовский Институт» [2]. Система позволяет проводить научные исследования в области изучения анатомической структуры и функциональной нейрональной архитектуры головного мозга человека, с использованием как традиционных методов и инструментов математического моделирования, так и уникальных методик, разрабатываемых исследователями. В настоящее время Модуль «Нейровизуализация» используют в Курчатовском институте для интеграции и анализа данных МРТ и фМРТ, полученных на томографе Siemens Verio Magnetom 3T Ресурсного центра «Когнимед».
Модуль «Нейровизуализазция» имеет следующую структуру.
• Хранилище данных: хранение экспериментальных МРТ/фМРТ данных, а также результатов их предобработки, обработки и анализа на суперкомпьютере.
• Вычислительный элемент: Обработка и анализ данных на суперкомпьютере с использованием свободно распространяемого специализированного программного обеспечения (FreeSurfer, FSL, SPM и др.), а также с использованием собственных разработок. Распараллеливание вычислений на узлах суперкомпьютера.
• Аналитика и статистика: формирование выборки данных по набору параметров; генерация аналитических и статистических отчётов.
• Визуализация: создание моделей нейровизуализации данных с помощью свободно
распространяемых визуальных редакторов (FreeView, Brain Browser).
• Модуль управления данными: организует обмен данными между веб-порталом, хранилищем данных, вычислительным элементом, блоками аналитики и визуализации.
• Веб-интерфейс: организует взаимодействие системы с внешними устройствами (ПК оператора томографа, ПК исследователей).
Компьютерная модель Модуля «Нейровизуализация» представлена на рис. 2.
Рис. 2. Компьютерная модель Модуля «Нейровизуализация» Fig. 2. Computer model of the Module «Neuroimaging» Рабочий процесс можно описать следующим образом: МРТ и фМРТ эксперименты выполняются на томографе ресурсного центра, данные записываются оператором томографа в виде каталога файлов формата DICOM, которые являются «входными данными» для Модуля «Нейровизуализация». Затем система конвертирует набор DICOM файлов в один файл формата NIFTI (4D NiFti - фМРТ, 3D NiFti - МРТ), отделяя при этом непосредственно экспериментальные данные от метаданных эксперимента. Метаданные направляются в хранилище метаданных системы, тогда как данные направляются для обработки и анализа на суперкомпьютер, где развёрнуто необходимое специализированное программное обеспечение. При этом обработка одного NIFTI файла с результатами фМРТ эксперимента на ПК может занимать 24 часа и более, тогда как в рамках исследования может потребоваться оперативная обработка десятков или сотен таких файлов одновременно. Использование Модуля «Нейровизуализиация» позволяет многократно ускорить, упростить и расширить возможности обработки и анализа данных МРТ и фМРТ за счёт распараллеливания вычислительных процессов на узлах суперкомпьютера, обеспечения широты выбора специализированных инструментов обработки и анализа, упорядоченного централизованного хранения, обеспечения доступа к данным из любого места в любое время. Полученные результаты используются в практической медицине и научно -исследовательской деятельности, для индивидуального (данные одного пациента) и группового (обычно данные от 20 до 200 пациентов) анализа. Рис. 3 представляет процесс
преобразования экспериментальных данных при использовании Модуля «Нейровизуалзация». Рис. 4 демонстрирует веб-интерфейс пользователей.
Рис. 3. Процесс преобразования экспериментальных данных МРТ/фМРТ Fig.3. MRI/fMRI experiments data work flows
Рис. 4. Пользовательский веб-интерфейс Модуля «Нейровизуализация» Fig.4. The user web interface of the Module "Neuroimaging"
3.2 Модуль «Проектная деятельность»
Основной целью создания Модуля «Проектная деятельность» является повышение эффективности организации и управления научно-технической деятельностью подразделений НИЦ «Курчатовский Институт». В рамках этой задачи система обеспечивает сбор и структурированное хранение данных о научной деятельности сотрудников (проекты, исследования, публикации, патенты и прочее), предоставляет данные о текущем статусе и эффективности выполнения проектов, обеспечивая тем самым возможность всестороннего
анализа и оперативного принятия необходимых решений. Модуль позволяет фиксировать результаты научной деятельности лабораторий, рабочих групп и отдельных сотрудников лабораторий, предоставляя тем самым возможность оперативного доступа к перечню работ той или иной группы исследователей или же того или иного проекта. Модуль также содержит функционал расширенного поиска сотрудников и их достижений, организуя в том числе автоматическое формирование текстовых и графических статистических отчётов. Гибкость и ёмкость Модуля обеспечивается за счёт разделения входных данных на непосредственно данные и метаданные (данные о данных, содержащие признаки данных). Рисунок 5 представляет компьютерную модель Модуля «Проектная деятельность».
Рис. 5. Компьютерная модель Модуля «Проектная деятельность» Fig.5. Computer model of the Module «Project Activity»
Основные элементы архитектуры системы «Проектная деятельность».
• Модуль управления потоками данных. Разделяет полученные от пользователей системы данные на инфрмационные данные (далее «данные») и метаданные. Также модуль обеспечивает взаимообмен потоками данных между пользовательским веб-интерфейсом, хранилищем метаданных, хранилищем данных, модулем анализа эффективности научной деятельности.
• Хранилище данных. Предназначено для упорядоченного хранения данных, загружаемых пользователями системы. Система подразумевает хранение не только объектов (метазаписей), но и сторонних объектов данных (созданных за пределами платформы), связанных с объектом, например, изображений, текстовых документов и т.д. Все сторонние объекты хранятся в виде файлов и должны быть связаны как минимум с одним базовым объектом. Это позволяет контролировать все процессы, связанные с жизненным циклом файла, и отслеживать такие события как: загрузка файла в систему, имя пользователя, загрузившего файл, время загрузки, изменения файла (замена другой версией).
• Хранилище метаданных. Предназначено для хранения метаданных моделей, загружаемых пользователями системы. Интерфейс к этим моделям имеет стандартизированный формат и будет предоставляться сервисами. Сервисы представляют три группы: система, приложение и пользователь. Одна из основных функций для системных сервисов - извлечение начального набора метаданных из
входных данных, а также создание дополнительных метаданных во время использования системы пользователем. Системные сервисы обеспечивают, среди прочего, загрузку работы на вычислительные ресурсы, обработку данных, формирование запросов в систему хранения.
• Модуль анализа эффективности научной деятельности. Предназначен для обработки и систематизации загруженных в систему данных о выполняемых проектах и исследованиях, с целью анализа эффективности научной деятельности по заданным признакам. Функционал модуля предполагает возможность автоматического формирования аналитических отчётов.
• Веб-интерфейс. Доступ к системе осуществляется по протоколу http через веб-портал. Основной функцией портала является обеспечение доступа пользователей к базовым объектам, объектам данных и сервисам, авторизованный доступ к веб-интерфейсу взаимодействия с другими компонентами комплекса, а также администрирование информационного наполнения самого портала.
Модуль подразумевает хранение не только информационных объектов (метазаписей), но и сторонних объектов данных (созданных за пределами платформы), связанных с информационным объектом, например, изображений, текстовых документов и т.д. Все сторонние объекты хранятся в виде файлов и должны быть связаны как минимум с одним информационным объектом. Это позволяет контролировать все процессы, связанные с жизненным циклом файла, и отслеживать такие события как, загрузка файла в систему, имя пользователя, загрузившего файл, время загрузки, изменения файла (замена другой версией). Взаимодейсвие Модуля с пользователями осуществляется посредством веб-интерфейса. Модуль «Проектная деятельность» объединяет все данные, участвующие в процессе выполнения научных проектов, в единое многомерное пространство на уровне метаданных, а также предоставляет механизмы их поиска, обработки и актуализации. На основе собранных данных происходит динамическое формирование отчетов о текущем состоянии дел подразделения, что даёт возможность оперативно выявлять возникшие затруднения и перераспределять ресурсы подразделения по критически важным задачам.
4. Заключение
В результате выполненных работ была организована единая информационно-аналитическая среда для проведения научных исследований и разработок НИЦ «Курчатовский Институт» как система на базе распределённой модульной платформы «Цифровая Лаборатория». Данная система позволяет формировать по мере необходимости автономные модули, реализующие различные сценарии сбора, обработки, анализа и хранения экспериментальных научных данных, получаемых на оборудовании Ресурсных центров. Исследователи имеют возможность работать с системой посредством пользовательского веб-интерфейса. Создание такой системы позволяет упростить и ускорить процедуры работы с экспериментальными данными, а также организовать упорядоченное централизованное хранение таких данных, с возможностью автоматического формирования необходимых выборок и их многократного использования в различных научных исследованиях. Помимо работы с экспериментальными данными, система предоставляет возможность хранения и анализа данных другого типа, таких, например, как индикаторы научной деятельности по проектам.
В настоящее время система введена в эксплуатацию для подразделений Курчатовского комплекса НБИКС-природоподобных технологий, используются модули «Проектная деятельность» и «Нейровизуализация». Помимо функционирования уже созданных модулей, система предусматривает создание и запуск новых модулей по запросу научно -исследовательских групп.
Список литературы / References
[1] Polyakov A., Kokovin D., Poyda A., Zhizhin M., Andreev A., Govorov A., Ilyin V. Toolkit for intensive work with metadata in specialized information systems. Procedia Computer Science, vol. 119, 2017, pp. 59-64.
[2] Enyagina I.M., Polyakov A.N., Poyda A.A., Ushakov V.L. System for Automatic Processing and Analysis of MRI/fMRI Data on the Kurchatov Institute Supercomputer. EPJ Web of Conferences, vol. 226, 2020, article no. 03006.
[3] Bubenko Janis A., jr. From Information Algebra to Enterprise Modelling and Ontologies - a Historical Perspective on Modelling for Information Systems. In Conceptual Modelling in Information Systems Engineering, Springer, 2007, pp. 1-18.
[4] Burgess N. Scaling an RNS number using the core function. In Proc. of the 16th IEEE Symposium on Computer Arithmetic, 2003. pp. 262-269.
[5] Jenn Riley. Understanding Metadata: What is Metadata, and What is it For? National Information Standards Organization, 2017, 49 p.
[6] Extensible Markup Language (XML) 1.1 (Second Edition). W3C Recommendation, 2006. URL: https://www.w3.org/TR/xml11/, accessed 20.11.2020.
[7] MySQL 5.1 Release Notes. URL: https://docs.oracle.com/cd/E17952_01/mysql-5.1-relnotesen/index.html, accessed 20.11.2020.
[8] Java EE Overview. URL: http://www.oracle.com/technetwork/java/javaee/overview/index.html, accessed 20.11.2020.
[9] An open source framework for creating Java EE web applications. URL: https://struts.apache.org/, accessed 20.112020.
[10] Poldrack Russell A., Mumford Jeanette A., Nichols Thomas E. Handbook of Functional MRI Data Analysis, Cambridge University Press, 2011, 238 p.
Информация об авторах / Information about authors
Андрей Николаевич ПОЛЯКОВ - кандидат технических наук, заместитель начальника отдела нейрокогнитивных наук, интеллектуальных систем и робототехники Комплекса НБИКС-природоподобных технологий. Сфера научных интересов: информационные распределённые системы, анализ и хранение научных данных, динамические данные.
Andrey POLYAKOV - PhD, Deputy Head of the Department of Neurocognitive Sciences, Intelligent Systems and Robotics of the Kurchatov Complex of NBICS Nature-Like Technologies. Research interests: information distributed systems, analysis and storage of scientific data, dynamic data.
Ирина Михайловна ЕНЯГИНА - младший научный сотрудник Лаборатории технологий искусственного интеллекта. Сфера научных интересов: нейровизуализация, информационные распределённые системы, анализ и хранение научных данных. Irina ENYAGINA - Researcher at the Laboratory of Artificial Intelligence Technologies. Research interests: information distributed systems, analysis and storage of scientific data, neuroimaging. Дмитрий Сергеевич КОКОВИН - инженер-исследователь Лаборатории технологий искусственного интеллекта. Сфера научных интересов: СУБД, информационные системы. Dmitry KOKOVIN - Research Engineer at the Laboratory of Artificial Intelligence Technologies. Research interests: data base, information systems, analysis and storage of scientific data.
