CC BY
178
УДК 004.7, 004.45
П.А. Ломов1’2, М.Г. Шишаев12, Е.Ю. Данилов1
1 Институт информатики и математического моделирования технологических процессов Кольского НЦ РАН
2 Кольский филиал Петрозаводского государственного университета
ВИЗУАЛИЗАЦИЯ НА ОСНОВЕ КОГНИТИВНЫХ ФРЕЙМОВ
w $
ДЛЯ ПЕРЕДАЧИ ЗНАНИЙ
Аннотация
В данной работе предлагается технология визуализации онтологий, ориентированная в первую очередь на облегчение получения представленных в них знаний экспертом. Для этого предлагается формировать для понятий онтологии специальные структуры - когнитивные фреймы. Каждый когнитивный фрейм включает специальным образом сформированные фрагмент онтологии и соответствующий ему визуальный образ. Ожидается, что использование такого способа визуализации позволит упростить передачу онтологических знаний пользователю. В завершении рассмотрена программная реализации технологии в виде плагина для редактора онтологий Protege.
Ключевые слова:
визуализация онтологии, семантическая сеть, осмысление онтологии, когнитивный фрейм.
P.A. Lomov, M.G. Shishaev, E.Yu. Danilov
VISUALIZATION OF ONTOLOGIES ON THE BASIS OF COGNITIVE FRAMES FOR KNOWLEDGE TRANSMISSION
Abstract
In this work the ontologies visualization technology, focused first of all on simplification of getting knowledge from them by the expert is offered. For this purpose it is proposed to form for concepts of ontology special structures - cognitive frames. Each cognitive frame includes the build in a special way fragment of ontology and the visual image, corresponding to it. It is expected that showing cognitive frames for a concept during visualization instead of just showing any terms linked with it will be more useful for presenting of the concept's meaning. In the end of the paper we presented plugin for ontology editor Protege, which implements that technology.
Keywords:
ontology visualization, semantic web, ontology comprehension, cognitive frame.
Введение
Визуализация онтологий является важным аспектом их практического использования. Качественная визуализация обеспечивает понимание экспертами онтологии или ее фрагментов (ontology comprehension) [1] в ходе решения различных задач инженерии знаний. Эффективность того или иного подхода к визуализации онтологии существенно зависит от решаемой задачи. *
* Работа выполнена при поддержке РФФИ (грант № 13-07-01016 «Методы динамического синтеза когнитивных интерфейсов мультипредметных информационных систем»).
109
К одной из задач, требующих представления онтологии в виде некоторого визуального образа, относится осмысление онтологии [2]. В результате ее решения пользователь должен понять общую структуру онтологии, оставив за пределами внимания несущественные детали. Такая задача обычно возникает при выборе онтологии для повторно использования. В этом случае процесс осмысления позволяет пользователю принять решение о том, подходит ли, в целом, данная онтология или ее фрагмент для применения в его приложении. Технологии и программные средства, ориентированные на решение данной задачи, представлены в работах [2, 3-5]. Их отличительными чертами является наличие инструментов для построения обзорного представления онтологии, зуммирования и фильтрации отображаемых элементов.
В контексте визуализации формальных онтологий важной задачей также является визуализация результатов логического вывода. Ее суть заключается в создании визуального представления, способного проиллюстрировать вывод логических утверждений, представить объяснения результатов вывода [1, 6, 7]. Благодаря такому представлению разработчик может более детально понять онтологию, а также быстро найти и скорректировать проблемные аксиомы, приводящие к семантическим конфликтам.
Традиционно, в рамках компьютерных наук онтология используется в основном как средство автоматизированной компьютерной обработки знаний. Однако сегодня объем формализованных знаний, заключенных в памяти компьютера, становится сопоставим с познаниями человека. Это открывает возможности и порождает проблему эффективной передачи заключенных в онтологии знаний пользователю или эксперту. В этом случае для визуализации наиболее важными становятся когнитивные свойства онтологии, определяющие насколько просто и точно она может быть интерпретирована экспертом для получения смысла того или иного понятия. Рассматриваемая в данной работе технология ориентирована на эффективную передачу эксперту знаний, содержащихся в онтологии, в виде адаптированных к интерпретации визуальных образов.
В качестве основы предлагаемого способа визуализации предлагается использовать когнитивный фрейм. Под когнитивным фреймом, в общем случае, понимается визуализированный фрагмент онтологии, позволяющий адекватно (эффективно) передать человеку (эксперту) знания о некотором целевом понятии. Адекватность в данном случае подразумевает быструю и достаточно точную для решаемой задачи интерпретацию смысла описываемого понятия в контексте ментальной модели эксперта. По своей функции когнитивный фрейм близок к понятию «точка зрения» (viewpoint) [8], однако в отличие от последнего он включает помимо набора фактов о понятии еще и соответствующий ему визуальный образ. Требование адекватной передачи когнитивным фреймом знаний эксперту естественным образом порождает необходимость учета при его формировании психологических особенностей человека, общих принципов структурирования им информации, а также некоторой общей понятийной базы, единой для всех прикладных онтологий.
В соответствии с принятым определением, когнитивный фрейм имеет две ключевые составляющие - содержимое, соответствующее онтологическому контексту целевого понятия, и визуальный образ, предъявляемый эксперту. Первый компонент дает ответ на вопрос что требуется визуализировать для
110
эффективной трансляции знаний о понятии, а второй - каким образом это сделать. Предлагаемый в работе подход к человеко-машинной трансляции знаний основан на том наблюдении, что общие закономерности восприятия визуальной информации и структурирования знаний человеком отражаются как в его психологических свойствах, так и в самом описании понятия в онтологии. Первые проявляются в известных принципах гештальтпсихологии [9] и эффекте перцептивных стереотипов [10]. Вторые - в том, что при формировании онтологии понятия описываются экспертом с явным или неявным исполь-зованием инвариантных к предметным областям отношений и мета-понятий, источниками которых являются онтологии верхнего уровня. Наша гипотеза заключается в том, что следование данным законам в процессе формирования визуализации позволит осуществлять успешную передачу знаний любой онтологии человеку.
В данной работе мы рассмотрим только вопрос формирования содержимого когнитивных фреймов на основе общих отношений, таких как «таксономия», «партономия» и «зависимость». В качестве универсального визуального образа на данном этапе исследования используется графовая структура. Вопрос генерации более сложных визуальных образов предполагается рассмотреть в дальнейшем.
Предыдущие исследования
В предыдущей работе [11] был рассмотрен вопрос автоматическом формировании для OWL-онтологии ее упрощенной для визуализации модификации - онтологии пользовательского представления (UPO), описанной языком модели SKOS[12]. Модель SKOS является более простой, чем модель OWL. В процессе формирования UPO аксиомы исходной OWL-онтологии представлялись в виде совокупностей элементов модели SKOS: концептов, отношений и коллекций. Таким образом, UPO может рассматривать в виде графовой структуры. В качестве узлов такой структуры будут выступать понятия (concept), соответствующие OWL-классам исходной онтологии. Дуги будут представлять отношения между OWL-классами.
Следующая работа [13] была посвящена визуализации UPO, соответствующей некоторой прикладной онтологии на основе когнитивных фреймов. Было дано общее определение когнитивного фрейма:
(1)
где t - целевое понятие когнитивного фрейма, СТ - содержание фрейма -множество дуг вида «понятие-отношение-понятие», отражающих смысловое значение понятия , VS - визуальный образ, формируемый на основе содержания. В работе были также определены требования к когнитивному фрейму:
• компактность - фрейм должен включать не более 7-9 элементов (Miller's “magical number”);
• полнота - фрейм должен передавать всю информацию о понятии;
• привычность - визуальный образ фрейма должен быть знаком пользователю или фрейм должен представлять понятие с известной пользователю точки зрения.
111
Наряду с этим в работе был рассмотрен вопрос генерации когнитивных фреймов на основе инвариантных отношений, таких как «таксономия», «партономия» и «зависимость». Далее данный вид фреймов будем называть структурными когнитивными фреймами. Для этого были предложены алгоритмы формирования их содержимого на основе окрестностей целевого понятия. Под «-окрестностью некоторого понятия понимается множество понятий, связанных с ним одним видом отношений через n-1 понятие. Например, понятие t (рис. 1) имеет 2 окрестности по отношению A.
Рис. 1. Окрестности понятия t
При формировании содержания структурного когнитивного фрейма в него на каждом шаге включались понятия одной окрестности. Формирование заканчивалось по достижении порогового значения числа понятий. Заметим, что при этом для удовлетворения требования полноты в содержание всегда добавлялись все понятия окрестности, а не их часть. Наряду с этим при определении окрестностей учитывались правила избегания парадоксов транзитивности [14].
Улучшенная процедура формирования структурных когнитивных фреймов
Процедура формирования содержимого структурных когнитивных фреймов на основе окрестностей учитывает только одно направление отношений. Это приводит к тому, что структурный когнитивный фрейм для некоторого понятия, может потенциально представить его соседей с более высоких или более низких уровней иерархии. Например, партономический когнитивный фрейм для понятия t будет представлять его понятия-части, а также понятия, частям которых оно является.
При таком способе формирования остаются непредставленными понятия, находящиеся на том же уровне иерархии, что и целевое. Это не позволяет пользователю рассмотреть его в сравнительном аспекте. Например, если понятие t является частью понятия n, то имеет смысл представить и другие понятия-части n. Это позволит при отображении указать на отличительные черты понятия t по сравнению с другими понятиями, играющими для n туже роль (рис. 2).
Для решения данной проблемы и учета понятий того же уровня, что и целевое далее предлагается модифицированная процедура формирования содержания структурный когнитивных фреймов.
112
I Concepts of ‘ i the same ' \ level /
Рис. 2. Понятия одного уровня иерархии с t по отношению «hasPart»
Введем понятие фронтальной (тыловой BN?(t)) п-окрестности
понятия t по отношению f, как множества понятий, выступающих объектами (субъектами) в отношениях с понятиями фронтальной или тыловой (n-1)-окрестности. При этом фронтальная и тыловая 0-окрестность по любому виду отношений включает только само понятие t (рис. 3).
Рис. 3. Пример фронтальных и тыловых окрестностей понятия t
Модифицированная процедура формирования содержания структурных когнитивных фреймов для целевого понятия t состоит в последовательном формировании фронтальной и тыловой окрестностей и добавлении их к содержимому фрейма до достижения порогового значения числа понятий. Общая схема процедуры представлена на рис. 4.
Рис. 4. Общая схема процедуры формирования содержимого структурных когнитивных фреймов
113
Модифицированная процедура выглядит следующим образом:
1. Строим Fn[(F) и на сс основе строим тыловую окрестность
2. Строим и на ее основе строим фронтальную окрестность
3. Проверяем, достигло ли общее число понятий в окрестностях, полученных на шаге 1 и 2 порогового значения. Если достигло, переходим к шагу 4. Если нет, то добавляем понятия из сформированных окрестностей к содержимому фрейма, n=1 и переходим к шагу 8.
4. Создаем отдельный фрейм и добавляем в его содержимое окрестности, полученные на шаге 1. п=1 и переходим к шагу 5.
5. Строим FN^+L(f) основе В случае не превышения порогового
значения, добавляем к содержимому фрейма. Далее на основе
добавленной f7V^+1(0 строим Б'ЛГ/+ г (С) и также пытаемся добавить к содержимому. Если на данном шаге было достигнуто пороговое значение, то завершаем построение и переходим к шагу 6. Если нет, то k=k+1 и повторяем шаг 5.
6. Создаем отдельный фрейм и добавляем в его содержимое окрестностей, полученные на шаге 2. к=1 и переходим к шагу 7.
7. Строим ЗЛ^+1(У) на основе Б'ЛГ/(0. В случае не превышения
порогового значения, добавляем Bn£+1_№ к содержимому фрейма. Далее на основе добавленной строим Fn[+ г (V) и также пытаемся добавить к
содержимому. Если на данном шаге было достигнуто пороговое значение, то завершаем процедуру. Если нет, то к=к+1 и повторяем шаг 7.
8. На основе созданной на предыдущем шаге FN^{t) строим следующую
фронтальную окрестность FN^+i С] и случае не превышения порогового значения, добавляем ее к содержимому. Далее на основе строим
и также пытаемся добавить к содержимому. На основе, созданной, на предыдущем шаге BN^ (ir) строим следующую тыловую окрестность (t) и случае не превышения порогового значения, добавляем ее к содержимому. Далее на основе Б'ЛГ^+1(У) строим FN^+2(.t) и также пытаемся добавить к содержимому. Если на данном шаге было достигнуто пороговое значение, то завершаем процедуру. Если нет, то k=k+1 и повторяем шаг 8.
В ходе данной процедуры на шагах 1-3 формируется основа содержимого фрейма. Далее в зависимости от заполнения происходит либо разделение ее на отдельные сегменты для двух разных фреймов, либо ее дальнейшее заполнение. Заметим, что при формировании окрестностей соблюдаются правила избегания парадоксов транзитивности, рассмотренных в работе [13].
Оценка технологии построения когнитивных фреймов
Оценка предлагаемой технологии проводилась на основе установления сходства автоматически сформированных когнитивных фреймов с наборами фактов о понятиях, отобранных экспертами предметной области из прикладной онтологии.
114
Обоснование такого способа оценки состоит в том, что наличие некоторого фрагмента содержания когнитивного фрейма в наборе фактов, сформированных человеком, говорит о том, что он похожим образом представляет себе понятие. Таким образом, данная оценка показывает насколько некоторый когнитивный фрейм коррелирует со способами структурирования человеком информации об объектах действительности, и тем самым является показателем его когнитивности.
Для проведения эксперимента были выбраны 5 понятий из онтологии сетевого оборудования, разработанной на основе онтологии верхнего уровня DOLCE [15]. Для каждого понятия с использованной модифицированной процедуры были сформированы структурные когнитивные фреймы.
Для данных понятий 5 экспертам было предложено отобрать из онтологии факты, относящиеся к каждому из понятий, и структурировать их по-своему усмотрению. Под фактом в данном случае понимается тройка «понятие-свойство-понятие», представляющее ребро графа. Таким образом, для каждого понятия экспертом были сформированы несколько наборов фактов. Далее производилось сравнение наборов и когнитивных фреймов. Для каждого фрейма и набора, соответствующих одному понятию, определялась число одинаковых фактов. Фрейм и набор фактов с наибольшей оценкой считались соответствующими. У фрейма подсчитывалась оценка его когерентности и избыточности по отношению к набору фактов, как доля одинаковых и различных для них фактов среди общего числа фактов во фрейме.
Усредненные результаты представлены в таблице.
Оценка когерентности (Coherency) и избыточности (Redundancy) когнитивных фреймов
Coiicept/Cognitive frames Coherency Redundancy
Transport layer
Taxonomy frame 0.55 0.45
Partonomv frame 0.27 0.73
Dependency frame 0.48 0.52
Network router
Taxonomy frame 0.55 0.45
Partonomv frame 0.77 0.23
Dependency frame 0.75 0.25
Routing protocol OSPF
Taxonomy frame 0.67 0.33
Partonomy frame 0.60 0.4
Dependency frame 0.50 0.5
Media access control task
Taxonomy frame 0.77 0.23
Partonomy frame 0.75 0.25
Dependency frame 0.9 0.09
Network interface
Taxonomy frame 0.69 0.31
Partonomy frame 0.43 0.57
Dependency frame 0.6 0.4
115
Заметим, что проявление высокой избыточности вызвано, тем что, не все эксперты включили факты, отражающие понятия одного уровня иерархии с целевым. Особенно это касается иерархий по отношениям таксономии и партономии. Однако после рассмотрения построенных фреймов эксперты отметили, что это стоило сделать для более полной передачи смысла целевого понятия. Например, это касается партономического фрейма для понятия “Transport level” и таксономического фрейма для “Network router” (рис. 5).
Такопоту cognitive fra те for Partonomy cognitive frame for
concept ‘'Network router" concept "Transport level"
Рис. 5. Пример таксономического и партономического когнитивных фреймов
Что касается фреймов по отношению зависимости, то в большинстве случаев ему соответствовал набор фактов, неподходящий к другим типам структурных фреймов. Это вызвано большей спецификой отношения зависимости, по сравнению с таксономией и партономией. В этой связи эксперты объединили в один набор факты, соответствующие данному отношению, вместе с фактами, соответствующими специфическим отношениям предметной области. Это обусловило в некоторых случаях низкую оценку когерентности.
В целом результаты эксперимента показывают достаточную близость содержания фреймов и точек зрения, представленных наборами фактов, сформированных экспертами. Это позволяет судить о правильности процедуры формирования содержимого, позволяющего обеспечить привычность и компактность структурных когнитивных фреймов.
Описанием практической реализации
Практическая реализация данной технологии была выполнена в виде программного модуля редактора онтологий Protege. Для работы с программным модулем необходимо осуществить его установку. Для этого jar-файл программного модуля скопировать в папку «Protege/plugins», запустить Protege и загрузить в нем онтологию.
После загрузки онтологии на экране появятся две вкладки - одна включает в себя список с OWL классами, другая - список с когнитивными фреймами.
В визуализации иерархии OWL онтологии для навигации по ней используется список классов. При выборе OWL класса из списка камера
116
автоматически сфокусируется на нем. При наведении курсора мыши на элемент отобразятся связанные с ним элементы.
Для построения визуальных образов когнитивных фреймов необходимо нажать на кнопку “Сформировать список с КФ” и их список отобразится на панели.
Для отображения визуализации конкретного фрейма, необходимо щелкнуть на нужный тип фрейма (таксономический, партономический или специальный) и тип визуализации (Prefuse, Graph Stream, Cajun).
Управление визуализацией различных типов
В визуализации, построенной на библиотеке Prefuse, используется аналогичное управление, что и в начальной визуализации OWL онтологии. Отличие состоит в том, что в визуализации выделяется синим цветом понятие, смысл которого передает фрейм (целевое понятие).
В Graph Stream визуализации для перемещения камеры используется стрелки на клавиатуре, а кнопки “Page Up” и “Page Down” для приближения и отдаления камеры. При нажатии на визуальный элемент на панели, расположенные справа от визуализации, отобразится информация о нем. В данной визуализации целевое понятие фрейма выделяется желтым цветом.
В визуализации, построенной на библиотеке Cajun, для свободного перемещения и приближения/отдаления камеры используется мышь или элементы управления на панели инструментов. На ней также находятся кнопки для выбора различных расположений графических элементов в визуализации.
Рассмотрим пример работы визуализации на примере понятия “маршрутизатор” из тестовой онтологии сетевых технологий. На рис. 6 - 8 представлен пример визуализации таксономического, партономического когнитивного фрейма и когнитивного фрейма по зависимости построенный с использованием визуальной библиотеки Graph Stream. По этим визуализациям можно легко и быстро увидеть связанные понятия по тем или иным отношениям с понятием “маршрутизатор”.
Рис. 6. Таксономический КФ для понятия “Маршрутизатор”
(Network-router)
117
Cognitive Frame Visualizer:
Net-commutation-problem (Та Net-commutation-problem (5p Net-routing-problem (SpecialC Net-routing-problem (Taxonoi Network-bridge (TaxonomyCF Network-bridge (5pecialCFran Сетевая плата (TaxonomyCI Network-device (TaxonomyCF Network-hardware-port (Taxc Сетевой хост (TaxonomyCFr Сетевой хост (PartonomyCFi Сетевой интерфейс (Тахопо Сетевой интерфейс (Partoni Network-level (TaxonomyCFr. Network-level (PartonomyCFr Network-level (SpecialCFrame Network-model (TaxonomyCF Network-model (5pecialCFram Network-protocol (TaxonomyC Network-protocol (SpecialCFr; Маршрутизатор (TaxonomyC
|Маршрутизатор (PartonomyC
Маршрутизатор (SpecialCFra Маршрутизатор (Dependenc Уровень BOC (TaxonomyCFr; Уровень BOC (SpecialCFrame Open-Svstem-Interconnectior
Рис. 7. Партономический КФ для понятия “Маршрутизатор”
(Network-router)
Рис. 8. КФ по зависимости для понятия “Маршрутизатор ” (Network-router)
118
Заключение
В данной статье было рассмотрено определение когнитивного фрейма, используемого как средство визуального представления понятий онтологии. Его компонентами являются фрагмент онтологии, определяющий смысл некоторого понятия, а также визуальный образ, облегчающий интерпретацию смысла данного понятия. На следующих этапах исследования предполагается рассмотреть различные аспекты формирования визуального образа с учетом принципов когнитивной компьютерной графики [16] и гештальтпсихологии [9]. Наряду с этим планируется проанализировать возможности его синтеза с использованием общепринятых нотаций, таких как IDEF, UML и других.
Представленная процедура формирования позволяет сегментировать онтологию для последующего представления в виде когнитивных фреймов. Основой для формирования таких сегментов является наличие в онтологии разных иерархий понятий по инвариантным к предметным областям отношениям, определенным в онтологиях верхнего уровня. Использование инвариантных отношений, а также рассмотрение понятий на разных уровнях иерархий позволяет сформировать содержимое структурного когнитивного фрейма, удовлетворяющее требованиям компактности, полноты и привычности, для понятий любой онтологии. В дальнейшем предполагается определить способы формирования содержимого, основанные на анализе отношений целевого понятия как наследника понятий онтологии верхнего уровня.
Важным аспектом будущих исследований является создание системы навигации по набору когнитивных фреймов. Это позволит использовать предлагаемую технологию визуализации онтологии, как основу интерфейса информационных систем для обучения и обмена знаниями между экспертами/
Литература
1. Bergh, J.R. “Ontology comprehension” / J.R. Bergh // University of Stellenbosch, Master Thesis 2010.
2. A Novel Approach to Visualizing and Navigating Ontologies, / E. Motta and other // Lecture Notes in Computer Science Volume 7031, 2011. -P.470-486.
3. Plaisant, C. Spacetree Supporting Exploration in Large Node Link Tree / C. Plaisant, J. Grosjean, B. Bederson // Design Evolution and Empirical Evaluation. In Proc. of the Intl. Symposium on Information Visualization, (2002). -P.57-64.
4. Wang, T.D. CropCircles Topology Sensitive Visualization of OWL Class Hierarchies / T.D. Wang, B. Parsia // Lecture Notes in Computer Science, Volume 4273, 2006. - P.695-708.
5. Shneiderman, B. Tree Visualization with Tree-Maps A 2d Space-Filling Approach / B. Shneiderman // ACM Trans. Graph., 1992. -11(1). -P.92-99.
6. Bauer, J. Model exploration to support understanding of ontologies. / J. Bauer // Master’s thesis, Technische Universitat Dresden, 2009.
7. Liebig, T. OntoTrack Combining browsing and editing with reasoning and explaining for OWL-lite ontologies / T. Liebig, O. Noppens // In Proceedings of the 3rd International Semantic Web Conference ISWC 2004. Hiroshima, Japan. -P.8-11.
119
8. Acker, L. Extracting viewpoints from knowledge bases / L. Acker, B. Porter // In Proceedings of the 12th National Conference on Artificial Intelligence, 1994. -P.547-552.
9. Gavrilova, T.A. Evaluation of the cognitive ergonomics of ontologies on the basis of graph analysis / T.A. Gavrilova, V.A. Gorovoy, E.S. Bolotnikova // Scientific and Technical Information Processing, December 2010, Volume 37, Issue 6. - P.398-406.
10. Johnson-Laird, P.N. Mental Models: Towards a cognitive science of language, inference and consciousness / P.N. Johnson-Laird // Cambridge, VA: Harvard Univ. Press, 1983. -246 p.
11. Lomov, P.A. OWL-ontology transformation for visualization and use as a basis of the user interface / P.A. Lomov, M.G. Shishaev, V.V. Dikovitskiy // Scientific magazine “Design Ontology” - 2012. -Samara: Novaya Tehnika,
2012. -P.49-61. ISSN 2223-9537 (in Russian).
12. SKOS Simple Knowledge Organization System Reference, W3C Recommendation, 2009. http://www.w3.org/TR/skos-reference.
13. Lomov, P.A. Technology of Ontology Visualization Based on Cognitive Frames for Graphical User Interface, Communications in Computer and Information Science / P.A. Lomov, M.G. Shishaev // Springer. -Vol. 394,
2013. -P.54-68.
14. Winston, M. Taxonomy of Part-Whole Relations. / M. Winston, R. Chaffin, D. Herrmann // Cognitive Science, 1987, vol.11. -Р.417-444.
15. WonderWeb / C. Masolo and other // Final Report. Deliverable D18, 2003. - 343p.
16. Averbukh, V.L. Toward formal defenition of conception adequacy in visualization / V.L. Averbukh // Proc. 1997 IEEE Symp. on Visual Languages, Sept. 23-26, 1997. Isle of Capri, Italy. S.l.: IEEE Comput. Soc. -1997. -P.4647.
Сведения об авторах
Шишаев Максим Геннадьевич - д.т.н., заведующий лабораторией, e-mail: [email protected]
Maksim G. Shishaev - Dr. of Sci (Tech), head of laboratory
Ломов Павел Андреевич - к.т.н., научный сотрудник,
e-mail: [email protected]
Pavel A. Lomov - Ph.D. (Tech. Sci.), research
Данилов Евгений Юрьевич - программист, e-mail: [email protected] Evgeniy Yu. Danilov - programmer
120
