CC BY
158
ФИЗИКО-МАТЕМАТИЧЕСКИЕ НАУКИ
УДК 004.032.24
А.А. АЛЬ -ХУЛАЙДИ, Н.Н. САДОВОЙ АНАЛИЗ СУЩЕСТВУЮЩИХ ПРОГРАММНЫХ ПАКЕТОВ В КЛАСТЕРНЫХ СИСТЕМАХ
Проанализированы существующие программные пакеты в кластерных системах. Дана характеристика кластеров и кластерных дистрибутивов, рассмотрены варианты топологии, определены отличительные характеристики основных программных пакетов.
Ключевые слова: кластер, системы управления пакетной обработкой, планировщик, мониторинг.
Постановка задачи. Сегодня наиболее актуальным способом создания мощных многопроцессорных комплексов является объединение массово выпускаемых компьютеров, в том числе персональных компьютеров, с помощью серийного телекоммуникационного оборудования локальных сетей (или более высокопроизводительных соединений).
Характеристика рассматриваемых кластеров [1]. Группа соединенных между собой серверов, персональных компьютеров, функционирующих как единое целое, является кластером. Результатом создания кластера может стать, например, обеспечение высокой доступности информационного сервиса, распараллеливание выполнения какой-либо сложной операции или организация отказоустойчивого вычислительного комплекса.
Кластер - слабо интегрированная архитектура как на уровне аппаратуры, так и на уровне операционной системы (ОС), рисунок. В частности, из-за отсутствия общей памяти на каждый процессорный узел должна быть установлена своя копия ОС. Основной критической проблемой при работе с кластерными комплексами с числом процессоров 64-128 является обслуживание и управление. Для решения данных проблем различными фирмами разрабатываются специальные программные комплексы, которые будут рассмотрены ниже.
Коммутатор (Б'лйсІ'і)
Общий 1Р-адрес 192.168.С
Сервер 1
Сервер 2
Общая схема кластера
Кроме того следует различать кластерные системы по классификации.
Кластеры высокой доступности. Обозначаются аббревиатурой HA (англ. High Availability -высокая доступность). Создаются для обеспечения высокой доступности сервиса, предоставляемого кластером. Избыточное число узлов, входящих в кластер, гарантирует предоставление сервиса в случае отказа одного или нескольких серверов. Типичное число узлов - два, это минимальное количество, приводящее к повышению доступности. Создано множество программных решений для построения такого рода кластеров. В частности, для OpenVMS, GNU/Linux, FreeBSD и Solaris существует проект бесплатного программного обеспечения (ПО) Linux-HA.
Кластеры распределения нагрузки. Принцип их действия строится на распределении запросов через один или несколько входных узлов, которые перенаправляют их на обработку в остальные вычислительные узлы. Первоначальная цель такого кластера - производительность, однако в них часто используются также и методы, повышающие надёжность. Подобные конструкции называются серверными фермами. Программное обеспечение может быть как коммерческим (OpenVMS, MOSIX, Cluster, Platform LSF HPC, Sun Grid Engine, Moab Cluster Suite, Maui Cluster Scheduler), так и бесплатным (Linux Virtual Server).
Вычислительные кластеры. Кластеры используются в вычислительных целях, в частности в научных исследованиях. Для вычислительных кластеров существенными показателями являются высокая производительность процессора на операциях над числами с плавающей точкой (flops) и низкая латентность объединяющей сети, и менее существенными - скорость операций ввода-вывода, которая в большей степени важна для баз данных и web-сервисов. Вычислительные кластеры позволяют уменьшить время расчетов по сравнению с одиночным компьютером, разбивая задание на параллельно выполняющиеся ветки, которые обмениваются данными по связывающей сети. Одна из типичных конфигураций - набор компьютеров с установленной на них операционной системой Linux, собранных из общедоступных компонентов и связанных сетью Ethernet, Myrinet, InfiniBand или другими относительно недорогими сетями. Такую систему принято называть кластером Beowulf. Специально выделяют высокопроизводительные кластеры (обозначаются английской аббревиатурой HPC Cluster - High-performance computing cluster) [2].
Обзор программного обеспечения для кластерных систем. Существует целый набор программного обеспечения, которое значительно упрощает процесс создания и поддержки кластерных систем [3-9]. Данные программные системы следует разделить на следующие категории:
- Средства для установки программного обеспечения на кластер.
- Средства регулярного администрирования кластеров.
- Кластерные системы управления пакетной обработкой (СУПО).
- Интегрированные программные средства для кластеров.
Нас интересуют интегрированные программные средства для кластеров, но для того чтобы не оставить другие категории систем в стороне, приведём их краткую характеристику.
Средства для установки программного обеспечения на кластер. Решаемые задачи:
1) создание репозитария (набора ПО для кластера), обновление его версий;
2) распределение ПО по узлам кластера;
3) автоматическая установка ПО на кластерных узлах и их конфигурирование.
- SystemImager - свободно распространяемый инструмент для автоматизации установки ОС Linux на машины кластера, работает с устанавливаемым ПО на уровне файлов, а не побитово. Позволяет распределять между машинами ПО и файлы данных, менять конфигурацию и обновлять ОС.
- LCFG - свободно распространяемая система для автоматизации установки и конфигурирования разных версий Unix. LCFG работает быстро и подходит для кластеров с разнообразными и часто меняющимися конфигурациями узлов.
Средства регулярного администрирования кластеров
1. Мониторинг аппаратуры (температура процессора, работа вентилятора, состояние блока питания, и т.п.):
- SNMP-агенты от производителей:
www.cert.org/advisories/CA-2002-03.html#solution
www.kb.cert.org/vuls/id/IAFY-569J8F
- LMSENSORS - программные модули (сенсоры) мониторинга:
www2.lm-sensors.nu/~lm78/
www.lmsensors.com
www.wlug.org.nz/MotherboardMonitoring
2. Мониторинг кластеров с автоматизацией реакций на критические события:
Big Brother - инструмент для мониторинга в реальном времени на базе Web технологий.
Mon - система для мониторинга программных служб и генерации сигнала тревоги при их неработоспособности. Mon легко расширяется и дополняется любыми средствами мониторинга через общий интерфейс
www.kernel.org/software/mon/
3. Мониторинг производительности кластерных систем (визуализация загрузки всех узлов системы в реальном времени):
- Ganglia - свободно распространяемая система, предназначенная для мониторинга вычислительных комплексов, распределенных как в локальной, так и в глобальной сетях. Использует оригинальный сетевой протокол и компактный способ хранения данных мониторинга, что делает ее эффективной, масштабируемой и надежной.
ganglia.sourceforge.net/
- MRTG (Multi Router Traffic Grapher) - свободно распространяемый инструмент для мониторинга загрузки сети. MRTG генерирует HTML страницы с визуализацией сетевого трафика. MRTG создан на базе Perl и Си и работает в средах UNIX и Windows NT.
people.ee.ethz.ch/~oetiker/webtools/mrtg/links.html
4. Возможность выполнения административных команд параллельно на группах кластерных узлов:
- C3 (Cluster Command Control) - свободно распространяемый продукт, представляющий собой набор инструментов для администрирования и поддержки приложений в кластерах с ОС Linux (разработка Oak Ridge National Laboratory). В его состав входят средства для параллельного запуска команд на все или группу кластерных узлов, сбор и распределение файлов, завершение процессов, удаленное отключение или перезапуск машин.
www.csm.ornl.gov/torc/C3/
- WebMin - свободно распространяемый инструмент для системного администрирования в среде Unix на базе Web технологий. WebMin обеспечивает унифицированный интерфейс для выполнения административных действий на различных подмножествах узлов кластера (регистрация пользователей, настройка Apache, DNS, NFS и т.д.).
Кластерные системы управления пакетной обработкой (СУПО). Кластерные системы управления пакетной обработкой, или, как их ещё называют, - менеджеры ресурсов (Resource Manager), кластерные системы управления (Cluster Management System), - это программные продукты, используемые в многопроцессорных комплексах, которые функционируют в режимах пакетной обработки заданий.
Наиболее популярны свободно распространяемые PBS, SGE и Condor, а также коммерческие LoadLeveler и LSF.
Используя СУПО, пользователь работает с единым многопроцессорным вычислительным комплексом в режиме пакетной обработки заданий. Задания помещаются в общую для комплекса очередь, используется единый интерфейс для запуска, модификации, снятия и получения информации о заданиях. СУПО автоматически распределяет задачи по узлам с учетом их загрузки, выполняет и доставляет результаты пользователю.
- PBS - Portable Batch System обеспечивает управление заданиями в пакетном режиме в среде компьютеров с ОС Unix. Сегодня предлагается OpenPBS - свободно распространяемая версия и PBSPro - расширенная коммерческая версия.
Torque (Terascale Open-source Resource and QUEue Manager) - новая версия PBS, разработанная компанией Cluster Resources, Inc. на основе OpenPBS. Система обладает рядом дополнительных усовершенствований:
1) улучшена масштабируемость (работа в среде до 2500 узлов);
2) повышена устойчивость к сбоям (внесены дополнительные проверки);
3) усовершенствован интерфейс планировщика с целью его обеспечения дополнительной и более точной информацией;
4) усовершенствована система записей в log файлах.
- Sun Grid Engine (SGE). Семейство из нескольких различных вариантов СУПО.
Sun Grid Engine - свободно распространяемая версия, предназначенная для управления ресурсами одного проекта или подразделения. Основана на полной централизации обслуживания ресурсов и пользователей. Sun Grid Engine реализуется открытым сообществом разработчиков и спонсируется Sun Microsystems.
Sun Grid Engine, Enterprise Edition (SGEEE) - коммерческая версия, предназначенная для управления ресурсами предприятий и способная обслуживать несколько независимых проектов и групп пользователей.
Системы PBS и SGE примерно равны по своим возможностям и предполагают полное выделение машин под пакетную обработку. Ими поддерживаются сетевые кластеры с однопроцессорными машинами, а также мультипроцессоры SMP и MPP.
- Condor - свободно распространяемый продукт, главной характеристикой данного продукта является то, что выполнение заданий распределяется между компьютерами в моменты, когда у них есть свободное процессорное время. В связи с этим Condor имеет нескольких важных механизмов поддержки контрольных точек, рестарта и миграции заданий. Мощный язык описания ресурсов позволяет достоверно описать требования к типам и объёмам ресурсов со стороны зяданий.
- LoadLeveler - коммерческий программный продукт компании IBM, предназначенный для пакетной обработки последовательных и параллельных (многопроцессорных) заданий на кластерах из вычислительных серверов. Система обеспечивает средства для подготовки, запуска и слежения за заданиями в режиме пакетной обработки в гетерогенной сети компьютеров.
Информация о системе:
publib.boulder.ibm.com/clresctr/windows/public/llbooks.html
www.redbooks.ibm.com/pubs/pdfs/redbooks/sg245522.pdf
- LSF (Load Sharing Facility) - коммерческая кластерная система компании Platform Computing Corporation для управления пакетной обработкой. Отвечает основным требованиям к СУПО: поддерживает очередь заданий, собирает информацию о наличии и занятости ресурсов в кластере, находит компьютеры с подходящими ресурсами для выполнения заданий, поддерживает режимы контрольных точек (checkpointing), миграции заданий и др.
- MAUI - открытый продукт, который отличается большим набором режимов планирования и наличием механизма предварительного резервирования. Данная система управления способна обеспечивать автоматический запуск многопроцессорных заданий, сводя к минимуму простой ресурсов. Реализация основана на мощном алгоритме планирования Backfill.
Интегрированные программные средства для кластеров. Типовыми компонентами интегрированных программных средств для кластерных систем являются:
- Система управления потоком работ (Job Management System, JMS). На данную систему возлагают задачи по расписанию и диспетчеризации работ, она предоставляет средства для описания работ, мониторинга их прохождения и для получения результатов. Позволяет администратору определить правила, которыми руководствуются пользователи, в части распределения, ограничения и резервирования ресурсов. Средствами системы можно собирать статистику нагрузки, для того чтобы оценивать загруженность кластера.
- Система мониторинга кластера (Cluster Monitoring System, CMS). Данные этой системы используются в JMS для поддержки расписания работ. В процессе своего функционирования она собирает технические данные, такие как загруженность процессоров, объем занятой памяти, наличие свободного дискового пространства. Эти сведения администратор кластера использует для обнаружения потенциальных проблем и оптимизации его работы, а обычные пользователи — для отладки своих заданий.
- Библиотеки для параллельной работы. Предоставляют разработчикам приложений средства распараллеливания заданий и синхронизации в процессе их исполнения. Предоставляют возможности использования различных языков параллельного программирования.
- Средства для управления кластером. Основная функция - поддержка процессов установки программного обеспечения в узлах кластера, она же служит для обнаружения ошибок в его работе и для изменения его конфигурации.
- Глобальное пространство процесса. Связывает воедино все узлы кластера.
Кластерные дистрибутивы. Набор перечисленных компонентов по аналогии с операционными системами называют «кластерными дистрибутивами» (cluster distribution). В число наиболее распространенных дистрибутивов входят Rocks, OSCAR, OpenSCE, Scyld Beowulf, Clustermatic, Warewulf, xCAT и Score. Все они построены на основе ОС Linux.
- Rocks
Разработавшее Rocks партнерство National Partnership for Advanced Computational Infrastructure уже не существует, сейчас его поддерживает Rocks Group (www.rocksclusters.org ). Дистрибутив Rocks, основанный на Red Hat Linux, использует механизмы этой операционной системы для распространения программного обеспечения по вычислительным узлам кластера. Поддерживается несколько вариантов JMS (SGE, OpenPBS и Condor). Основная задача ROCKS - максимально упростить управление большими кластерными системами в среде Red Hat Linux. Эта задача решается:
- полной автоматизацией процесса установки и конфигурировании гетерогенных узлов кластера;
- использованием только пакетов RPM;
- использованием масштабируемых сервисов (HTTP, DNS, NIS-подобных, и т.д.);
- механизмом мониторинга производительности с использованием системы Ganglia.
Дистрибутив известен своей высокой степенью автоматизации процессов первичной установки, но при этом почти не приспособлен к модернизации. Поэтому в случаях, когда требуется обновление, его приходится устанавливать заново.
- OSCAR
Проект OSCAR (Open Source Cluster Application Resources, http://oscar.openclustergroup.org) разрабатывается общественной организацией Open Cluster Group. Его первоначальный замысел принадлежит Тимоти Мэттсону из лаборатории Аргоннской национальной лаборатории и Стивену Скотту из лаборатории в Окридже, — они стремились создать дистрибутив, который был бы проще во внедрении, чем Beowulf, не требовал серьезных знаний в программировании. Поэтому OSCAR не привязан ни к одной определенной операционной системе, а содержит в себе только необходимые компоненты кластерного программного обеспечения.
OSCAR включает в свой состав пакеты:
- SIS (System Installation Suite) - инструмент для автоматизации установки и конфигурирования ОС Linux на узлы сетевых кластеров (sisuite.org). OSCAR использует этот инструмент для установки своего ПО.
- C3 (Cluster Command Control) - средства для удаленного запуска команд на все или группу кластерных узлов.
- HDF5 (Hierarchical Data Format) - продукт, включающий спецификацию форматов данных и поддержку библиотек (hdf.ncsa.uiuc.edu/HDF5).
- LAM (Local Area Multicomputer) / MPI - инструментальная среда для разработки и ис-польнения параллельных программ в гетерогенных кластерах (www.lam-mpi.org/).
- OPIUM (OSCAR Password Installer and User Management) - средства для синхронизации учетных записей пользователей и конфигурирования ssh.
- PBS (Portable Batch System) - система управления пакетной обработкой кластера.
- Pfilter - пакет для настройки параметров, влияющих на коммуникации между кластерными машинами и внешней сетью.
- PVM (Parallel Virtual Machine) - программный пакет для поддержки параллельных вычислений в гетерогенных кластерах (www.csm.ornl.gov/pvm/).
- Switcher - пакет, позволяющий при запуске заданий устанавливать переменные среды исполнения (modules.sourceforge.net/).
- OpenSCE
Проект OpenSCE (Open Scalable Cluster Environment, www.opensce.org) поддерживается таиландским Центром высокопроизводительных вычислений и сетей. В отличие от других кластерных дистрибутивов не интегрирует известные компоненты, а целиком построен на своих собственных.
- Scyld
Проект Scyld Beowulf (www.scyld.com) отличается от большинства аналогичных проектов своим коммерческим статусом.
- Clustermatic
Дистрибутив Clustermatic (www.clustermatic.org) разработан в лаборатории кластерных исследований в составе знаменитой Лос-Аламоской национальной лаборатории. По своей логике он ближе всего ко второй версии Beowulf. Все основные компоненты кластерного программного обеспечения устанавливаются на мастер-узлах, на вычислительных узлах есть только загрузочный модуль, операционная система, и Bproc на них подгружаются.
- Warewulf
Проект Warewulf Cluster Project (www.perceus.org) недавно переименован в Perceus. В нем, как в Clustermatic и Scyld Beowulf, использованы технологии виртуализации, минимизирующие объем программного обеспечения, устанавливаемого на вычислительных узлах. Его спонсирует консорциум, в который входят корпорации Intel, IBM, национальная лаборатория Лоуренса в Беркли и ряд других организаций.
- xCAT
Проект xCAT (Extreme Linux Cluster Administration Toolkit, http://xcat.org) Университета штата Индиана ориентирован в первую очередь на кластеры IBM и инструментарий IBM Management Processor Network для управления и мониторинга узлов.
- SCore
Проект SOore, объединяющий в основном японские организации, а также отделения международных компаний, работающих в Японии, поддерживается специально созданной группой PC Cluster Consortium (www.pccluster.org).
- Microsoft и HPC
Выпустив Windows Compute Cluster Server 2003, в 2005 году на путь создания программного обеспечения для кластеров вступила корпорация Microsoft. Разработкой непосредственно руководил Кирилл Фаенов.
В 2008 г. была выпущена бета-версия его преемника - Microsoft Windows HPC Server 2008. Имеющиеся в нем средства централизованного управления существенно упрощают управление и повышают производительность труда операторов. Планировщик заданий, входящий в состав Microsoft HPC Pack, в сочетании с High Performance Computing for Windows Communication Foundation (HPC for WCF) и Microsoft Message Passing Interface (MS-MPI) обеспечивают эффективное распараллеливание работ. Интеграция с операционной системой Windows является гарантией безопасности при обращении к системам хранения данных и доступе к ресурсам кластера с рабочих мест. Наличие средств параллельной отладки приложений в Visual Studio 2005 позволяет интегрировать Windows HPC Server 2008 и MS-MPI с Event Tracing for Windows, открывая возможности для консолидации приложений с передаваемыми из вычислительных узлов сообщениями о событиях, происходящих в сети и в операционных системах.
Кластер состоит из одного мастер-узла и множества вычислительных узлов. Мастер-узел контролирует все ресурсы кластера и осуществляет управление потоком работ, он может использовать Active Directory для обеспечения безопасности учета всех выполняемых операций с привлечением такого инструмента, как Microsoft System Center Operations Manager 2007.
Установка Windows HPC Server 2008 на кластер начинается с установки операционной системы на мастер-узел, затем подключается домен Active Directory, далее запускается пакет Compute Cluster Pack. Последний создает список действий To Do List, определяющий последова-
тельность шагов, необходимых для выбора топологии и последующих процедур развертывания и подключения вычислительных узлов в кластер. Упрощение процедур достигается за счет того, что Windows HPC Server 2008 включает готовые «заготовки узлов» (Node Templates), обеспечивающие простой способ задания желаемой конфигурации вычислительных узлов и предоставляющие простой интерфейс к Windows Deployment Services — средству развертывания кластера в целом или группе его узлов. Работа по развертыванию кластера облегчается тем, что имеется набор диагностических тестов, позволяющих проверить межсоединение узлов, их загрузку, состояние работ, распределенных по всему кластеру.
Варианты топологии. Для объединения разрозненных узлов в кластер Windows HPC Server 2008 поддерживает пять вариантов топологии (это оказывается возможным благодаря тому, что каждый из узлов может содержать до трех сетевых карт, а процесс создания требуемого варианта поддерживается специальным помощником Network Wizard).
- Вычислительные узлы изолированы в частную сеть, в таком случае мастер-узел, имеющий две сетевые карты, обеспечивает трансляцию адресов (network address translation, NAT) между вычислительными узлами, каждый из которых по единственной сетевой карте подключен к частной сети.
- Все узлы подключены и к публичной, и к частной сети, для этого используются по две сетевые карты.
- Вычислительные узлы изолированы в частной сети и сети передачи по MPI. В таком случае мастер-узел использует три сетевые карты: для подключения к публичной, к частной сети и к сети MPI. Мастер-узел осуществляет NAT между публичной сетью и вычислительными узлами, каждый из которых подключен к частной сети и высокоскоростной сети MPI.
- Все узлы подключены к публичной и к частной сети, а также к сети MPI. В таком случае в каждом из них используются все три сетевые карты.
- Все узлы подключены только к публичной сети. Такая ограниченная версия не поддерживается сервисами Windows Deployment Services, при ее выборе операции придется выполнять вручную.
В таблице приведены отличительные характеристики основных программных пакетов.
Характеристики программных пакетов
Программные пакеты Отличительные характеристики
Rocks - полная автоматизация процесса установки и конфигурировании гетерогенных узлов кластера; - использование только пакетов RPM; - использование масштабируемых сервисов (HTTP, DNS, NIS-подобных, и т.д.)
OSCAR OSCAR не привязан ни к одной определенной операционной системе, а содержит в себе только необходимые компоненты кластерного программного обеспечения
Clustermatic По своей логике он ближе всего ко второй версии Beowulf. Все основные компоненты кластерного программного обеспечения устанавливаются на мастер-узлах, на вычислительных узлах есть только загрузочный модуль, операционная система, и Bproc на них подгружается
Warewulf Использованы технологии виртуализации, минимизирующие объем программного обеспечения, устанавливаемого на вычислительных узлах
Microsoft Кластер состоит из одного мастер-узла и множества вычислительных узлов. Мастер-узел контролирует все ресурсы кластера и осуществляет управление потоком работ, он может использовать Active Directory для обеспечения безопасности учета всех выполняемых операций
Заключение. Проведенный анализ существующего программного обеспечения значительно упрощает процесс создания и поддержки кластерных систем.
Библиографический список
1. Официальный сайт фирмы-производителя ПО мониторинга кластеров. Электрон. ресурс. Режим доступа: http: bb4.com.
2. Глобальный ресурс открытой энциклопедии Wikipedia. Электрон.ресурс. Режим доступа: http://ru.wikipedia.org/wiki.
3. Официальный сайт фирмы-разработчика ПО системного мониторинга аппаратуры. Электрон. ресурс. Режим доступа: http: //www.cert.org/advisories/CA-2002-03.html#solution; www.kb.cert.org/vuls/id/IAFY-569J8F;www.lm-sensors.nu/~lm78;www.lmsensors.com; www.wlug.org.nz/MotherboardMonitoring.
4. Глобальный ресурс программного обеспечения с открытым исходным кодом. Электрон. ресурс. Режим доступа: http: www.kernel.org/software/mon/.
5. Сайт разработчика свободно распространяемой системы ganglia. Электрон. ресурс. Режим доступа: http: ganglia.sourceforge.net/.
6. Сайт разработчика свободно распространяемой системы Multi Router Traffic Grapher. Электрон. ресурс. Режим доступа: http: http://tobi.oetiker.ch/hp/.
7. Сайт разработчика свободно распространяемой системы luster Command Control. Электрон. ресурс. Режим доступа: http: www.csm.ornl.gov/torc/C3/.
8. Сайт обобщенной информации о системе программного обеспечения. Электрон. ресурс. Режим доступа: http: www.clusterresources.com.
Материал поступил в редакцию 01.10.09.
A.A. AL-KHULAIDI, N.N. SADOVOY
ANALYSIS OF EXISTING SOFTWARE PACKAGES IN THE CLUSTER SYSTEMS
The existing software packages in the cluster systems are analyzed. The characteristics of clusters and cluster distributives are given, topological variants are considered, distinctive characteristics of the main software packages are determined.
Keywords: cluster, batch control system, scheduler, monitoring.
АЛЬ-ХУЛАЙДИ АБДУЛМАДЖИД АХМЕД (р.1983), аспирант кафедры «Программное обеспечение вычислительной техники и автоматизированных систем» ДГТУ по научной специальности 05.13.01«Системный анализ, управление и обработка информации». Окончил ДГТУ (2008) по специальности «Программное обеспечение вычислительной техники и автоматизированных систем». Научные интересы: вычислительные сети, распределенные вычислительные системы, анализ и синтез телекоммуникационных сетей. Автор 4 научных работ.
abdulmajed_83@mail.ru
САДОВОЙ Николай Николаевич (р. 1950), кандидат технических наук (1987), доцент (1989) кафедры «Программное обеспечение вычислительной техники и автоматизированных систем» ДГТУ. Окончил Таганрогский радиотехнический институт (1973). Область научных интересов: автоматизированное распознавание образов, нейронные сети. Имеет более 40 научных публикаций.
nnsadovoy@mail.ru
