Научная статья на тему 'Применение методов искусственного интеллекта в информационной системе диагностике производственно-финансовой деятельности предприятия'

Применение методов искусственного интеллекта в информационной системе диагностике производственно-финансовой деятельности предприятия Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
1457
183
i Надоели баннеры? Вы всегда можете отключить рекламу.

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Пятковский Олег Иванович, Рубцов Денис Владимирович, Бутаков Сергей Владимирович

В статье рассмотрены вопросы автоматизации решения слабоструктурированных задач при построении интеллектуальных информационных систем. Для реализации экспертной системы оценки финансово производственной деятельности предлагается использовать продукционную модель представления знаний и искусственные нейронные сети. Приведены архитектура системы и практические результаты ее использования.

i Надоели баннеры? Вы всегда можете отключить рекламу.
iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

Use of artificial intelligent methods in design of financial-business analysis intelligent system

Article is devoted to the problem of design of financial business analysis intelligent system. It is suggested to use production system and artificial neural network for modeling of experts conclusion. Design of system and its practical results are presented in the article.

Текст научной работы на тему «Применение методов искусственного интеллекта в информационной системе диагностике производственно-финансовой деятельности предприятия»

УДК 519.8

О.И. Пятковский, Д.В. Рубцов, С.В. Бутаков Применение методов искусственного интеллекта в информационной СИСТЕМЕ ДИАГНОСТИКИ ПРОИЗВОДСТВЕННО-ФИНАНСОВОЙ ДЕЯТЕЛЬНОСТИ предприятия

Автоматизация процесса решения неформализованных и слабоструктурированных задач является одной из основных проблем в области построения интеллектуальных информационных систем. В настоящее время выделяют [1] два существенно различных подхода к решению данной проблемы. С одной стороны, существуют методы «традиционного» искусственного интеллекта, основанные на символьном представлении знаний предметной области. Эти методы разрабатываются в рамках теории представления знаний. С другой стороны, в последнее время все большую популярность приобретает нейросетевой подход к автоматизации интеллектуальных процессов, основанный на принципиально иной парадигме. В работе рассматриваются вопросы адекватного применения указанных средств при построении интеллектуальной системы диагностики производственно-финансовой деятельности

предприятия.

Необходимость автоматизации решения неформализованных задач связана с комплексным подходом к построению информационных систем. Как отмечается в [2], большинство задач по обработке информации, решаемых человеком, можно отнести к неформализованным. Для этого типа задач построение модели решения имеющимися средствами формализации нецелесообразно в связи с большой трудоемкостью, нечеткостью и неоднозначностью используемых данных. Более того, формальная система в некоторых случаях не является адекватным представлением процесса решения задачи, или область ее адекватности чрезвычайно узка.

На основе выделения неформализованных задач из общего класса проблем в теории информационных систем развиваются различные методы их решения [3]. Основная часть исследований в этом направлении проходит в рамках теории искусственного интеллекта (ИИ), в одной из ее наиболее развитых дисциплин - теории экспертных систем (ЭС). Традиционный подход к построению ЭС предполагает, что эксперт -специалист в некоторой предметной области способен явно представить ее структуру и алгоритмы решения задач. В [2] это указывается как необходимое условие построения ЭС. На основе информации, полученной от эксперта, с помощью соответствующих средств формализации (языков представления знаний) строится формализованная модель процесса решения задачи, кодирующая знания эксперта и отношения в предметной области в виде не

которых символьных структур, описывающих пространство состояний системы. Процесс решения задачи заключается в поиске подмножества синтаксически правильных преобразований, которое переводит текущее состояние в целевое. Основным методом вывода решения является дедуктивный вывод [3]. Он гарантирует получение результата в области определения модели и позволяет контролировать достоверность и обоснованность полученного решения.

К недостаткам традиционных методов искусственного интеллекта можно отнести зависимость результатов разработки и функционирования ЭС от способности эксперта представить свои знания в явной форме, сложность модификации и адаптации модели решения задачи. В последнее время получил распространение подход, связанный с использованием формализма нейронных сетей для решения

трудноалгоритмизируемых задач. Нейросете- вая парадигма в какой-то мере отлична от традиционных методов искусственного интеллекта [1]. Как доказано в [4], нейронные сети позволяют с любой точностью вычислять произвольную непрерывную функцию многих переменных и, следовательно, сколь угодно точно аппроксимировать функционирование любого непрерывного автомата. Это свойство нейросетей используется для построения интеллектуальных систем классификации и распознавания образов, диагностики, кластеризации данных и извлечения знаний, прогнозирования и т.д.

Главной отличительной особенностью ней-росетевого подхода является универсальный способ построения модели решения задачи - нейронная сеть строит зависимость между вектором входных и выходных данных через автоматическую адаптивную настройку параметров (обучение) на основе того или иного алгоритма, без участия эксперта. Роль эксперта состоит в формировании задачника для системы - адекватном выборе из множества показателей, описывающих предметную область, подмножества, включающего все наиболее существенные для решения задачи признаки. Ввиду того, что нейронная сеть, в отличие от традиционных методов ИИ, в большинстве случаев не позволяет прямо интерпретировать (и контролировать) закономерности вывода решения [4], эксперт остается ключевой фигурой при построении нейросетевой ЭС. Необходимо подчеркнуть, что адекватное обучение и функционирование нейросети полностью зависит от качества представленных ей данных.

Общий подход к автоматизации интеллектуальных процедур может быть основан на системном анализе предметной области и процесса решения задачи экспертом. Для задач, решение которых может быть адекватно и за приемлемый срок представлено экспертом в форме, допускающей использование методов инженерии знаний для построения формальной модели процесса решения, целесообразно использовать методы «традиционного» искусственного интеллекта (продукционные, сетевые, фреймовые и другие языки представления знаний [5]). Если процесс решения не может быть формализован экспертом адекватно или в приемлемые сроки, но существует доступный достоверный статистический материал (или возможность накопления такового), позволяющий построить правдоподобную решающую функцию в нейросетевом базисе, использование нейросетевого подхода

представляется оптимальным. Задачи, решение которых частично

может быть формализовано, с помощью методов декомпозиции сводятся к набору подзадач, допускающих то или иное решение в рамках указанных подходов.

Таким образом, использование нейросетевого подхода позволяет автоматизировать решение широкого класса неформализованных задач, алгоритм решения которых не может быть получен в явном виде от специалистов по той или иной причине. Представляется возможным построение гибридной интеллектуальной системы [I], включающей в себя средства автоматизации решения неформализованных задач различной степени определенности с использованием как традиционных методов инженерии знаний, так и нейросетевых методов. В качестве примера применения такого подхода рассмотрим разработку интеллектуальной системы диагностики производственно-финансовой деятельности

предприятия.

, 1......................................................................... ............ ■.........................

ОБЪЕДИНЕНИЕ ] -

г-.............................. к

1 ПРЕ, [(ПРИЯТИЕ -

РАСЧЕТ ЭКОНОМИЧЕСКИХ ПОКАЗАТЕЛЕЙ УЧАСТКА

Рис. 1. Иерархическая структура интеллектуальных информационных систем

УДК 519.8

О.И. Пятковский, Д.В. Рубцов, С.В. Бутаков Применение методов искусственного интеллекта в информационной СИСТЕМЕ ДИАГНОСТИКИ ПРОИЗВОДСТВЕННО-ФИНАНСОВОЙ ДЕЯТЕЛЬНОСТИ предприятия

Автоматизация процесса решения неформализованных и слабоструктурированных задач является одной из основных проблем в области построения интеллектуальных информационных систем. В настоящее время выделяют [1] два существенно различных подхода к решению данной проблемы. С одной стороны, существуют методы «традиционного» искусственного интеллекта, основанные на символьном представлении знаний предметной области. Эти методы разрабатываются в рамках теории представления знаний. С другой стороны, в последнее время все большую популярность приобретает нейросетевой подход к автоматизации интеллектуальных процессов, основанный на принципиально иной парадигме. В работе рассматриваются вопросы адекватного применения указанных средств при построении интеллектуальной системы диагностики производственно-финансовой деятельности

предприятия.

Необходимость автоматизации решения неформализованных задач связана с комплексным подходом к построению информационных систем. Как отмечается в [2], большинство задач по обработке информации, решаемых человеком, можно отнести к неформализованным. Для этого типа задач построение модели решения имеющимися средствами формализации нецелесообразно в связи с большой трудоемкостью, нечеткостью и неоднозначностью используемых данных. Более того, формальная система в некоторых случаях не является адекватным представлением процесса решения задачи, или область ее адекватности чрезвычайно узка.

На основе выделения неформализованных задач из общего класса проблем в теории информационных систем развиваются различные методы их решения [3]. Основная часть исследований в этом направлении проходит в рамках теории искусственного интеллекта (ИИ), в одной из ее наиболее развитых дисциплин - теории экспертных систем (ЭС). Традиционный подход к построению ЭС предполагает, что эксперт -специалист в некоторой предметной области способен явно представить ее структуру и алгоритмы решения задач. В [2] это указывается как необходимое условие построения ЭС. На основе информации, полученной от эксперта, с помощью соответствующих средств формализации (языков представления знаний) строится формализованная модель процесса решения задачи, кодирующая знания эксперта и отношения в предметной области в виде не

которых символьных структур, описывающих пространство состояний системы. Процесс решения задачи заключается в поиске подмножества синтаксически правильных преобразований, которое переводит текущее состояние в целевое. Основным методом вывода решения является дедуктивный вывод [3]. Он гарантирует получение результата в области определения модели и позволяет контролировать достоверность и обоснованность полученного решения.

К недостаткам традиционных методов искусственного интеллекта можно отнести зависимость результатов разработки и функционирования ЭС от способности эксперта представить свои знания в явной форме, сложность модификации и адаптации модели решения задачи. В последнее время получил распространение подход, связанный с использованием формализма нейронных сетей для решения

трудноалгоритмизируемых задач. Нейросете- вая парадигма в какой-то мере отлична от традиционных методов искусственного интеллекта [1]. Как доказано в [4], нейронные сети позволяют с любой точностью вычислять произвольную непрерывную функцию многих переменных и, следовательно, сколь угодно точно аппроксимировать функционирование любого непрерывного автомата. Это свойство нейросетей используется для построения интеллектуальных систем классификации и распознавания образов, диагностики, кластеризации данных и извлечения знаний, прогнозирования и т.д.

Главной отличительной особенностью ней-росетевого подхода является универсальный способ построения модели решения задачи - нейронная сеть строит зависимость между вектором входных и выходных данных через автоматическую адаптивную настройку параметров (обучение) на основе того или иного алгоритма, без участия эксперта. Роль эксперта состоит в формировании задачника для системы - адекватном выборе из множества показателей, описывающих предметную область, подмножества, включающего все наиболее существенные для решения задачи признаки. Ввиду того, что нейронная сеть, в отличие от традиционных методов ИИ, в большинстве случаев не позволяет прямо интерпретировать (и контролировать) закономерности вывода решения [4], эксперт остается ключевой фигурой при построении нейросетевой ЭС. Необходимо подчеркнуть, что адекватное обучение и функционирование нейросети полностью зависит от качества представленных ей данных.

Общий подход к автоматизации интеллектуальных процедур может быть основан на системном анализе предметной области и процесса решения задачи экспертом. Для задач, решение которых может быть адекватно и за приемлемый срок представлено экспертом в форме, допускающей использование методов инженерии знаний для построения формальной модели процесса решения, целесообразно использовать методы «традиционного» искусственного интеллекта (продукционные, сетевые, фреймовые и другие языки представления знаний [5]). Если процесс решения не может быть формализован экспертом адекватно или в приемлемые сроки, но существует доступный достоверный статистический материал (или возможность накопления такового), позволяющий построить правдоподобную решающую функцию в нейросетевом базисе, использование нейросетевого подхода

представляется оптимальным. Задачи, решение которых частично

может быть формализовано, с помощью методов декомпозиции сводятся к набору подзадач, допускающих то или иное решение в рамках указанных подходов.

Таким образом, использование нейросетевого подхода позволяет автоматизировать решение широкого класса неформализованных задач, алгоритм решения которых не может быть получен в явном виде от специалистов по той или иной причине. Представляется возможным построение гибридной интеллектуальной системы [I], включающей в себя средства автоматизации решения неформализованных задач различной степени определенности с использованием как традиционных методов инженерии знаний, так и нейросетевых методов. В качестве примера применения такого подхода рассмотрим разработку интеллектуальной системы диагностики производственно-финансовой деятельности

предприятия.

, 1............................ ............ ■.........................

ОБЪЕДИНЕНИЕ ] -

г-.............................. к

1 ПРЕ, [(ПРИЯТИЕ -

РАСЧЕТ ЭКОНОМИЧЕСКИХ ПОКАЗАТЕЛЕЙ УЧАСТКА

Рис. 1. Иерархическая структура интеллектуальных информационных систем

Лу

В современных условиях в связи с возросшей сложностью экономических процессов, внутренних и внешних информационных связей предприятий резко увеличилось число показателей, которые менеджеры используют для принятия решений. Качественно их проанализировать с целью выработки рациональных заключений вручную практически невозможно. Для диагностики производственно-хозяйственной деятельности предприятия предлагается использование интеллектуальных систем. Это позволит реализовать распознавание сложившейся экономической ситуации на основе пространства показателей, сформировать диагноз и ближайшие цели, достижение которых обеспечит возврат к желаемой траектории функционирования объекта.

Так как системы управления предприятиями, как правило, являются иерархическими, включающими уровни управления участка, цеха, предприятия, объединения, интеллектуальные информационные системы также имеют аналогичную структуру. На рисунке 1 показана иерархическая система управления производственно-финансовой деятельностью предприятия. На каждом уровне действуют интеллектуальные информационные системы 18-1, 1Б-2, 1Б-3,,,, 1Б -К, построенные с использованием методов представления знаний, соответствующих функциям цели и характеру решаемых задач. На первом уровне в информационной системе рассчитывается множество экономических показателей

(Д1, Р) ... Р" ), которые анализируются мастерами для выработки рациональных управленческих решений. Данные показатели являются входными параметрами для ЭС, на основе которых вырабатывается К[ - вектор показателей, определяющий оценку состояния экономического объекта в текущий момент времени. При анализе параметров К{ менеджером будет возникать необходимость в их корректировке для установления соответствия с постоянно развивающимися опытом пользователя и внешними экономическими условиями. Для этого предусматривается возможность дообучения интеллектуальной системы. При этом менеджером производится формирование измененных параметров обучающей выборки Я1, соответствующих критериям оценки производственно-финансового состояния объекта.

Такие же процессы происходят на вышестоящих уровнях управления. Кроме более укрупненных экономических показателей (Ру , Р22... Р* ), на вход интеллектуальной системы поступают с нижних уровней значения выходных показателей ( К, К\ ,... К\ ) , определяющих решения мастеров участков. Анало

гичные блоки работают на уровнях предприятия и объединения и используются менеджерами для эффективного управления.

Интеллектуальные блоки включаются в информационную систему конкретного специалиста (экономиста, производственного менеджера, финансового менеджера и т.д.). При этом возможна более глубокая специализация интеллектуальных систем и формирование их структур в зависимости от решаемых задач, которая по аналогии с деятельностью человека существенно повышает качество оценки. Все множество финансовых показателей {Е) может быть представлено как объединение подмножеств:

М= [\/}и Wu {о}и Ми йи М-

где представлены следующие показатели: {и} -финансовая устойчивость; Ш - ликвидность; {О}-оборачиваемость; {Я }- состояние расчетного счета; {2}- задолженность; {В} - актив и пассив баланса. Число данных подмножеств и их содержание не постоянны и определяются финансовым менеджером.

Следует отметить, что наиболее качественных результатов можно достичь, если каждый показатель будет представлен с учетом тренда. Например, для 1-го показателя финансовой устойчивости иу (коэффициент финансового рычага, обеспеченность собственными средствами и т.д.) могут быть представлены его значения в моменты текущего и предыдущего времени

и - и - 2,...: и = (и^,и^4,ии_2,...).

При таком выражении показателей реально выполнение функций прогнозирования оценки финансового состояния предприятия. Основываясь на вышеизложенном, можно построить следующую иерархическую структуру интеллектуальных систем (см. рис.2).

Каждый интеллектуальный блок 18 представляет специализированную экспертную систему, осуществляющую преобразования для определения соответствующих оценок финансового положения предприятия. На первом уровне определяются

Ку, КI, Кв,Кк, К в , а на втором - итоговый

Кр критерииА оценки финансового положения предприятия:

18у: {и}лКу- ¡8ь:(Ь}-*К1\ 18о-.{и}*Ко-,18к:(ЯЖ

¡8 г--

НОТРЯ ■■_■■

ИВ Г isH

J Ч————'

ш

(в)

Рис. 2. Иерархическая структура интеллектуальной системы оценки финансового состояния предприятия

Вид преобразования определяется методами представления знаний в экспертных системах, которые могут быть построены на базе нейронных сетей, логики предикатов, правил продукций, семантических сетей, фреймов и др.

Для автоматизации интеллектуальных этапов финансового анализа была построена процедурная модель процесса принятия решения в виде семантической сети. Узлами с*>ти являются параметры предметной области, а дугами - семантические или функциональные отношения. В узлах сети содержится полное описание параметра, включающее имя параметра; список или диапазон его значений; перечень переменных, от которых зависит значение данного параметра; процедура получения его значения. При этом процедура получения значения рассматривается достаточно широко - как некий алгоритм определения значения узла, который инвариантен структуре сети. Это обобщение позволяет использовать различные типы выражения зависимости между узлами сети. Для решения задач финансового анализа в качестве такого правила использовались зависимости: правила продукции, аналитические формулы,

искусственные нейронные сети.

Применение данных подходов позволило создать достаточно гибкую процедурную модель проведения финансового анализа, однако каждый из перечисленных подходов имеет ряд особенностей в приложении к данной предметной области. Рассмотрим их.

Совместное использование аналитических формул и правил продукции дает хорошие результаты при наличии строго формализованных методик анализа какого-либо аспекта финансовой деятельности предприятия. В этом случае используется следующая схема работы системы:

1. На основе результатов финансовых one раций предприятия рассчитывается ряд коэф фициентов, характеризующих определенны! аспект финансовой деятельности предприяти (например, коэффициенты, характеризующи финансовую устойчивость).

2. Производится экспертная оценка вычис ленных коэффициентов и формирование окон нательного заключения о финансовом положе нии предприятия.

В построенной системе был использова] усовершенствованный механизм логическоп вывода, разработанный в Томской академш систем управления и радиоэлектроники [6]. Oi реализует комбинацию методов "прямой" i "обратной волны" при построении пути логи ческого вывода на модели.

С использованием системы по результата! государственного единовременного федераль ного статистического наблюдения за деятель ностью предприятий, проведен анализ финан совой устойчивости и ликвидносп бухгалтерских балансов ряда предприятий Ал тайского края за трехлетний период.

Основными достоинствами данного подхо да являются:

а) относительная простота формировани базы знаний системы, так как формулы и пра вила продукции являются естественным выра зительным средством представления знаний;

б) возможность объяснения результата экс пертизы путем обратного хода по сети связи параметров.

Однако практическое использование дав ного подхода выявило ряд его недостатков, ос новным из которых является невозможное! построения базы знаний при отсутствии чета сформулированных правил проведения экспер тизы. В настоящее время отсутствуют одне значные методики оценки общего финансовог

положения предприятия для широкого круга отраслей. Также к недостаткам подобных систем можно отнести высокую сложность их дообучения на основе опыта работы.

Как отмечено выше, наиболее перспективным методом, позволяющим преодолеть перечисленные недостатки, является нейросетевой подход. Необходимым условием возможности применения нейросетевого подхода при формировании правила получения значения узла является наличие достаточного количества примеров для обучения сети.

При использовании нейросетевого подхода для оценки производственно-финансового состояния предприятия важным вопросом является методология выбора архитектуры и параметров нейронных сетей. Различаются слоистые и полносвязные сети [4]. Для рассматриваемой задачи преимущества имеют полносвязные сети. Это объясняется достаточной для процедур оценки финансового состояния информационной емкостью сети за счет большего количества межнейронных связей. Известно, что чрезмерное увеличение числа связей и нейронов сети ведет к увеличению времени работы и снижению качества обучения. Архитектура нейронной сети должна соответствовать сложности решаемой задачи и структуре исследуемого объекта. В настоящее время авторами ведется разработка методики формирования архитектуры нейронной сети в зависимости от решаемой задачи, структуры предметной области и особенностей построения информационной системы. Имеется ряд подходов к решению этой проблемы [4]. Известен подход, когда первоначально инициализируется и обучается нейросеть с небольшим числом нейронов, соответствующим количеству входных показателей. При невозможности качественного обучения, в зависимости от суммарной оценки и количества входных синапсов, рассчитывается новое, увеличенное число нейронов. Производится повторное обучение сети до получения приемлемых результатов. Второй путь заключается в преобразовании избыточной по числу связей и нейронов нейросети в минимальную структуру при помощи методов контрастирования [4]. Применение последнего способа обеспечивает также получение логически прозрачной сети, работа которой становится объяснимой для пользователя. Нейронные сети в зависимости от типа решаемых задач могут быть классификационного или предикторного типа.

Для начальных исследований возможностей применения искусственных нейронных сетей в области финансового анализа были использованы методические и программные разработки красноярской группы "Нейрокомп" [4]. При этом выполнены эксперименты по обучению нейронных сетей и определению ликвидности бухгалтерского баланса предприятий. На основе предварительного анализа сделан вывод

об отраслевой специфичности распределения основных средств и обязательств предприятий. Поэтому из базы данных были выделены отраслевые фрагменты.

Было обучено шесть нейросетей, на трех выборках (одна выборка - полная база данных по всем предприятиям, вторая - предприятия швейной отрасли и третья - ремонтные предприятия). Получены, как минимум, 16,5% ошибки на первой выборке и 12,3% ошибки на второй. Нейросети с большим числом нейронов обучались в среднем в два раза быстрее, но для предприятий первой и третьей выборки давали худшие результаты при тестировании,

По результатам тестирования можно сделать следующие выводы:

1. Для грубой оценки ликвидности бухгалтерского баланса может быть использован универсальный классификатор (обученный на выборке данных по предприятиям нескольких отраслей), но для наиболее точной классификации должны использоваться нейросети, обученные на выборке из предприятий той отрасли, к которой принадлежит оцениваемое предприятие.

2. В интеллектуальной системе необходимы постоянное накопление и анализ опыта проведения экспертиз (постоянное дообучение нейросети), это позволит повысить точность оценки и отразить динамику экспертных знаний.

К недостаткам данного подхода, помимо необходимости для обучения точных и репрезентативных данных, можно отнести тот факт, что для пользователя та часть процедурной модели, которая представлена искусственной нейросетью, остается "черным ящиком". В целом, учитывая специфику финансового анализа, можно сделать вывод о необходимости построения гибридных процедурных моделей, использующих как классический для экспертных систем подход в виде формализации знаний с помощью правил и формул, так и нейро- сетевую парадигму.

Следует отметить, что предложенный подход требует значительной доработки теории создания интеллектуальных информационных систем предприятий. Кроме вышеизложенного, авторами исследуются также вопросы интерпретации выходной информации, технического анализа и фильтрации входных выборочных данных, разрабатываются методики автоматического и диалогового обучения нейронных сетей, программные средства выхода из ситуаций останова обучающей системы из-за некачественной входной информации, вопросы интеграции нейросетевой технологии с традиционными методами представления знаний.

Рассмотренные подходы реализованы авторами в интеллектуальной информационной системе оценки финансовой деятельности предприятия. Кроме блоков диагностики фи-

нансового состояния, в ее состав входят интеллектуальные подсистемы ведения первичных данных, построенные с использованием нейро-имитаторов, комплексы генерации структуры баланса, формул расчета финансовых показа

телей, элементы графической системы технического анализа показателей деятельности предприятия. Система внедряется на ряде предприятий Алтайского края.

Литература

1. Honavar V., Uhr L. Integrating Symbol Processing and Connectionist Networks. Invited chapter in: Intelligent Hybrid Systems. Goonatilake S., Khebbal S. (Ed.) London, 1995.

2. Искусственный интеллект: В 3-х кн. Кн. 1: Системы общения и экспертные системы: Справочник / Под ред. Э.В. Попова. М., 1990.

3. Галанский Б.Л., Поляков В.И. Информационные системы. Томск, 1989.

4. Горбань А.Н., Россиев Д.А. Нейронные сети на персональном компьютере. Новосибирск, 1996.

5. Искусственный интеллект: В 3-х кн. Кн. 2 Модели и методы: Справочник / Под ред. Д.А. Поспелова. М., 1990.

6. Информационные системы для руководителе! / Ф.И. Перегудов, В.И. Тарасенко, В.А. Силич; и Под ред. Ф.И. Перегудова. М., 1989.

i Надоели баннеры? Вы всегда можете отключить рекламу.