Научная статья на тему 'Нейросетевой метод оценки и отбора проектов промышленного инвестирования'

Нейросетевой метод оценки и отбора проектов промышленного инвестирования Текст научной статьи по специальности «Математика»

CC BY
147
33
i Надоели баннеры? Вы всегда можете отключить рекламу.
i Надоели баннеры? Вы всегда можете отключить рекламу.
iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

Текст научной работы на тему «Нейросетевой метод оценки и отбора проектов промышленного инвестирования»

СЕМИНАР 15

ДОКЛАД НА СИМПОЗИУМЕ "НЕДЕЛЯ ГОРНЯКА - 99" МОСКВА, МГГУ, 25.01.99 - 29.01.99

Б.К. Новиков, проф., д.т.н, Н.Ю. Пашков, А.А. Ашихмин доц., к.т.н.,

МГТУ им. Баумана МГТУ им. Баумана МГГУ

НЕИРОСЕТЕВОЙ МЕТОП ОЦЕНКИ И ОТБОРА ПРОЕКТОВ ПРОМЫШЛЕННОГО ИНВЕСТИРОВАНИЯ

Принятая в РФ идеология программного управления базируется на системе целевых комплексных программ федерального, регионального и отраслевого уровней, среди которых целевые инвестиционные программы занимают важнейшее место. Целевые программы являются основным средством достижения государственных стратегических интересов в области промышленного развития, в том числе и в минерально-сырьевом секторе экономики. Реализация указанных программ с учетом особенностей инвестиционной политики последнего времени предусматривает использование механизмов оценки, отбора и сертификации проектов промышленного инвестирования, развивающих идею государственно-коммерческого финансирования [2,3]. Принципиальной особенностью процедур, обеспечивающих реализацию указанных механизмов, является многокритериальная экспертная оценка проектов или вариантов реализации проектов (альтернатив), порождающая решение многокритериальных задач дискретного выбора: выделение лучшей альтернативы, частичное упорядочение альтернатив, классификация альтернатив и т.п. [1,4,6,10].

Многокритериальные задачи, как правило, сводят к однокритериальной, формируя глобальный критерий качества конкурентоспособности проектов. Такой критерий определяется с использованием экспертных оценок, существующих или гипотетических вариантов, а также с учетом результатов моделирования показателей реализации. Для организационнотехнических систем, к которым относятся промышленные объекты, формирование глобального

критерия классическими методами не в полной мере адекватно особенностям решаемых в настоящее время задач [8]. Использование таких методов, как линейная комбинация критериев, комплексирование их в виде произведения с некоторыми степенями (в логарифмических координатах) является, по мнению целого ряда исследователей, грубым приближением, так как получаемая в результате поверхность безразличия (поверх-ность равного уровня) глобальной функции качества в гиперпространстве частных критериев оказывается линейной. Используя условия соответственных замещений, можно получить нелинейную гиперповерхность безразличия. Такая схема может применяться для двух-трех критериев, при допущении об аддитивности глобальной функции качества, что, в общем случае, снижает корректность решения рассматриваемых многокритериальных задач [14]. Без постоянного участия специалистов-экспертов формирование единого глобального критерия качества функционирования сложной организаци-онно-техни-ческой системы классическими методами не обеспечивает необходимого уровня достоверности оценок. При наличии ограничений первого и второго рода и неодносвязности области определения поверхности отклика функции качества, необходимо участие экспертов практически при каждой реализации решения задач оптимального выбора, что, очевидно, существенно увеличивает субъективизм оценок. Для оценки качества функционирования сложной организационнотехнической системы в процессе поисковых процедур без участия экспертов целесообразно предва-

рительно выполнить формализацию системы их предпочтений для ее использования только на последнем этапе при выборе наилучшего из ограниченного количества альтернатив [10,12,13].

По мнению ряда специалистов, использование методов искусственного интеллекта и нейросетевых структур является одним из наиболее перспективных направлений для подготовки данных (оценки качества альтернатив) для окончательного принятия решений [7]. В настоящее время существует большое количество нейросетей различного назначения. Их структура, как правило, основана на, ставших уже классическими, сетях встречного распространения (Хехт-

Нельсона), нейронных слоях Кохо-нена и Гроссберга с применением обучающих методов обратного распространения или статистических (Больцмана, Коши и др.). В зависимости от условий конкретной задачи возможно возникновение существенных затруднений как при обучении сетей, так и при их использовании: «паралич сети», «временная неустойчи-

вость» и т.д. [15].

Для оценки альтернатив при формировании глобального критерия качества проектов в данной работе предпринята попытка предложить комплекс подходов, процедур, и методов, обеспечивающих повышение эффективности и надежности работы нейросети как на стадии обучения, так и в режиме практического использования в том числе предложены: 1) специальная методика подготовки исходных данных для обучения нейросети, базирующаяся на результате многоуровневого опроса экспертов; 2) новый метод формирования гибкой структуры нейросети, определяемый кон-

кретным содержанием решаемой задачи; 3) модифицированный вид функции активации (функции передачи информации между элементами нейросети), позволяющий повысить устойчивость результатов обучения; 4) нетрадиционная процедура обучения нейросети, исключающая «паралич сети» в процессе настройки ее параметров; 5) специализированный алгоритм решения задачи оценки альтернатив для сложных организационно-технических систем.

Процесс формализации системы предпочтений и последующего ее использование может быть осуществлен в следующей последовательности: 1) подготовка состава и структуры описания проектов и формирование совокупности исходных данных для последующего обучения нейросети, включая получение интегральных оценок по результатам обработки опросов экспертов; 2) разработка концепции построения нейросети и методов ее обучения на имеющейся совокупности данных для оценки новых проектов; 3) обучение нейросети, сводящееся к формированию ее структуры и настройке параметров, при которых обеспечивается необходимый уровень правильности классификации проектов по предъявляемой совокупности исходных данных и контроль качества обучения; 4) использование обученной системы для оценки качества проектов и подготовка ограниченного количества альтернатив для окончательного выбора лицом, принимающим решение.

Сложность получения исходных данных как для обучения, так и для проведения тестирования при анализе обучаемости и корректности получаемых результатов, является одной из серьезных проблем, с которой постоянно приходится сталкиваться разработчику экспертных систем. Проблема корректных исходных данных актуальна для систем поддержки принятия решений и моделирования любого типа [9]. Это объясняется тем, что настройка нейросети представляет собой в конечном итоге формирование

массива весовых коэффициентов в процессе обучения на этих данных, то есть данные являются неотъемлемой частью такой модели.

Эти трудности связаны с ограниченным, а иногда ничтожно малым количеством реально существующих организационно-техни-

ческих систем, векторы параметров которых используются для обучения. Работа с экспертной системой, обученной на таких нерепрезентативных множествах данных, ставит под сомнение правильность полученных откликов [5].

Для обеспечения возможности глобальной оценки качества в многокритериальных задачах необходимым условием является получение достаточного для обучения нейросети массива исходных данных. Такой массив должен содержать как описание проекта (значения его характеристик, в конечном счете представляющих частные критерии оценки), так и информацию о глобальном уровне его качества.

В данной работе предлагается один из возможных методов формирования описания проектов в виде совокупности исходных данных путем формализации системы предпочтений группы экспертов для последующего использования в процессе обучения нейросетевой структуры. Формирование достаточного количества описаний проектов предлагается осуществлять с использованием определенных по экспертным опросам диапазонов и плотностей распределения характеристик в этих диапазонах путем случайной генерации описаний неких гипотетических проектов, а формирование глобальной функции качества (в форме функции ценности или классификационной функции) путем обработки результатов экспертных опросов, полученных на базе расширенных бинарных отношений.

Для реализации цели первого этапа формируется группа из N высококвалифицированных специалистов - экспертов. Каждому (/-му) из них предлагается определить перечень показателей (х#, ] = 1,..., п), по которым необходи-

мо осуществлять сравнение альтернатив, и возможные диапазоны их изменения (х™т и Xjmax, i = 1,..., m). Полученная в результате опроса экспертов информация позволяет сформировать полный перечень из т показателей (xj, j =

1...., т) с максимально возможными диапазонами их изменения (хXjmin = min {xmm} и xmax = max {xijmax}). Полный перечень показателей предъявляется экспертам для второго тура опроса, в результате которого они осуществляют корректировку диапазонов возможного изменения показателей и каждому из показателей присваивают «уровень важности» bj£{-

1.0,+1}, определяемый по схеме: +1 - показатель необходим для оценки; 0 - показатель желателен для оценки; -1 - показатель не важен для оценки.

Обработка результатов второго тура опроса экспертов позволяет провести корректировку перечня показателей и диапазонов их возможного изменения. При этом суммарный уровень важности ка-

N

ждого показателя b, = 1 ь,

i=1

может быть использован для сокращения количества показателей, необходимых для оценки проектов (например, могут быть исключены из рассмотрения показатели, суммарный уровень важности которых меньше нуля).

Таким образом, описание каждого из оцениваемых проектов может быть представлено в виде:

— {xk1, ..., xkj, ..., xkn}, xj — xkj

<Xjmax, j = 1, ..., n.

Как уже отмечалось выше, количество проектов определенного типа, как правило, явно недостаточно для организации процесса обучения нейросети. Поэтому представляется целесообразным организовать генерацию гипотетических вариантов с описаниями, удовлетворяющими полученным выше условиям.

В простейшем случае такая генерация может быть осуществлена с использованием генератора

случайных чисел по следующей схеме: xjk =xjmin +a(xjmax -xmn), где

a - случайное число в диапазоне [0,1] с равномерным законом распределения.

Процесс получения описаний гипотетических вариантов (проектов) может быть модифицирован, если воспользоваться дополнительной информацией, полученной при проведении опроса экспертов. Каждый из экспертов формулировал свое представление о возможных диапазонах изменения показателей, включаемых в описание проекта. Если макси-

у max

мально возможный диапазон (xj

- Xjmm) каждого показателя разбить на некоторое количество интервалов (l = 1,..., mj), то для границы каждого из них можно определить количество экспертов (nj), считающих, что эта точка принадлежит возможному диапазону изменения показателя, то есть построить аналог функции принадлежности нечеткого представления.

При этом функция:

X, ximax

Г Пц V П,, 1

Fj(a) = ( I -NjdXjX J -JLdx,)-■,

N

будет являться аналогом интегрального закона распределения, что позволит при использовании

генератора случайных чисел а получать значения показателей проектов, соответствующие аналогу функции принадлежности нечеткого представления. При этом в зоне наиболее вероятного появления возможных реальных значений показателей (по мнению экспертов) при дальнейшем практическом использовании нейросети будет сгенерировано и большее количество гипотетических вариантов для ее обучения.

В результате генерации может быть получено достаточное для последующего обучения нейросети количество гипотетических вариантов (проектов).

Полагая, без потери общности, что все показатели требуют максимизации своих значений при решении многокритериальной задачи дискретного выбора, можно утверждать, что наилучшим (есте-

ственно, из гипотетических вариантов) будет вариант, имеющий описание: {xj'nax,..., хптах}, а наихудшим

- соответственно {x1mm, ..., xnmn}. Оба варианта в обязательном порядке должны быть включены в обучающее множество гипотетических альтернатив (Шк, к = 1, ...,т).

Для использования полученного множества гипотетических вариантов для обучения нейросети необходимо осуществить их сравнительную оценку. Такая оценка производится с привлечением дополнительной информации от экспертов, обеспечивающей возможность формализовать их систему предпочтений.

Проводимый с этой целью опрос экспертов реализует принцип попарного сравнения альтернатив с использованием экспертами системы оценок єік є {- 1,0,1} (1, если альтернатива і более предпочтительна, чем к; 0, если і и к эквивалентны; -1, если і менее предпочтительна, чем к), что позволяет заполнить матрицы С' результатов опроса экспертов (' = 1,..., Ы). При этом часть элементов матриц определяется однозначно, без привлечения экспертной информации:

Следовательно, матрицы результатов опроса экспертов С (при условии размещения наилучшей и наихудшей альтернатив в первой и последней строках соответственно), а также векторы оценок альтернатив Б' (компоненты которых определяются как нормированные суммы элементов соответствующих матриц С по строкам) имеют вид:

C1 _

0 1

-1 0

-1 -1

D1 _

(m -1) + Г c2i

2(m -1)

0

Суммарная оценка группы экспертов Е и границы разброса

оценок экспертов по каждой альтернативе определяются следующим образом:

E_

1 1

Г d2 ы N Emin mini d2 по i

0 0

E max _

max d

0

L}

Полученная информация может быть использована для организации последующих туров опросов с сообщением экспертам информации о несовпадении их оценок с суммарными оценками группы. При этом в большинстве случаев эксперты корректируют свои оценки, обеспечивая уменьшение их разброса.

После завершения основных туров опроса организуется заключительный тур, для проведения которого каждому из экспертов предоставляется последовательность всех альтернатив, отсортированная по убыванию его личных оценок, и предлагается разделить эту последовательность на классы (группы), объединяющие альтернативы с близкими, по мнению эксперта, показателями (например, на классы, внутри которых альтернативы могут быть оценены на «отлично», «хорошо», «удовлет-ворительно» и «неудовлетворительно»). Определив оценку, разграничивающую классы, по мнению каждого эксперта ^1, где / = 1, ..., N - номер эксперта, а 1 = 1, ..., р - номер класса), как среднюю между оценками наиболее близко расположенных к границе альтернатив

ё1 “ 2 ,

где I) - номер последней альтернативы в классе 1), можно определить обобщенные границы классов, как средние значения для всех граничных оценок экспертов

x

x

1

k_1

gl, а также диапазоны разброса

1 Л 1

этих оценок g1 = _ £ ,

N 1=1

gl = Ш1П

gl = тах^

Как и для основных туров, заключительный тур может быть повторен несколько раз с целью уменьшения величин разбросов граничных оценок классов.

Таким образом, в качестве обучающей последовательности для настройки нейросети используется совокупность векторов: X =

{x00, ..., xij, ..., хтп}.

Каждая из компонент х,■ (г = 1, ..., т; j = 1,..., п) векторов представляет собой оценку альтернативы I по частному показателю j.

Компоненты х0/£{1,-1} (/ = 1,..., п) содержат информацию о желаемом направлении улучшения по применяемым показателям (1 -максимизация, -1 - минимизация), а компоненты х0 (г = 1, ..., т) - информацию о глобальной оценке качества альтернатив, представленных в виде номеров классов, к которым отнесены альтернативы по результатам обработки данных экспертных опросов. Компонента х00 представляет собой пустое значение, не используемое при формировании системы предпочтений.

В процессе практического использования нейросети для классификации новых альтернатив у исследователя часто возникает вопрос об уровне вклада отдельных характеристик нейросети в формируемую ею глобальную оценку, поэтому представляется целесообразным осуществить нормирование исходных данных, определив минимальное

хт1п = тт{ Хц]и = 1П и

1=1,т

максимальное

хтах = тах{ х^ = й

1=1т

значения для каждого показателя j, а также привести исходные дан-

ные к безразмерному виду в соответствии с выражением:

1 - хо. __2

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

1 + Хо

______2_

- е [0,11 - xJ - xJ

1 = 1, т, ) = 1, п При этом независимо от направления улучшения оценки по показателю j (независимо от значения

хо/е {1,-1}) У/=0 при х]=х™т и У/=1 при х/=х/тах.

Таким образом, для последующего использования при обучении нейросети используется совокупность пар: векторов (входная информация) Уг = {у ц, ..., У/, ..., Уп} описаний проекта и глобальная оценка (выходная информация) его качества с данным описанием х 0 (

= 1, ..., т)

Любая нейросеть после ее обучения (настройки), в конечном итоге, осуществляет некоторое функциональное преобразование входной информации в выходную, обеспечивая тем самым получение необходимого соответствия выходных данных требуемым значениям. В задаче классификации, рассматриваемой в данной работе, это означает получение на выходе номера класса, к которому принадлежит исследуемый проект (вариант реализации проекта) с соответствующим описанием. В работе предлагается новая концепция построения нейросети (а, следовательно, и новый алгоритм ее обучения), которая может быть определена, как концепция трансформации пространства описания проекта с последовательной частичной классификацией.

Для большей наглядности изложения предлагаемой концепции рассмотрим простейшую гипотетическую ситуацию. Допустим, что описание проекта может быть осуществлено всего лишь с помощью двух (х1, х2) характеристик (двухкрите-риальная задача классификации). При этом будем считать, что после нормирования исходных данных (у, у2) линии, разделяющие классы (линии равного уровня некоторой глобальной функции качества, определенной по системе предпочтений группы экспертов), представляют собой

х

и

прямые линии. Тогда можно утверждать, что существует некоторая линейная функция (т^), переводящая плоскость нормированных характеристик в одномерное пространство (ось), в котором разделение на классы осуществляется с помощью элементарных неравенств: при wA<w<wB - класс 5-ый, при ^в<^<^с - класс 4-ый и т.д.

Естественно, что на практике линейность гиперповерхностей равного уровня функции качества встречается достаточно редко. Это приводит к необходимости формирования нескольких функций V, имеющих (с целью сокращения их количества, то есть размерности трансформированного пространства) нелинейный характер. В таких условиях каждая из функций классификации Vц сможет осуществлять лишь частичную классификацию описаний проектов, выделяя зоны «чисто» принадлежащие только одному классу. Количество, состав и параметры каждой из функций классификации определяются в процессе обучения нейросети путем последовательного решения ряда оптимизационных задач с использованием стохастического глобального ползущего самообучающегося метода поиска экстремума по следующей схеме. Рассматривая в качестве варьируемых переменных состав и параметры первой функции классификации wIT, определяются такие их значения, которые обеспечивают максимизацию количества выделяемых данной функцией вариантов из полного вектора исходных данных. Компоненты вектора исходных данных, классифицированные

первой функцией исключаются из исходных данных (из обучающей последовательности), а граничные значения функции классификации в дальнейшем выступают как пороговые для соответствующих нейронов. Рассматривая в качестве варьируемых переменных состав и параметры второй функции классификации wi2, для оставшихся компонент вектора исходных данных решается аналогичная оптимизационная задача. Процесс

обучения нейросети продолжается до тех пор, пока не будет классифицирована вся совокупность исходных данных. После завершения решения оптимизационных задач и определения необходимого количества функций классификации нейросеть считается «обу-чен-ной» и может быть после тестирования использована для классификации описаний проектов данного типа, не входивших в состав исходных данных. Практическое использование нейросети происходит в соответствии со следующей схемой. На вход нейросети подается совокупность значений частных критериев, которая после нормирования поступает на участок сети для первой функции классификации. Если первая функция по пороговым значениям классифицирует

предъявленное описание, то процесс завершается. В противном случае используется вторая, третья и т. д. функции классификации. Отказ от классификации осуществляется в том случае, если ни одна из настроенных функций не в состоянии провести классификацию по своим пороговым значениям (необходимо отметить, что при решении большого количества тестовых задач такая ситуация не возникла ни одного раза).

После решения ряда тестовых задач с различными видами элементарных компонент функций классификации, было установлено, что наилучшие результаты даже для «вычурных» границ разделения классов как с позиции скорости обучения, так и повышения вероятности правильного распознавания классов для контрольных совокупностей исходных данных дает применение ак-тивизационной функции следующего вида:

П£і§п(^1 + Пш-сІв\Пф\- і)"!

при \в\ > 1,

где в - аргумент активизацион-

ной функции; П ^ {0,1} - коэффициент подключения данного

< і

при

аргумента к активизационной

функции; - коэффициент акти-

визационной функции, изменяемый в процессе обучения в диапазоне от -1 до 1; С, - показатель степени в активизационной функции. При этом тригонометрическая ветвь функции активации гарантирует нормальное функционирование ней-росети в процессе ее работы, если даже по каким-то причинам хотя бы один из параметров предъявленного описания проекта (не входящей в обучающую последовательность) выходит из диапазона, определенного в процессе обучения.

Учитывая, что для решения практических задач кусочной аппроксимации линий равного уровня глобального критерия качества, как правило, достаточно полиномов третьей степени, представляется целесообразным ограничиться именно этой сложностью функциональных соотношений, реализуемых нейросетевой структурой при формировании функций м>.

При большой размерности вектора (X) описания проектов полный полином третьей степени имеет значительное количество коэффициентов, значения которых должны определяться при дальнейшем обучении нейросети, что существенно затрудняет ее реализацию. Поэтому предлагается воспользоваться тремя аддитивными функциями с неполными наборами компонентов вектора X с последующим их возведением в соответствующую степень.

В этом случае функция классификации представляется в виде функции разделения wiI, то есть суммы трех составляющих, каждая из которых в свою очередь записывается в виде функции преобразования г^.

Введенные в знаменатели суммы коэффициентов подключения соответствующих аргументов обеспечивают нормирование этих функций.

Использование в качестве варьируемых при обучении нейросети параметров

8 Рм Глі И Д1, Вкї, Гк1 позволяет обеспечить гибкость в формировании функций классификации. Например, если %к1 = 1,

а Гіі = 1, Гі = 2, и Гзі = 3, то в качестве функции классификации будет выступать полином третьей степени. В общем случае указанные параметры выступают в качестве варьируемых переменных,

формируя состав (8]Ы и Ди Є

{0,1}), коэффициенты (3]к1 и Ва

Є [-1,1]) и степени отдельных

членов (уЛ1 и Г є [0,3]) функции классификации.

Решение многочисленных тестовых задач показало высокую надежность (вероятность правильного распознавания контрольных вариантов составляла не менее 0.95) функционирования нейросети, при относительно небольших временах обучения (для шести частных показателей качества и ста описаний систем в обучающей последовательности время обучения при реализации на ІВМ РС с тактовой частотой 150 МГц не превышало 95 секунд), что позволяет рекомендовать предлагаемую систему к практическому применению в процессе формирования систем предпочтения для многокритериальных задач дискретного выбора.

СПИСОК ЛИТЕРАТУРЫ

1. Ашихмин А.А. Разработка и принятие управленческих решений : формальные модели и методы выбора. -М.: МГГУ, 1995. -80с.

2. Ашихмин А.А., Новикова И.К., Гумилевский А.С. Процедура отбора инвестиционных проектов. // Горный информационно-аналитический бюллетень. МГГУ. -1996. -№2. -С.45-48.

3. Ашихмин А.А., Новикова И.К., Гумилевский А.С. Процедура сертификации инвестиционных горнопромышленных проектов. // Горный информационно-аналитический бюллетень. МГГУ. -1998. -№2. -С.62-63.

4. Белкин А.Р., Левин М.Ш. Принятие решений: комбинаторные модели аппроксимации информации. -М.: Наука, 1990. -160с.

5. Елисеева И.И., Рукавишников В.О. Группировка, корреляция, распознавание образов (Статисти-ческие

методы классификации и измерения связей). - М.: Статистика, 1977.

6. Кини Р.Л. Райфа Х. Принятие решений при многих критериях: Предпочтения и замещения. - М.: Радио и связь, 1981. - 560 с.

7. Куприянов В.В., Печенкин О.Ю., Суслов М. Л. и др. САПР и системы искусственного интеллекта на базе ЭВМ. -М.: Наука, 1991.-159 с.

8. Ларичев О.И., Мошкович Е.М., Качественные методы принятия решений. Москва: Наука, 1996 - 208 с.

9. Меркурьева Т.В., Меркурьев Ю. А. Экспертные системы имитаци-

онного моделирования. // Известия АН СССР. Техническая кибернетика, 1991. N 3.

10. Новиков Б. К. Основы принятия решений при проектировании. -М.: МГТУ, 1992. - 60 с.

11. Эндрю А. Искусственный интеллект. -М.: Мир, 1985.

12. Новиков Б.К., Галан В.И. Восстановление функциональных зависимостей в экспертно-моделирующей системе формирования требований к перспективным образцам вооружения. // Оборонная техника. - 1994. - № 8/9.

- С. 7-11.

13. Новиков Б.К., Чамкин А.А. Формализация функции оценки вариантов при формировании требований к перспективным образцам вооружения в экспертно-моделирующих системах. // Оборонная техника. - 1994. -№8/9.

14. Титов В.Н. Выбор целей в поисковой деятельности (Методы анализа проблем и поиск решений в технике). - М.: Речной транспорт, 1992. -125 с.

15. Уоссермен Ф. Нейрокомпью-терная техника: Теория и практика. -М., Мир, 1992. - 240 с.

© Б.К. Новиков, Н.Ю. Пашков, А.А. Ашихмин

Файл:

Каталог:

Шаблон:

Заголовок:

Содержание:

Автор:

Ключевые слова: Заметки:

Дата создания:

Число сохранений: Дата сохранения: Сохранил:

Полное время правки: Дата печати:

При последней печати страниц: слов: знаков:

НОВИКОВ

в:\С диска по работе в универе\01ЛВ_99\01ЛВ4_99\Все С:\и8еге\Таня\АррБа1а\Коат1^\М1сго80й\Шаблоны\№гта1Ло1т д.т.н., проф. Новиков Б.К., асс. Пашков Н.Ю.(МГТУ)

Гитис Л.Х.

26.05.1999 16:45:00 8

15.06.1999 13:20:00 Гитис Л.Х.

79 мин.

14.12.2008 20:30:00 6

3 976 (прибл.)

22 669 (прибл.)

i Надоели баннеры? Вы всегда можете отключить рекламу.