Информационная система поддержки профориентации в инженерном образовании Текст научной статьи по специальности «Компьютерные и информационные науки»

Федеральный портал "Инженерное образование"

электронный журнал

ОБРАЗОВАНИЕ

Инженерное образование Ассоциация технических университетов

#1 январь 2007

Общие проблемы

инженерного

образования

Инженер в современной России

Наука в образовании: Электронное научное издание

CALS-технологии

Зарубежное образование

История технического прогресса

Учебные программы Будущий инженер Вне рубрик

English Library

Пресс-релизы

Библиотека

Конференции

Выставки

Форум

Доска объявлений

Архив

Переписка

Информация о проекте About project

# Гос. регистрации 0420700025

ISSN 1994-0408

Ред. совет Специальности Рецензентам Авторам English Koi-8 Win

■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■

Найти!

Б и ГОР

База и Генератор Образовательных Ресурсов

Найти выделенное

Информационная система поддержки профориентации в инженерном образовании #1 январь 2007

Ивашина А.В., Рудакова Г.М.

Хакасский технический институт -филиал Красноярского государственного технического университета, Сибирский государственный технологический университет

Необходимость профориентационной деятельности как никогда актуальна в сложившихся экономических условиях. Высокая стоимость внебюджетного обучения заставляет задуматься о целесообразности ресурсовложений в то или иное образование. Выбор специальности, которой собираешься посвятить свою жизнь, должен проводиться грамотно и осознано, а не на основе рекламных компаний ВУЗов.

В стране молодежная безработица в среднем составляет 30 - 40% от общего числа нетрудоустроенных граждан [1]. Помимо этого с каждым годом возрастают требования современного производства к уровню подготовленности кадров, однако зачастую профессиональные намерения значительной части учащихся не соответствуют потребностям народного хозяйства в кадрах. Все перечисленные проблемы делают еще более актуальными вопросы грамотной, отвечающей потребностям общества, профессиональной ориентации молодежи.

Нередко ВУЗам профотбор (подбор) трудно осуществлять из-за недостаточности развития методики его применения. Например, при отборе абитуриентов в ВУЗы вступительные экзамены еще не дают оснований судить о профессиональной пригодности поступающих, поэтому желательно на вступительных экзаменах проводить профориентационное собеседование. Здесь необходимы научно обоснованные комбинированные диагностические методы профотбора, так как требования современного общества возрастают и ранее разработанные методики в полной мере не могут соответствовать им, это связано с тем, что в них отсутствует возможность учета всех необходимых психометрических качеств и требуется применение системы множества тестов.

Из выше сказанного следует, что для решения проблем в области профориентации необходима разработка новых методов профконсультирования и картографического анализа данных об абитуриентах и структуре требуемых в современном обществе кадров, профессий, а для этого нужна информационная модель процесса профориентации.

Автором был проведен анализ существующих программных средств в профориентации. Было выявлено, что современное состояние автоматизации профессионального отбора характеризуется наличием достаточно большого числа отдельных программ, автоматизирующих стадию предъявления тестов и дешифрацию результатов по ключу. На выходе такие системы, как правило, выдают числовой вектор результатов, либо шаблонные заготовки интерпретации этих векторов, не отражающие индивидуальных особенностей испытуемых.

Автоматизировать процесс профориентации можно посредством создания информационной системы, объединяющей экспертную систему (ЭС), дающую рекомендации на основе психодиагностического тестирования, ГИС-технологии, позволяющие вести мониторинг абитуриентов, блок оценки эффективности профориентационной работы ВУЗа.

При разработке экспертной системы по профориентации в основу множества гипотез лег набор возможных, с точки зрения эксперта, ситуаций. Это множество специальностей в Хакасском техническом институте (ХТИ), одна или несколько из которых будут выдаваться экспертной системой пользователю в ответ на его описание своих умений, способностей и желаний в каждой из предлагаемых специальностей. Далее специальности (гипотезы) группируются в соответствии с типологией профессий, предложенной действительным членом Российской академии образования, профессором Е.А. Климовым, где в качестве критерия выступает отношение человека (субъекта труда) к предмету труда [2]. В связи с тем, что появились междисциплинарные специальности, например, «Прикладная информатика (по областям)», возникает необходимость расширить существующую типологию профессий, путем ввода новой группы.

Так как для решения поставленных задач необходимы, в первую очередь, знания о логических, причинно-следственных зависимостях между специальностями и склонностями, личными качествами, закономерности, эвристические «рассуждения», то речь идет о логической или процедурной парадигме. Таким образом, очевидно, для такой задачи, как профориентационное консультирование наиболее эффективной моделью представления знаний является продукционная модель.

В самом общем виде продукционное правило будет представлять собой набор (I, Q, Р, А^В, [п, р]) следующих компонент:

I - имя (или порядковый номер) правила;

Q - область применения правила - система продукций разделена на несколько подсистем, в каждой из которых реализован профориентационный опрос;

P - предусловие применения правила - предназначено для обозначения возможности обращения к данному правилу;

А_>В - ядро правила («если А, то В»);

[n, p] - коэффициенты неопределенности: уверенность и возможность, соответственно.

Продукционное правило 1

Область применения: Профориентация в ХТИ

Предусловие применения правила: используется

ЕСЛИ X «Любит уроки по физике»

И X «Интересуется устройством прибора, которым пользуется»

И X «Хотел бы пользоваться точными измерительными приборами и производить расчеты по полученным данным»

ТО для X рекомендуемая специальность есть 140211.65 «Электроснабжение».

При выполнении своей роли в процессе формирования базы знаний ЭС эксперты производят две основные функции: формируют гипотезы (специальности, направления обучения и т.п.), производят подбор необходимых предпосылок (личностных характеристик, склонностей и т.п.). При интервьюировании эксперты предпосылкам присваивают весовые значения, значение этого показателя зависит от конкретного эксперта, т.е. носит в значительной мере субъективный характер. Формирование всех объектов осуществляется экспертами на основе логического мышления и интуиции. При этом большую роль играют знания и опыт эксперта.

Рисунок 1 - Экранная форма интервьюирования эксперта

Для уменьшения степени субъективности мнений экспертов автор предлагает использовать в ЭС метод экспертных оценок, суть которого состоит в том, что как вид функции принадлежности, так и значения соответствующих параметров являются результатом коллективного творчества группы специалистов в рассматриваемой области - экспертов [3]. Получаемое в результате обработки обобщенное мнение экспертов принимается как решение проблемы. Комплексное использование интуиции (неосознанного мышления), логического мышления и количественных оценок с их формальной обработкой позволяет получить эффективное решение проблемы.

Каждым из N экспертов назначается свое значение запрашиваемого коэффициента неопределенности - ..., затем эти числа усредняются:

и полученный результат используется в качестве значения выбранного коэффициента неопределенности р. В соответствии со степенью опытности экспертов им могут быть присвоены веса V ""'^к, с учетом которых формула 1 несколько усложняется:

- 1 и \

р =--го -и +Р -и +...+Р -и 1

N■1} 1 1 2 2 » к',

где

1)= и + 1) 1 2

и

N

Безусловно, важным является вопрос о степени компетентности экспертов. Среди априорных методов оценки качества экспертов распространенными являются методы самооценки. Разновидностью метода самооценивания является дифференциальный метод, который использован в ЭС. Оценка в этом методе дается по двум группам критериев: по критериям, характеризующим знакомство эксперта с основными источниками информации в данной области, и по критериям, характеризующим знакомство эксперта с объектами экспертизы [4].

При построении экспертной системы необходимо принимать во внимание тот факт, что в реальных условиях знания, которыми располагает человек, всегда в какой-то степени неполны, приближенны, ненадежны. Тем не менее, людям на основе таких знаний все же удается делать достаточно обоснованные выводы и принимать разумные решения. Следовательно, разработанная экспертная система должна учитывать неполную определенность знаний и успешно действовать в таких условиях.

Неопределенности могут проявляться в рассуждениях эксперта в явном виде или в виде неопределенностей, которые выявить в процессе интервьюирования эксперта не всегда возможно. Для выявления второго типа неопределенности используется в экспертной системе опрос нескольких экспертов, описанный выше.

Таким образом, неполная определенность и нечеткость имеющихся знаний - скорее типичная картина при анализе и оценке положения вещей, при построении выводов и рекомендаций, чем исключение. В процессе исследований по искусственному интеллекту для решения этой проблемы выработано несколько подходов.

Для устранения неопределенностей в экспертной системе по профориентации целесообразно применение вероятностного подхода, а именно метода Криса-Нейлора.

Однако использование только одного подхода не решает в полном объеме рассматриваемую проблему, поэтому также применяется особый подход к учету неопределенности в знаниях - коэффициенты уверенности Шортлиффа и Бьюкенена.

В работе [5] рассматривается совместное применение нескольких методов (Байеса и Демпстера-Шейфера) для построения интегрированных экспертных систем. Нами предлагается несколько иная схема устранения неопределенностей в комбинации других методов: Криса-Нейлора, Шортлиффа-Бьюкенена, Демпстера-Шейфера. Автору неизвестно из литературных и электронных источников подобное сочетание этих методов для решения каких-либо задач. Для устранения всех неопределенностей целесообразно использовать следующую схему:

1. В том случае, если эксперты задают в качестве входных параметров только один коэффициент неопределенности (возможность), то будет использоваться метод Криса-Нейлора.

Его суть состоит в нахождении способа, с помощью которого можно получить исходя из априорных вероятностей каких-либо гипотез и фактов апостериорные вероятности этих гипотез, зависящих от того, какие именно факты утверждаются для данной гипотезы [6]. Эта вероятность может быть очень малой, она может оказаться на самом деле нулевой. Но это не помешает вести вычисления так, как если бы существовала некоторая вероятность.

Для каждой гипотезы (специальности) Н, которая может быть выведена в данной системе и может рассматриваться как целевая гипотеза, в одной части БЗ фиксируются:

1. р(н) - априорная вероятность специальности (гипотезы);

2. р+ - вероятность появления личностного свойства] при верной специальности Н;

3. р~ - вероятность появления личностного свойства], когда специальность Н неверна.

На каждом шаге пересчитываются вероятности всех специальностей для какого-либо личностного свойства по формулам (3) и (4):

(3)

(4)

где Р(Н/|) - условная вероятность рекомендации специальности Н, определяемая с учетом того, что личностное свойство | имеет место. Далее в качестве р(Н) рассматривается полученная апостериорная вероятность, т.е. р(Н) = р(Н/]").

В этом подходе вводятся оценки свидетельств. Метод сводится к тому, что каждому личностному свойству приписывается цена, отражающая его роль в процессе вывода [7].

В простейшем случае можно вычислить цену каждого свидетельства (ЦС) как полную сумму максимальных изменений вероятностей по всем гипотезам, имеющимся в базе знаний, к которым такое свидетельство может привести:

= /не ]}

(5)

Цена свидетельства вычисляется для каждого личностного свойства | из базы знаний. Затем система может найти максимальную ЦС и потребовать информацию для соответствующего свидетельства. Цены свидетельств не остаются неизменными, так как апостериорные вероятности Р(Н|: ]) постоянно

уточняются. Цены свидетельств не остаются неизменными. По мере того, как уточняются апостериорные вероятности Р(Н^), они будут приводить к

непрерывному изменению цен свидетельств.

На каждом шаге для каждой специальности значение апостериальной вероятности пересчитывается с учетом того, что полученный от пользователя ответ Q имеет градацию от -5 до +5 с шагом 1, в которой +5 означает «Да», -5 означает «Нет», а 0 - «Не знаю». Все остальные варианты ответа будут располагаться в промежуточных точках шкалы. Градация ответов может быть изменена по желанию экспертов, например, от -3 до 3. В результате к текущей апостериальной вероятности добавляется поправка (формула 7):

(6)

где ОШ е [а1? а2] = [-5, +5] Р(веДО) = 1

После того, как пользователь выставит цену Q, делается пересчет вероятностей для всех специальностей, в которых упоминалось это личностное свойство. Итоговое выражение апостериальной вероятности будет иметь вид (формула 7):

р(влг)=р(а5) Р(]ЛЗ)+Р(Н/Н/ ]) р<ве до)

(7)

Рисунок 2 - Экранная форма режима тестирования

В результате какое-то множество специальностей оказывается с очень низкой вероятностью, следовательно, применимое к ним свидетельство станет менее важным при последующем пересчете цен. По мере того как некоторые специальности становятся более вероятными, возрастают шансы на то, что их вероятности будут изменяться под воздействием оставшихся относящихся к данной специальности свидетельств (личностных свойств). В результате для этих свидетельств цены будут более высокими, поэтому соответствующие им вопросы будут заданы с большей вероятностью.

2. Если эксперты затрудняются в формировании априорных вероятностей для правил, следует использовать метод Шортлиффа и Бьюкенена. Выбор метода Шортлиффа и Бьюкенена обусловлен тем, что нередки ситуации, при которых человек-эксперт, оценив вероятность (достоверность) некоторого отношения значением, например, 0.7, полагает, что отношение истинно, и вовсе не учитывает, что оно может быть ложным.

В данном методе неопределенность представлена как степень уверенности. Если совокупность всех релевантных данных или свидетельств (набор

необходимых знаний и умений) обозначить , а - ]-я гипотеза (факультет или специальность), тогда — условная вероятность

того, что для опрашиваемого респондента имеет место направление обучения ^ в свете свидетельств х, РО1^*) может быть вычислена из компонент условных вероятностей [8]:

рМ=

(8)

где ) — априорная вероятность специальности, т.к. всего альтернативных специальностей п;

вероятность появления значений признака, свидетельств х в пределах объектов класса 1т. Например, выражение можно прочесть как утверждение, что существует 100 я шансов подтверждения гипотезы что при наличии

признаков х^, имеет место гипотеза (факультет или специальность) И. Правило может быть сформулировано в виде: если респондент обладает личностными свойствами х^, то делаем вывод, что ему подходит специальность 1т), с вероятностью а-

Модель Шортлиффа и Бьюкенена требует оценки экспертами данных в пользу гипотезы или в пользу ее отрицания.

Мв[ь,х| = а означает, что степень уверенности в гипотезе (специальности) Ь, основанная на свидетельстве (знаниях, умениях, склонностях) х, есть д.

означает, что степень или мера неуверенности в гипотезе (специальности) И, основанная на свидетельстве (знаниях, умениях, склонностях) х, равна Р.

Например, в высказывании «для того, чтобы преуспеть в профессии инженера-строителя - необходимо, чтобы нравилось проектировать строительные объекты» МВ[Ъ,х]=0,7 согласно простому правилу, сформулированному экспертом. Здесь 0,7 просто отражает степень, с которой эксперт убежден, что Ь истинно при условии, что х истинно. В то же время, в данном примере МО[Ь,х] равно 0, так как нет причин увеличивать неуверенность в Ь

на основании х.

Таким образом, можно определить степень уверенности и степень неуверенности с помощью формул 9 и 10 соответственно:

мв(М)

1,ес1шР(Б) = 1

[ 1РЙ

(9)

МО(Ь,х)

1,ес1ш^|)= О

Р(Ь,х)Р(Е)

Р®

(10)

Связь между мерой доверия и недоверия устанавливается с помощью коэффициента уверенности: СР(Н | Е) = МВ(Н | Е) - МЕ>(Н | Е)

(11)

С приближением коэффициента уверенности к 1 усиливается доверие к гипотезе, а с приближением к -1 - ее отрицание.

При формировании базы правил, эксперты сопоставляют с каждым правилом определенное значение СБ. СБ отражает уверенность экспертов в надежности правила, что позволяет регулировать производительность системы.

Для комбинации свидетельств в сложные гипотезы, вводятся следующие приближенные методы оценки:

МВРк^ лх2] =шт^1В[1|1Эх1]эМВРк1Эх2]) МО[Ь1Эх1 лх2] = тях^ЛОр11Эх1]эМО[1|1Эх2])

(12) (13)

Окончательные коэффициенты уверенности для каждой из гипотез рассчитываются по формуле 11, с использованием данных полученных по формулам 14 и 15:

мв|ь лЪ ]

О, если

М£)|Ь1 лЪ2|=1

МВ|Ь х лх |+Мв|ь х лх ](1-Мв||1 х лх |)

(14)

МО

М.1

О, если

мв|ъ

МВ|Ъ1 лЪ2| = 1

РХ1АХ21

]+Мв|ь ,х лх К -МО^х. ахП

(15)

Многократно используя правило объединения независимых свидетельств можно объединять результаты любого количества правил. Для упрощения проведения расчетов составляются таблицы: первая - из коэффициентов уверенности простых гипотез, в которой будет осуществляться расчет по формулам 9, 10, 11; вторая - из коэффициентов уверенности сложных гипотез и производится расчет по формулам 11, 12, 13; третья - для накопленных коэффициентов уверенности по мере интеграции данных из второй таблицы и вычисления производятся по формулам 11, 14, 15.

7 '^чет коэффициента уверенности для спефйпыиц [

Коэ Ф^нцнекты уверенности простым гипотез

дичке 0 ц. тест-го 0ц. эксперт иг МО 3

Разгадывать- кроссоечжы 0.Б 0.5 о.го 0 на

Соег-эвляьт списж дел. «шорые нужно выполнить 0 5.50 ■0.50

Уроки по |рнгикв 02 о.П 0 071

КмффииивНгы ^¿ценности спон(ньы гипотез

КсэФФииненты уверьнпостн. накапливаемые по мере жтегродод***«:

ив НО СГ

0 0.50 ■0,5

0,20 0 0,2

МО

Номер специальности

0,2

0,5

■0,3

':■:.! Ш

0,20

0,2

Р^чег к.« уверетоетн

Рисунок 3 - Экранная форма расчета коэффициентов уверенности

3. В том случае, если выставляется два коэффициента неопределенности (уверенность и возможность) в качестве метода вывода применяется комбинированный метод на основе методов Криса-Нейлора, Шортлиффа и Бьюкенена, Демпстера-Шейфера.

Свидетельствам присваивается интервал неопределенности, который состоит из двух коэффициентов: коэффициент уверенности п (уверенность), полученный по методу Шортлиффа и Бьюкенена; р - вероятность, полученная по методу Криса-Нейлора (возможность). Метод вывода основан на теории Демпстера-Шейфера и выглядит следующим образом:

Коэффициенты неопределённости посылки правила по неопределённости [п^ р^ и Р2] соответственно [5]:

составляющим его простым утверждениям Е1 и Е2,

имеющим коэффициенты

Е1 Ч/Е2 : К п1 +Р2 -Р| Р21 Е1&Е2:КП2'РГР21

Правило типа Е —>Н определяется двумя оценками: [ве^Е-э.нХР^Е-э.нЛ и [ве1(~Е ->н),Р1(~Е-»н)|

Пусть Е имеет коэффициенты [б, 1], а Е -> Н имеет коэффициенты [и^ р^ и Р2] соответственно, тогда коэффициенты неопределённости для Н вычисляются по формулам 16 и 17:

(16) (17)

Объединенный интервал неопределённости утверждения Н на основе двух правил Е1 -> Н и Е2 -> Н, давших оценки [и^ Р1] и Р2], имеет границы:

^Рз +11^-1414

Р1Р2

1 - V1 ~ Р2> ~'п21- Р^ ; 1 ~ V1 ~ ^ ~'п21С1 - Рр

(18)

Таким образом, показано, что проблема неопределённости в знаниях в задачах профориентации может быть частично решена при помощи применения комбинированного метода.

Рассматриваемый метод реализован автором в программном средстве «Профориентация».

После обработки полученных мнений экспертов и ответов пользователя на основе рассмотренных методов система рекомендует специальность. Если несколько специальностей имеют одинаковые веса, то они все рекомендуются пользователю.

Резщльтлт тестирования

Наимвнюеаиюе специальности Клщ специальности | Каэф. сдофен. -

Электроснабжение 1Ю4Й) 0,41

Гекиопогич машиностроения. 120100 0,41 У

Машины и текмология лнтейнопо гроигЕвдства. 120300 0,19

АОТОМЕ^ИЛН И автомобильное коаййзгвл 150300 0.02 Рекомендуемая специальность

Наименсвание специальности Код специальности

Экспертам и уцэаалепие ней8и)ким&«ыо. 231500

ОК.

Рисунок 4 - Экранная форма просмотра рекомендованных специальностей

В экспертной системе также большое значение имеет подсистема формирования рекомендации профессии, востребованной на рынке труда. Если рекомендованная экспертной системой специальность особо не востребована, то по желанию пользователя предоставляется возможность выбора «запасной» профессии.

Для анализа больших объемов данных об абитуриентах, распределенных по времени и по территориям, для подведения итогов работы профориентационных центров в ВУЗах, выделения неохваченных профконсультированием (занятых ВУЗами-конкурентами) районов, целесообразно применение технологии геоинформационных систем (ГИС).

ГИС широко используются для визуализации и анализа территориально распределенных данных. Особенно актуально использование ГИС для образования. Тем не менее, в настоящее время в этой предметной области применение ГИС недостаточно [9].

В созданной информационной системе реализован картографический анализ посредством построения карт плотностей нескольких видов. Модель подсистемы мониторинга абитуриентов представлена на рисунке 5.

Рисунок 5 - Модель ГИС-подсистемы

Разработанная информационная система «Профориентация» используется в Хакасском техническом институте - филиале Красноярского государственного технического института. В настоящий момент проводится обработка полученных данных при тестировании абитуриентов для проверки эффективности предлагаемой модели и комбинированного метода. Также профориентационную экспертную систему можно использовать в качестве практического примера в учебном курсе «Интеллектуальные информационные системы».

Автор считает, что в данной работе новыми являются следующие положения и результаты:

1. В классификатор профессий Е.А. Климова добавлена новая группа профессий, объединяющая междисциплинарные специальности.

2. Предложен комбинированный метод, использующий методы Шортлиффа и Бьюкенена, Криса-Нейлора, Демпстера-Шейфера, для учета неопределенностей в задачах профориентации.

3. Разработана модель информационной системы для поддержки профориентации в ВУЗе.

4. Создана информационная система «Профориентация», объединяющая интегрированную экспертную систему на основе выше описанного комбинированного метода, блок картографического анализа данных об абитуриентах на базе ГИС-технологий, подсистему оценки эффективности проводимой профориентационной работы в ВУЗе.

Следует отметить, что подобных информационных систем по профориентации практически нет на территории России.

Литература:

1. Фроленкова, А. Молодежную политику доверят профессионалам [Электронный ресурс] / А. Фроленкова - Учительская газета: http://www.ug.ru/issue/

2. Климов, Е.Л. Введение в психологию труда [Текст] / Е.Л. Климов — М.: Культура и спорт, ЮНИТИ, 1998.

3. Жирабок, А. Н. Нечеткие множества и их использование при принятии решений [Текст] / Жирабок А.Н. // Соросовский образовательный журнал -2001. - №2. - Том 7.

4. Панкова, Л. А. Организация экспертизы и анализ экспертной информации [Текст] / Л.А. Панкова - М., 1984.

5. Рыбина, Г.В. Модели и методы обработки недостоверных знаний в инструментальном комплексе АТ-ТЕХНОЛОГИЯ [Текст] / Г.В. Рыбина, Р.В. Душкин, Д.В. Демидов // Сборник трудов 11-го Международного научно-практического семинара. - Коломна. - 2003. - С.401-407.

6. Нейлор, К. Как построить свою экспертную систему [Текст] / К. Нейлор - М.: Энергоатомиздат, 1991. - 286 с.

7. Лыткина, Л.И. Системы искусственного интеллекта: Учеб. пособие [Текст] / Л.И. Лыткина, А.В. Саяпин - Красноярск, СибГАУ, 2004. - 93 с.

8. Романов, В.П. Интеллектуальные информационные системы в экономике [Текст] / В.П. Романов / Под ред. Н.П. Тихомирова. - М.: Экзамен, 2003.

9. Сайт ГИС-Ассоциации [Электронный ресурс] www.gisa.ru

Публикации с ключевыми словами: информационные системы - профессиональная ориентация Публикации со словами: информационные системы - профессиональная ориентация См. также:

■ IBM и Siemens Business Services модернизируют ИТ-ресурсы Вооруженных сил Германии

■ Персональная информационная система «ДОМАШНЯЯ БИБЛИОТЕКА»

■ Стандарты, регламентирующие жизненный цикл сложных комплексов программ информационных систем

■ Подходы к проектированию автоматизированных систем

■ Адаменко А.Н., Кучуков А.М. Логическое программирование и Visual Prolog.-СПб.:БХВ-Петербург, 2003.-992 стр.

■ Тэйс А. и др. Логический подход к искусственному интеллекту. От классической логики к логическому программированию: Пер. с фр. М.:Мир, 1990, 429 стр.

■ Братко И. Программирование на языке ПРОЛОГ для искусственного интеллекта: Пер. с англ. М.: Мир. 1990, 552 стр. Все публикации на ту же тему>>

Написать комментарий >>

496 с.

I ^ч

142

Журнал | Портал | Раздел Copyright © 2003 «Наука и образование. Инженерное образование» E-mail: [email protected] | тел.: +7 (495) 263-68-67

Вход для редакторов