CC BY
42
-------------------------------------------- © И.В. Степанян, 2006
УДК 622.014.3:502.76 И.В. Степанян
НЕЙРОЭВОЛЮЦИОННЫЙ ПОИСК В ЗАДАЧЕ РАСПОЗНАВАНИЯ РЕЗУЛЬТАТОВ АКУСТИЧЕСКОЙ СПИРОМЕТРИИ РАССРЕДОТОЧЕНИЕ СКВАЖИННЫХ ЗАРЯДОВ ПЕНОПОЛИСТИРОЛОМ
Семинар № 22
Я а кафедре электротехники МГГУ разработан акустический спироанализатор [5] для функциональной диагностики и мониторинга дыхания горнорабочих. Хронические обструктивные болезни легких (ХОБЛ) занимают лидирующее место по распространенности и четвертое по смертности среди заболеваний человека [3]. Именно это заболевание получило широкое распространение на предприятиях угледобывающей промышленности. Особое место в группе ХОБЛ занимает хронический бронхит. Он является причиной 80% смертельных случаев и 50% случаев инвалидности, вызванных заболеваниями бронхолегочной системы [1].
Неотъемлемой частью клинической диагностики ХОБЛ является исследование функции внешнего дыхания, которое заключается в снятии и анализе основных
спирографических показателей. При этом в современной функциональной диагностике органов дыхания ни один из традиционных методов не использует оценку функции дыхания с применением спектрального анализа. В то же время, применение методов спектрального анализа обеспечивает высокую информативность и достоверность мониторинга состояния органов дыхания, повышает оперативность спирометрического обследования.
Акустический спирометр позволяет строить кривые, характеризующие соотношение расхода измеряемого потока от времени. Поскольку прибор безынерционен и не создает препятствий измеряемому потоку, по кривым форсированного выдоха можно построить спектры дыхательных расходов (рис. 2). Эти спектры несут в себе информацию об особенностях дыхания, в частности о возможных пато-
Рис. 1. Акустический спироанализатор. Вид сбоку (слева) и в профиль (справа)
А)
Рис. 2. А) Спирограммы форсированного выдоха. На оси абсцисс отложено время, на оси ординат -расход (л/с). Для расчета времени в секундах, значение на шкале времени нужно разделить на 300
Б)
Рис. 2. Б) Набор спектров. На графиках представлена спектральная мощность в диапазоне частот от 0 до 150 Гц. На оси абсцисс отложены порядковые номера 250 элементов вектора, кодирующего спектры
Левые графики соответствуют больным, правые - здоровым
логических изменениях. При помощи акустического спироанализатора было обследовано 90 человек, среди которых 44 имеют диагноз «хронический пылевой бронхит» различной степени тяжести и другие профессиональные заболевания органов дыхания, было получено несколько десятков кривых форсированного выдоха. Анализ кривых показал, что в высокочастотной области спектра выдоха содержится информация, представляющая интерес и требующая углубленного исследования (рис. 2).
По причине большого разнообразия спектральных паттернов дыхания (как у больных профессиональными заболева-
ниями, так и у здоровых) требуются системы, которые способны не только выполнять однажды запрограммированную последовательность действий над заранее определенными данными, но и которые сами способны анализировать информацию, находить в ней закономерности, обобщать и диагностировать - т.е. системы, наделённые элементами интеллекта. В этой области приложений самым лучшим образом зарекомендовали себя искусственные нейронные сети (ИНС) - самообучающиеся системы, имитирующие деятельность нейронов коры головного мозга, а так же эволюционно-генетические алгоритмы. Обе концепции используют для
функционирования аналоги природных принципов. Вместе с концепцией искусственных нейронных сетей генетические алгоритмы образуют новое направление в искусственном интеллекте, выгодно отличаясь высоким параллелизмом при поиске решения и эффективным сужением пространства поиска в областях оптимумов. В отличие от метода линейной регрессии, широко используемой в прикладной статистике, нейронные сети позволяют эффективно обнаруживать нелинейные зависимости. Совместное использование генетических алгоритмов (ГА) и ИНС позволяет объединить адаптивные способности ГА с аналитическими возможностями ИНС [33].
Поскольку полученных спирометрических данных недостаточно для исследования всех представленных профессиональных заболеваний (различные степени тяжести хронического пылевого бронхита и другие профессиональные заболевания органов дыхания), спектры были поделены условно на два класса: “здоровые” (признаков профессиональных заболеваний не обнаружено) и “больные” (признаки профессиональных заболеваний обнаружены)”. В качестве классификатора предлагается использовать слоистые нейронные сети, обучаемые с учителем.
Рассматриваемая задача распознавания результатов акустической спирометрии является задачей классификации векторов, т.е. разбиения полученных спектров на два класса - больных и здоровых. Методы нахождения зависимости у = :Г (х) где х -вектор по экспериментальным данным, начнем рассматривать со случая, когда отображение :Г является линейным. При построении линейной регрессии по выборкам входов хьх2,...,х№ и соответствующих выходов уьу2,...,у№ строится наилучшим образом согласованная с экспериментальными данными зависимость вида
Г = Wl х + ^ х2 +... + мтхт + Wo
При этом согласованность понимают в смысле наименьших квадратов [4], т.е. ищут такие коэффициенты (веса) V0, ^1, ..., W2, ^т, что
Е = ^1 ( - ( Х1 п - ■■■- - ) = тт.
Однако линейная регрессия не всегда может адекватно отобразить экспериментальные данные. Для построения более точной модели приходится искать зависимость вида у = f (х), где :Г - нелинейное отображение. Но если об этом отображении больше ничего не известно, тогда не понятно как его искать. Таким образом, задача состоит в подборе w(wl, w2, для которого функция у = f (х, ■) наилучшим образом отображает экспериментальные данные, а также структуры самой этой функции.
Поскольку нейросети являются частным случаем нелинейной регрессии [4] и есть доказательства способностей ИНС к универсальной аппроксимации [19], то искомую функцию можно представить виде нейросети. Тогда для решения проблемы подбора весовых коэффициентов можно применять весь арсенал методов обучения нейронных сетей в частности методы нулевого, первого и второго порядков.
Что касается проблемы выбора структуры сети, то сегодня, при отсутствии дополнительных априорных соображений эта проблема решается конструктивными методами [8] или методами контрастирования [8-11]. Не смотря на то, что эти методы доказали свою практическую ценность, они не лишены недостатков. В частности они модифицируют сеть по одному пути, не используя просмотр альтернативных вариантов. Также существуют исследования, в которых для синтеза нейронных сетей используются генетические алгоритмы [12-18]. Использование генетических алгоритмов в задаче оптимизации структуры оправдано, так как такая задача является многоэкстремальной и непараметрической. Применяя для обучения и настройки структуры сети генетический алгоритм, важной особенностью которого
слой 1
Рис. 3. Слоистая сеть
является способность к адаптации, можно получить самоорганизующуюся систему с достаточно большой степенью универсальности.
Для описания алгоритмов и устройств в нейроинформатике выработана специальная "схемотехника", в которой элементарные устройства - сумматоры, синапсы, нейроны и т. п. объединяются в сети, предназначенные для решения задач [19].
В нейроинформатике важный класс архитектур ИНС составляют слоистые нейронные сети [19, 20]. Нейроны расположены в нескольких слоях (рис. 3). Нейроны первого слоя получают входные сигналы, преобразуют их и через точки ветвления передают нейронам второго слоя. Далее срабатывает второй слой и т.д. до к-го слоя, который выдает выходные сигналы. Если не оговорено противное, то каждый выходной сигнал 1-го слоя подается на вход всех нейронов 1+1-го. Число нейронов в каждом слое может быть любым и никак заранее не связано с количеством нейронов в других слоях. Общепринятый способ подачи входных сигналов заключается в том, что все нейроны первого слоя получают каждый входной сигнал, причем количество нейронов первого слоя равно количеству элементов вектора входа, кодирующего входной сигнал, а вы-
ходной слой соответствует решению задачи.
Нейронные сети могут эффективно строить сильно нелинейные регрессионные зависимости. При решении задач классификации нейронная сеть строит разделяющую поверхность в признаковом пространстве, а решение о принадлежности ситуации тому или иному классу принимается самостоятельным, не зависящим от сети устройством - интерпретатором ответа [21]. Многослойную сеть можно так же представить в виде набора матричных операций. Например в Ма1ЬаЬ сеть оформляется в виде набора матриц весов. Если перемножить матрицу весов на вектор входов, то получим вектор выходов адаптивных сумматоров нейронов слоя. Применив к каждому элементу этого вектора нелинейное преобразование - получим вектор выходов нейронов слоя. Процедуру можно повторять послойно. Для отсутствующей связи в матрице весов ставится ноль.
Использование генетических алгоритмов для одновременной настройки структуры и весов ИНС называется нейроэволюцией или нейрогенезисом (Д. Уитли, 1995). Первые работы по настройке ИНС с помощью генетических алгоритмов появились в конце 80-х годов 20 века и уже к 1994 году, согласно (Я. Аландер, 1994), по
общему количеству публикаций, начиная с 1957 года, занимали первое место, значительно опередив остальные применения ГА.
В основе ГА лежит идея использовать аналоги эволюционных механизмов для поиска решения. Как известно, основными концепциями теории эволюции являются наследственность и естественный отбор. Эти же механизмы используются генетическим алгоритмом для нахождения решения некоторой проблемы. Впервые подобный алгоритм был предложен в 1975 году Джоном Холландом (John Holland) в Мичиганском университете [31]. Этот алгоритм получил название «репродуктивный план Холланда» и лег в основу многих вариантов генетических алгоритмов. Из теории эволюции известно, что важную роль играет то, каким образом признаки родителей передаются потомкам. В генетических алгоритмах пространством поиска является пространство строк. Каждая строка кодирует соответствующую нейро-сетевую структуру (особь). Эволюция популяций - это чередование поколений, в которых хромосомы изменяют свои признаки, чтобы каждая новая популяция наилучшим способом приспосабливалась к внешней среде.
Для работы ГА используют виртуальную популяцию, где гены каждой отдельной особи являются частным решением поставленной задачи. Число генов у особи зависит от числа параметров задачи. В результате оценивания популяции каждой особи ставится в соответствие некоторая величина, которая называется приспособленностью и показывает, насколько успешно данная особь решает данную задачу, т.е. насколько её гены соответствуют поставленным условиям. Более приспособленные особи скрещиваются, из их потомков формируется новая популяция, члены которой оцениваются, затем скрещиваются и т.д. В ходе скрещивания двух особей за счет применения генетических операторов происходит обмен генетической информацией, и получившиеся по-
томки обладают как свойствами первого родителя, так и свойствами второго. Алгоритм прекращает работу в одном из следующих случаев:
• найдено решение;
• истекло установленное время работы либо число поколений;
• популяция длительное время не прогрессирует.
В результате работы ГА получается популяция, которая содержит особь, гены которой лучше генов других особей соответствуют требуемым условиям. Данная особь и будет являться найденным с помощью Г А решением. Следует отметить, что найденное решение может и не быть наилучшим, однако оно может быть близко к оптимальному.
Распространенный подход применения генетических алгоритмов предусматривает выбор способа представления генотипа нейронной сети и применение одного из генетических алгоритмов. При этом используются операции мутации и кроссовера (скрещивания) строк, кодирующих генотип. Рассмотрим подробнее эти операции.
Операции мутации предназначены для внесения разнообразия в генофонд популяции и заключаются в том, что с очень малой вероятностью биты в хромосоме заменяются случайными битами. Так же операции мутации необходимы для "выбивания" популяции из локального экстремума и способствуют защите от преждевременной сходимости. Такой эффект достигается за счет того, что каждый ген строки, которая подвергается мутации, с малой вероятностью меняется на другой ген. Значение этой вероятности является параметром генетического алгоритма.
Под классическим кроссовером понимается операция, используемая для опробования различных комбинаций генетического материала в процессе воспроизводства. Различают одноточечный и многоточечный кроссовер. При одноточечном кроссовере берутся две хромосомы потомка, на них случайным образом выбира-
ется точка, и для этой точки происходит обмен генетического материала потомков. При многоточечном (к-точечном)
кроссовере происходит тоже самое, только выбирается случайным образом к точек. Очевидно, что для различных способов представления архитектуры ИНС требуются свои операторы скрещивания и мутации. Общая цель их разработки такова, чтобы обеспечить передачу информации от родительских особей потомкам. При этом не должна происходить потеря генетической информации, полученной в результате эволюции популяции.
Для работы генетическому алгоритму необходимо представление информации о параметрах оптимизируемой системы, в данном случае нейронной сети (фенотип), в виде строки (генотип). Разработано довольно много способов кодирования структуры и весов связей нейросети. Рассмотрим варианты представления нейронных сетей в генотипе.
• Кодирование связей. Возможно использование матрицы смежности нейронов [21] или перечисление связей [22].
• Кодирование нейронов. Возможна запись данных о структуре нейросети в виде дерева [23, 24]. При кодировании информации учитываются положение нейронов в сети, входные и выходные связи, веса, вид и значение порога активационной функции.
• Кодирование слоев [25]. В генотипе записываются данные о количестве слоев и числе нейронов в каждом из них. Кодируется информация об особенностях межслойных связей для сетей со слабосвязной структурой.
• Кодирование маршрутов [26]. В генотипе записывается информация о возможных маршрутах от входных нейронов к выходным;
• Клеточное кодирование. Применяется специальная грамматика, описывающая образование нейронной сети как
аналог процесса параллель-ного и последовательного клеточного деления [27].
• В алгоритме SANE [28] оцениваются разные комбинации особей, составляющие различные нейросети. В генотипе особи кодируется информация об отдельном нейроне. При этом суммарное количество входных и выходных связей для каждого нейрона фиксировано. Для создания нейронной сети случайно [28], либо по некоторому правилу [29] из популяции выбираются различные особи.
Поскольку основной способ получения потомства в генетическом алгоритме - это комбинация (кроссовер) существующих особей, в нейроэволюционном поиске возникают некоторые проблемы. Например, одной из основных проблем является проблема пермутаций (permutation problem) [30]. Проблема заключается в том, что одна и та же ИНС может быть представлена в генотипе различным способом.
Если родительские особи представляют сети, изображенные на рис. 4, причем веса связей у скрытых нейронов с одинаковыми метками равны, то получающиеся потомки будут, вероятнее всего, содержать в скрытом слое нейроны АВВ и АСС с соответствующими им связями. Скрещивание таких сетей практически бесполезно. Еще одна проблема связана с тем, что в случае применения классического кроссовера при порождении новых генотипов могут появляться генотипы, которые при выбранной схеме кодирования нельзя поставить в соответствие никакому фенотипу. Также, при использовании классического кроссовера, остается низкой вероятность получения более приспособленного генотипа. В результате возрастает число просматриваемых вариантов генотипов, что как следствие, ведет к большим вычислительным затратам.
Рис.4. Проблема пермутаций
В работе [6] предлагается не конвертировать ИНС в генотип, а выполнять преобразования структуры напрямую. Этим решаются проблемы, возникающие при эволюционном поиске топологии нейронной сети. Предлагаемые методы скрещивания не требуют сложного анализа структуры ИНС. Поиск осуществлялся среди строк нефиксированной длины. В реализации операции кроссовера, потомок формировался как конкатенация целых строк первого и второго родителя. Предлагается использовать объединение независимо обученных ИНС в коллектив с повторным обучением. В предсказаниях всегда лучше опираться на средние значения всего коллектива нейросетей. Можно вместо среднего использовать взвешенное мнение сетей-экспертов. Веса выбираются адаптивно, максимизируя предсказательную способность коллектива на обучающей выборке. В итоге, хуже обученные сети из коллектива вносят меньший вклад и не портят предсказания. Можно пойти еще дальше, объединив коллектив ИНС в единую сеть, направив
выходы нейро-экспертов на вход общих выходных нейронов. Полученную сеть обучают повторно, используя в качестве начальных весов, веса нейро-экспертов. В ходе обучения эксперты получают информацию о других экспертах через обратный сигнал ошибки. Происходит подстройка отдельных экспертов на максимизацию качества работы всего коллектива. Одна из особенностей такого подхода заключается в том, что в результате возможности удаления связей мутацией и принципа реализации кроссовера можно выделять неинформативные входы (рис. 5).
В результате проведенной работы были проведены две серии экспериментов. В первой серии сравнивались горнорабочие с проф. патологиями органов дыхания со здоровыми горнорабочими. Во второй серии сравнивались заведомо здоровые люди, не работающие в шахтах с горнорабочими, имеющими профессиональные патологии органов дыхания. Результаты представлены в таблице.
Рис. 5. Набор спектральных паттернов обследованных людей. Вертикальными линиями отмечены значимые для выявления патологий признаки (частоты), полученные с помощью нейроэволюцион-ного поиска. На графике представлена спектральная мощность в диапазоне частот от 0 до 150 Гц. На оси абсцисс отложены порядковые номера 250 элементов вектора, кодирующего спектры
Результаты проведенных серий экспериментов
Достоверность распознавания
Общая Здоровые Больные
Серия 1 72.5 % 72 % 73%
Серия 2 99.5% 99 % 100%
В ходе эволюционной оптимизации было перебрано свыше 104 вариантов структур нейронных сетей. Ошибка сети на одном примере определялась после того, как она обучалась на всех остальных примерах [32]. Сеть оценивалась по сумме ошибок на всех примерах. Среди рассмотренных вариантов была отобрана сеть с наименьшей ошибкой на примерах. Поло-
жительный выход сети интерпретируется как отнесение спектра к классу “больные”.
Так как полученная в ходе эволюционной оптимизации нейронная сеть использует не все элементы вектора, кодирующего спектр, можно предположить, что те частоты, которые сеть использует для распознавания спирометрических данных, содержат в себе признаки наличия или отсутствия профессиональных заболеваний пылевой этиологии. Зная нумерацию нейронов и учитывая, что по данным акустического спироанализатора можно построить спектры в диапазоне от 0 до 150 Гц, можно вычислить эти частоты. Информативные частоты показаны на рис. 5 вертикальными линиями.
СПИСОК ЛИТЕРАТУРЫ
1. Марчук Г. И., Бербенцова Э. П. // Хронический бронхит. Иммунология, оценка тяжести, клиника, лечение. - М: Ред. журнала Успехи физиологических наук. - 1995. - 479 с.
2. Горбань А.Н., Дунин-Барковский В.Л., Кир-дин А.Н. и др. / Нейроинформатика - Новосибирск: Наука. Сибирское предприятие РАН, 1998.
- 296 с.],
3. Хронические обструктивные болезни легких. Федеральная программа.// Рус. мед. журн. Том 9, №1, 2001.
4. Тархов Д.А. Нейронные сети. Модели и алгоритмы.Кн.18. -М:Радиотехника,2005.-256с.
5. Шкундин С.З., Румянцева В.А. Повышение точности измерения скорости воздушного потока акустическим анемометром. // Измерительная техника, №1, 2001, C. 54-57.
6. Хомич А.В., Степанян И.В., Карпишук А. В. Диагностика хронического пылевого бронхита по данным акустической спирометрии с применением блочных нейронных сетей // Информационные процессы Том 5, №5, 2005 С. 405-413
7. Обучение нейронных сетей: Методы, алгоритмы, тестовые испытания, примеры приложения / С.Е. Гилев // Дисс. канд. физ.-мат.наук. Красноярск: КГТУ, 1997.- 187 с.
8. Горбань А.Н. Обучение нейронных сетей. М.: изд. СССР-США СП "ParaGraph", 1990.160 с.
9. Царегородцев В.Г. Упрощение нейронных сетей - цели, идеи и методы // Нейрокомпьютеры. - 2002. - № 4.- С. 5-13.
10. Горбань А.Н., Царегородцев В.Г. Методология производства явных знаний из таблиц данных при помощи обучаемых и упрощаемых искусственных нейронных сетей // Труды VI Международной конференции "Математика. Компьютер. Образование". - М.: Прогресс-традиция, 1999. - Ч. I.-С. 110-116.
11. Царегородцев В. Г. Извлечение явных знаний из таблиц данных при помощи обучаемых и упрощаемых искусственных нейронных сетей // Проблемы нейрокибернетики // (Материалы XII Международной конференции по нейрокибернетике. Ростов-на-Дону, 1999). - Ростов-на-Дону. Изд-во СКНЦ ВШ, 1999.-С. 245-249.
12. Whitley D. Genetic Algorithms and Neural Networks, Genetic Algorithms in Engineering and Computer Science. pp: 203-216, 1995.
13. Вороновский Г.К. Махотило К.В. Пет-рашев С. Н. Сергеев С. А. Генетические алгоритмы, искусственные нейронные сети и проблемы виртуальной реальности Харков: ОСНОВА, 1997.-107 с.
14. Balakrishan K., Honavar V. Evolutionary Design of Neural Architectures - A Preliminary Tax-
onomy and Guide to Literature. Iowa State University, CS TR #95-01, 1995.
15. Stanley K., Miikkulainen R. Evolving Neural Topologies through Augmenting Topologies, Evolutionary Computation 10(2): 99-127, The MIT Press, 2002.
16. Yao X. Evolving articial neural networks. Proceedings of the IEEE, 87(9):1423.1447, 1999.
17. Zhang B. and Muhlenbein H. Evolving optimal neural networks using genetic algorithms with Occam's razor. Complex Systems, 7:199.220, 1993.
18. Хомич А.В., Жуков Л.А Оптимизация топологии рекуррентных и многослойных нейронных сетей с применением генетических алгоритмов // Нейроинформатика-2004. Сборник научных трудов. Ч.2. М.: МИФИ, 2004.-С.68-74
19. Горбань А.Н., Дунин-Барковский В.Л., Кирдин А.Н. и др. Нейроинформатика Новосибирск: Наука, 1998
20. Горбань А.Н., Россиев Д.А. Нейронные сети на персональных компьютерах. Н.: Наука, 1996 .- 276 с.
21. Law D., Miikkulainen R. Grounding Robotic Control with Genetic Neural Networks. Technical Report AI94-223. - The University of Texas at Austin, 1994.
22. Stanley K.O., Miikkulainen R. Evolving Neural Network through Augmenting Topologies. Technical Report TR-AI-01-290. - The University of Texas at Austin, 2001.
23. Koza J.R., Rice J.P. Genetic generation of both the weight and architecture for a neural network. // International Joint Conference on Neural Networks.
- 1991. - Vol. 2, Р. 397-404.
24. Koehn P. Genetic Encoding Strategies for Neural Networks. - University of Tennessee - Uni-versitat Erlangen-Nurnberg, Erlangen, 1996.
25. Harp S.A., Samad T., Guha A. Towards the genetic synthesis of neural networks. // Third international conference on genetic algorithms. -San Mateo, CA: Morgan Kaufmann, 1989. - Р. 360-369.
26. Jacob C., Rehder J. Evolution of neural networks architectures by a hierarchical grammar based genetic system. //International Joint Conference on Neural Networks and Genetic Algorithms. - Innsbruck, 1993. - Р. 72-79.
27. Gruau F. Genetic synthesis of Boolean neural networks with a cell rewriting developmental process. // Combination of Genetic Algorithms and Neural Networks, IEEE Computer Society Press, 1992.
28. Moriarty D.E., Miikkulainen R. Efficient reinforcement learning through symbiotic evolution. // Machine Learning. -1996. - № 22. - Р. 11-32.
29. Gomez F., Miikkulainen R. Incremental evolution of complex general behavior. // Adaptive Behavior. -1997. - №5. - Р. 317-342.
30. Radcliffe N.J. Genetic Neural Networks on MIMD computers. Doctoral dissertation. - University of Edinburgh, Edinburgh, England, 1990.
31. John Holland, Genetic Algorithms, Scientific American, July 1992, Vol. 267, No 1
32. Обучение нейронных сетей: Методы, алгоритмы, тестовые испытания, примеры прило-
жения / С.Е. Гилев // Дисс. канд. физ.-мат.наук. Красноярск: КГТУ, 1997.- 187 с.
33. Цой Ю.Р. Разработка генетического алгоритма настройки искусственной нейронной сети. Томский политехнический университет, Томск, 2004г. Пояснительная записка к выпускной квалификационной работе
Коротко об авторах ___________________________________________________________
Степанян И.В. - кафедра электротехники, Московский государственный горный университет.
------------------------------------- ДИССЕРТАЦИИ
ТЕКУЩАЯ ИНФОРМАЦИЯ О ЗАЩИТАХ ДИССЕРТАЦИЙ ПО ГОРНОМУ ДЕЛУ И СМЕЖНЫМ ВОПРОСАМ
Автор Название работы Специальность Ученая степень
ТАШКЕНТСКИЙ ГОСУДАРСТВЕННЫЙ ТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ
ИБРАГИМОВА Саодат Абдумуминовна Экономическая эффективность использования техногенных ресурсов (на примере горнодобывающих предприятий Узбекистана) 08.00.04 к.э.н.
НАВОИЙСКИЙ ГОСУДАРСТВЕННЫЙ ГОРНЫЙ ИНСТИТУТ
ХОЛИКУЛОВ Дониёр Бахтиерович Очистка молдибденового концентрата от меди 05.15.08 к. т. н.
