CC BY
15
следовательностей, описываемых различными NARMA-уравнениями с неизвестными параметрами. В результате обучения сеть обеспечивает оптимальное на классе данных моделей прогнозирование, при этом, если вместо нейронов первого скрытого слоя использовать стандартные структуры прогнозирующих сетей типа MLP, RBFN, SOM и т.п., можно говорить об оптимальном на ансамбле нейросетей [14] прогнозе. С вычислительной точки зрения подобная метанейросеть не намного сложнее рассмотренной выше, поскольку программы, реализующие стандартные архитектуры, входят в состав многих некоммерческих пакетов прикладных программ [15].
ПЕРЕЧЕНЬ ССЫЛОК
1. Wong F.S. Time series forecasting using backpropagation neural networks // Neurocomputing. - 1990/91. - 2. - P. 147159.
2. Groot de C., Wuertz D. Analysis of univariate time series with connectionist nets: A case study of two classical examples // Neurocomputing. - 1991. - 3. - P. 177-192.
3. Connor J.T., Martin R.D., Atlas L.E. Recurrent neural networks and robust time series prediction // IEEE Trans. Neural Networks. - 1994. - 5. - N2. - P. 240-254.
4. Saxen H. Nonlinear time series analysis by neural networks. A case study // Int. J. Neural Systems. - 1996. - 7. - N2. - P.
195-201.
5. Madhavan P.G. A new recurrent neural network learning algorithm for time series prediction // J. of Intelligent Systems. -
1997. - 7. - N1, 2. - P. 103-116.
6. Yu H.-Y., Bang S.-Ya. An improved time series prediction by applying the layer-by-layer learning method to FIR neural networks // Neural Networks. - 1997. - 10. - N9. - P. 1717-1729.
7. Nie J. Nonlinear time-series forecasting: A fuzzy-neural approach // Neurocomputing. - 1997. - 16. - P. 63-76.
8. Billings S.A., Hong X. Dual-ortogonal radial basis function networks for nonlinear time series prediction // Neural Networks. - 1998. - 11. - P. 479-493.
9. Conway A.J. Macpherson K.P., Brown J.C. Delayed time series prediction with neural networks // Neurocomputing. - 1998. -18. - P. 81-89.
10. Бодянский E.B. Адаптивные алгоритмы идентификации нелинейных объектов управления // АСУ и приборы автоматики. - 1987. - Вып. 81. - С. 43-46.
11. Бодянский E.B. Обнаружение разладок в нелинейных стохастических последовательностях с помощью рекуррентных искусственных нейронных сетей // Проблемы бионики. -
1998. - Вып. 49. - С. 23-33.
12. Bodyanskiy Ye.V., Vorobyov S.A., Stephan A. Detection of NARMA-sequence order using recurrent artificial neural networks // Proc. of European Control Conference ECC'99. -Karlsruhe, Germany, 1999. - CD-ROM.
13. Бодянский E.B. Автоматическое обнаружение разладок с помощью искусственной нейронной метасети // Проблемы бионики. - 1998. - Вып. 49. - С. 34-38.
14. Sharkey A.J.C. On combining artificial neural nets // Connection Science. - 1996. - 8. - N3, 4. - P. 299-313.
15. Braun H., Feulner J., Malaka. R. Praktikum Neuronale Netze. Berlin: Springer-Verlag, 1996. - 242 P.
Надшшла 06.03.2000 П1сля доробки 10.03.2000
УДК 621.3.049.77.002:519.24
МЕТОД ПОВЫШЕНИЯ ЭФФЕКТИВНОСТИ ГРАНИЧНОГО ВЫБОРОЧНОГО
КОНТРОЛЯ
А. Ю. Долгов
Предлагается метод повышения эффективности прогнозирования (оценок) величины брака в принятых пластинах при граничном выборочном контроле качества кристаллов интегральных микросхем.
The method of increase of a forecasting effectiveness (ratings) of a spoilage size in the accepted plates at boundary selective quality surveillance of integrated microcircuits crystals is offered.
Граничный контроль [1] является основным методом контроля качества при производстве кристаллов интегральных микросхем. Основой метода является выборка малого объема (обычно n=5, иногда и=10), по которой следует судить о качестве кристаллов на пластине, содержащей от 400 до 4000 потенциально годных изделий. Такой малый объем выборки связан с количеством тестовых ячеек на пластине, которые имеют другую структуру, чем рабочие ячейки, и количество которых не может быть увеличено без ущерба для выхода годных. Но этот малый объем контрольной выборки исключает применение классических методов статистического контроля по количественному признаку [2], хотя сам по себе является достаточно эффективным. Так при реша-
ющем правиле "5 из 5" (т.е. при попадании всех пяти измеренных величин в норму по конструкторской документации) точность прогноза выхода годных, т.е. величина возможного брака на принятых пластинах, колеблется от 0 до 69 %, а при решающем правиле "3 из 5" -от 15 до 85% [1]. Такие точности не могут удовлетворить производство, однако метод остается по прежнему востребованным, так как не имеется другого столь же простого в применении на практике, а для классических методов контроля, как уже упоминалось, не хватает объема выборки.
Классический метод прогнозирования состоит в том, что определяются квантили граничных значений по норме конструкторской документации относительно среднего арифметического контрольной выборки, нормированные среднеквадратическим отклонением этой же выборки. По квантилям с помощью закона распределения Стьюдента определяются вероятности, лежащие вне границ нормы, которые затем складываются в прогнозируемый брак. Анализ этого метода прогнозирования брака показал, что слишком большой разброс между минимальным и максимальным значениями брака при одних
64
"Радюелектронжа, шформатика, управлшня" № 1, 2000
А. Ю. Долгов: МЕТОД ПОВЫШЕНИЯ ЭФФЕКТИВНОСТИ ГРАНИЧНОГО ВЫБОРОЧНОГО КОНТРОЛЯ
Таблица 1 - Величина прогнозируемого брака (%) на пластине с пятью тестовыми ячейками при СКО повышенной эффективности
Число измерений, не выходящих за пределы нормы, т
Прог. брак Расчет СКО т = 5 т = 4 т = 3
у=1,0 у=0,7 у=0,5 у=1,3 у=1,0 у=0,7 у=0,5 у=2,0 у=1,0 у=0,7 у=0,5
мин. (1) (2) (3) (4) (5) 5,3 15,4 24,2 32,2 67,7 1,1 5,2 10,0 15,4 55,2 0,1 1,1 2,8 6,4 41,0 12,0 23.8 31.9 39,1 71,6 5,5 15.7 24,5 32,5 67.8 2,9 8,7 14.4 19,8 56.5 2,8 8,0 12.5 16,4 44.6 31,2 47,0 55,0 61,8 83,6 16,0 25.8 32,2 37.9 68,4 15.7 23.8 28,4 32,2 58.9 15,6 29.6 27.8 30.9 49.7
Наи-веро-ят-ней-ший (1) (2) (3) (4) (5) - 2,4 6,0 11,1 17,0 55,5 2,1 3.8 6.9 10,7 42,9 12,9 27,3 36,2 43,8 73,2 7,9 18,1 26,2 33,2 67,9 7,0 14,6 19,8 25,0 58,2 6,9 14,2 18,7 22,9 48,6 37,4 50,1 57,0 62,3 83,8 30,6 36,9 40,8 44,4 69,2 30.5 36,0 38.6 40,8 60,2 30.5 35,1 38,3 40,0 52.6
Макс (1) (2) (3) (4) (5) - 2,8 8,5 14.1 19,6 56.2 2.7 7.8 12,3 16,2 44,1 17,9 30,7 38,9 45,4 75,2 15,9 25,6 31,9 37,5 68,1 15.6 23.7 28,2 31,9 58,5 15,5 23.5 27.6 30.7 49,1 52,7 58,1 61,9 66,9 84,3 50,0 50.5 51,4 52,9 70.6 50,0 50,0 50,2 50,5 62,2 50,0 50,0 50,0 50,0 55,5
и тех же условиях его выявления сложился из двух составляющих: объективно (реально) существующего брака (может быть выявлен при стопроцентном контроле) и субъективной неточностью (ошибкой, разбросом) методов расчета, главный вклад в которую вносит ошибка определения среднеквадратичного отклонения.
Согласно [3] ошибка в определении среднеквадрати-ческого отклонения при объеме выборки п=5 может составить свыше 34 %, что приводит к дополнительной ошибке в определении прогнозируемого брака только за счет неточностей расчета по формулам до 40 % от полученной цифры прогноза. Для уменьшения этой ошибки предлагается воспользоваться идеей определения параметров выборки малого объема более эффективной, чем классические методы расчета [4]. Она была доработана в [5] и превратилась в алгоритм расчета, при котором относительная ошибка определения средне-квадратического определения уменьшилась до 18 %, а ошибка вычисления прогнозируемого брака соответственно до 21 %. Результаты расчетов по предложенной схеме представлены в таблице 1.
В этой таблице графа "Прогнозируемый брак" предусматривает три случая расположения чисел выборки относительно границ нормы: когда крайнее число находится в близи границы с внутренней стороны нормы, когда оно находится с внешней стороны нормы и промежуточное (наивероятнейшее) расположение. Графа "Расчет СКО" показывает пять вариантов расчета величины среднеквадратического отклонения по различным фор-
мулам (минимальное, максимальное и наивероятнейшее значения СКО, вычисленные через размах выборки, СКО, вычисленное по формуле Лежандра, и СКО, вычисленное по методике [5] ).
Анализ таблицы показывает, что прогнозируемый брак в случае решающего правила "5 из 5" лежит в пределах от 0 до 56 %, а в случае решающего правила "3 из 5" от 15 до 85 %. Сравнение с результатами расчетов по классическим методам позволяет сделать вывод, что уменьшение величины прогнозируемого брака для решающего правила "5 из 5" произошло за счет повышения эффективности расчетных формул, в то время как доля реального брака осталась неизменной. Такое же сравнение для решающего правила "3 из 5" показывает совпадение результатов, что означает пренебрежимо малую долю ошибки за счет неточности расчетных формул и основную долю в виде реально существующего брака.
Интересно также отметить существенную разницу в величине прогнозируемого брака при расчетах по разным формулам СКО (соотношение максимального и минимального брака достигает 50 раз). Это свидетельствует о минимаксных границах прогнозирования, которые по теории вероятности достигаются лишь в трех-пяти случаях из тысячи. Из практических соображений наиболее удобно пользоваться вероятностными формулами расчета СКО, из которых наибольший интерес представляет собой формула (3), взятая из работы [5]. На наш взгляд, она приводит к
результатам прогноза, наиболее близко совпадающих с реальным браком. Считаем целесообразным рекомендовать для практических целей пользоваться результатами расчетов именно по этой формуле.
ПЕРЕЧЕНЬ ССЫЛОК
1. Долгов Ю,А, Анализ граничного метода контроля качества кристаллов ИМС при выборке малого объема // Технология и конструирование в электронной аппаратуре. - 1992. -
Вып. 4. - С. 26-30.
2. Статистический приемочный контроль по количественному признаку. Планы контроля: ГОСТ 20736-75 (СТ СЭФ 167279). - М.: Изд-во стандартов, 1982. - 120 с.
3. Шор Я,Б, Статистические методы анализа и контроля качества и надежности. - М.: Сов. радио, 1962. - 552 с.
4. Гаскаров Д,В,, Шаповалов В,И, Малая выборка. -М.: Статистика, 1978. - 248 с.
5. Долгов Ю,А, Статистический контроль качества продукции при выборках малого объема // Технология и конструирование в электронной аппаратуре. - 1993. - Вып.2. - С.17-21.
Надшшла 12.04.99 Шсля доробки 17.05.99
УДК 007:159,955:519,72
АНАЛИЗ ПАРАМЕТРИЧЕСКОЙ ПЛАСТИЧНОСТИ МНОГОСЛОЙНЫХ
НЕЙРОННЫХ СЕТЕЙ
А. Ю. Дорогов
В статье рассматриваются многослойные нейронные сети прямого распространения. Пластичность нейронной сети оценивается числом степеней свободы нелинейного оператора. Вводится понятие структурной модели сети, как ориентированного графа, для которого определены весовые функции вершин и дуг. На основе структурной модели получены аналитические выражения для расчета числа степеней свободы. Приведены примеры расчета степени пластичности для двухслойных нейронных сетей.
Multilayer feedforward neural nets are researched on the paper. Plasticity of neural net is estimated by freedom degrees of nonlinear operator. Structure models of neural net are suggested. Model is represented by oriented graph with weighted arcs and nodes. Analytic expressions for calculation of freedom degrees are resulted on base of structure model. Examples of two-layers neural nets are given.
ВВЕДЕНИЕ
Многослойные сети прямого распространения широко используются в задачах распознавания образов, аппроксимации функций, системах адаптивного управления [1,2]. Для сетей подобного вида предложен ряд эффективных алгоритмов обучения, среди которых наибольшую известность получил алгоритм Error Back propagation [3], основанный на рекуррентном использовании градиентного метода поиска экстремума. При практическом использовании нейронных сетей, неизбежно, возникает вопрос выбора структуры сети. Для многослойных сетей прямого распространения необходимо определить количество слоев в сети и количество нейронов в каждом слое. Существует ряд рекомендаций по выбору структуры, основанных на эмпирическом исследовании сетей. Но любое экспериментальное исследование неразрывно связано с конкретной задачей, поэтому трудно ожидать, что рекомендации будут пригодными как для задач распознавания, так и, например, для задач аппроксимации функций. По-види-
мому, для каждой прикладной области существует свой набор критериев, которые следует использовать при выборе структуры. Тем не менее, можно выделить критерии, общие для различных приложений. Одним из таких критериев может служить способность нейронной сети к обучению. Интуитивно можно предположить, что чем больше "знаний" способна поглотить сеть, тем лучшими свойствами она будет обладать при использовании в конкретной задаче. Способность к обучению (в литературе часто используется удачный термин "пластичность") целесообразно оценивать числом независимых настроек, существующих в сети. Это значение, как правило, меньше чем полное количество синаптических весов, подвергающихся изменению в процессе обучения сети. (Исключением является однослойный персептрон, для которого соблюдается равенство.) В механике для оценки числа независимых координат используется понятие "число степеней свободы". Близкую аналогию можно провести и для нейронных сетей. В самом деле, нейронную сеть можно представить как нелинейный оператор, осуществляющий преобразование входного вектора в выходной. Полное множество операторов образует многомерное пространство, в котором каждый оператор можно рассматривать как некоторую материальную точку. Изменение синаптических весов нейронной сети приводит к перемещению точки-оператора в пространстве операторов. Следуя далее механической аналогии, будем называть число независимых координат, необходимое и достаточное для однозначного определения местоположения точки-оператора в пространстве операторов, числом степеней свободы нейронной сети. Класс операторов, порождаемых изменением синаптических весов, образует некоторую поверхность (многообразие) в пространстве операторов. Число степеней свободы, по существу, определяется размерностью минимального про-
66
"Радюелектрошка, ¡нформатика, управлшня" № 1, 2000
