CC BY
42
ФУНДАМЕНТАЛЬНЫЕ ОСНОВЫ ПРОБЛЕМ НАДЕЖНОСТИ И КАЧЕСТВА
FUNDAMENTALS OF RELIABILITY
AND QUALITY ISSUES
УДК 004.838.2
doi:10.21685/2307-4205-2021-1-1
СИЛЬНЫЙ ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ: ПОВЫШЕНИЕ КАЧЕСТВА НЕЙРОСЕТЕВЫХ РЕШЕНИЙ С ПЕРЕХОДОМ К ОБРАБОТКЕ ВХОДНЫХ ДАННЫХ БОЛЬШОГО ОБЪЕМА
А. И. Иванов1, И. А. Кубасов2
1 Пензенский научно-исследовательский электротехнический институт, Пенза, Россия 2 Академия управления МВД России, Москва, Россия 1 ivan@pniei.penza.ru, 2 igorak@list.ru
Аннотация. Актуальность и цели. Исследованы пути решения актуальной задачи перевода приложений «слабого» искусственного интеллекта в приложения «сильного» искусственного интеллекта, применяемые в интересах повышения надежности и качества сложных технических систем. Обоснована возможность повышения качества нейросетевых решений с переходом к обработке входных данных большого объема. Материалы и методы. Выполнена оценка влияния количества входных и выходных размерностей искусственной нейросети на качество принимаемых решений. Предложено решение задачи нейросетевого анализа путем симметризации по коэффициентам корреляции входных данных. Результаты. При планировании сочетания применения естественного и искусственного интеллектов, позволяющих повысить надежность и качество сложных технических систем, предложена количественная оценка корреляционной связи категорий «большие данные» и «сильный» искусственный интеллект. Высказана простая гипотеза связывания этих двух значимых категорий. Вывод. Представлена оценка уровня вероятности ошибок, характерных для «сильного» эксперта-человека при его доступе к реальным данным ограниченной размерности п. Даны рекомендации по достижению желаемого уровня снижения вероятностей ошибок или заданию желаемого уровня увеличения объема принимаемых во внимание исходных данных. В итоге получен прогноз того, как связаны между собой эти два параметра, подлежащих регулированию (планированию).
Ключевые слова: искусственный интеллект, нейронные сети, качество нейросетевых решений, большие данные
Для цитирования: Иванов А. И., Кубасов И. А. Сильный искусственный интеллект: повышение качества нейросетевых решений с переходом к обработке входных данных большого объема // Надежность и качество сложных систем. 2021. № 1. С. 9-16. ао1:10.21685/2307-4205-2021-1-1
© Иванов А. И., Кубасов И. А., 2021. Контент доступен по лицензии Creative Commons Attribution 4.0 License / This work is licensed under a Creative Commons Attribution 4.0 License.
STRONG ARTIFICIAL INTELLIGENCE: IMPROVING THE QUALITY OF NEURAL NETWORK SOLUTIONS WITH THE TRANSITION TO PROCESSING INPUT DATA OF A LARGE VOLUME
A.I. Ivanov1, I.A. Kubasov2
1 Penza Research Electrotechnical Institute, Penza, Russia 2 Academy of Management of the Ministry of Internal Affairs of Russia, Moscow, Russia 1 ivan@pniei.penza.ru, 2 igorak@list.ru
Abstract. Background. The article examines the ways to solve the actual problem of translating applications of "weak" artificial intelligence into applications of "strong" artificial intelligence, used in the interests of improving the reliability and quality of complex technical systems. The possibility of improving the quality of neural network solutions with the transition to processing large-volume input data is justified. Materials and methods. The influence of the number of input and output dimensions of an artificial neural network on the quality of decisions made is estimated. The solution of the problem of neural network analysis by means of symmetrization by correlation coefficients of input data is proposed. Results. When planning a combination of the use of natural and artificial intelligence to improve the reliability and quality of complex technical systems, a quantitative assessment of the correlation between the categories of "big data" and "strong" artificial intelligence is proposed. The article presents a simple hypothesis of linking these two significant categories. Conclusion. An estimate of the probability level of errors characteristic of a "strong" human expert when accessing real data of bounded dimension n is presented. Recommendations are given for achieving the desired level of reducing the probability of errors or setting the desired level of increasing the volume of input data taken into account. As a result, a forecast of how these two parameters that are subject to regulation (planning) are related to each other is obtained.
Keywords: artificial intelligence, neural networks, quality of neural network solutions, big data
For citation: Ivanov A.I., Kubasov I.A. Strong artificial intelligence: improving the quality of neural network solutions with the transition to processing input data of a large volume. Nadezhnost' i kachestvo slozhnykh sistem = Reliability and quality of complex systems. 2021;1:9-16. (In Russ.). doi:10.21685/2307-4205-2021-1-1
Введение
«Сильным» искусственным интеллектом предлагается признавать искусственный интеллект, качество решений которого сопоставимо или выше качества решений, принимаемых «сильным» специалистом. Очевидно, что «сильных» специалистов в любой области не так много. В этом контексте мобилизационный ресурс всегда ограничен. Замещение одного или нескольких «сильных» специалистов временно или постоянно приложениями «сильного» искусственного интеллекта рассматривается как желательная мера. Горячий резерв всегда выгоден, поэтому при планировании маневров применения естественного и искусственного интеллектов в каждом конкретном случае целесообразно уметь количественно определить связь категорий «большие данные» и «сильный» искусственный интеллект.
Входные и выходные размерности нейросетевых решающих правил
Нейронные сети (естественные и искусственные) отличаются от решающих правил линейной алгебры высокой входной размерностью. В головах людей есть естественные нейроны, имеющие до 10 000 входов [1]. Это означает, что обычный человек на уровне подсознания теоретически способен решать 10 000-мерные задачи довольно быстро (за 0,05 с). Это при том, что если записать некоторую функцию F(x1, x2, ..., x10 000) с простым перечислением всех переменных (без многоточия), то потребуется примерно 10 страниц рукописного текста!
Чем выше входная размерность искусственной нейросети, тем искусственный интеллект «сильнее». «Слабый» искусственный интеллект имеет низкую входную размерность и принимает решения по качеству хуже решений «сильных» специалистов. Как пример, можно рассматривать графологический анализ рукописных текстов. Графологи анализируют данные, используя всего 16 параметров. Нейросетевые приложения искусственного интеллекта, обученные анализировать 16 классических графологических параметров, будут относиться к «слабому» искусственному ин-
теллекту, так как человек, имеющий значительный опыт графологической экспертизы, всегда будет «сильнее» малоразмерных приложений искусственного интеллекта. В условиях, когда человек и искусственный интеллект вынуждены анализировать одни и те же малоразмерные данные (поставлены в одинаковые условия), выигрывает всегда человек, т.е. он «сильнее».
Ситуация кардинально меняется, если искусственный интеллект поставлен в более выгодное положение, чем человек - эксперт. Эта ситуация отражена на рис. 1. Особенность ситуации состоит в том, что эксперты обучались анализировать «мертвые» рукописные надписи, когда-то и кем-то оставленные на бумаге. Фактически речь идет о решении задачи анализа статических данных (некоторой функции, fx, y) - зафиксированной траектории движения пера на бумаге). Однако статическая картинка - это достаточно «бедный» источник информации о почерке человека.
Рис. 1. Малая и большая нейросети, анализирующие соответственно 16 и 416 входных биометрических
параметров рукописного почерка
В настоящее время появилась возможность анализа динамики воспроизведения рукописных данных1, например, вводимых с графического планшета или через чувствительный экран планшетного компьютера2. Принципиальным отличием является то, что биометрических данных оказывается много (возникает эффект «больших данных»), вместо 16 классических графологических параметров «мертвой» статической надписи появляются 416 параметров динамики движения пера в двух координатах х(0 и у(0 как функций времени [2, 3].
Рассматриваемая ситуация интересна тем, что «сильные» графологи ошибаются намного чаще приложений искусственного интеллекта, анализирующего динамику рукописного почерка. Приложения искусственного интеллекта оказываются в более выгодных условиях в сравнении с людьми -графологами, обученными ранее распознавать и классифицировать только статические «мертвые» следы пера на бумаге. Скорее всего, если графологов поставить в равные условия с «сильным» искусственным интеллектом, то люди научатся учитывать новые аспекты динамики воспроизведения рукописных слов. Правда, в этом случае переучивать графологов на анализ динамики почерка нет смысла. Сегодня гораздо выгоднее снабдить экспертов-графологов новыми приложениями, преобразующими классическую статику «мертвой» подписи в дополнительную псевдодинамику [4-6].
1 ГОСТ Р ИСО/МЭК 19794-7 2006. Автоматическая идентификация. Идентификация биометрическая. Форматы обмена биометрическими данными. Часть 7. Данные динамики подписи. М., 2006.
2 ГОСТ Р 52633.5-2011. Защита информации. Техника защиты информации. Автоматическое обучение нейросетевых преобразователей биометрия-код доступа. М., 2012.
Тогда «сильные» специалисты станут еще сильнее, вооружившись нейросетевым искусственным интеллектом анализа псевдодинамики, извлеченной из статического скана «мертвой» подписи бумажного юридически значимого документа.
Также следует отметить, что на рис. 1 отображена характерная для сегодняшних технологий биометрического анализа ситуация, когда программные приложения могут отличаться входной и выходной размерностью. Различия по входной размерности приложений принципиально важны. При одинаковом качестве входных данных приложение искусственного интеллекта будет «более сильным», чем больше входная размерность.
Совершенно иная ситуация возникает при анализе выходной размерности приложений искусственного интеллекта. Количество классов, на которые нейросеть дробит пространство своих выходных кодовых состояний, не имеет значения. Это не более чем технологический момент стыковки теории с уже созданными приложениями защиты информации средствами нейросетевой биометрии [7]. Для того, чтобы огромное число классов (2256 классов) большой нейросети в нижней части рис. 1 сократить до малого числа классов малой нейросети в верхней части рисунка, достаточно написать некоторый цифровой логический автомат, объединяющий между собой близкие к друг другу классы. Это тривиальная задача.
Нейросетевой анализ по входным данным
При анализе биометрических данных рукописного почерка хорошо работает гипотеза нормального распределения случайных величин, как это показано на рис. 2 [8].
Рис. 2. Разный уровень информативности биометрических параметров
Для любого биометрического параметра с нормальным распределением можно воспользоваться инженерным правилом «трех сигм», т.е. случайные значения любого V; биометрического параметра с доверительной вероятностью 0,997 будут попадать в определенный интервал:
А - Е(и) ± 3с(уг), (1)
где Е(уг) - математическое ожидание vг-го биометрического параметра; о(у^) - стандартное отклонение vг-го биометрического параметра.
Это означает, что вероятность ошибок первого рода (ложный отказ в распознавании параметра «Свой») составит Р\ — 0,003. При этом вероятности ошибок второго рода (ложное принятие
«Чужого» за «Своего») для разных биометрических параметров будут разными, как это показано на рис. 2.
Биометрический параметр следует считать более информативным, если он обеспечивает низкую вероятность ошибок второго рода. Чем больше вероятность ошибок второго рода, тем ниже информативность биометрического параметра. Очевидно, что для каждого биометрического параметра Vj можно вычислить вероятности ошибок второго рода, усреднить их, оценив тем самым значение математического ожидания - E(P2 j) или среднюю информативность рассматриваемых биометрических параметров. В примере, представленном на рис. 2, по отношению к двум параметрам среднее значение (математическое ожидание) составит E(P2 j) - (0,56 + 0,16)/2 = 0,36.
В первом приближении можно считать, что все 416 биометрических параметров большой нейросети в нижней части рис. 1 имеют одинаковую информативность, обеспечивая вероятности ошибок второго рода для каждого Vj биометрического параметра P2 - E(P2 j) - 0,36. Если теперь еще больше упростить задачу и считать все 416 биометрических параметров независимыми, то их использование приведет к снижению вероятностей ошибок до величины P2 - 0,36/л/416 - 0,018. При этом вероятность ошибок первого рода становится практически нулевой.
Симметризация задачи нейросетевого анализа по коэффициентам корреляции входных данных
Полное пренебрежение влияния корреляционных связей входных данных на качество принимаемых нейросетью решений ранее являлось вынужденной мерой. Рассматривать влияние матриц корреляционных связей классическими методами имитационного моделирования сложно [9]. Моделирование влияния корреляционных матриц на результат принятия нейросетевых решений не устойчиво из-за больших ошибок оценки самих коэффициентов корреляции на малых выборках [10].
Известно, что классическая формула Пирсона дает относительные значения ошибок до ±70 % на малых выборках, в нашем случае в 16 опытах:
1 15 V2) = — X
15 i=0
(E (V1)-Vu ) •( E (V2)-V2,j)
afy) -G(V 2)
(2)
где г(у1;V2) - коэффициент корреляции биометрических параметров v1 и v2; Е(.) - математическое ожидание данных малой выборки; с(.) - стандартное отклонение; V1- значение первого биометрического параметра; У2 - значение второго биометрического параметра.
Упростить вычисления и одновременно повысить устойчивость операций с ними удается в случае симметризации корреляционных матриц [11, 12]. Смысл симметризации состоит в замене реальной асимметричной корреляционной матрицы на ее симметричный аналог:
(3)
Такая замена оказывается эквивалентной, если вероятности ошибок первого и второго рода у асимметричной нейросети и симметричной нейросети совпадают. У симметричной корреляционной матрицы все элементы вне диагонали одинаковы и вычисляются усреднением модулей коэффициентов корреляции исходной асимметричной матрицы:
1 Г1 Г2 : : r n " 1 r r : r
r1 1 rn+1 : r2n-2 r 1 r : : r
Г2 Гп+1 1 : : r3n-3 r r 1 : : r
Гп Г2 n-2 r3n-3 : : 1 r r r : :1
,)/2
n2 - n
X
где n - размерность обрабатываемых данных.
1=1
При росте размерности обрабатываемых данных п квадратично растет число усредняемых при вычислениях (4) коэффициентов корреляции. Как результат, усреднения ошибки оценки коэффициентов корреляции (2) из-за ограниченного объема выборки уменьшаются.
Еще одним важным обстоятельством упрощения и стабилизации вычислений является линейная связь вероятностей ошибок второго рода, показанная на рис. 3.
^—
\\ \
\ \\ \
\ч \ \ \ \
и
\ \ ч
\ \ \ \ \
\ V \ \ \ \ \
- ^— \
ч X 1 и^е
\ \ г :> \
\ \ \ \
= Ъ \ \ \
N V- \
и =-а \
\ \ Ч
\ \ \
\ \ \ \
1 10 \ \ \ По3
Рис. 3. Линейная связь вероятности ошибок второго рода симметричной нейросети с числом входов п при Р2 ~ 0,1 для каждого из симметризованных биометрических параметров
Заключение
Описанные в данной статье количественные соотношения достаточно просты и могут быть использованы при планировании развития приложений искусственного интеллекта. Как правило, возможно заранее количественно оценить корреляционные связи исходных реальных данных и среднюю вероятность ошибок второго рода. Кроме того, всегда можно оценить уровень вероятности ошибок, характерных для «сильного» эксперта-человека при его доступе к реальным данным ограниченной размерности п (см. рис. 3). Далее можно задать желаемый уровень снижения вероятностей ошибок или задать желаемый уровень увеличения объема принимаемых во внимание исходных данных. В итоге получим прогноз того, как связаны между собой эти два параметра, подлежащих регулированию (планированию).
Полученные предварительные оценки показывают, что переход от анализа статических образов рукописных слов на бумажных носителях информации к анализу динамики их воспроизведения при рукописном заполнении электронных документов кардинально меняет ситуацию. Вполне вероятно, что в ближайшем будущем, приходя в центр предоставления государственных услуг, гражданину придется заполнять различные декларации и ходатайства рукописно в электронной форме. Сейчас граждане вынуждены писать эти документы обычной ручкой на обычной бумаге. Завтра появится возможность писать (формировать) аналогичные электронные документы электронной ручкой на электронном доверенном терминале. Тогда у государства появляется возможность подтвердить (проверить) авторство заполняющего (заполнившего) электронный документ, сравнивая динамику воспроизведения его автографов в электронном документе с эталонной динамикой автографа в электронном паспорте.
Принципиально важно при синтезе и использовании нейронных сетей параллельно использовать анализ биометрических данных, как в динамике, так и в статике. Так, общедоступное приложе-
ние «БиоНейроАвтограф» [4] анализирует только динамику воспроизведения рукописного образа. Можно с уверенностью утверждать, что надежность распознавания рукописных образов возрастет, если усилить анализ еще одной дополнительной сетью искусственных нейронов, обученной анализировать только особенности статического двухмерного образа (следа пера «мертвой» подписи) многослойной сетью искусственных нейронов. При этом к автоматическому анализу 16 параметров классического графологического анализа необходимо будет добавить десятки других дополнительных параметров, извлекаемых из статической «мертвой» подписи достаточно сложными, но устойчивыми в вычислительном отношении алгоритмами [13].
Список литературы
1. Хайкин С. Нейронные сети: полный курс. М. : Вильямс, 2006. С. 1104.
2. Иванов А. И., Захаров О. С. Среда моделирования «БиоНейроАвтограф». 2009. URL: Шр://пниэи.рф/ activity/science/noc/bioneuroautograph.zip
3. Иванов А. И. Автоматическое обучение больших искусственных нейронных сетей в биометрических приложениях : учеб. пособие. Пенза, 2013. 30 с. URL: http://пниэи.рф/activity/science/noc/tm_IvanovAI.pdf
4. Качайкин Е. И., Куликов С. В. Получение биометрических параметров высокого качества из статического изображения рукописной подписи // Инфокоммуникационные технологии. 2015. № 4. С. 45-49.
5. Иванов А. И., Ложников П. С., Качайкин Е. И. Идентификация подлинности рукописных автографов сетями Байеса - Хэмминга и сетями квадратичных форм // Вопросы защиты информации. 2015. № 2. С. 28-34.
6. Иванов А. И., Ложников П. С., Качайкин Е. И., Сулавко А. Е. Биометрическая идентификация рукописных образов с использованием корреляционного аналога правила Байеса // Вопросы защиты информации. 2015. № 3. С. 48-54.
7. Кубасов А. И., Иванов А. И. Условия оперативного тестирования больших нейронных сетей на малых выборках // Академическая мысль. 2020. № 3. С. 102-106.
8. Иванов А. И., Кубасов И. А., Самокутяев А. М. Тестирование больших нейронных сетей на малых выборках // Надежность и качество сложных систем. 2020. № 3. С. 72-79. doi: 10.21685/2307-4205-2020-3-9.
9. Шалыгин А. С., Палагин Ю. И. Прикладные методы статистического моделирования. Л. : Машиностроение, 1986. 320 с.
10. Иванов А. И., Золотарева Т. А. Искусственный интеллект в защищенном исполнении: синтез статистико-нейросетевых автоматов многокритериальной проверки гипотезы независимости малых выборок биометрических данных. Препринт. Пенза : Из-во ПГУ, 2020. 105 c. ISBN 978-5-907364-24-0.
11. Иванов А. И., Банных А. Г., Серикова Ю. И. Учет влияния корреляционных связей через их усреднение по модулю при нейросетевом обобщении статистических критериев для малых выборок // Надежность. 2020. № 20. С. 28-34. URL: https://doi.org/10.21683/1729-2646-2020-20-2-28-34
12. Иванов А. И., Банных А. Г. Быстрая оценка энтропии длинных кодов с зависимыми разрядами на микроконтроллерах с малым потреблением и низкой разрядностью (обзор литературы по снижению размерности задачи) // Инженерные технологии и системы. 2020. Т. 30, № 2. С. 300-312. doi: 10.15507/26584123.030.2020.02.300.312.
13. Качайкин Е. И., Куликов С. В. Получение биометрических параметров высокого качества из статического изображения рукописной подписи // Инфокоммуникационные технологии. 2015. № 4. С 45-49.
References
1. Khaykin S. Neyronnye seti: polnyy kurs = Neural Networks: a complete course. Moscow: Vil'yams, 2006:1104. (In Russ.)
2. Ivanov A.I., Zakharov O.S. Sreda modelirovaniya «BioNeyroAvtograf» = Modeling Environment "BioNey-roAvtograf'. 2009. (In Russ.). Available at: http://pniei.rf/activity/science/noc/bioneuroautograph.zip
3. Ivanov A.I. Avtomaticheskoe obuchenie bol'shikh iskusstvennykh neyronnykh setey v biometricheskikh prilozheniyakh: ucheb. posobie = Automatic training of large artificial neural networks in biometric applications: tutorial. Penza, 2013:30. (In Russ.). Available at: http://pniei.rf/activity/science/noc/tm_IvanovAI.pdf
4. Kachaykin E.I., Kulikov S.V. Obtaining high-quality biometric parameters from a static image of a handwritten signature. Infokommunikatsionnye tekhnologii = Infocommunication technologies. 2015;4:45-49. (In Russ.)
5. Ivanov A.I., Lozhnikov P.S., Kachaykin E.I. Identification of the authenticity of handwritten autographs by Bayes-Hamming networks and networks of quadratic forms. Voprosy zashchity informatsii = Information security issues. 2015;2:28-34. (In Russ.)
6. Ivanov A.I., Lozhnikov P.S., Kachaykin E.., Sulavko A.E. Biometric identification of handwritten images using the correlation analogue of the Bayes rule. Voprosy zashchity informatsii = Information security issues. 2015;3:48-54. (In Russ.)
7. Kubasov A.I., Ivanov A.I. Conditions for rapid testing of large neural networks on small samples. Akad-emicheskaya mysl' = Academic thought. 2020;3:102-106. (In Russ.)
8. Ivanov A.I., Kubasov I.A., Samokutyaev A.M. Testing large neural networks on small samples. Nadezhnost' i kachestvo slozhnykh system = Reliability and quality of complex systems. 2020;3:72-79. (In Russ.). doi: 10.21685/2307-4205-2020-3-9
9. Shalygin A.S., Palagin Yu.I. Prikladnye metody statisticheskogo modelirovaniya = Applied methods of statistical modeling. Leningrad: Mashinostroenie, 1986:320. (In Russ.)
10. Ivanov A.I., Zolotareva T.A. Iskusstvennyy intellekt v zashchishchennom ispolnenii: sintez statistiko-neyrosetevykh avtomatov mnogokriterial'noy proverki gipotezy nezavisimosti malykh vyborok biometricheskikh dannykh. Preprint = Artificial intelligence in a protected version: synthesis of statistical and neural network automata for multi-criteria testing of the hypothesis of independence of small samples of biometric data. Preprint. Penza: Iz-vo PGU, 2020:105. (In Russ.). ISBN 978-5-907364-24-0.
11. Ivanov A.I., Bannykh A.G., Serikova Yu.I. Taking into account the influence of correlations through their modulo averaging in the neural network generalization of statistical criteria for small samples. Nadezhnost' = Reliability. 2020;20:28-34. (In Russ.). Available at: https://doi.org/10.21683/1729-2646-2020-20-2-28-34
12. Ivanov A.I., Bannykh A.G. Fast entropy estimation of long codes with dependent bits on microcontrollers with low consumption and low bit depth (review of the literature on reducing the dimension of the problem). Inzhe-nernye tekhnologii i sistemy = Engineering technologies and systems. 2020;30(2):300-312. (In Russ.). doi: 10.15507/2658-4123.030.2020.02.300.312
13. Kachaykin E.I., Kulikov S.V. Obtaining high-quality biometric parameters from a static image of a handwritten signature. Infokommunikatsionnye tekhnologii = Infocommunication technologies. 2015;4:45-49. (In Russ.)
Информация об авторах / Information about the authors
Александр Иванович Иванов
доктор технических наук, доцент, консультант, Пензенский научно-исследовательский электротехнический институт (Россия, г. Пенза, ул. Советская, 9) E-mail: ivan@pniei.penza.ru
Alexander I. Ivanov
Doctor of technical sciences, associate professor, consultant,
Penza Research Electrotechnical Institute (9 Sovetskaya street, Penza, Russia)
Игорь Анатольевич Кубасов
доктор технических наук, доцент,
главный научный сотрудник
ФКУ НПО «СТиС» МВД РФ,
профессор кафедры информационных технологий,
Академия управления МВД РФ
(Россия, г. Москва, ул. Зои и Александра
Космодемьянских, 8)
E-mail: igorak@list.ru
chief researcher of the FKU NPO "STIS"
of the Ministry of Internal Affairs of Russian Federation,
professor of sub-department of information technologies,
Academy of management of the Ministry
of internal affairs of the Russian Federation
(8 Zoi i Aleksandra Kosmodem'yanskikh street,
Moscow, Russia)
Igor A. Kubasov
Doctor of technical sciences, associate professor,
