CC BY
28
9. [Элекктронный ресурс]: Шумовые слова - Википедия. Режим доступа: https://rn.wikipedia.0rg/wiki^yM0Bbie_ra0Ba.
10. Pablo A. Estevez, Michel Tesmer Claudio A. Perez, and JacekM. Zurada. Normalized mutual information feature selection. IEEE, 2009.
About one approach to the Chinese room problem Sereda Ya.
Об одном подходе к проблеме китайской комнаты Середа Я. А.
Середа Яна Александровна / Sereda Yana — инженер-программист, Центральный научно-исследовательский институт «Буревестник», г. Нижний Новгород
Аннотация: в статье предлагается метод оценки того, насколько качественные обобщения доступны нейросети при данном алгоритме обучения. Метод основан на оценке Колмогоровской сложности модели предметной области, сгенерированной нейросетью. Достоинства метода в том, что он не требует больших датасетов и может быть применен для оценки произвольной нейросети, вне зависимости от конкретной нейросетевой архитектуры.
Abstract: this article suggests a method for assessing the extent of generalization quality available to a given training algorithm of a neural networks. The method is based on an evaluation of Kolmogorov complexity of the domain model, learned by the network. Advantages of the method is that it does not require large datasets and can be used to evaluate an arbitrary neural network, regardless of the specific neural network architecture.
Ключевые слова: переобучение, нейросеть, алгоритмическая сложность, черный ящик, валидация. Keywords: Overfitting, Kolmogorov complexity, neural network, black box testing, validation.
Нейросеть внутри себя строит модель М(X) предметной области X. Однако, логическая структура этой модели скрыта от внешнего пользователя. Оценить ее адекватность человеку затруднительно, т.к. память сети представляет собой набор из миллионов чисел (обучаемых параметров сети). Значение каждого конкретного числа в этом наборе сложно интерпретировать.
Чтобы проверить насколько М ( X ) отражает реальную предметную область, в основном используются подходы, в которых тестируемая нейросеть представляет собой черный ящик для тестировщика:
• В случае наличия тестового датасета измеряется величина ошибки на нем.
• В случае генеративных моделей используются различные варианты теста Тьюринга. В частности, на практике сегодня используется визуальный тест Тьюринга, когда людей просят угадать, сгенерировано ли изображение человеком или нейросетью [2].
• В случае моделей, обучающихся с подкреплением популярно тестирование агента в играх, для которых известны результаты игроков-людей (например, Atari, шахматы, го).
Однако такой подход к тестированию имеет недостаток. В частности, если на тестовой выборке показывается нулевая ошибка (для детерминированных областей), то это может значить, что сети «повезло» с тестовой выборкой. Кроме того, правильный ответ на вопрос может быть как результатом глубокого понимания (обобщения) концепта, так и результатом заучивания частного случая (переобучение). Сложность в различении этих двух случаев также называется проблемой китайской комнаты.
Если изучаемая агентом предметная область может генерировать большое количество состояний, то невозможно напрямую проверить правильность работы агента на них всех. В связи с этим возникает вопрос - как в условиях ограниченной тестовой выборки достоверно оценить, имеет ли место переобучение и насколько хорошо агент справился с обобщением?
Попытки представить М (X) как белый ящик сегодня сводятся к визуализации того, что выучили отдельные нейроны [3]. Например, можно максимизировать активацию нейрона как функцию пикселей входного изображения, и после достаточного количества итераций на пре-изображении появляется конкретный признак, на который обучился реагировать нейрон.
ni тщт
тшм
Рис. 1. Усложняющиеся инварианты, выученные нейронами сверточной нейросети, адаптировано из [3]
Однако даже это не позволяет (для достаточно сложных сетей) достоверно ответить на вопрос: можно ли построить модель М'(X) такую, что она будет проще, чем данная М (Х) при тех же прочих качествах? Иными словами, есть ли переобучение в текущей модели, или уже достигнут максимальный уровень абстракции при заданном количестве обучаемых параметров?
Для произвольной предметной области ответить на этот вопрос затруднительно, ввиду того, что алгоритмическая сложность объектов реального мира не известна (потенциально - бесконечна [1]). Однако, если х - синтетическая предметная область (т.е. задается написанной программистом на языке программой ), то ее сложность можно оценить как длину порождающей ее программы
в байтах. Длину этой программы можно трактовать, как оценку алгоритмической (Колмогоровской) сложности объекта х, данную интеллектом человек для языка программирования L, обозначим это:
KS?(x) = lH> KS(x)
Если обученная на этой области сеть сможет каким-то образом выписать (на том же самом языке программирования ) свои текущие знания в виде программы то длину этой программы
программы можно трактовать как оценку Колмогоровской сложности этой же предметной
области, но - данной уже нейросетью:
KS^(x) = lN> KS(x)
Т.е. хотя Колмогоровская сложность KS (х) и не является вычислимой [2], можно говорить о ее оценках человеческим и искусственным интеллектом.
Если для одного и того же языка программирования и одной и той же предметной области эти оценки оказались равны (KSf (х) = KS™ (х) ), то даже если сами программы имеют разные тексты, можно говорить об одинаковой сложности реконструированной модели предметной области человеком и нейросетью. Соответственно, если KSf ( х) « KS™ (х) , то нейросеть значительно переобучена.
Тогда универсальный тест на способность нейросети уничтожать переобучение может быть организован следующим образом:
• шаг 1. Генерируется функция /, написанная на языке L, принимающая набор аргументов, и возвращающая результат своего выполнения при данных аргументах. Для нее создается набор тестов, покрывающие простые и «граничные» случаи.
• шаг 2. Нейросеть исследует / методом черного ящика (т.е. задает входные аргументы, и получает результат выполнения столько раз, сколько необходимо)
• шаг 3. Когда сеть решает, что она «поняла», как внутри работает /, то она генерирует текстовый файл с исходным кодом , в котором описывает результат своего обратного инжиниринга.
• шаг 4. Сгенерированный ей код f компилируется, запускается и проходит тесты. Если тесты успешно прошли, и если | f | = | / | , то значит, эта нейросеть смогла для данной предметной области сгенерировать описание не хуже, чем человек.
Пусть, к примеру, исследуемая нейроестью функция / при любых аргументах возвращает
"abababababababababab". Нейросеть могла бы реконструировать / как:
{
print a; print b; print a; print b;
... // всего 20 строк, т.к. там 20 букв
}
Или другой вариант: {
for(1...10)
{
print a; print b;
}
}
Второй вариант оптимальней, т.к. он описывает не набор частных случаев, а выводит по ним общее правило - максимально короткую программу для данного языка программирования, генерирующую нужные выходные данные.
Развитие науки было обусловлено умением человека проводить обратный инжиниринг законов природы методом построения гипотез и их целенаправленной проверки экспериментами. В какой степени на это способны современные сети глубокого обучения? Предложенный тест (бенчмарк) позволяет провести оценку этого умения у произвольной нейросети.
Литература
1. Колмогоров А. Н. Три подхода к определению понятия «количество информации», Пробл. передачи информ., 1965. 3-11.
2. Верещагин Н. С., Успенский В. А., Шень А. Колмогоровская сложность и алгоритмическая случайность. М.: МЦНМО, 2013. 576 с.
3. Mahendran A., Vedaldi A., Visualizing deep convolutional neural networks using natural pre-images // International Journal of Computer Vision (Международный журнал компьютерного зрения), 2016.
Prospects for improving the quality of training on virtual training kit. The introduction of adaptive learning and adaptive test control
Zhukov I.
Перспективы повышения качества обучения по виртуальным учебным стендам. Внедрение адаптивного обучения и адаптивного тестового контроля
Жуков И. А.
Жуков Иван Андреевич / Zhukov Ivan - магистрант, кафедра информационных технологий и экономической информатики, Институт информационных технологий Челябинский государственный университет, г. Челябинск
Аннотация: в статье классифицированы существующие реализации виртуальных учебных стендов. Проведен обзор адаптивного обучения и адаптивного тестового контроля, внедрение которых позволит повысить качество обучения по виртуальным учебным стендам.
Abstract: the article classified the existing implementations of virtual educational booths. A review of adaptive learning and adaptive test control of the implementation of which will improve the quality of training on virtual training kit.
Ключевые слова: электронное образование, виртуальные учебные стенды, адаптивное обучение, адаптивный тестовый контроль.
Keywords: e-learning, virtual training stands, adaptive learning, adaptive test control. Введение
Главной проблемой обучения по виртуальным учебным стендам является её основное преимущество и отличие от традиционной формы образования - отсутствие учителя, преподавателя. Как следствие - отсутствие обратной связи.
Несмотря на трудоемкость и качество реализации стендов, представленные знания могут быть неверно интерпретированы обучаемым или вовсе нерелевантными, неявные сбои в программном обеспечении могут стать трудно отслеживаемыми причинами пробелов в знаниях у обучаемых. Это, в
