CC BY
35
ПРОГРАММНЫЕ И АППАРАТНЫЕ СРЕДСТВА /
УДК 004.855.5: 004.032.26 ^1:10.31799/1684-8853-2018-4-52-60
НЕЙРОННАЯ СЕТЬ С КОНКУРЕНТНЫМ ПОРОГОМ ДЛЯ ГЕНЕРАЦИИ МАЛЫХ ОРГАНИЧЕСКИХ МОЛЕКУЛЯРНЫХ СТРУКТУР
Е. О. Путин3, аспирант, putin.evgeny@gmail.com
А. А. Шалытоа, доктор техн. наук, профессор, orcid.org/0000-0002-2723-2077
аМеждународная лаборатория «Компьютерные технологии», Университет ИТМО, Кронверкский пр., 49, Санкт-Петербург, 197101, РФ
Постановка проблемы: особое место в процессе разработки новых лекарственных препаратов занимает компьютерное моделирование потенциальных кандидатов в лекарства. На этом этапе создается и виртуально валидируется молекулярная структура препарата. Молекулярные структуры создаются преимущественно биоинформатиками и медицинскими химиками. Поэтому процесс создания и виртуального тестирования молекул является долгим и дорогим. Цель: разработка модели глубокой генеративной конкурентной нейронной сети, а также среды ее подкрепления для генерации целевых малых органических молекулярных структур с заданными свойствами и функции награды по молекулярному разнообразию. Результаты: разработана модель глубокой нейронной сети, основанная на концепциях конкурентного обучения и обучения с учителем. В качестве генератора молекулярных структур модель использует рекуррентную нейронную сеть с внешней памятью и специальный нейросетевой блок для отбора генерируемых молекул до их реальной оценки средой. Также разработана новая объектная функция внутренней кластеризации по разнообразию, которая позволяет модели генерировать более разнородную химию. Сравнительные эксперименты показали, что предложенная модель лучше своего ближайшего конкурента с точки зрения генерации уникальных и более сложных валидных молекулярных структур. Продемонстрировано, что сгенерированные моделью молекулы соответствуют априорным распределениям ключевых молекулярных дескрипторов тренировочных молекул. Исследования проводились на выборке из 15 ОООлекарственно-подобных молекулярных соединений, собранных вручную из коллекции компании СЬетйЫ. Практическая значимость: предложенная модель может быть использована в качестве умного помощника для разработки новыхлекарственных препаратов медицинскими химиками.
Ключевые слова — машинное обучение, глубокое обучение, обучение с подкреплением, порождающие конкурентные нейронные сети, дизайн и разработка лекарств.
Научные статьи Articles
Цитирование: Путин Е. О., Шалыто А. А. Нейронная сеть с конкурентным порогом для генерации малых органических молекулярных структур // Информационно-управляющие системы. 2018. № 4. С. 52-60. doi:10.31799/1684-8853-2018-4-52-60 Citation: Putin E. O., Shalyto A. A. Adversarial Threshold Neural Computer for Small Organic Molecular Structures. Informatsionno-upravliaiushchie sistemy [Information and Control Systems], 2018, no. 4, pp. 52-60 (In Russian). doi:10.31799/1684-8853-2018-4-52-60
Введение
В современном мире глубокие нейронные сети (Deep Neural Network — DNN) используются повсеместно; с помощью DNN были достигнуты выдающиеся успехи и высокая эффективность в распознавании образов [1, 2], обработки естественного языка [3]. Архитектуры DNN результативно применяются также в различных областях биологических и биомедицинских наук [4-13].
Однако их использование для дизайна и разработки новых лекарственных препаратов, особенно для создания новых молекулярных соединений, находится на начальной стадии. Это связано с такими факторами, как сложность адаптации и разработки новых архитектур DNN, пригодных для работы с молекулярными структурами (в виде графа, строки, трехмерной карты электронной плотности); сравнительно небольшое количество доступных валидационных данных; трудность проверки эффективности DNN.
В последнее время стали развиваться модели, основанные на рекуррентных нейронных сетях, которые более адаптированы для данных в виде последовательности, таких как молекулы, представленные в строковом формате SMILES [14]. Например, в работе [15] авторы показали, что по сравнению с базовыми моделями эффективность генерации молекул была улучшена при использовании ячеек с долгой краткосрочной памятью (Long Short-Term Memory — LSTM) [16]. Тем не менее, поскольку никакой удобный «порождающий» метод отбора новых молекул из модели не мог быть определен, процесс генерации остался ограниченным. Кроме того, модель не включала никакого механизма для оценки того, являются ли сгенерированные молекулы валидной строкой SMILES. Более того, в модель невозможно включить какие-либо критерии для генерации целевых молекулярных структур с желаемыми свойствами.
В другой работе [17] были проанализированы несколько RNN архитектур рекуррентных ней-
ронных сетей и показано, что стандартные стохастические оптимизаторы могут быть улучшены за счет использования генеративных моделей, обученных по неразмеченным данным, для проведения оптимизации, основанной на знаниях. Такой подход может позволить заменить вручную разработанные правила, которые в настоящее время обычно используются в контексте дизайна лекарств de novo, на правила, которые выучиваются в ходе обучения нейронной сети.
Развитие генеративных конкурентных сетей (GANs) [18] позволило более подробно изучить это направление. Был предложен подход [19] для генерации последовательности посредством глубокого обучения с подкреплением (Reinforcement Learning — RL). Архитектура под названием SeqGAN была основана на парадигме GAN, расширенной генератором на основе RL. Задача генерации последовательности формулируется как RL-задача, где агенту (генератору) дается k-я длина уже сгенерированной последовательности, и необходимо выбрать следующий (k + 1)-й символ, который будет сгенерирован. Окружающая среда (дискриминатор) возвращает награду для генератора, которая оценивается как вероятность обмана дискриминатора. Тем не менее, поскольку генератор выводит дискретные значения, стандартный алгоритм обратного распространения ошибки невозможно использовать, и авторы предложили обновлять веса генератора с помощью метода policy gradients и поиска по методу Монте-Карло на основе ожидаемой конечной награды (вознаграждения за полную последовательность), возвращаемой от дискриминатора. Для оценки функции действие-значение был применен алгоритм REINFORCE [20].
Основываясь на SeqGAN, ученые недавно предложили архитектуру ORGANIC [21] для генерации молекулярных соединений. Эта модель добавляет целевую объектную функцию вознаграждения для определенных последовательностей в функцию потерь SeqGAN. Объектная функция вознаграждения ORGANIC аналогична фильтру. Когда генерируемые молекулы проходят фильтр, генератор получает большую награду за генерацию таких молекул от дискриминатора. Результаты экспериментов показали, что использование различных целевых функций вознаграждения позволяет смещать процесс генерации и генерировать молекулы с заданными пользователем желаемыми свойствами.
Целью данной работы является создание новой архитектуры DNN на основе парадигмы ORGANIC для генерации целевых малых органических молекулярных структур, а также разработка новой объектной функции награды, которая позволит генерировать более разнообразные молекулы.
Модель ATNC
Модель ATNC (Adversarial Threshold Neural Computer), основанная на парадигме ORGANIC, расширяет ее использованием DNC (Differentiable Neural Computer) [22] в качестве генератора вместо LSTM и добавлением специального блока (Adversarial Threshold — AT), который отвечает за отбор генерируемых молекул еще до оценки их средой (рис. 1).
Сформулируем задачу генерации молекул в парадигме ORGANIC.
Имеется набор тренировочных молекул D = {Xt , на которых необходимо обучить генеративную конкурентную нейронную сеть GAN для генерации реалистичных малых органических молекулярных соединений. Концепция GAN подразумевает наличие двух игроков — генератора и дискриминатора. Задача генератора генерировать правдоподобные объекты таким образом, чтобы «обмануть» дискриминатор, т. е. чтобы последний не смог отличить сгенерированные примеры от тренировочных. С другой стороны, задача дискриминатора — эффективно отличать сгенерированные примеры от настоящих.
Так, 6-параметризованный генератор Ge модели ATNC генерирует строки Y1:T = (y1, ..., yT) в формате SMILES посимвольно, где T — максимальная длина строки в наборе данных. При этом генератор Ge является RL-агентом, который взаимодействует со средой. На каждой итерации генерации молекулы генератор Ge по своему состоянию (текущая сгенерированная последова-
RR R
Л А А
Is
■ Рис. 1. Схематическое изображение модели ATNC: G — генератор; D — дискриминатор; O — некоторая объектная функция вознаграждения; S — множество выбранных выборок (молекул) с помощью блока AT; R — считываемая головка в генераторе DNC
■ Fig. 1. The schematic view of the ATNC model: G — generator; D — discriminator; O — some objective reward function; S — the set of chosen samples (molecules) by AT block; R — stands for the read head in DNC generator
тельность) осуществляет действие — выбор следующего символа из алфавита SMILES, который необходимо добавить к уже сгенерированной последовательности. Когда молекулярная последовательность достигает терминального символа, она оценивается средой. В качестве среды используется ф-параметризованный дискриминатор Dq и специальная целевая объектная функция награды O(YhT).
Таким образом, цель генератора Ge ATNC заключается в том, чтобы одновременно обмануть дискриминатор Dq> и максимизировать целевую функцию вознаграждения O(Y1:T). Это делается с использованием метода policy gradient [23]:
J(е)= X Ge(i/i Iso)xQ(so>У\)>
Vl^Y
где Q — функция действие-награда; s0 — первичное состояние агента; y1 — первое действие генератора.
Отличительной особенностью ATNC от ORGANIC является использование DNC в качестве генератора, так как DNC позволяет генерировать гораздо более длинные и сложные последовательности Y1:T, чем при использовании LSTM. Это достигается за счет того, что DNC содержит в себе внешнюю память, с которой умеет эффективно работать за счет механизмов внимания. После предобучения методом максимального правдоподобия генератор Ge создает отрицательные образцы для дискриминатора D<p, который также предобучается методом максимального правдоподобия.
Таким образом, цель дискриминатора Dq> состоит в том, чтобы свести к минимуму кросс-энтропию между настоящими (тренировочными) и сгенерированными генератором Dq> молекулами. Для предобучения дискриминатора Dq> используется специальный параметр Q, который контролирует, сколько эпох дискриминатор Dq предварительно обучается только в валидных (корректных с точки зрения химической валентности) молекулах Y'. Начиная с RL-обучения, веса предобученного дискриминатора Dq> копируются в AT-блок:
™п (Y )[log Ар(г)]-
VJ (Ф) =
+ Е
Y~Pa (Y)[lo2_-°ф(7))]' еслиэпоха <С
min£r~Pdata(r)[logAp(r)] + '
+ Ey,~p^ (у)[log(lеслиэпоха>Q
Блок АТ является копией дискриминатора в среде, которая отстает от исходного дискримина-
тора на заданное количество тренировочных эпох. AT реализует идею парадигмы RL под названием актор-критик (actor-critic), т. е. он добавляет в модель способность симулировать окружающую среду и фильтровать сгенерированные молекулы до их реальной оценки в среде, что позволяет модели лучше понять природу тренировочных данных.
В каждую эпоху генератор Ge генерирует K (размер партии генератора) молекул. Затем AT-блок отбирает молекулы, которые наиболее точно соответствуют образцам обучения. Если количество выбранных молекул меньше J (размер партии дискриминатора), то генератор Ge снова генерирует новые K молекул. Этот процесс повторяется до тех пор, пока количество выбранных молекул не будет равно J. После отбора молекул N раз применяется поиск по методу Монте-Карло для вычисления функции действие-награда Q(s, a) для не полностью сгенерированных последовательностей. Это делается для того, чтобы избежать проблемы долгосрочного вознаграждения:
Q(s = 1' a = Vt ) = ^ lf=1 R (y{!t j,y1iir eMCG9 (y{!t-,N j, если t <T
R(y{!tj, если t = T
Следуя парадигме ORGANIC, сумма вознаграждений R в модели ATNC вычисляется как сумма выходов дискриминатора и объективной функции вознаграждения, где вклад каждого компонента в сумму регулируется параметром X:
R (YbT ) = kx(Dv (YbT )) + (1 -Х)хО (YbT ).
Наконец, параметры 6 генератора ATNC G0 можно получить, используя метод policy gradient:
ve j (e) =- Ye / , nx
ve logGe (yt |y1:i_1)) X Q(Ybt_hVt)].
Обновление весов АТ-блока управляется параметром т. Этот параметр позволяет регулировать, на сколько эпох модель среды (АТ) отстает от первоначального дискриминатора Б(р. Помимо обучения генератора ве, АТ также влияет на обучение дискриминатора. С самого начала RL-обучения тренировочные образцы дискриминатора становятся выбранными образцами Y" (от общего числа молекул, генерируемых генератором) АТ:
min Е
ф
+ Еу. ~Ра
(Y„)[log (l - Вф(У'))].
Таким образом, АТ-блок пытается выбрать образцы, которые очень похожи на тренировочные данные, что позволяет фильтровать молекулы даже на стадии генерации. Это упрощает последующий выбор молекул.
IDC: объектная функция награды, основанная на внутренней кластеризации по разнообразию
В парадигме ORGANIC лучший способ автоматической генерации разнообразных молекул заключается в разработке пользовательской объектной функции награды. В данной работе предложена функция IDC — внутренняя кластеризация сгенерированных молекул по разнообразию. Алгоритм IDC заключается в следующем:
— сгенерированный набор молекул P кластеризуется по молекулярным фингерпринтам Fф с использованием меры схожести молекул 5мера и пороговым значением схожести 5пор;
— из каждого получившегося кластера выбираются топ K наиболее разнообразных молекул;
— далее конструируется бинарный вектор наград rewards с единицами только в позициях выбранных топ K наиболее разнообразных молекул для каждого кластера.
Основная идея функции заключается в том, чтобы на каждой итерации обучения генератора вознаграждать его за то, что он генерирует разнообразные молекулярные структуры. Интуитивно понятно, что если разнородность молекул высокая, то генератор сможет покрывать большее химическое пространство и будет способен генерировать «новые» молекулярные структуры.
Результаты экспериментальных исследований моделей ATNC и ORGANIC
В качестве набора тренировочных образцов использовалось собранное вручную подмножество (набор данных CD) из 15 000 лекарственно-подобных молекул, доступных в коллекции ChemDiv [24]. Химические статистические характеристики набора данных CD можно суммировать следующим образом: 0,87 разнообразия, 644 уникальных гетероцикла, 793 кластера, 3035 одиночных чисел и 18,9 — средний размер кластера. В наборе данных 11 690 молекул удовлетворяют RO5. Кроме того, только 21 соединение не прошло успешно через фильтры для медицинской химии. Внутреннее разнообразие соединений, включенных в эталонный набор данных, рассчитывали на основе отпечатков пальцев расширенной связи с использованием расстояния Та-нимото.
Поскольку ATNC расширяет и развивает парадигму ORGANIC, то все проводимые эксперименты сравнивались с базовой моделью ORGANIC. Чтобы провести объективное сравнение моделей ATNC и ORGANIC, все эксперименты выполнялись с почти такими же гиперпараметрами и настройками. Все эксперименты были проведены на NVIDIA Titan X Pascal с 256 RAM.
Модели ATNC и ORGANIC были протестированы на наборе данных CD. В экспериментах использовались четыре различные целевые объектные функции вознаграждения.
1. Внутреннее сходство (IS). Объектная функция награды IS была рассчитана следующим образом. IS была дана матрица сходства для набора сгенерированных молекул, далее она рассматривала каждую сгенерированную молекулу и вычисляла среднее сходство между этой молекулой и другими молекулами. Эти усредненные значения подобия затем использовались для формирования вещественного вектора вознаграждения набора.
2. Предлагаемая объектная функция награды IDC.
3. Фильтр сходства с лекарствами Muegge (MU) [25]. Когда молекула удовлетворяла объектной функции награды MU, соответствующий бит в векторе вознаграждения обновялся до единицы. Если критерий MU не был удовлетворен, бит в векторе вознаграждения устанавливался в ноль.
4. Наличие или отсутствие sp3-богатых фрагментов (SP3). В этой работе мы использовали 150 различных SP3. Когда молекула имела в своей структуре по меньшей мере один sp3-богатый фрагмент, соответствующий бит в векторе вознаграждения SP3 устанавливался в единицу. Если этот критерий не был выполнен, бит в векторе вознаграждения устанавливался на ноль.
Наша основная задача заключалась в оценке влияния четырех различных целевых функций вознаграждения на обучение моделей, а также на свойства генерируемых молекул.
Сравнение проводилось в три этапа. Во-первых, мы исследовали процент валидных и уникальных строк SMILES, сгенерированных ATNC- и ORGANIC-моделями. Проценты валидных строк SMILES вычислялись по отношению к общему числу генерируемых молекул. Между тем проценты уникальных строк SMILES вычислялись относительно количества допустимых строк SMILES. Каждая из двух моделей была обучена с четырьмя объектными функциями награды.
Результаты этого эксперимента показаны в таблице. Следует отметить, что ATNC генерирует разное общее количество строк SMILES. Это связано с тем, что блок AT действует как фильтр, выбирая подмножество генерируемых молекул. Затем это подмножество обрабатывается и оценивается
средой. Как правило, ATNC генерирует больший процент уникальных молекул, чем ORGANIC, за исключением случаев, когда модель ORGANIC использовалась в сочетании с объектными функциями вознаграждения IDC и IS. Также стоит отметить, что ATNC выявил аналогичный процент валидных строк SMILES для всех четырех целевых функций вознаграждения, в то время как
у ORGANIC был значительно меньший процент действительных строк SMILES при использовании с объектными функциями вознаграждения IDC и IS.
Во-вторых, мы проанализировали среднюю длину валидных строк SMILES, сгенерированных двумя моделями на каждой эпохе. Результаты этого анализа представлены на рис. 2. Для четы-
■ Процент валидных и уникальных строк SMILES, генерируемых ATNC и ORGANIC, с использованием набора данных CD
■ Percentages of valid and unique SMILES strings generated by the ATNC and the ORGANIC models using the CD dataset
Количество молекул ATNC ORGANIC
IDC IS MU SP3 IDC IS MU SP3
Валидных, % 72 71 74 74 8 7 83 83
Уникальных, % 77 86 76 73 86 91 30 22
Всего 157 986 101 652 176 342 156 605 1 792 000 1 792 000 1 792 000 1 792 000
50
45
ш 40 а н и
л д
и 35
30
0 25 50 75 100 125 150 175 200
Длина
50
45
40
35
& 30
25 50 75 100 125 150 175 200
Длина
к
о р
т
о
и
E L
S а н и
л д
к к
н д
е р
о
50,0
47,5
45,0
42,5
40,0 -
37,5
35,0
32,5
30,0
50
к
о р
т
-ст 45 S E L
S 40
а н и
л д
к к
н д
е р
U 30
35
0 25 50 75 100 125 150 175 200
Длина
25 50 75 100 125 150 175 200
Длина
■ Рис. 2. Зависимость средней длины сгенерированных SMILES-строк от эпохи обучения моделей:--средняя
длина строк SMILES в CD-наборе
■ Fig. 2. Dependence of average lengths of the generated SMILES strings on training epochs:--means in the training dataset
0
0
0 20 40 60 80 100 120
Число атомов
0 20 40 60 80 100 120
Число атомов
0 20 40 60 80 100 120
Число атомов
■ CD
■ATNC-SP3 1ORGANIC-SP3
0 20 40 60 80 100 120
Число атомов
-2,5 0,0 2,5 5,0 7,5 10,0 12,5
-2,5 0,0 2,5 5,0 7,5 10,0 12,5
2,5 0,0 2,5 5,0 7,5 10,0 12,5
-2,5 0,0 2,5 5,0 7,5 10,0 12,5 logP
200 400 600
Молекулярный вес
200 400 600 800
Молекулярный вес
200 400 600 800 1000
Молекулярный вес
400 600
Молекулярный вес
100 150 TPSA
100 150 200 250 TPSA
100 150 TPSA
100 150 TPSA
Рис. 3. Распределения ключевых молекулярных дескрипторов для сгенерированных молекул Fig. 3. Distributions of the molecular descriptors calculated for the generated molecules
рех объектных функций вознаграждения модель ATNC демонстрирует лучшую стабильность. Она смогла генерировать строки SMILES, длина которых была близка к тем, что у тренировочных молекул. Поведение модели ORGANIC было иным, строки SMILES, сгенерированные после нескольких эпох RL, были намного меньше тренировочных.
В-третьих, мы изучили распределение длин строк SMILES и распределение нескольких ключевых молекулярных дескрипторов (число атомов, молекулярный вес, logP [26] и TPSA [27]) для сгенерированных молекул. Результаты показаны на рис. 3. Можно видеть, что молекулы, генерируемые ATNC, соответствуют распределениям молекул, используемых для обучения по
всем четырем объектным функциям вознаграждения. С другой стороны, молекулы, генерируемые ORGANIC, не смогли сохранить априорные распределения референсных молекул.
Результаты наглядно демонстрируют возможности модели ATNC по сравнению с ORGANIC к генерации большего процента уникальных, сложных и потенциально новых молекулярных структур, соответствующих по распределениям длин строк SMILES и ключевым молекулярным дескрипторам тренировочным молекулам. Эти особенности имеют особое значение в современной концепции дизайна и разработки лекарственных препаратов.
Заключение
Разработана новая архитектура нейронной сети ATNC, основанная на концепциях конкурентного обучения и обучения с подкреплением для генерации малых органических молекулярных
Литература
1. LeCun Y., Bengio Y., Hinton G. Deep Learning// Nature. 2015. Vol. 521. P. 436-444. doi:10.1038/ nature14539. https://www.nature.com/articles/na-ture14539 (дата обращения: 15.07.2018).
2. Liu Q., et al. A Review of Image Recognition with Deep Convolutional Neural Network// 13th Intern. Conf. of Intelligent Computing, Liverpool, 2017. P. 69-80. doi:10.1007/978-3-319-63309-1
3. Deng L., Liu Y. Deep Learning in Natural Language Processing. — Singapore: Springer Singapore, 2018. — 329 p. doi:10.1007/978-981-10-5209-5
4. Schneider G., Fechner U. Computer-based De Novo Design of Drug-like Molecules// Nature Reviews Drug Discovery. 2005. Vol. 4. P. 649-663. doi:10.1038/ nrd1799. https://www.ncbi.nlm.nih.gov/pubmed/ 16056391 (дата обращения: 15.07.2018).
5. Min S., Lee B., Yoon S. Deep Learning in Bioinfor-matics// Briefings in Bioinformatics. 2016. Vol. 15. Iss. 1. P. 851-869. doi:10.1093/bib/bbw068 https:// academic.oup.com/bib/article/18/5/851/2562808 (дата обращения: 15.07.2018).
6. Mamoshina P., Vieira A., Putin E., Zhavoronkov A. Applications of Deep Learning in Biomedicine// Molecular Pharmaceutics. 2016. Vol. 13. P. 1445-1454. doi:10.1021/acs.molpharmaceut.5b00982. https:// www.ncbi.nlm.nih.gov/pubmed/27007977 (дата обращения: 15.07.2018).
7. Kleftogiannis D., Kalnis P., Bajic V. B. DEEP: A General Computational Framework for Predicting Enhanc-ers// Nucleic Acids Research. 2014. Vol. 43. P. e6. doi:10.1093/nar/gku1058. https://www.ncbi.nlm.nih. gov/pubmed/25378307 (дата обращения: 15.07.2018).
структур. Также разработана новая объектная функция награды IDC, которая вознаграждает генератор ATNC за генерацию разнообразных молекулярных структур. Сравнительные эксперименты были проведены на наборе данных CD, состоящем из 15 000 соединений.
В результате исследования можно сделать следующие выводы:
— благодаря использованию DNC в качестве генератора и AT-блока предложенная модель ATNC генерирует больший процент уникальных и валидных сложных с точки зрения длины молекулярных структур, чем базовая модель ORGANIC;
— молекулы, сгенерированные ATNC, соответствуют априорным распределениям ключевых физико-химических молекулярных дескрипторов тренировочных молекул, чего нельзя сказать об ORGANIC;
— предложенная функция награды IDC работает лучше с точки зрения процента валидных молекулярных структур, чем IS, и позволяет генерировать более разнообразные молекулы.
8. Kim S. G., Theera-Ampornpunt N., Fang C.-H., Har-wani M., Grama A., Chaterji S. Opening up the Blackbox: An Interpretable Deep Neural Network-based Classifier for Cell-type Specific Enhancer Predictions// BMC Systems Biology. 2016. Vol. 10. N 54. P. 244-258. doi:10.1186/s12918-016-0302-3. https:// www.ncbi.nlm.nih.gov/pmc/articles/PMC4977478 (дата обращения: 15.07.2018).
9. Aliper A., Plis S., Artemov A., Ulloa A., Mamoshina P., Zhavoronkov A. Deep Learning Applications for Predicting Pharmacological Properties of Drugs and Drug Repurposing using Transcriptomic Data// Molecular Pharmaceutics. 2016. Vol. 13. P. 25242530. doi:10.1021/acs.molpharmaceut.6b00248. https:// www.ncbi.nlm.nih.gov/pubmed/27200455 (дата обращения: 15.07.2018).
10. Xu Y., Pei J., Lai L. Deep Learning based Regression and Multiclass Models for Acute Oral Toxicity Prediction with Automatic Chemical Feature Extraction// Journal of Chemical Information and Modeling. 2017. Vol. 57. N 11. P. 2672-2685. doi:10.1021/acs. jcim.7b00244. https://www.ncbi.nlm.nih.gov/pubmed/ 29019671 (дата обращения: 15.07.2018).
11. Lenselink E. B., Dijke N., Bongers B., Papadatos G., Vlijmen H. W., Kowalczyk W., Ijzerman A. P., Westen G. J. Beyond the Hype: Deep Neural Networks Outperform Established Methods using a ChEMBL Bio-activity Benchmark Set// Journal of Chemin-format-ics. 2017. Vol. 9. N 5. P. 1-14. doi:10.1186/s13321-017-0232-0. https://link.springer.com/article/10.1186/ s13321-017-0232-0 (дата обращения: 15.07.2018).
12. Putin E., et al. Deep Biomarkers of Human Aging: Application of Deep Neural Networks to Biomark-er Development// Aging (Albany NY). 2016. Vol. 8.
N 5. P. 1021-1033. doi:10.18632/aging.100968. https:// www.ncbi.nlm.nih.gov/pubmed/27191382 (дата обращения: 15.07.2018).
13. Kadurin A., et al. druGAN: An Advanced Generative Adversarial Autoencoder Model for De Novo Generation of New Molecules with Desired Molecular Properties in Silico// Molecular Pharmaceutics. 2017. Vol. 14. N 9. P. 3098-3104. doi:10.1021/acs.molphar-maceut.7b00346. https://www.ncbi.nlm.nih.gov/pu-bmed/28703000 (дата обращения: 15.07.2018).
14. Weininger D. SMILES, A Chemical Language and Information System. 1. Introduction to Methodology and Encoding Rules// Journal of Chemical Information and Computer Sciences. 1988. Vol. 28. N 1. P. 31-36. doi:10.1021/ci00057a005. https://pubs. acs.org/doi/10.1021/ci00057a005 (дата обращения: 15.07.2018).
15. Bjerrum E. J., Threlfall R. Molecular Generation with Recurrent Neural Networks (RNNs). arXiv preprint arXiv:1705.04612. 2017. https://arxiv.org/abs/ 1705.04612 (дата обращения: 15.07.2018).
16. Hochreiter S., Schmidhuber J. Long Short-term Memory // Neural Computation. 1997. Vol. 9. N 8. P. 1735-1780. doi:10.1162/neco.1997.9.8.1735
17. Cherti M., Kgl B., Kazakh A. De Novo Drug Design with Deep Generative Models: An Empirical Study// Intern. Conf. on Learning Representations, Toulon, 2017. https://pdfs.semanticscholar.org/9759/ 6bc50245f5e0f2d20bde6a8a13f2ac437619.pdf (дата обращения: 15.07.2018).
18. Goodfellow I., Pouget-Abadie J., Mirza M., Xu B., Warde-Farley D., Ozair S., Courville A., Bengio Y. Generative Adversarial Nets// Advances in Neural Information Processing Systems, Montreal, 2014. P. 2672-2680.
19. Yu L., Zhang W., Wang J., Yu Y. SeqGAN: Sequence Generative Adversarial Nets with Policy Gradient// AAAI, San Francisco, 2017. P. 2852-2858.
20. Williams R. J. Simple Statistical Gradient-following Algorithms for Connectionist Reinforcement Learn-ing// Machine Learning. 1992. Vol. 8. P. 229-256. doi:10.1007/BF00992696
21. Sanchez-Lengeling B., Outeiral C., Guimaraes G. L., Aspuru-Guzik A. Optimizing Distributions over Molecular Space. An Objective-Reinforced Generative Adversarial Network for Inverse-design Chemistry (ORGANIC). ChemRxiv preprint: 5309668 2017. https://chemrxiv.org/articles/ORGANIC_1_pdf/ 5309668 (дата обращения: 15.07.2018).
22. Graves A., et al. Hybrid Computing using a Neural Network with Dynamic External Memory// Nature. 2016. Vol. 538. N 7626. P. 471-476. doi:10.1038/na-ture20101
23. Sutton R. S., Barto A. G. Reinforcement Learning: An Introduction. — Cambridge, MIT Press, 1998. — 322 p. doi:10.1109/TNN.1998.712192
24. Сайт компании ChemDiv. http://www.chemdiv.com/ (дата обращения: 15.07.2018).
25. Muegge I. Selection Criteria for Drug-like Com-pounds// Medicinal Research Reviews. 2003. Vol. 23. P. 302-321. doi:10.1002/med.10041. https://www. ncbi.nlm.nih.gov/pubmed/12647312 (дата обращения: 15.07.2018).
26. Wildman S. A., Crippen G. M. Prediction of Phys-icochemical Parameters by Atomic Contributions// Journal of Chemical Information and Computer Sciences. 1999. Vol. 39. N 5. P. 868-873. doi:10.1021/ ci990307l https://pubs.acs.org/doi/10.1021/ci990307l (дата обращения: 15.07.2018).
27. Palm K., et al. Polar Molecular Surface Properties Predict the Intestinal Absorption of Drugs in Humans // Pharmaceutical Research. 1997. Vol. 14. N 5. P. 568-571. https://link.springer.com/article/10.1023/ A:1012188625088 (дата обращения: 15.07.2018).
UDC 004.855.5: 004.032.26 doi:10.31799/1684-8853-2018-4-52-60
Adversarial Threshold Neural Computer for Small Organic Molecular Structures
Putin E. O.a, Post-Graduate Student, putin.evgeny@gmail.com Shalyto A. A.a, Dr. Sc., Tech., Professor, orcid.org/0000-0002-2723-2077
aComputer Technologies Lab, ITMO University, 49, Kronverkskii Pr., 197101, Saint-Petersburg, Russian Federation
Introduction: A special place in the development of new drugs is computer modeling of potential drug candidates. At this stage, the molecular structure of a drug is created and virtually validated. Molecular structures are created mostly by bioinformatics specialists and medical chemists. Therefore, the process of creating and virtual testing of molecules is long and expensive. Purpose: Developing a model of a deep generative adversarial neural network and its reinforcement environment for generating targeted small organic molecular structures with predetermined properties, as well as reward functions for molecular diversity. Results: The developed deep neural network model called ATNC is based on the concepts of adversarial learning and reinforcement learning. The model uses a recurrent neural network with external memory as a generator of molecular structures, and a special neural network block for selecting the generated molecules before their real estimation by the environment. A new objective reward function of internal clustering by diversity is proposed, which allows the model to generate more diverse chemistry. Comparative experiments have shown that the proposed ATNC model is better than its closest competitor in terms of generating unique and more complex valid molecular structures. It has also been demonstrated that the the molecules generated by ATNC match to the a priori distributions of the key molecular descriptors of the training molecules. Experiments were conducted on a large dataset of 15 000 drug-like molecular compounds collected manually from the ChemDiv collection. Practical relevance: The proposed model can be used as an intelligent assistant in developing new drugs by medical chemists.
Keywords — Machine Learning, Deep Learning, Reinforcement Learning, Generative Adversarial Networks, Drug Design and Development.
Citation: Putin E. O., Shalyto A. A. Adversarial Threshold Neural Computer for Small Organic Molecular Structures. Informatsionno-upravliaiushchie sistemy [Information and Control Systems], 2018, no. 4, pp. 52-60 (In Russian). doi:10.31799/1684-8853-2018-4-52-60
References
1. LeCun Y., Bengio Y., Hinton G. Deep Learning. Nature, 2015, vol. 521, pp. 436-444. doi:10.1038/nature14539. Available at: https://www.nature.com/articles/nature14539 (accessed 15 July 2018).
2. Liu Q., et al. A Review of Image Recognition with Deep Con-volutional Neural Network. 13th Intern. Conf. of Intelligent Computing, Liverpool, 2017, pp. 69-80. doi:10.1007/978-3-319-63309-1
3. Deng L., Liu Y. Deep Learning in Natural Language Processing. Singapore, Springer Singapore, 2018. 329 p. doi:10.1007/ 978-981-10-5209-5
4. Schneider G., Fechner U. Computer-based De Novo Design of Drug-like Molecules. Nature Reviews Drug Discovery, 2005, vol. 4, pp. 649-663. doi:10.1038/nrd1799. Available at: https://www.ncbi.nlm.nih.gov/pubmed/16056391 (accessed 15 July 2018).
5. Min S., Lee B., Yoon S. Deep Learning in Bioinformatics. Briefings in Bioinformatics, 2016, vol. 15, iss. 1, pp. 851869. doi:10.1093/bib/bbw068. Available at: https://academ-ic.oup.com/bib/article/18/5/851/2562808 (accessed 15 July 2018).
6. Mamoshina P., Vieira A., Putin E., Zhavoronkov A. Applications of Deep Learning in Biomedicine. Molecular Pharmaceutics, 2016, vol. 13, pp. 1445-1454. doi:10.1021/acs. molpharmaceut.5b00982. Available at: https://www.ncbi. nlm.nih.gov/pubmed/27007977 (accessed 15 July 2018).
7. Kleftogiannis D., Kalnis P., Bajic V. B. DEEP: A General Computational Framework for Predicting Enhancers. Nucleic Acids Research, 2014, vol. 43, pp. e6. doi:10.1093/nar/ gku1058. Available at: https://www.ncbi.nlm.nih.gov/pu-bmed/25378307 (accessed 15 July 2018).
8. Kim S. G., Theera-Ampornpunt N., Fang C.-H., Harwani M., Grama A., Chaterji S. Opening up the Blackbox: An Interpretable Deep Neural Network-based Classifier for Celltype Specific Enhancer Predictions. BMC Systems Biology, 2016, vol. 10, no. 54, pp. 244-258. doi:10.1186/s12918-016-0302-3. Available at: https://www.ncbi.nlm.nih.gov/pmc/ articles/PMC4977478 (accessed 15 July 2018).
9. Aliper A., Plis S., Artemov A., Ulloa A., Mamoshina P., Zhavoronkov A. Deep Learning Applications for Predicting Pharmacological Properties of Drugs and Drug Repurpos-ing using Transcriptomic Data. Molecular Pharmaceutics, 2016, vol. 13, pp. 2524-2530. doi:10.1021/acs.molpharma-ceut.6b00248. Available at: https://www.ncbi.nlm.nih.gov/ pubmed/27200455 (accessed 15 July 2018).
10. Xu Y., Pei J., Lai L. Deep Learning based Regression and Multiclass Models for Acute Oral Toxicity Prediction with Automatic Chemical Feature Extraction. Journal of Chemical Information and Modeling, 2017, vol. 57, no. 11, pp. 2672-2685. doi:10.1021/acs.jcim.7b00244. Available at: https://www.ncbi.nlm.nih.gov/pubmed/29019671 (accessed 15 July 2018).
11. Lenselink E. B., Dijke N., Bongers B., Papadatos G., Vli-jmen H. W., Kowalczyk W., Ijzerman A. P., Westen G. J. Beyond the Hype: Deep Neural Networks Outperform Established Methods using a ChEMBL Bioactivity Benchmark Set. Journal of Chemin-formatics, 2017, vol. 9, no. 45, pp. 1-14. doi:10.1186/s13321-017-0232-0. Available at: https://link.springer.com/article/10.1186/s13321-017-0232-0 (accessed 15 July 2018).
12. Putin E., et al. Deep Biomarkers of Human Aging: Application of Deep Neural Networks to Biomarker Development. Aging (Albany NY), 2016, vol. 8, no. 5, pp. 1021-1033. doi: 10.18632/aging. 100968. Available at: https://www.ncbi. nlm.nih.gov/pubmed/27191382 (accessed 15 July 2018).
13. Kadurin A., et al. druGAN: An Advanced Generative Adversarial Autoencoder Model for De Novo Generation of New Molecules with Desired Molecular Properties in Silico. Molecular Pharmaceutics, 2017, vol. 14, no. 9, pp. 3098-3104. doi:10.1021/acs.molpharmaceut.7b00346. Available at: https://www.ncbi.nlm.nih.gov/pubmed/28703000 (accessed 15 July 2018).
14. Weininger D. SMILES, A Chemical Language and Information System. 1. Introduction to Methodology and Encoding Rules. Journal of Chemical Information and Computer Sciences, 1988, vol. 28, no. 1, pp. 31-36. doi:10.1021/ ci00057a005. Available at: https://pubs.acs.org/doi/10.1021/ ci00057a005 (accessed 15 July 2018).
15. Bjerrum E. J., Threlfall R. Molecular Generation with Recurrent Neural Networks (RNNs). arXiv preprint arXiv: 1705.04612, 2017. Available at: https://arxiv.org/ abs/1705.04612 (accessed 15 July 2018).
16. Hochreiter S., Schmidhuber J. Long Short-term Memory. Neural Computation, 1997, vol. 9, no. 8, pp. 1735-1780. doi:10.1162/neco.1997.9.8.1735
17. Cherti M., Kégl B., Kazakçi A. De Novo Drug Design with Deep Generative Models: An Empirical Study. Intern. Conf. on Learning Representations, Toulon, 2017. Available at: https://pdfs.semanticscholar.org/9759/6bc50245f5e0f2d 20bde6a8a13f2ac437619.pdf (accessed 15 July 2018).
18. Goodfellow I., Pouget-Abadie J., Mirza M., Xu B., Warde-Far-ley D., Ozair S., Courville A., Bengio Y. Generative Adversarial Nets. Advances in Neural Information Processing Systems, Montreal, 2014, pp. 2672-2680.
19. Yu L., Zhang W., Wang J., Yu Y. SeqGAN: Sequence Generative Adversarial Nets with Policy Gradient. AAAI, San Francisco, 2017, pp. 2852-2858.
20. Williams R. J. Simple Statistical Gradient-following Algorithms for Connectionist Reinforcement Learning. Machine Learning, 1992, vol. 8, pp. 229-256. doi:10.1007/BF00992696
21. Sanchez-Lengeling B., Outeiral C., Guimaraes G. L., As-puru-Guzik A. Optimizing Distributions over Molecular Space. An Objective-Reinforced Generative Adversarial Network for Inverse-design Chemistry (ORGANIC). ChemRxiv preprint: 5309668 2017. Available at: https://chemrxiv.org/ articles/0RGANIC_1_pdf/5309668. (accessed 15 July 2018).
22. Graves A., et al. Hybrid Computing using a Neural Network with Dynamic External Memory. Nature, 2016, vol. 538, no. 7626, pp. 471-476. doi:10.1038/nature20101
23. Sutton R. S., Barto A. G. Reinforcement Learning: An Introduction. Cambridge, MIT Press, 1998. 322 p. doi:10.1109/ TNN.1998.712192
24. ChemDiv's Company Site. http://www.chemdiv.com/ (accessed 15 July 2018).
25. Muegge I. Selection Criteria for Drug-like Compounds. Medicinal Research Reviews, 2003, vol. 23, pp. 302-321. doi:10.1002/med. 10041. Available at: https://www.ncbi. nlm.nih.gov/pubmed/12647312 (accessed 15 July 2018).
26. Wildman S. A., Crippen G. M. Prediction of Physicochemi-cal Parameters by Atomic Contributions. Journal of Chemical Information and Computer Sciences, 1999, vol. 39, no. 5, pp. 868-873. doi:10.1021/ci990307l. Available at: https:// pubs.acs.org/doi/10.1021/ci990307l (accessed 15 July 2018).
27. Palm K., et al. Polar Molecular Surface Properties Predict the Intestinal Absorption of Drugs in Humans. Pharmaceutical Research, 1997, vol. 14, no. 5, pp. 568-571. Available at: https://link.springer.com/article/10.1023/ A:1012188625088 (accessed 15 July 2018).
