CC BY
40
УДК 57.01:61:004
ИНФОРМАЦИОННАЯ СРЕДА ДЛЯ ВЫСОКОПРОИЗВОДИТЕЛЬНЫХ МЕДИКО-БИОЛОГИЧЕСКИХ ВЫЧИСЛЕНИЙ
Бразовский К.С.1, Пеккер Я.С.1, Дёмкин В.П.2, Уманский О.С.1, Толмачёв И.В.1
1 Сибирский государственный медицинский университет, г. Томск
2 Национальный исследовательский Томский государственный университет, г. Томск
РЕЗЮМЕ
В работе представлен один из возможных подходов к обеспечению экспериментальных и клинических медико-биологических исследований необходимыми вычислительными ресурсами для решения сложных задач обработки биомедицинских данных. Предложенное решение основано на тесном взаимодействии четырех ключевых компонентов современных высокопроизводительных вычислительных комплексов: высокопроизводительного суперкомпьютерного кластера, центра обработки данных, специализированного хранилища данных и защищенных телекоммуникационных каналов. Приведены примеры работ, выполненных с использованием разработанной информационной среды.
КЛЮЧЕВЫЕ СЛОВА: высокопроизводительные вычисления, моделирование в биологии и медицине.
Введение
Применение сложных компьютерных методов в лабораторной, клинической и лучевой диагностике, а также в научных исследованиях, в последнее время стало обычной повседневной практикой. Современные автоматизированные комплексы позволяют получать данные исследований быстро и с высокой степенью достоверности. К сожалению, увеличение объема информации не приводит к автоматическому повышению качества диагностики [1]. Проблема заключается в том, что получаемые первичные данные характеризуют состояние сложной многоуровневой биологической системы в определенный момент времени, при этом собственно состояние не является существенным индикатором способности биологической системы к адаптации и нормальному функционированию. Удобный подход к сопоставлению измеренных параметров биосистемы с должными значениями был предложен В.А. Фокиным и соавт. [2]. Этот способ, основанный на обобщенных оценках состояния, позволяет сводить разнородные многомерные данные в интегральный показатель, характеризующий степень отклонения системы от некоторого референтного состояния (нор-
Н Бразовский Константин Станиславович, тел. 8-960-976-0918; e-mail: bks1@mt-tomsk.ru
ма, усредненные показатели и т.д.). Было показано, что описанный способ может быть применен к данным самых разных типов (инфракрасный спектр поглощения выдыхаемого воздуха, томографические изображения, электрофизиологические измерения и др.). Единственное существенное ограничение этого метода - необходимость в мощных вычислительных ресурсах, поскольку в основу вычислений положено моделирование состояний биосистемы при различных наборах данных. Приведенные ниже результаты были получены с использованием суперкомпьютера СКИФ Томского государственного университета (ТГУ).
Другой источник сверхбольших объемов информации - визуализирующая диагностика. Магнитно -резонансные (МРТ) и компьютерные рентгеновские томографы (КТ) создают до 1 Гбайт данных на одно рутинное исследование, что предъявляет значительные требования к электронному хранилищу, а также к способам обработки и обобщения получаемых результатов. В большинстве случаев наиболее информативным представлением медицинских изображений является неформализованное описание, выполненное высококвалифицированным специалистом.
В настоящее время во всем мире активно разрабатываются и внедряются различные алгоритмы и методы обработки изображений, средства моделирования анатомических структур и автоматизации описания.
Однако доступность многих из передовых технологий для российских специалистов остается невысокой по целому ряду причин. Типичное решение для обработки медицинских изображений в большинстве отечественных лечебных учреждений - это локальная DICOM-инфраструктура с выделенным сервером и набором программного обеспечения, поставляемого вместе с диагностическим инструментом (МРТ или КТ).
Обновление коммерческого программного обеспечения, особенно приобретение новых модулей, реализующих передовые методы обработки, чрезвычайно дорогостоящее и редко проводимое мероприятие. В результате формируется существенный разрыв между разработанными и применяемыми на практике методами. Возможное решение этой проблемы может заключаться в применении высокопроизводительных параллельных вычислений для обработки сверхбольших изображений [3]. Разработанный программный комплекс дает возможность с небольшими затратами реализовать технологию предоставления виртуально любых вычислительных методов обработки изображений конечному пользователю - медицинскому специалисту.
Цель исследования - разработать информационную среду для высокопроизводительных вычислений в биологии и медицине.
Материал и методы
Информационная система для высокопроизводительных вычислений включает в себя четыре основных компонента:
1) супервычислитель (высокопроизводительный вычислительный кластер);
2) высокопроизводительное хранилище данных;
3) центр обработки и визуализации данных;
4) телекоммуникационную среду.
Структурная схема разработанного решения представлена на рис. 1 . В качестве суперкомпьютерного кластера используется СКИФ ТГУ. Кластер объединен высокопроизводительной сетью передачи данных с хранилищем объемом до 150 Тбайт. Центр обработки и визуализации данных (ситуационный центр) также подключен к хранилищу с использованием высокоскоростной сети и содержит несколько рабочих мест специалистов, которые могут быть использованы в различных целях, в том числе для решения ситуационных медицинских задач в реальном времени.
В настоящее время доступно следующее программное обеспечение:
1) среда для обработки трехмерных медицинских изображений Slicer 3D (www.slicer.org) [4];
2) среда для моделирования нейронных структур NeuroML [5];
3) среда для электроэнцефалографических исследований EEGlab [6];
4) универсальная вычислительная среда для параллельных вычислений Parallel Matlab 12 (академическая версия);
5) среда для имитационного моделирования и численных экспериментов с использованием трехмерных моделей биологических объектов COMSOL;
6) программное обеспечение для обработки многомерных статистических данных медико-биологических исследований на основе оценки состояния.
Рис. 1. Структура информационной среды для высокопроизводительных вычислений в биомедицине
Результаты
Разработанная информационная среда была использована для решения целого ряда задач обработки медико-биологических данных. В качестве примера
приведем результаты решения одной из наиболее сложных вычислительных проблем - детализированного моделирования анатомических структур головы и головного мозга человека. Этапы создания модели были подробно описаны в работе Я.С. Пеккера и К. С. Бра-зовского [7]. До недавнего времени практическая полезность этой модели при проведении вычислительных экспериментов была невысока в силу того, что доступные мощности компьютерной техники не позволяли реконструировать модели с высокой степенью анатомической детализации. Реальное пространственное разрешение составляло не более 3 х 3 х 3 мм, а проведение одного численного эксперимента занимало более суток. В настоящее время мы располагаем геометрической моделью анатомических структур головы и головного мозга человека с пространственным разрешением 1 х 1 х 1 мм (рис. 2) с перспективой увеличения до 0,3 х 0,3 х 0,3 мм.
Модель с однородным разрешением в 1 мм содержит более 20 млн узлов и более 100 млн конечных элементов, однако даже такая детализация не представляет проблем при проведении численных исследований с использованием параллельных вычислений и специального хранилища данных. Время проведения одного численного эксперимента составляет не более 15 мин, что позволяет существенно расширить область применения модели.
Рис. 2. Геометрическая модель головы человека с высокой степенью анатомической детализации
Еще одна работа, которая была выполнена с применением информационной среды, ориентирована на разработку средств диагностики состояния системы «мать-плацента-плод» на основе электро-импедансных измерений. В работе использованы средства для создания геометрической модели абдо-
минальной области беременной женщины. Исходными данными для построения моделей послужили результаты исследований L. Bibin и соавт. [8]. Процесс создания модели (рис. 3) включает формирование поверхностей основных компонентов, разбиение их на конечные элементы (рис. 4), размещение электродов и проведение численных экспериментов (рис. 5).
Рис. 3. Создание модели абдоминальной области беременной женщины
Рис. 4. Внутренняя структура конечно-элементной модели
Для проведения численных исследований задаются значения удельного сопротивления области расположения плода, которые соответствуют нормальному и патологическим состояниям. Результаты численного эксперимента представляются в виде распределения
электрического потенциала на поверхности живота (рис. 5).
Особенностью предложенного решения является выделение отдельных рабочих узлов центра обработки данных для визуализации изображений. Это особенно актуально для изображений большого и сверхбольшого объема, трехмерных нативных изображений и геометрических моделей для последующего прототипи-рования. Программное обеспечение рабочих узлов обеспечивает доступ в режиме «облачного» сервиса через телекоммуникационную среду. Доступ к вычислительной среде может быть осуществлен как через открытые каналы (проводной или беспроводной Интернет), так и через защищенную спутниковую сеть, предоставляемую телепортом ТГУ. Особенность данного решения состоит в том, что «облако» является частным и обеспечивает наивысший уровень защиты информации, что позволяет обрабатывать и хранить в том числе медицинские данные. В подавляющем большинстве случаев информация может храниться анонимно, что обеспечивается специализированным программным решением в составе информационной инфраструктуры лечебного учреждения. Подобная структура уникальна и предоставляет возможности, не имеющие аналога в России и за рубежом. Наибольший интерес представляют следующие доступные варианты использования информационной среды:
1) быстрое развертывание медицинской информационной системы общего назначения с высокой степенью защищенности и надежности хранения информации при минимальных затратах;
2) применение в научных исследованиях самых современных методов обработки результатов практически без ограничения сложности применяемых алгоритмов. Особенно большое значение это имеет для исследований в области молекулярной биологии и генетики;
3) обработка и хранение медицинских изображений с возможностью использования как специализированного программного обеспечения, так и программ общего назначения, например Matlab или COMSOL;
4) моделирование и численные эксперименты в области нейрофизиологии, фармакологии, химии и других;
5) статистическая обработка данных с использованием современных пакетов.
Особо следует остановиться на преимуществах использования программного обеспечения. Не секрет, что стоимость специализированных программ для обработки медико-биологических данных может достигать нескольких десятков миллионов рублей. Небольшие коллективы и отдельные исследователи не могут позволить себе приобрести и использовать подобные программные комплексы. При размещении в «облаке» пользователь фактически оплачивает только время работы с программой, что снижает издержки на собственную информационную инфраструктуру в десятки и даже сотни раз.
Заключение
Предложенная информационная среда для медико-биологических вычислений имеет уникальную структуру и делает высокопроизводительные вычисления доступными для небольших исследовательских коллективов. Существующий набор программного обеспечения позволяет решать определенные задачи моделирования и обработки данных. Работоспособность предложенной информационной среды подтверждается успешным выполнением нескольких исследовательских работ, результаты которых было бы невозможно получить без использования высокопроизводительных вычислений.
Литература
1. Дюк В., Эммануэль В. Информационные технологии в медико-биологических исследованиях. СПб.: Питер, 2003. 528 с.
2. Фокин В.А., Пеккер Я.С., Берестнева О.Г., Гергет О.М. Интегральные методы оценки состояния сложных систем // Изв. Том. политехи. ун-та. 2012. Т. 321, № 5. С. 120-124.
3. Бразовский К.С., Демкин В.П., Пеккер Я.С. Трехмерная реконструкция поверхности биологических объектов с использованием высокопроизводительного вычислительного кластера // Биотехносфера. 2012. № 3-4. С. 60-
Рис. 5. Готовая модель с размещенными электродами
Обсуждение
64.
4. FedorovA., BeichelR., Kalpathy-Cramer J., FinetJ., Fillion-Robin J.-C. et al. 3D Slicer as an image computing platform for the quantitative imaging network // Magnetic Resonance Imaging. 2012. V. 30 (9). P. 1323-1341. PMID: 22770690.
5. Gleeson P., CrookS., Cannon R.C., HinesM.L., Billings G.O. et al. NeuroML: A language for describing data driven models of neurons and networks with a high degree of biological detail // PLoS Computational Biology. 2010. V. 6. e1000815. doi:10.1371/journal.pcbi.1000815.
6. Delorme A., Makeig S. EEGLAB: an open source toolbox for
analysis of single-trial EEG dynamics // Journal of Neuroscience Methods. 2004. V. 134. P. 9-21.
7. Пеккер Я.С., Бразовский К.С. Моделирование биологических объектов в электроимпедансной томографии // Известия ТПУ. 2004. Т. 307, № 2.
8. Bibin L., Anquez J., Alcalde J., Boubekeur T., Angelini E., Bloch I. Whole body pregnant woman modeling by digital geometry processing with detailed utero-fetal unit based on medical images // IEEE Transactions on Biomedical Engineering. 2010. V. 57 (10). P. 2346-2358.
Поступила в редакцию 28.02.2014 г.
Утверждена к печати 07.05.2014 г.
Бразовский Константин Станиславович (И) - канд. мед. наук, доцент кафедры медицинской и биологической кибернетики СибГМУ (г. Томск).
Пеккер Яков Семёнович - канд. техн. наук, профессор, зав. кафедрой медицинской и биологической кибернетики СибГМУ (г. Томск). Дёмкин Владимир Петрович - д-р физ.-мат. наук, профессор, зав. кафедрой общей и экспериментальной физики НИ ТГУ (г. Томск). Уманский Олег Семёнович - канд. техн. наук, доцент кафедры медицинской и биологической кибернетики СибГМУ (г. Томск). Толмачёв Иван Владиславович - канд. мед. наук, доцент кафедры медицинской и биологической кибернетики СибГМУ (г. Томск).
И Бразовский Константин Станиславович, тел. 8-960-976-0918; e-mail: bks1@mt-tomsk.ru
HIGH PERFORMANCE INFORMATIONAL ENVIRONMENT FOR CALCULATIONS IN BIOMEDICINE
Brazovsky K.S.1, Pekker Ya.S.1, Dyomkin V.P.2, Umansky O.S.1, Tolmachyov I.V.1
1 SSiberian State Medical University, Tomsk, Russian Federation
2 National Research Tomsk State University, Tomsk, Russian Federation
ABSTRACT
This work represented one of the possible approaches to providing the required computational resources for solving the complex data processing tasks in biomedicine. The proposed solution is based on four tightly interacted key components of modern high performance computational systems: high performance computational cluster, data processing center, specialized data store and protected telecommunication channels. The examples of tasks, which have been solved in the developed information environment, are given.
KEY WORDS: high performance computing, modeling in biology and medicine.
Bulletin of Siberian Medicine, 2014, vol. 13, no. 4, pp. 21-26
References
1. Duk V., Emanuel V. Information technology in biomedicine research. St. Petersburg, Piter Publ., 2003. 528 p. (in Russian).
2. Fokin V.A., Pekker Ya.S., Berestneva O.G., Gerget O.M. An
integral method of evaluation of complex system state. The Bulletin of Tomsk Polytechnic University, 2012, vol. 321, no. 5, pp. 120-124 (in Russian).
3. Bravovsky K.S., Dyomkin V.P., Pekker Ya.S. Three dimensional reconstruction of surface of biological objects using high performance computing. Biotechosphera, 2012, no. 3-4,
pp. 60-64 (in Russian).
4. Fedorov A., Beichel R., Kalpathy-Cramer J., Finet J., Fillion-Robin J.-C. et al. 3D Slicer as an image computing platform for the quantitative imaging network. Magnetic Resonance Imaging, 2012, vol. 30 (9), pp. 1323-1341. PMID: 22770690.
5. Gleeson P., Crook S., Cannon R.C., Hines M.L., Billings G.O. et al. NeuroML: A language for describing data driven models of neurons and networks with a high degree of biological detail. PLoS Computational biology, 2010, vol. 6. e1000815. doi:10.1371/journal.pcbi.1000815.
6. Delorme A., Makeig S. EEGLAB: an open source toolbox
for analysis of single-trial EEG dynamics. Journal of Neuroscience Methods, 2004, vol. 134, pp. 9-21.
7. Pekker Ya.S., Brazovsky K.S. Biological objects modeling in electrical impedance tomography. The Bulletin of Tomsk Polytechnic University, 2004, vol. 307, no. 2 (in Russian).
8. Bibin L., Anquez J., Alcalde J., Boubekeur T., Angelini E., Bloch I. Whole body pregnant woman modeling by digital geometry processing with detailed utero-fetal unit based on medical images. IEEE Transactions on Biomedical Engineering, 2010, vol. 57 (10), pp. 2346-2358.
Brazovsky Konstantin S. (H), Siberian State Medical University, Tomsk, Russian Federation. Pekker Yakov S., Siberian State Medical University, Tomsk, Russian Federation. Dyomkin Vladimir P., Siberian State Medical University, Tomsk, Russian Federation. Umansky Oleg S., Siberian State Medical University, Tomsk, Russian Federation. Tolmachyov Ivan V., Siberian State Medical University, Tomsk, Russian Federation.
H Brazovskiy Konstantin S., Ph. +7-960-976-0918; e-mail: bks1@mt-tomsk.ru
Уважаемые читатели! Предлагаем вам подписаться на наш журнал с любого номера
В 2015 году стоимость подписки на полугодие составляет 1500 рублей, на год — 3000 рублей.
Как оформить подписку на журнал «Бюллетень сибирской медицины» На почте во всех отделениях связи
Подписной индекс 46319 в каталоге агентства Роспечати «Газеты и журналы 2015, 1-е полугодие». В редакции
• Без почтовых наценок.
• С любого месяца.
• Со своего рабочего места.
По телефону (382-2) 51-41-53; факс (382-2) 51-53-15. На сайте http://bulletin.tomsk.ru
Если вы являетесь автором публикаций или хотите приобрести наш журнал, он будет выслан вам наложенным платежом при заполнении заявки. Стоимость приобретения одного номера 400 рублей. Заявку на приобретение журнала нужно выслать по адресу редакции: 634050, г. Томск, пр. Ленина, 107,
Научно-медицинская библиотека Сибирского государственного медицинского университета, редакция журнала «Бюллетень сибирской медицины», тел. (8-3822) 51-41-53. E-mail: bulletin@bulletin.tomsk.ru
