CC BY
112
Информационные технологии Вестник Нижегородского университета им. Н.И. Лобачевского, 2012, № 5 (2), с. 432-437
УДК 004.925.3
ПРИНЦИПЫ ОРГАНИЗАЦИИ И АРХИТЕКТУРА ИНФОРМАЦИОННОЙ ТЕЛЕМЕДИЦИНСКОЙ СИСТЕМЫ НОВОГО ПОКОЛЕНИЯ
© 2012 г. В.Е. Турлапов, А.А. Белокаменская, В.А. Сапрыкин, В.П. Гергель
Нижегородский госуниверситет им. Н.И. Лобачевского
Поступила в редакцию 10.09.2012
Представлены принципы организации и архитектура макета информационной телемедицинской системы нового поколения. Новизна системы определяется тремя главными признаками: 1) организация системы на основе вычислительного кластера как системы вычислительной медицины или биологии; 2) организация системы на основе большого распределенного долговременного хранилища медицинских и биологических данных, совместимого с HIS, LIS, PACS, RIS; 3) объединение в системе данных и средств медицинской диагностики с системами вычислительного моделирования работы органов человека на клеточном уровне.
Ключевые слова: информационные системы, высокопроизводительные вычисления, вычислительные кластеры, базы данных, телемедицина, вычислительная медицина, вычислительная биология.
Введение
Мировая медицина сегодня интенсивно наполняется новыми средствами диагностики и лечения, информационными технологиями. Практически все крупные современные клиники компьютеризированы: имеют, как минимум, компьютерную информационную систему (hospital or healthcare - HIS, clinical - CIS information system). Часто такая система поддерживается также лабораторной информационной системой (LIS), которая обеспечивает информационную поддержку лабораторной диагностики пациентов, а в случае наличия в клинике томографов - системой архивации и обмена диагностическими изображениями (PACS). В ядерной или радиологической медицине применяются радиологические информационные системы (RIS), поддерживающие специальный учет радиофармпрепаратов. Но, хотя наиболее заметны результаты информатизации медицины, еще более интенсивно развивается применение в медицине вычислений, поддерживающих новые технологии диагностики и лечения, разработки лекарственных препаратов. По всему миру открываются и успешно функционируют центры вычислительной медицины и вычислительной биологии.
Появление центров вычислительной медицины связано, прежде всего, с необходимостью создания более высокопроизводительного программного обеспечения для появляющихся новых видов ультразвукового исследования, все
новых и новых моделей томографов и ранее недоступных типов томографии, таких, например, как сцинтиграфия, однофотонная эмиссионная компьютерная томография (ОФЭКТ), по-зитронно-эмиссионная томография (ПЭТ). Так, в 2007 году компанией Toshiba впервые представлены 320-срезовые компьютерные томографы, позволяющие наблюдать почти «в реальном» времени физиологические процессы, происходящие в головном мозге и в сердце [1]. Несколько 320-срезовых сканеров функционируют в России. С бурным развитием томографии и необходимостью совмещения анализа ее результатов в 3D встал вопрос о поддержке 3D-модели пациента как основы его медицинской карты. Это стало дополнительным стимулом развития центров вычислительной медицины. Решение таких задач оказалось невозможным без привлечения мощной вычислительной техники и супервычислений. Масса задач трехмерной обработки и совместного анализа результатов разнотипных томографий встает в ядерной медицине на этапах предварительной диагностики, назначения на лечение, сопровождения лечения радионуклидами и постлечебно-го реабилитационного сопровождения.
Так, компания IBM - мировой лидер производства суперЭВМ - в 2008-2009 гг. стартовала и активно поддерживает проекты по использованию 3D-модели пациента как основы его медицинской карты [2]. В 2012 IBM начала проект по моделированию действия лекарств на 3D-аватаре конкретного человека [3].
Вычислительная биология в значительной степени направлена на биологическое исследование патологий человека, прежде всего на животных, и методов их профилактики, диагностики и лечения. Исследование клеточных и субклеточных структур в микро- и нанометро-вых масштабах требует огромных ресурсов производительности и памяти. Оценить необходимые объемы ресурсов может помочь открытый Интернет-ресурс '№№Лг.орепсоппес1;оте-project.org, хранящий изображения участка мозга мыши объемом в 12 терабайт. Только для организации Интернет-просмотра такого изображения необходимо его распределенное многомасштабное хранение на суперкомпьютере с распараллеливанием доступа.
Наиболее актуальным для инновационной медицины сегодня является объединение и медицинских, и биологических исследований вокруг конкретного пациента на основе всестороннего использования ресурсов высокопроизводительных кластеров и организованных при них хранилищ данных. Дополнительным аргументом является возможность организации на основе такого кластера многочисленных профильных облачных сервисов.
Задаче создания именно такого объединения средств диагностики, вычислительной медицины и вычислительной биологии и созданию на этой основе макета телемедицинской системы нового поколения был посвящен трехлетний (2010-2012) госконтракт № 02.740.11.0839 по теме «Исследование и разработка инновационных методов медицинской диагностики для телемедицинских систем нового поколения», выполнявшийся ННГУ в рамках ФЦП «Научные и научно-педагогические кадры инновационной России» на 2009-2013 годы.
Архитектура созданного макета телемедицинской системы
Ядром системы является гетерогенный вычислительный кластер с Интернет-доступным распределенным хранилищем медицинских диагностических данных, в состав которого могут входить также базы данных произвольного количества медицинских учреждений.
В серверной части реализован функционал пакетного наполнения хранилища большими объемами данных с режимом их автоматического обезличивания, контроля целостности, упаковки для передачи, предварительного просмотра и обработки.
Система способна работать на наполнение данными как от томографов, так и от диагно-
стических приборов и подсистем: а) терагерцо-вого анализатора (разработка малого предприятия) для экспресс-анализа по выдыхаемому воздуху; б) ультразвукового анализа крови и биологических жидкостей; в) будущего прибора оптической диффузионной томографии, эффективная реализация которого возможна при условии решения задачи томографии для него в режиме облачных вычислений на гетерогенном кластере.
Долговременное хранилище медицинских изображений и данных, объемом до 36 терабайт, развернутое на базе вычислительного кластера ННГУ, является основой макета телемедицинской системы. Все подсистемы макета телемедицинской системы имеют доступ к хранимым данным. Подсистемы, в зависимости от их назначения, монтируются как «толстые», в основной массе, или «тонкие» клиентские приложения. «Тонкие» получают доступ к данным непосредственно на кластере, могут сохранить в хранилище результат и визуализировать его на клиенте. «Толстые» - после передачи из хранилища на компьютер клиента, но также могут сохранить результат в хранилище.
Сегодня в хранилище находятся около 10000 томограмм, в основном МРТ, общим объемом 70 гигабайт. По сравнению с первой версией серверной части улучшена скорость обмена данными между сервером и клиентом за счет добавления сжатия потока передаваемых данных, реализован контроль целостности данных при передаче путем проверки контрольных сумм. Обеспечение функциональности базы данных (БД) медицинских изображений, а тем более томограмм, предъявляет существенные дополнительные требования. В результате, добавлена возможность предварительного просмотра слоев томограммы, без ее полного скачивания. Клиентское приложение интегрировано с системой 2В-3Б-визуализации.
Реализован пакетный импорт на сервер большого числа изображений в формате DICOM с автоматическим обезличиванием для обеспечения конфиденциальности медицинских данных. В ходе экспериментов с созданным в 2011 году прототипом системы установлено, что скачивание и загрузка данных по проколу FTP в силу своей простоты не лучшим образом подходит для решения поставленной задачи.
Устройство серверной части
Серверная часть системы (рис. 1) состоит из сервера базы данных, хранящего метаданные об изображениях, и одного или нескольких серве-
ров хранения, на которые непосредственно загружаются изображения. В качестве СУБД использована PostgreSQL. В качестве HTTP-сервера использован Microsoft IIS. Выполнением операций над изображениями на сервере хранения управляет сервер приложений. Он реализован как FastCGI-приложение к HTTP-серверу. Это существенно упрощает дальнейшую разработку, позволяя сосредоточиться на реализации нужной функциональности, абстрагируясь от решения технических проблем принятия запросов и передачи ответов.
реждений, реализованы следующие возможности ускорения: сжатие при передаче, кодирование в формат PNG-изображения и кэширование на стороне клиента.
При передаче томограммы целиком производится сжатие без потерь с использованием алгоритма DEFLATE. Сжатие с максимальной степенью позволяет уменьшить объем передаваемых данных более чем в два раза, при незначительных (по сравнению со временем передачи) накладных расходах на сжатие/распаковку. Это позволят удвоить скорость передачи сним-
Рис. 1. Архитектура компонентов системы хранения и обработки медицинских изображений
Для непосредственного хранения данных используется SAS (Serial Attached SCSI) хранилище. В целях масштабируемости его разделы монтируются как подкаталоги в каталог storage без присвоения латинской буквы каждому разделу. FastCGI-приложение при импорте томограмм упаковывает серии изображений слоев в формате DICOM в единый файл и без сжатия размещает в подкаталогах volume001, vo-lume002 и т.д. в зависимости от наличия свободного пространства. В качестве пути к томограмме на сервере хранения в базу данных заносится путь относительно каталога storage, например /volume001/tom245.
Ускорение скачивания/загрузки изображений
Для загрузки изображений, ввиду их значительного объема и ограниченной пропускной способности Интернет-канала медицинских уч-
ков между сервером и клиентом. При передаче одиночного слоя для целей предварительного просмотра производится его кодирование в формат PNG (сжатие без потерь тем же алгоритмом DEFLATE) с уменьшением глубины цвета до 8 бит. Наряду с обеспечением интерфейса между клиентом и сервером путем предварительного просмотра слоев, а также с уменьшением объема передаваемых данных формат PNG дает возможность удаленного просмотра слоев томограммы через браузер.
Для ускорения повторного доступа к недавно созданным/запрошенным изображениям реализована подсистема локального дискового кэширования. Она позволяет избежать повторного скачивания недавно использованных изображений с сервера. Кэш представляет собой специально выделенный каталог, содержащий подкаталоги/файлы. Максимальный объем кэша задается в настройках программы. Кэш работает по принципу вытеснения объектов, к которым дав-
Рис. 2. Копия окна клиентского приложения
но не было обращений. Имя каждого подкаталога/файла состоит из префикса, указывающего тип объекта кэша, и уникального числового кода. Это позволит в будущем при необходимости расширить список объектов кэшировании. Для серии изображений одной томограммы в формате DICOM запись в дисковом кэше представляет собой подкаталог с файлами, которые содержат отдельные слои. В качестве имени подкаталога используется префикс tom и числовой идентификатор соответствующей записи в базе данных. Такой формат хранения позволяет без дополнительных действий открывать изображения для чтения непосредственно из кэша.
Интерфейс клиентского приложения
При пакетном импорте кроме записей о самих изображениях в базе данных создаются и все связанные записи (пациент, исследование, часть тела и др.) По ходу процесса импорта отображается полоса прогресса и кнопка прерывания операции. Все передачи изображений проверяются на корректность с помощью подсчета контрольных сумм по обеим сторонам канала и их сверки между собой.
С учетом потенциального большого числа записей в базе данных и изображений в хранилище изменен порядок вывода результатов запроса в клиентском приложении. Теперь, чтобы не передавать большое количество данных, записи выводятся постранично, по умолчанию по 20 записей. Возможны переход между соседни-
ми страницами и на указанную страницу, сортировки записей по любому полю.
Благодаря реализации сервера приложений стало возможно добавить в клиентскую программу выборку отдельных слоев томограммы. За счет этого реализован предварительный просмотр отдельных слоев томограммы до того, как скачивать томограмму целиком (рис. 2).
3Б-визуализатор позволяет просматривать томограммы в различных режимах визуализации, и его запуск осуществляется нажатием кнопки после выбора томограммы в списке (см. пример на рис. 3). Если нужного изображения нет в кэше, то оно будет автоматически загружено.
Сложность интеграции сильно разнится от простого запуска процесса до реализации нескольких из следующих функций: подготовка входных и анализ выходных данных; интерфейс ввода параметров консольного приложения и отображения результатов его работы; загрузка входных данных из хранилища и сохранение результатов работы в хранилище и др. Рассмотрим интеграцию подсистемы оптической диффузионной томографии в виде программного модуля ХМСМЬ, обеспечивающего моделирование распространения зондирующего излучения в многослойных биологических тканях с произвольной геометрией границ слоев в задаче оптической диффузионной томографии.
Компонент ХМСМЬ представляет собой консольное приложение, работающее из командной строки. В качестве входных параметров оно принимает путь к ХМЬ-файлу с описа-
Рис. 3. Пример 3В-визуализации томограммы
нием параметров задачи и ряд других параметров. В качестве результата создается сохраняемый выходной файл, содержимое которого отображено (рис. 4) посредством ОШ-приложения mcmlVisualizer.exe. Исполняемые и прочие файлы, необходимые приложению, размещены в каталоге ../хтст1 (путь указан относительно рабочего каталога клиентской программы Te1eBase). Специально для интегрирования этого компонента в общую программную оболочку было создано отдельное окно в программе Te1eBase, позволяющее задавать параметры запуска: файл с параметрами задачи; файл, описывающий геометрию, число вычислительных потоков, имя выходного файла и др.
Данная подсистема оптической диффузионной томографии, как и все другие, открывается через кнопку «Моделирование», и затем открывается вкладка подсистемы. Заполнив в окне ввода (рис. 4) все необходимы поля, пользова-
тель нажимает кнопку «Начать моделирование» для запуска вычислений. В качестве обработчика этой кнопки реализована процедура создания ВАТ-файла, содержащего две команды: вызов программы моделирования с передачей ей нужных параметров, включая имя выходного файла, и вызов программы визуализации с передачей ей в виде параметров командной строки имени выходного файла. Сразу после создания ВАТ-файл запускается на выполнение. Для наблюдения за ходом вычислений используется текстовое окно. Результат выводится в отдельное графическое окно. В отдельных случаях для графического вывода используется открытое приложение ParaView.
Заключение
Итогом работы является создание макета телемедицинской системы нового поколения со
Рис. 4. Подключенная подсистема оптической диффузионной томографии. Результат моделирования распространения зондирующего излучения в мозге
следующим, интересным для врачей-диагностов и клиницистов, набором свойств и характеристик:
• Ядром системы является гетерогенный вычислительный кластер с Интернет-доступ-ным распределенным долговременным хранилищем медицинских диагностических данных, в состав которого могут входить также различные базы данных произвольного количества медицинских учреждений (HIS, PACS, RIS).
• Благодаря своей архитектуре система способна выполнять функции центра вычислительной медицины и центра вычислительной биологии одновременно, значительно дополняя и расширяя функции телемедицинской системы.
• Интернет-доступная база данных, для долговременного хранения и дистанционного использования данных медицинской диагностики, хранит сегодня около 10000 томограмм, обеспечена необходимым функционалом для ее практической эксплуатации и построения на ее основе телемедицинских и других систем исследовательской и практической медицины.
• Впервые объединены в одну систему не только системы прямой медицинской диагностики, но и системы моделирования и исследования отдельных важнейших органов человека - сердца и мозга, использующие вычислительные возможности кластера для постепенного сближения исследования человека на макро- и микроуровнях, раскрытия глубинных причин болезней и методов их лечения и профилактики.
о Впервые в России построено программное обеспечение моделирования электрической активности сердца с учетом его реальной геометрии и модели активности клеток сердца: программа «Виртуальное
сердце», способная достоверно моделировать условия развития и купирования фибрилляций.
о Построены программы моделирования активности ансамблей клеток мозга, позво-
лившие вскрыть ряд новых закономерностей
их функционирования.
• Впервые в России создан 3D-визуализа-тор томограмм, не уступающий по качеству, производительности и функциональности зарубежным аналогам [4].
За рубежом медицинские системы подобного назначения создаются для обслуживания только в масштабах одной клиники.
Планируется создание на основе данного макета специальной системы для сопровождения всего процесса лечения в клинике ядерной медицины: предварительной диагностики; назначения на лечение в радиологический стационар; собственно графика лечения с наблюдением и анализом его результативности по данным ПЭТ+КТ; сопровождения реабилитационного периода.
Работа выполнена при поддержке ФЦП «Научные и научно-педагогические кадры инновационной России», гранта Президента РФ НШ-1960.2012.9 и гранта Правительства РФ № 11. G34.31.0066.
Список литературы
1. Johns Hopkins Medicine (Hospital) news. URL: http://www.hopkinsmedicine.org/Press_releases/2007/11 _26_07.html.
2. Charette R.N. Visualizing Electronic Health Re-
cords With «Google-Earth for the Body» (IBM researchers develop 3-D visualization tool for electronic health records) Jan. 2008. URL: http://spectrum.ieee.org
/biomedical /diagnostics/visualizing-electronic-health-records-with-googleearth-for-the-body.
3. Charette R.N. Using Avatars to Understand Adverse Drug Reactions. March 06, 2012. URL: http: //spec-trum.ieee.org/riskfactor/biomedical/ diagnostics/ using-avatars-to-understand-adverse-drug-reactions/.
4. Гаврилов Н.И., Турлапов В.Е. Подходы к оптимизации GPU-алгоритма volume raycasting для применения в составе виртуального анатомического стола // Научная визуализация. 2012. Кв. 2. Т. 4. №2. С. 21-56. URL: http://sv-journal.com/2012-2/index. php?l ang=ru).
PRINCIPLES OF ORGANIZATION AND ARCHITECTURE OF A NEXT-GENERATION TELEMEDICINE INFORMATION SYSTEM
V.E. Turlapov, A.A. Belokamenskaya, V.A. Saprikin, V.P. Gergel
The article presents the principles of organization and architecture of the model of a next-generation telemedicine information system. The novelty of our system is determined by three main features: 1) the system is organized on the basis of a computational cluster as a system of computational medicine or computational biology; 2) the system is organized on the basis of a large distributed persistent store of medical and biological data compatible with HIS, LIS, PACS, RIS; 3) the system integrates a medical diagnostics database and databases of computer simulation systems for human organs at the cellular level.
Keywords: information systems, high performance computing, computational clusters, databases, telemedicine, computational medicine, computational biology.
