CC BY
34
А.М. БОРБАТ,
к.м.н., ФГБУ ГНЦ ФМБЦ им. А.И. Бурназяна ФМБА России, г. Москва, Россия, e-mail: aborbat@yandex.ru, https://orcid.org/0000-0002-9699-8375 С.В. ЛИЩУК,
к.м.н., ФГБУ ГНЦ ФМБЦ им. А.И. Бурназяна ФМБА России, г. Москва, Россия, e-mail: leycom@mail.ru, https://orcid.org/0000-0003-0372-5886
ПЕРВЫЙ РОССИЙСКИЙ НАБОР ДАННЫХ ГИСТОЛОГИЧЕСКИХ ИЗОБРАЖЕНИЙ ПАТОЛОГИЧЕСКИХ ПРОЦЕССОВ МОЛОЧНОЙ ЖЕЛЕЗЫ
УДК: 616-091.8 DOI: 10.37690/1811-0193-2020-3-25-30
Борбат А.М., Лищук С.В. Первый российский набор данных гистологических изображений патологических процессов молочной железы (ФГБУ ГНЦ ФМБЦ им. А.И. Бурназяна ФМБА России, г. Москва, Россия)
Аннотация. Предложен набор размеченных гистологических изображений различных патологических процессов молочной железы, включающий 104 микроскопических препарата от 92 пациентов и более 40 тысяч изображений. К набору данных предложена аннотация с морфологическими типами, характером патологических процессов, степенью дифференцировки опухоли, характеристикой по классификации TNM и возрастом пациентов. Набор данных подготовлен в соответствии с внутренними процедурами ФГБУ ГНЦ ФМБЦ им. А.И. Бурназяна ФМБА России, не содержит персональных данных, а его элементы не позволяют идентифицировать пациента. Для исследовательских и образовательных целей набор данных доступен на странице репозитория GitHub и может быть использован для дальнейших исследований с целью повышения качества гистологической диагностики с помощью нейронных сетей.
Ключевые слова: набор данных, гистология, диагностика, патологическая анатомия, нейронные сети, искусственный интеллект.
UDC: 616-091.8
Borbat A.M., Lishchuk S.V. The first Russian breast pathology histologic images data set (Burnasyan Federal Medical Biophysical Center Of Federal Medical Biological Agency, Moscow, Russia)
Abstract. Data set of annotated histology images on breast pathology is provided, containing more than 40 thousand images from 104 microscopic slides and 92 patients and additional clinical data (age, TNM, grade, WHO type). The data set is prepared in compliance with relevant procedures for clinical research at Burnasyan Federal Medical Biophysical Center Of Federal Medical Biological Agency. The data set is accessible at GitHub for research and educational purposes. Keywords: data set, histology, diagnostics, pathology, neural networks, artificial intelligence.
ВВЕДЕНИЕ
а последние несколько лет наблюдается значительный рост публикаций по вопросам применения нейронных сетей в клинической медицине [1]. По запросу "neural network" PubMed показывает 4765 публикаций в 2015 году и 10330 - в 2019, т.е. более чем двухкратный рост за пять лет. Одно из основных направлений - диагностика по изображениям, будь то дерматоскопия in vivo или микроскопия с применением специальных методов [2-4]. Значительную долю составляют статьи, посвященные исследованиям нейронных сетей для рентгенологической диагностики - публикации, посвященные этой теме появляются и в отечественной литературе [4]. Среди значимых направлений также рассматривается гистологическая диагностика [5-7], но со значительно меньшей долей исследований: количество публикаций по запросу "convolutional neural network histology" находится на уровне сотен в 2018 и 2019 годах. Это может быть связано как с меньшим количеством представителей морфологической диагностики в целом, так и с более сложной
>
© А.М. Борбат, С.В. Лищук, 2020 г.
Врач lia
' 1/1 1ЛЫГ+1ППМЯ1 11ЛПЫЫК1П
>
и информационные
технологии
интерпретацией гистологического изображения, а значит и большими ресурсами при подготовке наборов данных.
Учитывая эти обстоятельства, многие авторы делают гистологические наборы данных общедоступными для исследователей со всего мира. При этом большинство этих наборов данных отличаются объемом, относительно небольшого размера. На сегодняшний день самый большой набор размеченных гистологических изображений посвящен опухолевым поражениям молочной железы и содержит немногим менее 8 тысяч изображений от 82 пациентов, по 4 категории злокачественных и доброкачественных поражений [8]. Другие наборы данных в большинстве своем насчитывают сотни изображений [9, 10]. При этом считается, что для качественного обучения свер-точной нейронной сети необходимы десятки тысяч изображений, а при недостатке оригинальных изображений рекомендуется использовать предобучен-ные нейросети [6, 11]. Некоторые авторы считают, что не имеет существенного значения, какой материал использовался для предварительного обучения нейросети, и на чем она обучалась дополнительно [10]. Другие исследователи считают, что сверточная нейросеть идентифицирует разные паттерны при обучении. Т.е. предобученная на распознавание людей нейронная сеть будет значительно терять в качестве, если ее дообучить на распознавание лимфоцитов. Так Alzubаidi Ь и соавт. экспериментальным образом продемонстировали, что нейросеть, предобученная на микроскопическом материале, лучше распознает микроскопические изображения, чем обученные на наборе данных, сформированным из объектов окружающей среды [12].
Следует признать, что в гистологической диагностике одной из основных причин ограниченного распространения нейронных сетей является недостаток размеченных или классифицированных изображений [8, 13].
ОПИСАНИЕ ПРОЦЕССА ПОДГОТОВКИ НАБОРА ДАННЫХ
Для подготовки набора данных использовался гистологический архив патологоанатомического отделения ФГБУ ГНЦ ФМБЦ им. А.И. Бурназяна ФМБА России за 2018-2019 гг. Были отобраны микроскопические препараты с патологически измененными тканями молочной железы (91 пациент, 104 микропрепарата), полученный биопсийным методом (21 микропрепарат) или при удалении органа или его части (83 микропрепарата).
Микроскопические стекла были сканированы с помощью гистологического сканера Ventana iScan HT (увеличение объектива 20, размер пикселя 0,465 мкм).
В каждом изображении врач-патологоанатом в программном обеспечении QuPath [14] отбирал непересекающиеся зоны с наличием патологического очага
а) при увеличении 4 размером 3750x2750 мкм (1633x1185 пикселей), площадью 10,5 мм2;
б) при увеличении 10 размером 1500x1125 мкм (1633x1185 пикселей), площадью 1,7 мм2.
Отобранные таким образом изображения были разделены на квадраты 300x300 и 500x500 пикселей, что позволяет иметь изображения большей и меньшей площади:
а) при увеличении 4, соответственно, 0,475 мм2 и 1,318 мм2;
б) при увеличении 10, соответственно, 0,076 мм2 и 0,211 мм2.
Данные изображения были повторно просмотрены патологоанатомом и те, в которые железистый компонент патологического очага визуально составлял менее 20% площади изображения, удалялись из набора данные.
ХАРАКТЕРИСТИКА НАБОРА ДАННЫХ
Таким образом был получен набор данные, соответственно, 300x300 и 500x500 пикселей
а) при увеличении 4: 6730 и 3049 изображений;
б) при увеличении 10: 23235 и 9890 изображений.
Морфологические типы патологическиx процессов представлены в соответствии с частотой распространенности, поэтому наиболее представлены группы неспецифицированного инвазивно-го рака и операционный материал доброкачественные образований. Набор данные включает доброкачественные процессы: фиброаденома, фиброзно-кистозные изменения/аденоз, папиллома. Злокачественные инвазивные опуxоли: неспеци-фицированный инвазивный рак, дольковый инва-зивный рак и более редкие формы: муцинозный, микропапиллярный, папиллярный, крибриформный, медуллярный. Неинвазивные опуxоли представлены внутрипротоковой неинвазивной карциномой. Таблицы 1-3 дают детальное описание количественные xарактеристик набора данные.
Изображения в наборе данные организованы в папки с названиями, соответствующими
морфологическим типам. В каждой папке имеются подпапки с именованием увеличения (4 или 10) и стороной 300 или 500 пикселей. В названиях изображений отражены индекс изображения (IDX), который позволяет его идентифицировать, морфологическая категория (Dia) и порядковый номер изображения.
Вместе с изображениями в набор данных включен csv файл, который содержит следующие столбцы:
• IDX - уникальный идентификатор микропрепарата;
• Num - уникальный идентификатор клинического случая;
• biopsy - (ярлык) операционный (surgery) или биопсийный материал (biopsy);
• Dia - (ярлык) морфологический вариант патологического процесса (таблица 2) в соответствии с классификацией ВОЗ [15];
• Dia2 - (ярлык) характер патологического процесса (таблица 1);
Таблица 1
Количество изображений в наборе данных по характеру процесса
Характер поражения К-во пациентов К-во микропрепаратов 4-500** 4-300 10-500 10-300
Доброкачественные (Benign)* 31 37 1141 2375 3377 7139
Неинвазивные (InSitu) 9 10 115 214 344 685
Инвазивные (Invasive) 52 57 1793 2375 6169 15411
Итог 91 104 3049 6730 9890 23235
*В скобках приводятся наименования категорий в csv файле "Увеличение (4 и 10) и размер стороны изображения в пикселях (500 и 300)
Таблица 2
Количество изображений в наборе данных по морфологическому типу процесса
Морфологический тип поражения К-во пациентов К-во микропрепаратов 4-500** 4-300 10-500 10-300
Неспецифицированный инвазивный рак (CR)* 31 37 1049 2456 3651 9540
Крибриформный рак (Cribr_CR) 2 2 14 31 54 117
Неинвазивная протоковая карцинома (DCIS) 9 10 115 214 344 685
Фиброаденома (FA) 12 12 499 1085 1464 3179
Фиброзно-кистозные изменения (FCD) 9 13 387 739 1073 2039
Дольковый инвазивный рак (Lob_CR) 10 10 443 1005 1439 3403
Медуллярный рак (Medul_CR) 1 1 57 144 185 461
Микропапиллярный рак (Micpap_CR) 2 2 92 216 392 936
Муцинозный рак (Muc_CR) 3 3 69 140 198 424
Папиллярный рак (Pap_CR) 2 2 69 149 250 530
Папиллома (Papilloma) 10 12 255 551 840 1921
*В скобках приводятся наименования категорий в csv файле "Увеличение (4 и 10) и размер стороны изображения в пикселях (500 и 300)
Таблица 3
Количество изображений в наборе данных по степени дифференцировки (grade)
Степень дифференцировки К-во К-во микро- 4-500**
пациентов препаратов
4-300 10-500 10-300
Доброкачественные (G0)* 31 37 1141 2375 3377 7139
Высокодифференцированные (G1) 18 22 644 1474 2193 5203
Умеренно дифференцированные (G2)
27
28
759
1729
2491
5780
Низкодифференцированные (G3) 16 17 505 1152 1829 5113
>
*В скобках приводятся наименования категорий в csv файле **Увеличение (4 и 10) и размер стороны изображения в пикселях (500 и 300)
Врач ÜSä
' 1/1 МЫГ+1ППМЯ1 11ЛПЫЫК1П
и информационные
технологии
• Grade - оценка степени злокачественности: для инвазивных опухолей по Ноттингемским критериям [16], для протоковой карциномы инси-ту - по критериям ядерного полиморфизма [17], G0 соответствует доброкачественным поражениям (таблица 3);
• TNM - классификация случая по системе TNM 8 пересмотра [18], включены только категории pT и pN, в ряде случаев используется cT и cN; если оперативное вмешательство не проводилось
• age - возраст пациента на момент исследования.
>
ИСПОЛЬЗОВАНИЕ ДЛЯ ОБУЧЕНИЯ СВЕРТОЧНОЙ НЕЙРОСЕТИ
С помощью набора данных была произведена серия экспериментов обучения сверточной нейронной сети с идентичными настройками. Обучение проводилось с использованием среды PyTorch, с вычислениями на Nvidia GPU. Использовались предобученные сети Inception v3 [19] и ResNet 18 [20] без извлечения признаков, количество эпох - 12, размер пакетов (батч) - 32. Скорость обучения (learning rate) составляла 0,001 с 1 по 7 эпоху, начиная с 7-0,0001. Каждый раз набор данных делился случайным образом на учебный (70%), валидационный (20%) и тестовый (10%). Изображения использовались в их исходном виде и применялись только те трансформации, которые необходимы для корректного обучения сверточной сети: приведение к соответствующему размеру и нормализация по каждому каналу. Результаты классификации обученной нейронной сети на тестовом наборе данных, который не использовался при обучении, представлены в таблицах 4-6. При обучении по морфологическому типу использовались только шесть категорий, а не весь набор данных (таблица 4).
Ожидаемо злокачественные и доброкачественные поражения практически всегда хорошо
дифференцировались, достигая близких к 100% значений при использовании максимально возможного количества изображений: увеличение 10, размер изображения 300x300 пикселей. Промежуточная категория - неинвазивная протоковая карцинома -отличалась значительно худшими показателями точности и более высокой вариабельностью, вероятно, из-за различного разделения набора данных на тренировочный и тестовый. Однако и эта категория достигла уровня 90% и более, когда количество изображений в ней стало более 500, вне зависимости от использованного размера изображений и варианта предобученной сети.
ДОСТУП К НАБОРУ ДАННЫХ
Набор данных находится в открытом доступе для исследовательских целей и может быть скачан по ссылке на странице репозитория GitHub https://github.com/aborbat/burnasyan_br. При использовании набора данных должна быть представлена ссылка на данную публикацию.
ЗАКЛЮЧЕНИЕ
Подготовленный в ФГБУ ГНЦ ФМБЦ им. А.И. Бур-назяна ФМБА России набор данных обладает рядом особенностей.
Это первый подготовленный в России открытый набор данных гистологических изображений, что, по мнению авторов, должно привлечь новых российских исследователей к решению задач компьютерного зрения для гистологической диагностики.
Набор данных включает в общей сложности более 40 тысяч изображений, что позволяет использовать его не только для диагностики патологии молочной железы, но и для подготовки предобу-ченных нейронных сетей.
В дополнение к традиционному гистологическому типу патологического процесса набор данных также содержит возраст пациента, степень дифференци-ровки (grade) и характеристику pTpN для каждого случая злокачественной опухоли.
Таблица 4
Результат обучения нейронной сети по характеру процесса
Характер поражения 4-500** 4-300 10- -500 10- -300
1 I* 1 R* 1 I R I R I 1 R
Инвазивные (CR) 97% 97% 96% || 96% 96% 95% 99% 97%
Неинвазивные (DCIS) 45% 27% 65% 57% 78% 78% 88% 93%
Доброкачественные (Benign) 94% 92% 95% || 96% 98% 98% 97% 97%
* I-Inception v3, R - ResNet 18 "Увеличение (4 и 10) и размер стороны изображения в пикселях (500 и 300)
Таблица 5
Результат обучения нейронной сети по морфологическому типу процесса
Морфологический 4-500** 4- 300 10- 500 10- 300
тип поражения I* R* I R I R I R
Неспецифицированный инвазивный рак (CR) 95% 97% 97% 98% 99% 99% 99% 99%
Дольковый инвазивный рак (Lob_CR) 70% 91% 92% 98% 99% 97% 100% 98%
Неинвазивная протоковая карцинома (DCIS) 50% 50% 50% 66% 96% 84% 93% 95%
Фиброаденома (FA) 100% 100% 94% 97% 95% 96% 98% 98%
Фиброзно-кистозные изменения (FCD) 90% 87% 94% 83% 99% 94% 98% 97%
Папиллома (Papilloma) 87% 83% 91% 88% 92% 91% 97% 94%
* I-Inception v3, R - ResNet 18
"Увеличение (4 и 10) и размер стороны изображения в пикселях (500 и 300)
Таблица 6
Результат обучения нейронной сети по степени дифференцировки (grade)
Степень дифференцировки 4 -500** 4- 300 10- 500 10- 300
I* R* I R I R I R
Доброкачественные (G0) 98% 93% 95% 94% 98% 97% 99% 97%
Высокодифференцированные (G1) 75% 65% 91% 89% 96% 93% 98% 96%
Умеренно дифференцированные (G2) 77% 79% 94% 89% 95% 93% 96% 97%
Низкодифференцированные (G3) 74% 62% 89% 82% 94% 93% 97% 95%
* I-Inception v3, R - ResNet 18
"Увеличение (4 и 10) и размер стороны изображения в пикселях (500 и 300)
ЛИТЕРАТУРА
1. Гусев А.В., Плисс М.А., Левин М.Б., Новицкий Р.Э. Тренды и прогнозы развития медицинских информационных систем в России // Врач и информационные технологии. 2019; 2: 38-49.
2. Esteva A., Kuprel B, Novoa R. et al. Dermatologist-level classification of skin cancer with deep neural networks. Nature. 2017; 542: 115-118. doi:10.1038/nature21056.
3. Tanaka Т., Huang Y, Marukawa Y. et al. Differentiation of Small (< 4 cm) Renal Masses on Multiphase Contrast-Enhanced CT by Deep Learning [published correction appears in AJR Am J Roentgenol. 2020 Apr; 214(4): 945]. AJR Am J Roentgenol. 2020; 214(3): 605-612. doi:10.2214/AJR.19.22074.
4. Дрокин И.С., Еричева Е.В., Бухвалов О.Л., Пилюс П.С., Малыгина Т.С., Синицын В.Е. Опыт разработки и внедрения системы поиска онкологических образований с помощью искусственного интеллекта на примере рентгеновской компьютерной томографии легких. // Врач и информационные технологии. 2019; 3: 48-57.
5. Hagele M, Seegerer P., Lapuschkin S. et al. Resolving challenges in deep learning-based analyses of histopathological images using explanation methods. Sci Rep. 2020: 10:6423. doi:10.1038/ s41598-020-62724-2.
6. Litjens G, Sánchez С., Timofeeva N. et al. Deep learning as a tool for increased accuracy and efficiency of histopathological diagnosis. Sci Rep. 2016; 6, 26286. doi:10.1038/srep26286
7. Holzinger A. et al. Towards the augmented pathologist: Challenges of explainable-ai in digital pathology. arXiv 2017; 1712.06657: 1-34.
8. Spanhol F.A., Oliveira L.S., Petitjean C, Heutte L. "A Dataset for Breast Cancer Histopathological Image Classification» in IEEE Transactions on Biomedical Engineering. 2016 July; 63(7):1455-1462. doi:10.1109/TBME.2015.2496264.
9. Aksac A, Demetrick D.J., Ozyer T, Alhajj R. BreCaHAD: a dataset for breast cancer histopathological annotation and diagnosis. BMC Res Notes. 2019; 12(1): 82. doi:10.1186/s13104-019-4121-7.
>
П Si-
' 1/1 1лыгЬпппля1 илпыыьш
и информационные
технологии
>
10. Aresta G., Araûjo T., Kwok S. et al. BACH: Grand challenge on breast cancer histology images. Med Image Anal. 2019; 56: 122-139. doi:10.1016/j.media.2019.05.010.
11. Yao H., Zhang X., Zhou X., Liu S. Parallel Structure Deep Neural Network Using CNN and RNN with an Attention Mechanism for Breast Cancer Histology Image Classification. Cancers (Basel). 2019;11(12):1901. doi:10.3390/cancers11121901.
12. Alzubaidi L, Al-Shamma O, Fadhel M.A., Farhan L, Zhang J, Duan Y. Optimizing the Performance of Breast Cancer Classification by Employing the Same Domain Transfer Learning from Hybrid Deep Convolutional Neural Network Model. Electronics. 2020; 9: 445. doi:10.3390/electronics9030445.
13. Qi Q, Li Y, Wang J, Zheng H, Huang Y, Ding X. et al. «Label-Efficient Breast Cancer Histopathological Image Classification,» in IEEE Journal of Biomedical and Health Informatics. 2019;23(5):2108-2116. doi: 10.1109/JBHI.2018.2885134.
14. Bankhead P., Loughrey M.B., Fern6ndez J.A. et al. QuPath: Open source software for digital pathology image analysis. Sci Rep. 2017;7:16878. doi:10.1038/s41598-017-17204-5.
15. Lakhani S.R., Ellis I.O., Schnitt S. J, Tan P.H., Van de Vijver M.J., editors. WHO Classification of Tumours of the Breast. Fourth ed. IARC. Lyon, 2012. - 240 p.
16. Elston C.W., Ellis I.O. Pathological prognostic factors in breast cancer. I. The value of histological grade in breast cancer: experience from a large study with long-term follow-up. Histopathology. 1991; 19(5): 403-410. doi:10.1111/j.1365-2559.1991.tb00229.x.
17. Sloane J.P., Amendoeira I, Apostolikas N. et al. Consistency achieved by 23 European pathologists in categorizing ductal carcinoma in situ of the breast using five classifications. European Commission Working Group on Breast Screening Pathology. Hum Pathol. 1998; 29(10): 1056-1062. doi: 10.1007/ s004280050297.
18. Брайерли Дж.Д, Господарович М.К., Виттекинд К. TNM Классификация злокачественных опухолей. Логосфера, 2018. - 344 с.
19. Christian Szegedy S., Vanhoucke V, loffe S., Shlens J, Wojna Z. Rethinking the Inception Architecture for Computer Vision. arXiv. 2015. https://arxiv.org/1512.00567 [Дата последнего обращения: 15.06.2020].
20. He K, Zhang X., Ren S, Sun J Deep Residual Learning for Image Recognition. 2015. https://arxiv. org/1512.03385 [Дата последнего обращения: 15.06.2020].
till
Новости отрасли
УТВЕРЖДЕННАЯ КОНЦЕПЦИЯ РЕГУЛИРОВАНИЯ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА И РОБОТОТЕХНИКИ ДО 2024 ГОДА
Председатель Правительства РФ Михаил Мишустин подписал Распоряжение Правительства № 2129-р от 19.08.2020, которым утвердил «Концепцию регулирования искусственного интеллекта и робототехники до 2024 года».
Цель документа - определить основные подходы к изменениям в российской регуляторике, которые позволят создавать и применять технологии ИИ и робототехнику в различных сферах, включая здравоохранение. Это должно способствовать ускорению экономического роста и конкурентоспособности национальной экономики, повышению благосостояния и качества жизни граждан, обеспечению национальной безопасности и правопорядка, достижению лидирующих позиций России в мире в области ИИ.
Основными задачами регулирования названы: создание механизмов упрощенного внедрения продуктов с использованием технологий ИИ и РТ; определение юридической ответственности при применении ИИ и РТ, развитие страховых институтов; совершенствование нормативного регулирования оборота данных; развитие технического регулирования и оценки соответствия; разработка комплекса мер по стимулированию развития технологий.
Доступ к документу: hffp://puЫ¡caf¡юn.pmvю.gюv.ru/Dюcumenf/View/0001202008260005
