CC BY
123
НАНОМАСШТАБНЫЕ ИЗОБРАЖЕНИЯ
АНАЛИЗ И РАСПОЗНАВАНИЕ НАНОМАСШТАБНЫХ ИЗОБРАЖЕНИЙ: ТРАДИЦИОННЫЕ ПОДХОДЫ И НОВЫЕ ПОСТАНОВКИ ЗАДАЧ
Сойфер В.А., Куприянов А.В.
Самарский государственный аэрокосмический университет имени академика С.П. Королёва (национальный исследовательский университет),
Учреждение Российской академии наук Институт систем обработки изображений РАН
Аннотация
В статье рассмотрен класс наномасштабных изображений (НМИ), формируемых электронными микроскопами со сверхбольшим увеличением, позволяющим исследовать структуру материи, в т .ч. на атомарном уровне. Приведены характерные примеры НМИ. Выявлены основные особенности НМИ - самоподобная (многоуровневая, вложенная ) периодичность и сложные модели наблюдения. Показана ключевая роль кристаллических решёток Бравэ в решении задачи распознавания НМИ. Проведён анализ базовых операций обработки и распознавания изображений, реализуемых средствами пакетов VIGRA, GIMP, DigitalMicrograph и др. применительно к НМИ. Сделаны выводы о том, что природа НМИ диктует необходимость модификации базовых операций и приводит к постановке новых задач анализа и распознавания изображений.
Ключевые слова: наномасштабные изображения, модели наблюдения, многоуровневая периодичность, базовые операции обработки изображений, решётки Бравэ.
Введение
Исследователи всё больше и больше проникают в природу наномира. Появился инструментарий наноизмерений, с помощью которого можно изучать атомарную структуру вещества, причём изучать количественно [1,2]. Не прекращается разработка и совершенствование новых технологий микроскопии и инструментов следующих поколений.
Следует отметить, что фирмы-производители поставляют наноизмерительную аппаратуру, математическое обеспечение которой является закрытым для пользователя. Устройства позволяют получать НМИ, но недоступны с точки зрения по -нимания и совершенствования применяемых в них математических моделей и методов обработки изображений. При этом за последние 15-20 лет создана целая индустрия обработки изображений. Существует огромное количество пакетов обработки изображений (VIGRA [3], GIMP [4], DigitalMicrograph [5] и т.д.), которые позволяют выполнять различные операции над изображениями, решая задачи анализа и распознавания.
В настоящей статье показано, как формируются изображения при сверхвысоком увеличении в различных электронных устройствах (растровых, зон-довых и т.д.), а также рассмотрены модели формирования изображения. Эти модели отличаются от моделей формирования изображений, которые используются в оптических системах и теории цифровой обработки сигналов и изображений. Следует ожидать, что, наряду с традиционными подходами к обработке подобных изображений, могут ставиться новые задачи и соответственно информационные технологии анализа и распознавания будут отличаться от традиционных.
1. Наномасштабные изображения
Наномасштабное изображение (термин достаточно понятный и часто используемый в нанотехнологиях) - это изображение нанообъектов (характерный линейный размер составляет порядка 10-9м, или ангстрем 1А), представленное в формате, привычном для восприятия глазом человека. Диаметр самого малого из атомов - атома водорода - равен 0,1 нм, следовательно, линейные размеры наблюдаемых нанообъектов составляют величину от 10 до 1000 диаметров атома водорода.
Современные возможности микроскопических исследований различного рода объектов и структур представлены на рис. 1 [6].
і* II а
rCrCi
1 СМЩ~
0,1мм
Юмкм
1 мкм
100 им
10 нм
1 им
U .
0,1нм(1А)
^-[ бактерия ]
Рис. 1. Современные возможности микроскопических исследований [б]
Разрешение оптических микроскопов ограничено длиной волны используемого света, что позволяет рассматривать изображения с линейным разрешением порядка доли микрона (несколько сот нанометров).
Электронная микроскопия даёт в различных модификациях линейное разрешение до десятой доли нанометра (ангстрем) [7]. При увеличениях в миллионы раз в твёрдых материалах можно наблюдать текстуры различного рода, атомарную структуру кристаллической решётки, в биологических - молекулы, белок, бактерии (рис. 1).
В НМИ проявляются определённые свойства строения материи, прежде всего периодичность, связанная с кристаллической структурой. Причём периодичность является самоподобной [8] и может носить многоуровневый вложенный характер. В наноструктурах, например молекулах белков, вложенность может достигать 4-ого порядка, когда спирали закручиваются в спирали и т.д. (рис. 2.). Эта упорядоченность связана с фундаментальными свойствами материи.
Рис. 2. Изображение наноструктуры из молекул ДНК (фиолетовые), скреплённых липидными нитями (зелёный) [9]
Изучение сайтов, содержащих примеры НМИ, позволяет отметить, что помимо того, что наномас-штабные изображения очень красивы, у них присутствует целый ряд особенностей - таких, которые воспринимаются глазом как нечто необычное. На рисунке 3 показан пример того, как меняется структура изображения при увеличении [10]. Снежинка -это типичный пример кристаллических структур. Можно визуально наблюдать, как связаны между собой вид снежинки в начале и структура после многократного увеличения. На рис. 4 представлено изображение крыла бабочки, полученное с использованием электронного микроскопа [11].
2. Методы микроскопических исследований
Одна из целей микроскопии состоит в описании трёхмерной структуры материала [12]. На рис. 5 приведены пределы пространственного разрешения различных методов микроскопических исследований. По оси г разрешение - глубина, а по осям х, у -линейное разрешение.
Рис. 3. Снежинка под электронным микроскопом [10]
электронная микроскопия (РЭМ/СЭМ, Scanning electron microscopy, SEM) [12].
Осевое (Z) разрешение
Рис. 4. Крыло бабочки под микроскопом: изображение бабочки Павлиний глаз (а); крыло бабочки в оптическом микроскопе (б); увеличение в электронном микроскопе в 200раз (в); увеличение в 5000раз [11 ] (г)
Электронную микроскопию можно разделить на 3 группы: просвечивающая электронная микроскопия (ПЭМ, Transmission electron microscopy, TEM), просвечивающая электронная микроскопия высокого разрешения (ВРЭМ, High-resolution electron microscopy, HREM), растровая или сканирующая
1 ММ' •
1 мкм- •
1 нм
1 мкм 1 мм
Поперечное (X, У) разрешение
Рис. З. Пределы пространственного разрешения различных методов микроскопических исследований. КСЛМ- конфокальная сканирующая лазерная микроскопия; РАМ - растровая акустическая
микроскопия; ЯМР - ядерный магнитный резонанс; РЭМ - растровая электронная микроскопия;
СТМ- сканирующая туннельная микроскопия;
РРМ - растровая рентгеновская микроскопия;
ПЭМ - просвечивающая электронная микроскопия;
АСМ - атомно-силовая микроскопия;
ТЭМ - туннельная электронная микроскопия;
СОМ - сканирующая оптическая микроскопия [12]
ПЭМ является наиболее универсальным классическим методом исследования структурных дефектов кристаллов, используется непосредственно для анализа морфологических особенностей, ориентации дефектов относительно решётки матрицы, определения их размеров. В просвечивающем электронном микроскопе электроны из некоторого источника, например, электронной пушки, попадают на образец, рассеиваются при прохождении сквозь него, фокусируются объективной линзой, проходят через увеличительную (проекторную) линзу и, наконец, создают искомое изображение. Длина волны электронов с энергией 100 кэВ примерно равна 0,004 нм, таким образом, разрешающая способность обычного просвечивающего электронного микроскопа составляет ~0,15 нм.
Сравнительно новым классом приборов являются сканирующие зондовые микроскопы, которые активно развиваются и применяются последние 15 лет. Сейчас известны десятки различных вариантов сканирующей зондовой микроскопии (СЗМ, Scanning probe microscopy, SPM). В основе работы этих приборов лежит контроль различных видов взаимодействия острой иглы с поверхностью исследуемого образца.
С точки зрения формирования наномасштабных изображений нас интересует область на рис. 5 с разрешениями, которые даёт атомно-силовая микроско-
13В
пия, сканирующая туннельная микроскопия, туннельная электронная микроскопия, растрово-электронная микроскопия, просвечивающая электронная микроскопия и т.д. [7] Самым перспективным является сканирующий туннельный микроскоп, который позволяет наблюдать отдельные атомы вещества.
Основной теоретической характеристикой оптической системы при передаче и формировании изображения объекта является передаточная функция. Выражение для передаточной функции электронного микроскопа можно записать в виде [13]:
’ в4 в2г
/я
£(х, у) = її ■! Л(Р) ехр
0,5С +Д.
* 1 1
где 5” (х, у) - передаточная функция, С - коэффициент сферической аберрации, В - апертурный угол, А (В) -
апертурная функция, 1 = - ^
\/2теЕ
- длина волны па-
дающих электронов в пучке электронного микроскопа в вакууме, - преобразование Фурье.
В зависимости от параметров передаточной функции наблюдаемые изображения могут сильно отличаться (рис. 6).
й,(х,0) 'чЛ 1
№
Рис. 6. Формирование изображения в электронном микроскопе в зависимости от вида передаточной функции [14]
Следует отметить, что шумы в электронной микроскопии связаны с тем, что глубина резкости такова, что мы наблюдаем один атомарный слой, а под ним могут проступать много других разных слоёв. Те. шумы носят периодический характер. Такие помехи называются сосредоточенными по спектру (у них есть свои период и частота). В отличие от классической задачи фильтрации сигнала на фоне шума, мы имеем фильтрацию сигналов на фоне сосредоточенного по спектру шума. Решение известно - зарождающие полосовые фильтры эту компоненту вырезают как из сигнала, так и из шума. Одна из сложных задач обработки изображений - фильтрация изображения на фоне сосредоточенных помех спектральной оптики.
3. Исследование структуры вещества В материаловедении широко используются методы спектроскопических исследований [15] с целью получения элементного состава материалов.
Методы позволяют проводить анализ и определять наличие в составе вещества различных элементов от бериллия (Ве) до урана (И).
Метод рентгеноспектрального анализа основан на использовании зависимости частот излучения линий спектра элементов от их атомного номера. Достоинством метода является то, что он является неразрушающим. Метод отличается высокой воспроизводимостью и пригоден для качественного и количественного определения всех элементов, имеющих порядковые номера от 5 до 90, в материалах сложного состава и сплавах.
В последнее время интенсивно развивается микро-рентгеноспектральный анализ. Метод основан на возбуждении характеристического рентгеновского излучения в микрообъектах с помощью остросфокусиро-ванного электронного пучка. Специальные приборы -рентгеновские микроанализаторы - имеют систему сканирования электронного пучка по исследуемой поверхности и получения на телевизионном экране распределения определяемого химического элемента.
Метод рентгенофлуоресцентного анализа основан на сборе и последующем анализе спектра, полученного путём воздействия на исследуемый материал рентгеновским излучением. Таким образом, отличие спектроскопических методов исследования от электронной микроскопии состоит в том, что наблюдается не само изображение, а его Фурье-спектр.
Рентгеноструктурный анализ - один из дифракционных методов исследования структуры вещества. В основе данного метода лежит явление дифракции рентгеновских лучей на трёхмерной кристаллической решётке. Метод позволяет определять атомную структуру вещества и является самым распространённым методом определения структуры вещества в силу его простоты и относительной дешевизны.
Обычно образец в виде поликристалла (рис. 7а) или порошка (рис. 7 б) помещают в центр регистрирующего устройства. Прошедшие через образец рентгеновские лучи образуют на поверхности этого устройства дифракционную картину, возникающую при отражении и преломлении рентгеновских лучей атомными плоскостями исследуемого вещества [15.
Рис. 7. Изображения рентгеноструктурного анализа: дифракция на монокристалле (а); порошковая дифракция [14] (б)
На рис. 8 показан линейчатый спектр полученного при анализе структуры природного минерала -сфалерита. Визуально этот минерал крайне трудно идентифицировать в ряду ему подобных. Однако
рентгеноспектральныи анализ позволяет однозначно идентифицировать минерал на установление процентного соотношения между составляющими его элементами [14].
53943-ICSD
Lambda: 1.54178 Magnif: 1.0 FWHM: 0.250
Space grp: F-4 3m Direct cell: 5.4010 5.4010 5.4010 90.00 90.00 90.00
| I I I I I I I I I | I I I I I I I I I | I I I I I I I I I | I I I I I I I I I | I I I I I I I I I |
ZnS Sphalerite
10 20 30 40 50 60
Рис. 8. Результаты рентгеноспектрального анализа природного минерала: сфалерит [14]
О существовании атомов, их размерах, расположении в молекулах и кристаллах имеется громадное количество экспериментальных данных, полученных различными методами, в том числе и методами рентгеноструктурного анализа. Однако все эти данные являются результатом достаточно сложных и часто непрямых измерений, исходя из которых, можно определить структуру исследуемого объекта. Электронная микроскопия непосредственно даёт изображение атомной структуры вещества. Большие возможности открывают методы компьютерной обработки и расчёта изображений. Если в отношении получения данных о структуре «идеальных», трёхмерно-периодических кристаллов и отдельных молекул ЭМ значительно уступает, например дифракционным методам, то она ничем не заменима в изучении реальной структуры кристаллов с разнообразными вариациями и нарушениями идеального строения [13].
4. Анализ кристаллических решёток
Большинство наблюдаемых наноструктур имеет кристаллический характер, то есть атомы упорядочены в систему, называемую кристаллической решёткой. Кристаллические структуры присутствуют в основном во всех твёрдых материалах, некоторых аморфных и даже в биологических структурах. В медицине изучение кристаллограмм биологических жидкостей (крови, слюны и т.д.) необходимо для суждения о состоянии человека. При переходе к НМИ можно извлечь дополнительную значимую диагностическую информацию.
Для изучения свойств наноматериалов необходимо знать атомарную структуру, то есть определить типы атомов, являющихся строительными блоками, и их взаимное расположение в пространстве. Фундаментальным понятиям кристаллографии является понятие решёток Бравэ (рис. 8), размеры которых определяются величиной порядка ангстрем, из которых строятся все кристаллы [16]. Любой мате-
риал конструируется из этих решёток, как из кирпичиков, в различных модификациях.
Пространственная решётка является математической абстракцией. В реальном кристалле около каждого узла расположена группа атомов, называемая базисом. Пространственная решётка вместе с базисом образуют кристаллическую структуру. Разные кристаллы могут иметь одинаковые решётки. Так, кристаллы германия, кремния и арсенида галлия обладают гранецентрированной кубической решёткой Бравэ, в то время как германий и кремний имеют структуру алмаза, а арсенид галлия - структуру цинковой обманки.
Базовых решёток Бравэ - 14, они приведены на рис. 9. В зависимости от пространственной симметрии, все кристаллические решётки подразделяются на семь кристаллических систем - это триклинная, моноклинная, ромбическая, тригональная, тетрагональная, гексагональная, кубическая.
а, р, у 190°
Триклинная
(параллелепипед)
а + 90°, р, у = 90°
а = $ = уф90°
Тригональная
оомбоэдрческая)
равносторонний
ромбоэдр)
Моноклинная (правильная призма)
афс
с і
Ш'\ ✓К і
уЛ|
Тетрагональная
(прямой
параллелепипед)
а±Ь±с
Ромбическая
(ромбоэдр)
-Ч Ґ~
Кубическая^ (правильный куб)
Гексагональная (призма с основанием шестиугольника)
Рис. 9. Типы кристаллических решёток Бравэ [16]
По форме элементарной ячейки они могут быть разбиты на шесть сингоний. Все возможные сочетания имеющихся в кристаллической решётке поворотных осей симметрии и зеркальных плоскостей симметрии приводят к делению кристаллов на 32 класса симметрии, а с учётом винтовых осей симметрии и скользящих плоскостей симметрии - на 230 пространственных групп [16].
Для того, чтобы определить структуру кристалла, нужно определить зависимость расположения материальных частиц (атомов, ионов, молекул) в кристаллической решётке. Задачу распознавания НМИ, представляющих собой проекции кристаллических решёток, можно свести к определению типа кристаллической решётки. Решётки Бравэ представляют собой уникальное пространство признаков, которое позволяет разложить любое НМИ на элементарные структуры. Безусловно, решение подобной задачи очень сложно с вычислительной точки зрения, поскольку здесь мы имеем исключительно сложный «алфавит», сложное пространство признаков, и могут возникать проблемы КР-сложности. Один из возможных подходов к решению такой задачи предложен в работе [17].
Исследованию подобных и других решётчатых структур с точки зрения описания математических моделей и методов анализа и идентификации посвящена обширная литература [18].
Также задачу анализа изображений проекций кристаллических решёток можно рассматривать с точки зрения восстановления трёхмерной структуры решётки. Большинство существующих методов распознавания трёхмерных объектов, как правило, сводятся к задаче распознавания плоских изображений их проекций, наблюдаемых на изображении. В работах [19, 20] был предложен подход, основанный на одновременном анализе изображений проекций трёхмерного объекта, с целью восстановления его пространственной структуры. Рассматривая задачу восстановления объектов по проекциям, необходимо ввести некоторую характеристику, которая показывала бы, насколько полно рассматриваемый объект представлен на той или иной проекции. Это приводит к постановке новой для математики задачи о наблюдаемости сложной трёхмерной решётки по её проекциям.
5. Операции обработки наномасштабных изображений
Рассмотрим последовательно базовые операции обработки изображений [21, 22] и проведём анализ их востребованности для обработки НМИ. Разработке и исследованию математического аппарата, обеспечивающего теоретическую основу для автоматизации обработки, анализа, оценивания и понимания изображений, посвящены работы [23, 24].
Обработку НМИ можно условно разделить на операции низкого уровня, операции промежуточные, операции высокого уровня и операции с данными.
В табл. 1 представлены базовые операции обработки изображений, в правом столбце знак «+» означает, что операция необходима при обработке НМИ, знак «?» означает, что имеются некоторые сомнения.
Таблица 1.
Базовые операции обработки изображений
ОПЕРАЦИИ НИЗКОГО УРОВНЯ
Операции поэлементной обработки
арифметические и алгебраические операции p
операции преобразования яркости и контраста +
гамма-коррекция изображений +
преобразование цветовых пространств -
Глобальные операции обработки
обобщённые спектральные преобразования +
линейная фильтрация +
гомоморфная фильтрация, выравнивание яркости +
геометрические преобразования p
устранение периодического шума +
Обработка сканирующим окном
двумерные сепарабельные свёртки p
рекурсивные фильтры +
выделение контуров +
ранговая фильтрация +
скелетизация и препарирование +
ОПЕРАЦИИ ПРОМЕЖУТОЧНОГО УРОВНЯ
сегментация
обнаружение объектов и деталей p
оценивание параметров +
определение статистических характеристик +
ОПЕРАЦИИ ВЫСОКОГО УРОВНЯ -
распознавание
классификация +
диагностика +
факторный анализ +
ОПЕРАЦИИ С ДАННЫМИ p
компрессия +
кодирование и преобразование форматов, JPEG, TIFF, DICOM, ...
поддержка крупноформатных изображений p
ОПЕРАЦИИ НИЗКОГО УРОВНЯ:
Вначале над полученными изображениями проводят операции поэлементной обработки:
- операции преобразования яркости и контраста являются, безусловно, необходимыми, поскольку электронное изображение требует коррекции и нормировки;
- гамма-коррекция изображений, т.е. нелинейное преобразование, необходима, поскольку существует
проблема фазового контраста - в зависимости от режима фокусировки частицы могут выглядеть темнее либо светлее фона;
- преобразование цветовых пространств (RGB, Lab.), по-видимому, неприменимо, поскольку НМИ цветом не характеризуются.
Глобальные операции обработки - операции по всем массивам баз данных (например, операции преобразования Фурье):
- обобщённые спектральные преобразования (при рентгеноспектральном анализе наблюдения осуществляются в спектральнои области);
- линеиная фильтрация (если известны системы уравнении и аппаратные функции формирования изображении, то возможно осуществить согласованную фильтрацию).
Среди глобальных операции отдельно можно выделить гомоморфную фильтрацию, т.е. выравнивание яркости. К сожалению, в электронной микроскопии имеется неравномерность освещения, поэтому необходимо выравнивать яркость по всему изображению.
Операции обработки сканирующим окном:
- двумерные свёртки - пока не нашли применения;
- ранговая фильтрация - безусловно необходима, импульсныи шум на НМИ выступает в виде пятен, источником шума могут быть самые разные факторы.
ОПЕРАЦИИ ПРОМЕЖУТОЧНОГО УРОВНЯ:
- сегментация - вопрос серьёзный, так как в от-
личие от сегментации классическои здесь имеется вложенная многоуровневая периодичность, (как
именно сегментировать такое изображение, не очень понятно); основой для решения задачи сегментации НМИ, как показано в работе [17], может являться анализ решёток Бравэ;
- определение статистических характеристик -классическая задача оценивания параметров НМИ (состоит в обнаружении различных дефектов и оценивании геометрических размеров наблюдаемых частиц).
ОПЕРАЦИИ ВЫСОКОГО УРОВНЯ:
- распознавание - решается по сути одна задача -идентификация решёток Бравэ.
ОПЕРАЦИИ С ДАННЫМИ:
- компрессия - при такой серьёзной многоуровневой вложенной периодичности необходимо провести анализ, какие применять алгоритмы компрессии, чтобы они были эффективны по сжатию и гарантировали характеристики.
Заключение
Анализ и распознавание НМИ приводят к постановке новых задач, обусловленных фундаментальными свойствами материи. Некоторые из них рассмотрены выше.
Основные свойства, характеризующие НМИ, -это многоуровневая (вложенная) периодичность и сложные модели наблюдения.
Специфика обработки НМИ до сегодняшнего дня исследована мало. Как было показано, значительная часть базовых операций обработки изображений требует определённой модификации и доработки к НМИ. При анализе НМИ необходимо учитывать физику регистрации изображений и особенность работы устройств получения НМИ, и в зависимости от этого разрабатывать специализированные алгоритмы обработки изображений. Следовательно, будут появляться новые результаты, новые и модифицированные алгоритмы, новые преобразования, которые будут связываться с практическими задачами.
Благодарности Авторы выражают благодарность С.Б. Попову и
В.М. Чернову за помощь, оказанную при подготовке статьи.
Исследования проводились при поддержке ФЦП «Научные и научно-педагогические кадры инновационной России» (госконтракт № 02.740.11.0841), гранта Президента РФ поддержки ведущих научных школ (НШ-7414.2010.9), российско-американской программы «Фундаментальные исследования и высшее образование» (грант CRDF PG08-014-1), грантов РФФИ (10-07-00341-а, 10-137-00553-а, 10-
01-90708-моб_ст), программы РАН «Фундаментальные науки - медицине».
Литература
1. Кобаяси, Н. Введение в нанотехнологию / Н. Кобаяси.
- М.: Бином. Лаборатория знаний, 2008. - 134 с.
2. Фостер, Л. Нанотехнологии. Наука, инновации и возможности / Л. Фостер. - М.: Техносфера, 2008. - 352 с.
3. VIGRA Computer Vision Library, http://hci.iwr.uni-heidelberg.de/vigra/
4. GIMP, the GNU Image Manipulation Program, http://www. gimp.org/
5. DigitalMicrograph™ , Gatan Microscopy Suite (GMS), http ://g atan. com/pro ducts/so ftware/
6. Alberts, B. Molecular Biology of the Cell. 4th edition / B. Alberts, A. Johnson, J. Lewis, [et al.]. - New York: Garland Science, 2002 . - 1616 р.
7. Эгертон, Р.Ф. Физические принципы электронной микроскопии / Р.Ф. Эгертон.- М.: Техносфера, 2010. -304 с.
8. Шредер, М Фракталы, хаос, степенные законы. Миниатюры из бесконечного рая / М. Шредер. - Издательство: Регулярная и хаотическая динамика, 2005. -528 с.
9. Решетов, В. Нанотехнологии, или Атомы вместо гвоздей / Владимир Решетов // Вокруг света. - 2007. -№ 4. - [http://www.vokrugsveta.ru/vs/article/3107/]
10. http://en.wikipedia.org/wiki/Scanning electron microscope
11. http://en.wikipedia.org/wiki/Template:ButterflyScaleMicr oscopy
12. Кларк, Э.Р. Микроскопические методы исследования материалов / Э.Р. Кларк, К.Н. Эберхардт. - М.: Техносфера, 2007. - 367 с.
13. Вайнштейн, Б.К Электронная микроскопия атомного разрешения / Б.К. Вайнштейн // Успехи физических наук. - 1987. - Т. 152, № 5. - С. 75-122.
14. Суворов, Э.В. Физические основы эксперименталь -ных методов исследования реальной структуры кристаллов / Э.В. Суворов. - Черноголовка, 1999. -232 с.
15. Уманский, Я.С. Кристаллография, рентгенография и электронная микроскопия / Я.С. Уманский, Ю.А. Ска-ков, А.Н. Иванов, Л.Н. Расторгуев. - М.: Металлургия, 1982. - 632 с.
16. Егоров-Тисменко, Ю.К. Кристаллография и кристаллохимия / Ю.К. Егоров-Тисменко. - М.: Книжный Дом «Университет», 2005. - 592 с.
17. Куприянов, А.В. Анализ текстур и определение типа кристаллической решётки на наномасштабных изображениях / А.В. Куприянов // Компьютерная оптика.
- 2011. - Т. 35, № 2. - С. 144-151.
18. Конвей, Дж. Упаковки шаров, решётки и группы. В
2-х томах / Дж. Конвей, Н. Слоэн. - М: Мир, 1990. -376 с.
19. Корепанов, А.О. Метод пространственного восстановления коронарных артерий по малому числу ангио-графических проекций / А.О. Корепанов, Н.Ю. Ильясова, А.В. Куприянов, А.Г. Храмов, А.В. Устинов,
A.О. Ковалёв// Компьютерная оптика. - 2004. - № 26.
- С. 90-98.
20. Ильясова, Н.Ю. Компьютерная технология восстановления пространственной структуры коронарных сосудов по ангиографическим проекциям / Н.Ю. Ильясова, Н.Л. Казанский, А.О. Корепанов, А.В. Куприянов, А.В. Устинов, А.Г. Храмов // Компьютерная оптика. - 2009. - Т. 33, № 3. - С. 281-318.
21. Методы компьютерной обработки изображений / под ред. В.А. Сойфера. - 2 изд., испр. - М.: Физматлит, 2003. - 784 с.
22. Шапиро, Л. Компьютерное зрение / Л. Шапиро, Дж. Стокман. - М.: Бином, 2006. - 752 с.
23. Гуревич, И.Б. Дескриптивные алгебры изображений: определения и примеры / И.Б. Гуревич,
Ю.И. Журавлёв, Ю.Г. Сметанин // Автометрия. -1999. - № 6. - С. 4-22.
24. Ritter, G.X Handbook of Computer Vision Algorithms in Image Algebra. 2-d Edition / G.X. Ritter, J.N. Wilson. -CRC Press Inc, 2001. - 425 р.
References
1. Kobayashi, N. Introduction to Nanothecnology / N. Ko-bayashi. - Мoscow: “Binom. Laboratoriya znaniy” Publisher, 2008. - 134 p. - (in Russian).
2. Foster, L. Nanotechnology. Science. Innovation and Opportunity / L. Foster. - Мoscow: “Tehnosfera” Publisher, 2008. - 352 p. - (in Russian).
3. VIGRA Computer Vision Library, http://hci.iwr.uni-heidelberg.de/vigra/
4. GIMP, the GNU Image Manipulation Program, http://www. gimp.org/
5. DigitalMicrograph™ , Gatan Microscopy Suite (GMS), http ://g atan. com/pro ducts/so ftware/
6. Alberts, B. Molecular Biology of the Cell. 4th edition /
B. Alberts, A. Johnson, J. Lewis [et al.]. - New York: Garland Science, 2002 . - 1616 р.
7. Egerton, R. Physical Principles of Electron Microscopy / Ray F. Egerton - Moscow: “Tehnosfera” Publisher, 2010.
- 304 p. - (in Russian).
8. Schroeder, M. Fractals, Chaos, Power Laws: Minutes from an Infinite Paradise / M. Schroeder. - “Regulyarnaya i ha-oticheskaya dinamika” Publisher, 2005. - 528 p. - (in Russian).
9. Reshetov, V. Nanotechnologii ili atomy vmesto gvozdey / V. Reshetov // “Vokrug Sveta” (journal). - 2007. - N 4.
- ILttp ://www. vokrugsveta.ru/vs/artic le/3107/1. - (in Russian).
10. http://en.wikipedia.org/wiki/Scanning electron microscop e
11. http://en.wikipedia.org/wiki/Template:ButterflyScaleMicr oscopy
12. Clarke, A.R. Microscopy techniques for materials science / A.R. Clarke and C.N. Eberhardt. - Moscow: “Tehnosfera” Publisher, 2007. - 367 p. - (in Russian).
13. Weinstein, B.K Electron Microscopy of Atomic Resolution / B.K. Weinstein // Uspehi fizicheskih nauk. - 1987. -V. 152, N 5. - P. 75-122. - (in Russian).
14. Suvorov, E.V. Physical basis for experimental researches of the crystals real structure / E.V. Suvorov. - Tcher-nogolovka, 1999. - 232 p. - (in Russian).
15. Umansky, Ya.C. Crystallography, Radiography and Electronic Microscopy / Ya.C. Umanskiy [et al.]. - Moscow: “Metallurgiya” Publisher, 1982. - 632 p. - (in Russian).
16. Egorov-Tismenko, Yu.K Crystallography and Crystal Chemistry / Yu. K. Egorov-Tismenko. - Moscow: “Kniz-hny Dom Universitet” Publisher, 2005. - 592 p. - (in Russian).
17. Kupriyanov, A.V. Texture Analysis and Identification of the Crystal Lattice Type upon the Nanoscale Images / A.V. Kupriyanov // Computer Optics. - 2011. - V. 35, N 2. - P. 145-151. - (in Russian).
18. Conway, J. Sphere Packings, Lattices and Groups / J. Conway, N. Sloane. - Moscow: “Mir” Publisher, 1990.
- 376 p. - (in Russian).
19. Korepanov, A.O. Method for Spatial Reconstruction of Coronary Arteries with the Usage of Small Quantity of Angiographic Projections / A.O. Korepanov [et al.] // Computer Optics. - 2004. - N 26. - P. 90-98. - (in Russian).
20. Ilyasova, N.Yu. Computer Technology for the Spatial Reconstruction of the Coronary Vessels Structure from Angiographic Projections / N.Yu. Ilyasova [et al.] // Computer Optic. - 2009. - V. 33, N 3. - P. 281-318. -(in Russian).
21. Methods of Computer Images Processing / edited by V.A. Soifer. - Moscow: “Fizmatlit” Publisher, 2003. -784 p. - (in Russian).
22. Shapiro, L. Computer Vision / L. Shapiro, G. Stockman. -Moscow: “Binom” Publisher, 2006. - 752 p. - (in Russian).
23. Gurevich, I.B. Descriptive Image Algebras: Definitionns and Examples / I.B. Gurevich [et al.] // Avtometriya. -1999. - N 6. - P. 4-22. - (in Russian).
24. Ritter, G.X. Handbook of Computer Vision Algorithms in Image Algebra. 2-d Edition / G.X. Ritter, J.N. Wilson. -CRC Press Inc, 2001. - 425 p.
ANALYSIS AND RECOGNITION OF THE NANOSCALE IMAGES:
CONVENTIONAL APPROACH AND NOVEL PROBLEM STATEMENT
V.A. Soifer, A. V. Kupriyanov Image Processing Systems Institute of the RAS,
S.P. Korolyov Samara State Aerospace University (National Research University)
Abstract
In this paper a class of nanoscale images (NSI) is considered. The NSI are formed in the electronic microscope with ultra-high resolution, allows examining the structure of matter at the atomic level. The typical examples of NSI are presented. The fundamental properties of the NSI are disclosed, such as self-similar (multilevel embedded) periodicity and complexity of the observation models. The key role of the Bravais lattices of crystal is depicted in the solution of the problem of NSI recognition. The analysis is conducted of the basic image processing and recognition operations, implemented in the various software packages like VIGRA, GIMP, DigitalMicrograph et. al, in application for the NSI processing. The conclusion is made, that nature of NSI prescribe the necessity of modification of the basic operations and leads to the statement of the original tasks of image analysis and recognition.
Key words: nanoscale images, observation models, multilevel periodicity, basic operations of image processing, Bravais lattices.
Сведения об авторах Сойфер Виктор Александрович - член-корреспондент РАН, доктор технических наук, директор Института систем обработки изображений РАН. Лауреат государственной премии и премии правительства РФ в области науки и техники. Диплом инженера получил в Куйбышевском авиационном институте, ныне - Самарский государственный аэрокосмический университет имени академика С.П. Королёва (национальный исследовательский университет), в 1968 году. Докторскую диссертацию защитил в 1979 году в Санкт-Петербургском государственном электротехническом университете «ЛЭТИ». Автор и соавтор значительного числа научных публикаций с высоким индексом цитируемости, 10 книг и 50 авторских свидетельств и патентов.
E-mail: soifer@ssau.ru.
Victor Alexandrovich Soifer is a corresponding member of the Russian Academy of Sciences (RAS), Doctor of Engineering, Professor, and director of the Image Processing Systems Institute (IPSI) of the RAS. He is the recipient of the State Prize of the Russian Federation and the RF government prize in Science and Technology. He was awarded an Engineer qualification (1968) by Kuibyshev Aviation Institute (KuAI, presently, Samara State Aerospace University named after academician S.P. Korolyov, SSAU). He received a Doctor in Engineering degree (1979) from Saint Petersburg State Electrotechnical University "LETT (ETU). He is a SPIE and IAPR member. He is the author and coauthor of a substantial number of scientific publications with high citation index, 10 books, and 50 author’s certificates and patents.
Куприянов Александр Викторович, 1978 года рождения. В 2001 году окончил с отличием Самарский государственный аэрокосмический университет имени академика
С.П. Королёва (национальный исследовательский университет, СГАУ). В 2004 году защитил диссертацию на степень кандидата технических наук. В настоящее время работает старшим научным сотрудником в Учреждении Российской академии наук Институт систем обработки изображений РАН и одновременно доцентом кафедры технической кибернетики СГ АУ. Круг научных интересов включает цифровую обработку сигналов и изображений, распознавание образов и искусственный интеллект, анализ и интерпретацию биомедицинских сигналов и изображений. Имеет более 80 публикаций, в том числе 35 статей и одну монографию, изданную на английском языке (в соавторстве). Член Российской ассоциации распознавания образов и анализа изображений.
E-mail: akupr@smr.ru .
Alexander Victorovich Kupriyanov (b. 1978), graduated (2001) from the S.P. Korolyov Samara State Aerospace University (SSAU). He received his PhD in Technical sciences (2004). At present he is a senior researcher at the Image Processing Systems Institute of the Russian Academy of Sciences, and holding a part-time position of Associate Professor at SSAU’s Technical Cybernetics sub-department. The area of interests includes digital signals and image processing, pattern recognition and artificial intelligence, biomedical imaging and analysis. He’s list of publications contains more than 80 scientific papers, including 35 articles and 1 monograph published with coauthors in English. He is a member of Russian Association of Pattern Recognition and Image Analysis.
Поступила в редакцию 4 февраля 2011 г.
