CC BY
20УДК 004.946
Pavel A. Elugachev1, Nadezhda V. Lakhodynova2, Boris M. Shumilov1, Elzarbek A. Esharov1
PROBLEMS OF MATHEMATICAL MODELING OF CYBER-PHYSICAL SYSTEMS IN TRANSPORT
1Tomsk State University of Architecture and Building, Solyanaya sq., 2, Tomsk, 634003, Russia e-mail: sbm@tsuab.ru
2Tomsk state University of control systems and Radioelectronics, 40, Lenin avenue, Tomsk, 634050, Russia e-mail: lax1@mail.ru
Thie implementation of plans to create "smart cities" as one of the most important areas of the digital economy requires the priority development of transport infrastructure, ensuring the movement ofpeople and goods within the city and adjacent territories. Safe operation and maximum throughput of the resutting cyber-physical system are possible provided that a diagnostic technology is created for transport infrastructure facilities, including video-recording of road conditions. The authors' vision of the problems of mathematical modeling of cyber-physical systems in transport is presented as a three-level hierarchical structure, including environmental sensors at the lower level, data processing centers (DPC) at the middle level and a single data storage center for developing management decisions at the upper level. Prospects for data processing center modeling based on a mutti-agent approach and a technical vision algorithm that is proposed to be implemented as a program on a mobile device to identify objects of transport infrastructure and therr defects using stereometry are explored. The presented aggortthm can be used in the paanning of road repairs, in the analysis of road accidents, in the processing of applications of road users, etc.
Keywords: roads as a cyber-physical system, multi-agent method, photogrammetry, calibration.
001 10.36807/1998-9849-2020-53-79-107-115
Введение
Автоматизация диагностики состояния объектов транспортной инфраструктуры и связанная с этим необходимость разработки модулей для математического моделирования, проектирования и производства устройств и средств диагностики в составе системы управления транспортной кибер-физической системой, обеспечивающей физическую доступность территорий и городов, представляет насущную проблему в рамках концепции «умных
Елугачев П.А. 1 , Лаходынова Н.В.2, Шумилов Б.М. 1 ,
Эшаров Э.А. 1
ПРОБЛЕМЫ МАТЕМАТИЧЕСКОГО МОДЕЛИРОВАНИЯ КИБЕР-ФИЗИЧЕСКИХ СИСТЕМ НА ТРАНСПОРТЕ
1Томский государственный архитектурно-строительный университет, Соляная пл., 2, Томск, 634003, Россия e-mail: sbm@tsuab.ru
2Томский государственный университет систем управления и радиоэлектроники, пр. Ленина, 40, г. Томск, 634050, Россия. e-mail: office@tusur.ru
Реализация планов создания «умных городов» как одного из важнейших направлений цифровой экономики, требует приоритетного развития транспортной инфраструктуры, обеспечивающей перемещение людей и грузов в пределах города и прилегающих к нему территорий. Безопасное функционирование и максимальная пропускная способность полученной кибер-физической системы/ возможны/ при условии создания технологии диагностики объектов транспортной инфраструктуры/, в том числе основанной на видеофиксации дорожны/х условий. Представлено видение авторов по проблемам математического моделирования кибер-физических систем на транспорте как трехуровневой иерархической структуры,, включающей в себя сенсоры/ и датчики окружающей обстановки на нижнем уровне, центры/ обработки данных (ЦОД) на уровне среднего звена и единый центр хранения данных и вы/работки управленческих решений на верхнем уровне. Исследованы/ перспективы/ моделирования ЦОД на основе мультиагентного подхода и алгоритм технического зрения, который предлагается реализовать в виде программы/ на мобильном устройстве, для распознавания объектов транспортной инфраструктуры/ и их дефектов с помощью стереометрии. Представленный алгоритм можно использовать при планировании ремонта дорог, при разборе дорожно-транспортных происшествий, для обработки заявлений пользователей автодорог и т. д.
Ключевые слова: автомобильные дороги как кибер-физическая система, мультиагентный метод, фотограмметрия, калибровка.
Дата поступления -18 декабря 2019 года
городов» как одного из важнейших направлений цифровой экономики [1]. Во-первых, качество дорожного покрытия наряду с категорией автомобильной дороги, ее видимостью, шириной дорожного полотна, расположением соответствующих дорожных знаков оказывает существенное влияние на безопасность дорожного движения и пропускную способность транспортного потока. В совокупности они определяют понятие «дорожные условия», от которых зависят траектория и скорость автомобиля. Влияние дорожных условий на возникновение дорожно-
транспортных происшествий (ДТП), как считают эксперты, составляет от 60 до 80 % случаев [2, 3]. При этом ДТП являются одной из самых распространенных причин смертности в мире. Ежегодно погибает более 1,35 миллиона человек, что эквивалентно потере странами, затронутыми этим бедствием, около 3 % их валового внутреннего продукта (ВВП) [4]. Во-вторых, по результатам разбора ДТП возникают задачи выявления виновных в нарушении правил дорожного движения (ПДД) и оценки стоимости восстановительного ремонта поврежденных автомототранспортных средств (АМТС) [5]. В-третьих, экономические и социальные потери из-за снижения скорости транспортного потока и соответствующей пропускной способности автомобильной дороги, вызванные наличием трещин и выбоин дорожного покрытия, имеют тенденцию к увеличению при несвоевременном обнаружении и ремонте [6].
Определенным прорывом в решении проблемы объективной диагностики состояния дорог стали мобильные системы на основе лазерного сканирования [7]. Однако высокая стоимость этой технологии и отсутствие информации о текстуре дорожных объектов усложняет ситуацию. Использование современных недорогих
фотограмметрических методов [8-14] для определения повреждений и неровностей дорожного покрытия и конструктивных элементов дороги дает новый импульс развитию цифровых технологий проектирования ремонта дорог, повышению мобильности и снижению себестоимости работ.
Довольно часто возникают спорные ситуации, расследование и экспертиза которых проводится по имеющимся материалам, включая фотографии и видеосъемку. Согласно европейскому протоколу участники дорожного инцидента могут использовать мобильные устройства для фиксации и регистрации всех обстоятельств [15].
Исходя из вышеизложенного, разработка автономных мобильных устройств, способных «на месте» выполнять задачи сбора и анализа дорожных данных, включая фотографии и видеосъемку, в виде, пригодном для расследования и экспертизы спорных ситуаций, является актуальной задачей.
Кибер-физическая система управления городским транспортным движением
Автономные мобильные устройства сбора и анализа дорожных данных при определенных условиях могут обмениваться информацией с системой стационарных городских камер слежения за безопасностью дорожного движения в составе единого измерительного и обрабатывающего комплекса, представляя доступный пример кибер-физической системы на транспорте, к которому добавляются беспилотные транспортные средств, способные, имея «на борту» сложную программную систему искусственного интеллекта, самостоятельно анализировать окружающую обстановку, принимать решения и обучаться на предыдущем опыте.
Совокупность подобных устройств образует неоднородную распределенную систему
искусственного интеллекта, которая обогащается некоторой иерархической структурой,
обеспечивающей распределение задач между
устройствами, их взаимодействие с окружающей средой и обмен информацией в соответствии с основополагающими целями и установками (рис. 1).
Областное "электронное" правительство
Центр хранения данных и выработки управленческих решений на верхнем уровне
Г
Транспорт I Строительства Образования Медицина ...
ЦОД1 I ЦОД 2 ЦОДз ЦОД4 ЦОД,
\ I L \ /4V /-
I Сенсоры и датчики: 1,2, ..j,..., ш —I
Рис. 1. Консептуальный и логический уровни моделирования кибер-физической системы! управления городским транспортным движением (выделено штризовой линией)
Это подразумевает наличие протоколов [16] их совместной работы на нижнем уровне взаимодействия, а также протоколов для совместного использования в центрах обработки данных (ЦОД) на уровне среднего звена и для передачи в единый центр хранения данных и выработки управленческих решений на верхнем уровне, образуя кибер-социофизическую систему управления городским транспортным движением в составе концепции создания «умных городов». Появление слова «социо» в данном случае подразумевает, что автомобильная дорога - это не завод или месторождение с перспективой безлюдной технологии производства, а обязательный элемент «умного города», обеспечивающий безаварийность и максимальную пропускную способность транспортной системы, с присутствием в нем активных участников дорожного движения, создающих эффект непредсказуемости сознательного или неосознанного поведения людей, водителей, пешеходов и т.д.
Перспективы моделирования центров обработки данных с помощью программируемых логических матриц с реконфигурируемой архитектурой На рис. 2 представлена общая схема организации центра обработки данных (ЦОД) кибер-физической системы управления городским транспортным движением на уровне среднего звена.
Рис. 2. Схема организации ЦОД
Здесь, ПЭ - процессорный элемент на базе сенсора или датчика окружающей обстановки, ПЭВМ -мониторная подсистема на основе персональной ЭВМ, УУ - устройство управления взаимодействием сенсоров/датчиков, МК - магистральный канал (магистральная шина), РК - регулярный канал (моделирующая система), РП - решающее поле. Штрихом обведена моделирующая система, в качестве которой авторами [17] используется решающее поле на неразрезных процессорных матрицах СБИС. Коммутационное окружение каждого отдельно взятого сенсора или датчика окружающей обстановки представлено на рис. 3.
Рис. 3. Коммутационное окружение процессорного элемента
Здесь БСП - блок формирования сигналов перестройки матрицы; БУК - блок управления коммутациями; МК - магистральный канал.
Достоинством однородной архитектуры процессорных матриц является высокая производительность при решении задач обработки изображений и громадный ресурс резервирования и перепрограммирования для моделирования неоднородных распределенных систем искусственного интеллекта с дальнейшим оснащением необходимымы сенсорами/датчиками в сопровождении программ первичной обработки полученных данных и передачи управления на следующие иерархические уровни обработки, хранения данных и выработки управленческих решений.
Мультиагентные системы как инструмент моделирования взаимодействия сенсоров и датчиков окружающей обстановки на транспорте
Основы мультиагентного подхода излагались в серии работ [18-21], где обсуждались также возможности применения стохастических моделей для проектирования и исследования мультиагентных систем экономических субъектов. Для систем с роевым интеллектом в качестве модели предлагалось марковское случайное поле. При этом агенты располагаются в вершинах конечного графа и моделируются случайными величинами. В [22-25] была продемонстрирована возможность применения мультиагентной технологии для решения задач организации планирования в промышленности, а в [26-28] предложен ситуационный подход к управлению ресурсами и разработана многоагентная платформа для создания интеллектуальных систем, сохраняющих сцены в контексте ситуации, для повышения качества
и эффективности планирования в процессе изменения ситуации по событиям, в том числе для разработки методов получения и обработки фактических данных из производственных ресурсов в реальном времени [29, 30]. Отдельного внимания заслуживает исследование связных подмножеств (кластеров) агентов. Образование кластеров соответствует выделению дорожных объектов, созданию производственных или транспортных объединений. В предположении, что агенты расположены в вершинах регулярной решетки, оценкой вероятности существования кластера, пронизывающего всю систему, могут служить аналитические результаты, полученные для таких решеток в теории просачивания. Значения критических вероятностей узлов и связей служат нижними оценками для коэффициентов готовности агентов, по которым определяются вероятности существования глобального кластера и связных подмножеств агентов [31].
Краткое изложение теории стереоизмерений
а) Линейный подход. В следующих разделах анализируется ключевой компонент рассматриваемой кибер-физической системы диагностики объектов транспортной инфраструктуры, в роли которого выступает система технического зрения [9], основанная на методе фотограмметрической обработки стереоскопических изображений трехмерного 3D-объекта, полученных под разными углами [10-14].
Решение задачи сводится к формированию по графическим меткам элементов матрицы геометрических преобразований (рис. 4а) и восстановлению трехмерных координат точек объекта по перспективным проекциям в каждой плоскости изображения (рис. 4б).
Рисунок 4. а) Перспективная проекция точки; б) схема стереозрения
Здесь [х у z] - вектор геометрических координат точки P в трехмерном пространстве, x* и у*
- это координаты перспективной проекции p точки Pна картинную плоскость фотоизображения z = 0, zc -удаление точки съемки C от начала координат.
Напомним, что с введением однородной системы геометрических координат произвольная точка в трехмерном пространстве представляется четырехмерным вектором: [x' у' z' /] = [х У z 1] [7], где [7] является матрицей некоторого преобразования, и /
- масштабный коэффициент. В свою очередь, преобразование линейной перспективы представляется в виде матрицы размера 4x4
б
а
T T' T 12 T' T' T 14
T' T 21 T' 22 T' t23 T' t24
T' T' T 32 T' t33 T' t34
T' T 41 T' t42 T' t43 T' t44
[T ']=
В процессе фотографирования результаты проецируются на двумерную плоскость z = 0 с помощью преобразования проекции
"1 0 0 0"
[T "] =
0 10 0 0 0 0 0 0 0 0 1
Последовательное применение линейных преобразований векторного пространства можно рассматривать как произведение матриц. Композиция этих двух линейных преобразований дает
[T ]=[T" ][T ] =
T T T12 0 T T14
T T 21 T T22 0 T T24
T31 T T32 0 T T34
T41 T T42 0 T T44
Таким образом, результирующее
преобразование можно записать в виде
[х у zl] [7] = [х' у' 0 h] = И[х* у* 0 1].
После исключения масштабного
коэффициента h получается два скалярных уравнения: (Й1 - Й1 х *)х + (012 - 013х *)у + (¿13 - 033х> + (¿1 - Ъъх *) = 0, (021 - в31У *)х + (022 - 032У *)у + (¿23 - 033У*V + (¿2 - Ъ,у *) = 0.
(1)
где - элементы матрицы проективного
преобразования размера 3x3, полученной вычеркиванием из матрицы 7 последней строки и третьего столбца и транспонированием, а Ь = [Ь1, Ь2, Ьз] - три ненулевых элемента последней строки матрицы 7, которые составляют координаты нормализованного вектора точки съемки.
В предположении, что 0, Ь, х, у, z известны, эти уравнения могут быть использованы для моделирования собственно процесса
фотографирования. Если же известны х*, у*, х, у z, то (1) представляет два уравнения с 12 неизвестными элементами 0, Ь. Применяя эти уравнения к п заданным точкам в пространстве объектов и к их изображениям на перспективной проекции, получают однородную систему из 2п уравнений с 12 неизвестными. При условии некомпланарности заданных точек и п > = 6, существует нетривиальное решение полученной системы. Для численного отыскания решения переносят слагаемые, содержащие коэффициент Ьз, вправо и задают значение Ьз = 1. Таким образом, чтобы найти решение 0, Ь, получают переопределенную систему уравнений, матрицу которой нельзя инвертировать, так как она не квадратная. Как известно из теории метода наименьших квадратов, можно вычислить наилучшее усредненное решение, умножив обе части матричного уравнения на транспонированную матрицу системы. Тогда получают систему из 11 линейных уравнений для 11 неизвестных с симметричной квадратной матрицей, для решения которой можно применить известный метод квадратного корня. Таким образом, по известным координатам определяется
преобразование, которое привело к заданной перспективной проекции, например, фотографии (это представляет собой задачу калибровки фотокамеры для отдельного кадра).
В методе фотограмметрии в качестве изображения объекта используется стереопара, то есть две проекции одного и того же трехмерного объекта, запечатленные под разными углами. В этом случае 0, Ь, х*, у* в уравнениях (1) предполагаются известными. Тогда получаются два уравнения для трех неизвестных пространственных координат х, у z Это недоопределенная система уравнений, поэтому решить ее невозможно. Однако если известны две перспективные проекции, скажем, две фотографии, сделанные под разными углами, то можно записать эти уравнения для обеих проекций:
0 - й1 х*1 )х + (21 - & х*1)У + (2в - й3 х*1) * = х" - Ъ1, (211 - 611 У*1 )х + (012 - 612У*1)У + (013 - 613У*1) * = у" - Ъ1,
0 - & х- )х + 0 - х*2 )у + (0123 - 033 х*2) * = х*2 - Ъ1,
02 - 0321 У*2 )х + (0222 - 0322 У*2 )у + (0223 - 033 У*2 ) * = У*2 - Ъ22.
(2)
В результате получаются четыре уравнения для трех неизвестных пространственных координат х, у, z, где верхние индексы 1 и 2 обозначают первую и вторую перспективные проекции. Таким образом, снова получена переопределенная система уравнений, и для нахождения координат точки х, у z могут использоваться методы наименьших квадратов и квадратного корня.
б) Нелинейный подход. Заметим, что в представленном выше подходе для каждого нового кадра съемочную камеру нужно заново калибровать, чтобы получить 11 новых параметров при каждом перемещении камеры в пространстве. Однако при съемке с использованием одной и той же фото- или видеокамеры не все они независимы. А именно, пять параметров отвечают за так называемые внутренние параметры камеры (фокусные расстояния, координаты главной точки и параметр искажения), которые не изменяются при ее перемещении. Чтобы определить их, матрицу проективного преобразования 0 приводят к верхней треугольной форме, так что в результате получаются значения угловых и линейных перемещений камеры Я, t[15]
A =
Y u0
0 р V0 0 0 1
R = A'1 • Q, t = A'1 • b.
(3)
В свою очередь, матрица Я содержит только три независимых параметра - углы вращения Эйлера. Для их отыскания важно, что она ортогональная. Применение условий ортогональности делает задачу определения параметров Я, t перспективного преобразования (внешней калибровки) разрешимой, хотя и нелинейной. Таким образом, становится возможным использовать п> = 3 калибровочных точек объекта в пространстве для построения каждого следующего перспективного преобразования.
Новый «одноточечный» метод внешней калибровки
В условиях, когда для видеофиксации используется камера современного смартфона, для измерения становятся доступны углы
пространственной ориентации камеры смартфона. Тогда, в предположении, что внутренние параметры камеры не меняются, сформулируем новый «одноточечный» метод внешней калибровки камеры смартфона. Пусть каким-то образом получена матрица
5 =
где углы Эйлера ф, 0, ф матрицы вращения равны разностям соответствующих измеренных углов. Затем вычисляется матрица проективного преобразования О2 для второго кадра по формуле О2 = О1 • S и находятся координаты нормализованного вектора точки съемки для второго кадра из уравнений: Ь2 = х*2 -(¡а2 - б2 х*2 )х-(а - х*2 )у-(о, - о, х*2
=у*2 -0 - а2: у*2 )х-(а222 - а2 у*2 )у-(а2, - а, у*2 К
(5)
Таким образом, полученное решение позволяет выполнить внешнюю калибровку камеры смартфона по одной единственной маркерной точке [х у z], вдобавок, нелинейность, связанная с углами Эйлера, исчезает. Здесь, как и в предыдущем примере, можно использовать дополнительные маркеры - для последующего усреднения.
Эй-моделирование
Одной из основных задач при выявлении дефектов объектов транспортной инфраструктуры, в частности, дорожного покрытия по результатам мобильной съемки является построение трехмерной математической модели по набору точек интерполяции объекта с последующим вычислением площади и объема дефекта как результата сопоставления с типовой (паспортной) моделью объекта [6]. Алгоритм построения интерполяционных точек объекта по набору пар соответствующих точек на стереоизображениях в общем случае состоит из пяти этапов:
1) расчет элементов матрицы проектирования в соответствии с соотношениями вида (1);
2) расчет внутренних параметров камеры по матрице проектирования в соответствии с соотношениями вида (3);
3) определение опорных кадров видеопоследовательности, образующих стереопару;
4) расчет внешних параметров для каждого кадра стереопары в соответствии с соотношениями (4), (5);
5) решение обратной задачи для каждой пары сопряженных точек в соответствии с соотношениями вида (2).
После этого, зная реальные точки в пространстве, можно перейти к построению трехмерной математической модели, по которой возможно рассчитать параметры, необходимые для диагностики дефекта объекта транспортной инфраструктуры, в частности, дорожного покрытия (площадь и объем).
проективного преобразования 7 для первого кадра и зафиксированы углы ориентации камеры смартфона для каждого кадра стереопары. Тогда можно получить матрицу вращения [32] второго кадра относительно первого кадра:
(4)
Локализация и идентификация проекций интерполяционных точек на изображениях, определенных из опорных кадров видеопоследовательности и образующих
стереопару
Выделение границ плоских изображений является одной из важных вспомогательных задач при распознавании дефектов объектов транспортной инфраструктуры, в частности, повреждений дорожного покрытия. Они содержат исчерпывающую информацию о своей форме для последующего анализа [33-35]. В качестве предварительного вывода отметим, что на изображениях объектов транспортной инфраструктуры характерно наличие углов, образованных пересечениями образующих (кривых или прямых) линий. Поэтому для анализа таких изображений целесообразно использовать так называемые «угловые» фильтры, в частности, популярным является использование детектора Харриса [34, 36].
Более точно воспроизводить детали и границы плоских изображений позволяет бинаризация (т.е. преобразование исходного изображения в изображение, элементы которого принимают только два значения) [37-42]. Отличием алгоритма [42] является усиление контраста и выделение слабых контрастных деталей на изображениях в оттенках серого. Это бывает полезно для последующей обработки данных. Следовательно, точность расчета параметров ущерба (площадь и объем) возрастает.
Результаты экспериментов
Для иллюстрации фотограмметрического метода рассмотривалась реальная стереопара, соответствующая двум фотографиям типичного дорожного конуса на фоне повреждения в дорожном покрытии. Мы измерили координаты семи вершин трехмерного объекта с помощью линейки. Кроме того, мы зафиксировали координаты соответствующих точек на изображениях в графическом редакторе с помощью мыши. Учитывая координаты точки поверхности дороги на левом и правом изображениях, можно оценить точность представленного алгоритма технического зрения. В нашем случае расстояние от вершины конуса до асфальтового покрытия, рассчитанное по теореме Пифагора, составило 31,975 см, что на 0,078% отличается от значения 32 см в техническом паспорте.
Использование «трехточечного» метода при условии, что предварительно определены внутренние параметры камеры по всем семи точкам, дало значение 21,174 см, что дает относительную погрешность измерения 33,8%, и, согласно теории погрешностей, в ответе нет ни одной верной цифры. Однако добавление в этом контексте только одной (то
^со5(з)со5(<р) - С08(^)8т(р) + (щ^т($)оо8(р) со8(р)оо8(щ)8т($) + (щ^т(р) (р) оо8(^)оо8(^) + (щ^т (р) (,9)со8(^)8т (р)- С08(р)8т (щ)
есть четвертой) точки дало значение 30,756 см, что обеспечивает относительную погрешность измерения 3,8% и, следовательно, по меньшей мере, одну верную цифру в ответе. Проведенные эксперименты позволяют рекомендовать для видео измерений на местности такое устройство, как складной знак аварийной остановки, который имеет ровно четыре легко распознаваемые на плоских изображениях проекции интерполяционных точек.
Более ответственную задачу калибровки внутренних параметров камеры можно с успехом выполнить в офисных условиях по значительно большему количеству маркерных точек. Подчеркнем, что при этом требуется особая тщательность при выполнении измерительных работ. Например, для данного случая внутренние параметры камеры на левом и правом изображениях не совпадают (табл. 1).
Таблица 1. Внутренние параметры камеры
Фото a в u v Y
Левое 795.578 642.85 794.579 841.311 15.669
Правое 401.112 296.649 824.506 667.454 13.096
В следующей серии экспериментов присутствовали 10 калибровочных точек, включая четыре угла этикетки со штрих-кодом (рис. 5). Внутренние параметры камеры на левом и правом изображениях равны, соответственно:
Таблица 2. Внутренние параметры камеры для рис. 5
Фото a в u v Y
Левое 3599 3707 1340 2028 133.898
Правое 3050 3233 981.91 2623 38.878
Тогда для трехмерных координат вершин темной плитки рядом с затененной областью на полу получается вполне приемлемый результат 9,757x3,738 вместо истинных значений 10x4 [43].
Рисунок 5. Стереопара из двух фотографий упаковочной коробки
Еще один эксперимент состоял в проверке возможности автоматического поиска графических маркеров и опорных точек на фотографиях. Напомним, что именно эти точки должны быть найдены на каждом изображении, чтобы успешно решить проблему фотограмметрии. В частности, на рис. 6 показано использование детектора Харриса [33, 35] для обнаружения сопряженных точек на левом и правом кадрах стереопары [43].
Рисунок 6. Автоматическое обнаружение сопряженных точек с использованием детектора Харриса
Заключение
Реализацию полученных алгоритмов и автоматизацию процесса поиска графических маркеров и опорных точек на фотографиях предполагается осуществить на смартфоне под управлением ОС Андроид. В заключение необходимо сказать, что мобильный сбор данных о дефектах объектов транспортной инфраструктуры, в частности, дорожного покрытия может оказаться гораздо более эффективным с применением описанных методов. Также стоит учесть, что из-за особенностей изображения дефектов дорожного полотна (отсутствие четких границ, наличие посторонних предметов, несущественность некоторых дефектов) следует предусмотреть возможность «ручной» маркировки характерных точек на изображениях.
Литература
1. Куприяновский В. П., Намиот Д.Е, Синягов
C.А. Кибер-физические системы как основа цифровой экономики // International Journal of Open Information Technologies. 2016. V. 4. N 2. http://injoit.org/index. php/jl/article /view/266/211 (accessed on 25 March 2019)
2. Urfi Amir A,, Khalil S, Hoda M.F. Risk factors for road traffic accidents with head injury in Aligarh // International Journal of Medical Science and Public Health. 2016. N 5. P. 2103-2107.
3. Abbdi Tariku, Hailu Belay, Andualem Adal T, Gelder P.H.A.J.M, Hagenzieker M, Carbon C.-C.Road Crashes in Addis Ababa, Ethiopia: Empirical Findings between the Years 2010 and 2014 // AFRREV. 2017. V. 11. P. 1-13.
4. Global status report on road safety 2018. Available online: http://www.who.int/violence_injury_ prevention/road_safety_status/2018/en/ (accessed on 25 March 2019)
5. Morales A., Sanchez-Aparicio L.J,, Gonzalez-Agullera D, Gutierrez M.A, Lopez A.I,, Hernandez-Lopez
D, Rodriguez-Gonzalvez P. A new approach to energy calculation of road accidents against fixed small section elements based on close-range photogrammetry // Remote sensing. 2017. V. 9. N 1219. P. 1-18.
6. Bao G. Road distress analysis using 2D and 3D information. The University of Toledo: The University of Toledo Digital Repository Theses and Dissertations, 2010. 109 p.
7. Shumilov B.M., Baigulov A.N. A study on modeling of road pavements based on laser scanned data and a novel type of approximating hermite wavelets //
WSEAS Transactions on Signal Processing. 2015. N 11. P. 150-156.
8. Эшаров Э.А, Давыдов А. В., Калиниченко
B.С. Использование алгоритмов обработки данных мобильных видеоизмерений для фиксации и исследования повреждений автомототранспортных средств:: // Междунар. науч.-техн. конф.. «Перспективные информационные технологии» (ПИТ 2018). г. Самара. 16 апреля 2018. Сб. тр. / под ред.
C.А. Прохорова. Самара: СНЦ РАН, 2018. С. 913-916.
9. Eiugachev P., Shumilov B. Development of the technical vision algorithm // MATEC Web of Conferences. 2018. V. 216. 04003 / Polytransport Systems-2018. 7 p.
10. Rogers D.F, Adams J.A. Mathematical elements for computer graphics. New York: McGraw-Hill, 1990. 611 p.
11. Tsai R. A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses // IEEE J. of Robotics and Automation. 1987. N 3. P. 323-344.
12. Slama C. (ed.). Manual of Photogrammetry. Va.: Falls Church: American Society of Photogrammetry. 1980. 1056 p.
13. Davison A.J., Reid I.D, Molton N.D., Stasse O. MonoSLAM: Real-Time Single Camera SLAM // IEEE Trans. Pattern Anal. Machine Intell. 2007. N 29, P. 10521067.
14. Chiuso A., Favaro P., Jin H, Soatto S. Structure from motion causally integrated over time // IEEE Trans. Pattern Anal. Machine Intell. 2002. N 24. P. 523-535.
15. Hartley R, Zisserman A. Multiple View Geometry in Computer Vision. Second Edition. Cambridge: Cambridge University Press. 2004. 646 p.
16. Цветков В.Я. Управление с применением кибер-физических систем. // Перспективы науки и образования. 2017. N 3 (27). С. 55-60. Available: psejournal.wordpress.com/archive17/17-03/.
17. Воробьев В. А., Еремина Н.Л, Лаходынова Н.В. Анализ алгоритмов перестройки структуры процессорной матрицы // Автометрия. 1996. № 3, С. 69-77.
18. Chapman S.N. The Fundamentals of Production Planning and Control. Upper Saddle River: Prentice Hall, 2006. 272 p.
19. Wooldridge M. An Introduction to MultiAgent Systems. Hoboken: Wiley, 2009. 484 p.
20. Easley D, Kleinberg J. Networks, Crowds, and Markets: Reasoning About a Highly Connected World. New York: Cambridge University Press, 2010. 833 p.
21. Jennings, N.R, Wooldridge, M.J. (eds.): Agent Technology: Foundations, Applications, and Markets. Springer, Heidelberg, 2012. 325 p.
22. Городецкий В.И,, Скобелев П.О. Многоагентные технологии для индустриальных приложений: реальность и перспектива // Тр. СПИИРАН. 2017. Т. 55. № 6. С. 11-45.
23. Виттих В.А, Моисеева Т.В., Скобелев П.О. Принятие решений на основе консенсуса с применением мультиагентных технологий // Онтология проектирования. 2013. Т. 2. № 8. С. 20-25.
24. Skobelev P. Towards autonomous AI systems for resource management: applications in industry and lessons learned // In: Proceedings of the XVI International Conference on Practical Applications of Agents and MultiAgent Systems (PAAMS 2018). LNAI. V. 10978. Springer.
2018. P. 12-25. https://doi.org/10.1007/978-3-319-94580-4_2
25. Rzevski G, SkobelevP. Managing Complexity. Wit Press, 2014. 216 p.
26. Skobelev P., et a, Practical approach and multi-agent platform for designing real time adaptive scheduling systems // In: Proceedings of the XII International Conference on Practical Applications of Agents and Multi-Agent Systems (PAAMS 2014). CCIS. V. 0430. Springer. 2014. P. 1-12.
27. Skobelev P. Multi-agent systems for real time adaptive resource management // In: Leitao, P., Karnouskos, S. (eds.) Industrial Agents: Emerging Applications of Software Agents in Industry, Elsevier. 2015. P. 207-230.
28. Leung J. Handbook of Scheduling: Algorithms, Models and Performance Analysis. Chapman & Hall, CRC Computer and Information Science Series, 2004. 1216 p.
29. Mayorov I,, Skobelev P. Towards thermodynamics of real time scheduling // Int. J. Des. Nat. Ecodynamics. 2015. V. 10. N 3. P. 213-223. https://doi.org/10.2495/dne-v10-n3-213-223/
30. Lada A., Smirnov S. The Multi-agent Method for Real Time Production Resource-Scheduling Problem in Recent Research in Control Engineering and Decision Making // ISBN 978-3-030-12071-9, ISBN 978-3-03012072-6 (eBook) Springer / Studies in Systems, Decision and Control / ICIT-2019. P. 103-111.
31. Лаходынова Н. В. О порогах просачивания в однородных структурах // Автометрия. 2003. № 3. С. 35-42.
32. Euler angles. Available at: https://en.wikipedia.org/wiki/Euler_angles#Rota-tion_ matrix (June 11, 2018)
33. Sonka M, Hlavac V., Boyle R. Image Processing. Analysis and Machine Vision. Toronto: Thomson. 2008. 770 p.
34. Harris affine region detector. Available at: https://en.wikipedia.org/wiki/ Harris_affine_region_ detector (June 11, 2018)
35. Tuytelaars T, Mikolajczyk K. Local invariant feature detectors: A survey // Foundations and Trends in Computer Graphics and Vision. 2007. N 3. P. 177-280.
36. Harris C, Stephens M. A combined corner and edge detector // Fourth Alvey Vision Conference, Manchester, UK. 1988. P. 147-151.
37. Niblack W. An Introduction to Digital Image Processing. NJ: Prentice-Hall, Englewood Cliffs. 1986. 215 p.
38. Otsu N. A threshold selection method from gray-level histograms // IEEE Trans. on System, Man and Cybernetics. 1979. V. SMC-9. N 1. P. 62-66.
39. Bayer B. An optimum method for two-level rendition of continuous tone pictures // IEEE International Conference on Communications. 1973. V. 1. P. 11-15.
40. Floyd R.W. An adaptive algorithm for spatial gray-scale // Proceedings Society Information Display. 1976. V. 17. N 2. P.75-78.
41. Wang Z, Bovik A.C. Modern Image Quality Assessment. New-York: Morgan and Claypool Publishing Company. 2006. 156 p.
42. ShumHov B, Gerasimova Y, Makarov A. On binarization of images at the pavement defects recognition // 2018 IEEE International Conference on Electrical Engineering and Photonics (EExPolytech), Saint Petersburg, Russia. 2018. P. 107-110.
43. Shumilov B, Gerasimova Y, Titov A. On Simplifications in the Technical Vision Algorithm // Advances in Sciences and Engineering. 2018. V. 10. N 2. P. 39-47.
References
1. Kupriyanovsky V., Namiot D., Sinyagov S. Cyber-physical systems as a base for digital economy. International Journal of Open Information Technologies. 2016. V. 4. N 2. http://injoit.org/index.php/j1/ arti-cle/view/266/211 (accessed on 25 March 2019)
2. Urfi Amir A,, Khaill S, Hoda M.F. Risk factors for road traffic accidents with head injury in Aligarh // International Journal of Medical Science and Public Health. 2016. N 5. P. 2103-2107.
3. Abdi Tarkku, Hailu Belay, Andualem Ada! T, Gelder P.H.A.J.M, Hagenzieker M, Carbon C.-C. Road Crashes in Addis Ababa, Ethiopia: Empirical Findings between the Years 2010 and 2014. AFRREV. 2017. V. 11. P. 1-13.
4. Global status report on road safety 2018. Available online: http://www.who.int/violence_injury_ prevention/road_safety_status/2018/en/ (accessed on 25 March 2019)
5. Morales A., Sanchez-Aparicio LJ, Gonzalez-AguHera D, Gutierrez M.A, Lopez A.I, Hernandez-Lopez D, Rodriguez-Gonzalvez P. A new approach to energy calculation of road accidents against fixed small section elements based on close-range photogrammetry // Remote sensing. 2017. V. 9, N 1219. P. 1-18.
6. Bao G. Road distress analysis using 2D and 3D information. The University of Toledo: The University of Toledo Digital Repository Theses and Dissertations, 2010. 109 p.
7. Shumilov B.M, BaigulovA.N. A study on modeling of road pavements based on laser scanned data and a novel type of approximating hermite wavelets // WSEAS Transactions on Signal Processing. 2015. N 11. P. 150156.
8. Esharov E.A., Davydov A.V., KaHnichenko V.S. Ispol'zovanie algoritmov obrabotki dannych mobil'nych videoizmerenii dlia fiksacii i issledovaniya povrezhdenii avtomototransportnych sredctv // In: Prokhorova, S.A. (eds.) Perspectivnye informationnye technologii (PIT 2018) Trudy Mezhdunarodnoi nauchnotechnicheskoi kon-ferencii. 2018. P. 913-916. (in Russian).
9. Elugachev P., ShumHov B. Development of the technical vision algorithm // MATEC Web of Conferences. 2018. V. 216. 04003 / Polytransport Systems-2018. 7 p.
10. Rogers D.F., Adams J.A. Mathematical elements for computer graphics. New York: McGraw-Hill. 1990. 611 p.
11. Tsai R. A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses. IEEE J. of Robotics and Automation. 1987. N 3. P. 323-344.
12. Slama C. (ed.). Manual of Photogrammetry. Va.: Falls Church: American Society of Photogrammetry. 1980. 1056 p.
13. Davison A.J., Reid I.D., Motton N.D., Stasse O. MonoSLAM: Real-Time Single Camera SLAM // IEEE Trans. Pattern Anal. Machine Intell. 2007. N 29, P. 10521067.
14. Chiuso A., Favaro P., Jin H, Soatto S. Structure from motion causally integrated over time // IEEE
Trans. Pattern Anal. Machine Intell. 2002. N 24. P. 523535.
15. Hartley R., Zisserman A. Multiple View Geometry in Computer Vision. Second Edition. Cambridge: Cambridge University Press. 2004. 646 p.
16. Tsvetkov V.Ya. Upravlenie s primeneniem kiber-phizicheskich system // In: Perspectives of Science & Education. 2017. N 3 (27). P. 55-60. International scientific electronic journal homepage, http://psejournal.wordpress.com/archive17/17-03/, last accessed.
17. Vorob'ev V.A., Eremina N.L., Lakhodynova N. V. Analis algoritmov perestroiki structury processornoi matricy. Avtometriya. 1996. № 3, P. 69-77.
18. Chapman S.N. The Fundamentals of Production Planning and Control. Upper Saddle River: Prentice Hall. 2006. 272 p.
19. Wooldridge M. An Introduction to Multi-Agent Systems. Hoboken: Wiley. 2009. 484 p.
20. Easley D, Kleinberg J. Networks, Crowds, and Markets: Reasoning About a Highly Connected World. New York: Cambridge University Press. 2010. 833 p.
21. Jennings, N.R., Wooldridge, M.J. (eds.): Agent Technology: Foundations, Applications, and Markets. Springer, Heidelberg, 2012. 325 p.
22. Gorodetsky V.I., Skobelev P.O. Mnog-oagentnye technologii dlia industrial'nych prilozhenii: reality and perspectives. SPIIRAS Proc. 2017. V. 55. N 6. P. 11-45. (in Russian).
23. Vittikh V.A, Moiseeva T.V., Skobelev P.O. Priniatie reshenii na osnove konsensusa s primeneniem mul'tiagentnych technologii // Ontologii proektirovaniya. 2013. V. 2. N 8. P. 20-25. 22. (in Russian).
24. Skobelev P. Towards autonomous AI systems for resource management: applications in industry and lessons learned // In: Proceedings of the XVI International Conference on Practical Applications of Agents and MultiAgent Systems (PAAMS 2018). LNAI. V. 10978. Springer. 2018. P. 12-25. https://doi.org/10.1007/978-3-319-94580-4_2
25. Rzevski G, Skobelev P. Managing Complexity. Wit Press. 2014. 216 p.
26. Skobelev P., et aI. Practical approach and multi-agent platform for designing real time adaptive scheduling systems // In: Proceedings of the XII International Conference on Practical Applications of Agents and Multi-Agent Systems (PAAMS 2014). CCIS. V. 0430. Springer. 2014. P. 1-12.
27. Skobelev P. Multi-agent systems for real time adaptive resource management // In: Leitao, P., Karnous-kos, S. (eds.) Industrial Agents: Emerging Applications of Software Agents in Industry, Elsevier. 2015. P. 207-230.
28. Leung J. Handbook of Scheduling: Algorithms, Models and Performance Analysis. Chapman & Hall, CRC Computer and Information Science Series, 2004. 1216 p.
29. Mayorov I., Skobelev P. Towards thermodynamics of real time scheduling // Int. J. Des. Nat. Ecody-namics. 2015. V. 10. N 3. P. 213-223. https://doi.org/10.2495/dne-v10-n3-213-223/
30. Lada A., Smirnov S. The Multi-agent Method for Real Time Production Resource-Scheduling Problem in Recent Research in Control Engineering and Decision Making // ISBN 978-3-030-12071-9, ISBN 978-3-030-12072-6 (eBook) Springer / Studies in Systems, Decision and Control / ICIT-2019. P. 103-111.
31. Lakhodynova N.V. O porogach prosachivaniya v odnorodnych structurach. Avtometriya. 2003. № 3. P. 35-42. 30.
32. Euler angles. Available at: https://en.wikipedia.org/wiki/Euler_angles#Rota-tion_ matrix (June 11, 2018)
33. Sonka M, Hlavac V,, Boyle R. Image Processing. Analysis and Machine Vision. Toronto: Thomson. 2008. 770 p.
34. Harris affine region detector. Available at: https://en.wikipedia.org/wiki/ Harris_affine_region_ detector (June 11, 2018)
35. Tuytelaars T, Mikolajczyk K. Local invariant feature detectors: A survey // Foundations and Trends in Computer Graphics and Vision. 2007. N 3. P. 177-280.
36. Harris C, Stephens M. A combined corner and edge detector // Fourth Alvey Vision Conference, Manchester, UK. 1988. P. 147-151.
37. Niblack W An Introduction to Digital Image Processing. NJ: Prentice-Hall, Englewood Cliffs. 1986. 215 p.
Сведения об авторах:
Елугачев Павел Александрович, канд техн. наук, проректор по научной работе, каф. инженерной геологии, мостов и сооружений на дорогах; Pavel A. Elugachev, Ph.D. (Eng.), Vice-Rector for Science, Department of Engineering Geology and Bridges and Structures on the Roads, e-mail: elugachev@mail.ru
Лаходынова Надежда Владимировна, д-р техн. наук, профессор, каф. экономической математики, информатики и статистики, е-mail: office@tusur.ru; Nadezhda V. Lakhodynova, Dr Sci. (Eng.), Professor, Department of Economical mathematics, informatics and statistics, e-mail: lax1@mail.ru
Шумилов Борис Михайлович, д-р физ.-мат наук, профессор, каф. прикладной математики, Boris M. Shumilov, Dr Sci. (phys-math.), Professor, Department of Applied mathematics, e-mail: sbm05@yandex.ru
Эшаров Элзарбек Асанович, канд физ.-мат наук, доцент, каф. прикладной математики; Elzarbek A Esharov. Ph.D. (phys-math.), Associate Professor, Department of Applied mathematics, e-mail: elzare78@mail.ru
38. Otsu N. A threshold selection method from gray-level histograms // IEEE Trans. on System, Man and Cybernetics. 1979. V. SMC-9. N 1. P. 62-66.
39. Bayer B. An optimum method for two-level rendition of continuous tone pictures // IEEE International Conference on Communications. 1973. V. 1. P. 11-15.
40. FloydR.W. An adaptive algorithm for spatial gray-scale // Proceedings Society Information Display. 1976. V. 17. N 2. P.75-78.
41. Wang Z, Bovik A.C. Modern Image Quality Assessment. New-York: Morgan and Claypool Publishing Company. 2006. 156 p.
42. Shumilov B, Gerasimova Y,, Makarov A. On binarization of images at the pavement defects recognition // 2018 IEEE International Conference on Electrical Engineering and Photonics (EExPolytech), Saint Petersburg, Russia. 2018. P. 107-110.
43. Shumilov B, Gerasimova Y, TitovA. On Simplifications in the Technical Vision Algorithm // Advances in Sciences and Engineering. 2018. V. 10. N 2. P. 39-47.
