CC BY
39
УДК 004.932.72
Автоматизированная оцифровка круговых диаграмм
Н.В.ВАСИЛЬЕВА1 Н, АВ.БОЙКОВ1, О.О.ЕРОХИНА1, А.Ю.ТРИФОНОВ2
1 Санкт-Петербургский горный университет, Санкт-Петербург, Россия
2 Томский политехнический университет, Томск, Россия
Как цитировать эту статью: Автоматизированная оцифровка круговых диаграмм / Н.В.Васильева, А.В.Бойков, О.О.Ерохина, А.Ю.Трифонов // Записки Горного института. 2021. Т. 247. С. 82-87. DOI: 10.31897/PMI.2021.1.9
Аннотация. Круговые диаграммы использовались в промышленности для возможности ретроспективной оценки технологических параметров. Сегодня актуальна оцифровка полученных данных для упрощения процесса автоматизации технологических процессов. Оцифровка круговых диаграмм стандартными методами производится с привлечением человеческого труда при значительных временных затратах. В статье предложен автоматизированный метод оцифровки круговых диаграмм с помощью программного обеспечения, разработанного при использовании среды разработки LabVEW. Результаты обработки круговых диаграмм выводятся на экран в численном и графическом виде, а также могут быть экспортированы в файл (например, в Блокнот или MS Excel). Представленная методика применима для изображений, полученных на цветном или черно-белом сканере, что обеспечивает минимизацию геометрических искажений, связанных с преобразованием бумажного документа в электронный вид, и обеспечивает качество распознавания четкой линии графика с относительной погрешностью в среднем до 3 %. В случае выцветания чернил или перспективной съемки диаграммы на фотоаппарат значение относительной погрешности может достигать 8 %, вследствие чего потребуется дополнительная ручная корректировка данных.
Ключевые слова: оцифровка изображений; круговые диаграммы; LabVEW; распознавание образов, обработка цифровых изображений, автоматизация
Введение. Повсеместное распространение бумажных самописцев на предприятиях химической, металлургической, горной и других отраслей промышленности в середине прошлого века было связано с необходимостью накопления и оценки данных о технологических процессах [5, 14, 21, 26]. На основе получаемых значений можно было прогнозировать варьирование режимов работы агрегатов в зависимости от изменения входных параметров системы, а также определять возможность возникновения аварийных ситуаций и преждевременно предотвращать их. По мере возникновения интеллектуальных систем управления технологическими процессами, в том числе SCADA, MES и др., возникла возможность значительного упрощения работы операторов и сведения полученных данных в формы, легко воспринимаемые человеком [13, 15, 24].
В настоящий момент на территории РФ осуществляется переход к цифровым технологиям, предполагающий как повсеместную автоматизацию технологических процессов, так и создание интеллектуальных систем-помощников на основании архивных данных по ведению технологического процесса [11, 25, 28]. На ряде производств реализуется хранение данных, полученных с самописцев в различном графическом виде в архивах, при этом некоторые лаборатории до недавнего времени использовали при проведении опытов бумажные самописцы [8].
Для минимизации объема бумажных архивов, а также упрощения доступа к архивным данным целесообразно использование автоматизированных систем оцифровки данных, полученных при использовании бумажных самописцев [3, 12, 14].
Постановка проблемы. В статье рассматривается один из видов графического представления данных, получаемых с самописца, а именно круговые диаграммы. Круговая диаграмма - это график в полярной системе координат, представляющий собой сетку (совокупность окружностей и дуг времени) и одну или две кривые (графики температуры, перепада давления и т.д.). Они используются на производстве для регистрации температур, давлений, влажностей и прочих параметров за конкретный промежуток времени. Из-за глобальной компьютеризации и стремления к автоматизации появилась необходимость перевода архивов с диаграммами в цифровой вид. Обработка круговых диаграмм предполагает активное участие человека, на обработку каждой диаграммы тратится большое количество времени. Кроме того, так как диаграммы обрабатываются
планиметрами, точность обработки получается низкой и основной параметр вычисляется с большой погрешностью.
В связи с изложенным возникает необходимость разработки эффективных методов и алгоритмов автоматического распознавания кривых на цветных изображениях круговых диаграмм, что относится к задачам распознавания образов [3, 5, 6], поскольку необходимо «выделить» точки графика среди остальных точек. Реализация подобных методик осложнена тем, что диаграмма может содержать различные помехи: пятна, царапины, случайные обрывы линий. Для решения проблем подобного рода был разработан алгоритм автоматического распознавания кривых на цифровых изображениях круговых диаграмм.
Целью исследования является разработка программного продукта, который позволит автоматизировать процесс перевода растрового изображения в цифровой вид. Рассматривается программа оцифровки круговых диаграмм с растровых изображений, регистрирующих изменения температуры в нагревательной печи, установленной в кузнеч-нопрессовом цехе для подготовки стальных слитков к ковке. Однако предложенный метод универсален: его можно использовать для оцифровки любых круговых диаграмм.
Существуют различные программные продукты для оцифровки линейных данных (представленных в декартовой системе координат) в графическом виде. Однако их инструменты не позволяют обрабатывать круговые диаграммы из-за принципиального отличия полярной и декартовой систем координат.
Для достижения поставленной задачи было принято решение разработать алгоритм и реализовать собственный программный продукт на базе LabVIEW [9, 20, 30]. LabVIEW является средой разработки, созданной и реализуемой компанией National Instruments (США). На базе LabVIEW [15] возможно создание программных продуктов при использовании графического языка программирования G, что облегчает как процесс его изучения, так и применения в разработке программ. Инструментарий среды разработки состоит из базовых функций работы с данными и дополнительных модулей, обеспечивающих расширение функционала среды разработки (системы машинного зрения, взаимодействие с MS Office, подключение к базам данных и др.). Функционал LabVIEW позволяет создавать стандартные WINDOWS-приложения для персональных компьютеров с интуитивно понятным интерфейсом. Все перечисленные преимущества и обусловили использование данной среды разработки для собственного программного обеспечения.
Методика исследований. Разработка и реализация программного продукта рассмотрена на примере оцифровки круговых диаграмм с растровых изображений, регистрирующих изменения температуры в нагревательной печи, установленной в кузнечнопрессовом цехе для подготовки стальных слитков к ковке.
Изначально необходимо было учесть специфику круговых диаграмм, поступающих на оцифровку. На рассматриваемых круговых диаграммах (рис.1) удаление от центра показывает значение температуры в градусах Цельсия, а полярный угол ф показывает время измерения в часах, с точностью до 4 мин.
Программа написана с использованием библиотеки LabVIEW IMAQ Vision (программное обеспечение для разработки приложений машинного зрения и обработки изображений, в том числе реального времени) [10, 23]. Для выполнения математических операций и вывода на экран результатов оцифровки используются встроенные библиотеки из панелей Mathematics и Programming соответственно. Этапы работы алгоритма показаны на рис.2.
Входными данными могут быть фотографии или сканированные изображения диаграмм. Вторые предпочтительнее, поскольку полностью исключают перспективные искажения, а, следовательно, и уменьшают величину инструментальной ошибки при анализе и обработке изображения. Загруженные файлы при необходимости преобразовываются из цветной палитры в оттенки серого, что позволяет ускорить процесс обработки, учитывая, что объект (линия графика), область интереса (сетка диаграммы) и фон (поверхность, на которой лежит диаграмма) достаточно контрастны и не совпадают по цвету.
В ходе предобработки изображения выполняется процедура «пороговой бинаризации». Изображение разделяется на две области, одна из которых ниже порогового значения, а другая выше. В данном решении использовался алгоритм адаптивной бинаризации, который базируется на использовании локальной и глобальной гистограммы изображения. Оптимальная пороговая сегментация достигается за счет представления некоторой кривой, использующей весовые суммы двух и более вероятностей интенсивности с нормальным распределением. При этом пороговое значение соответствует минимуму вероятности между максимумами двух и более нормальных распределений. В программе реализован алгоритм автоматической настройки диапазонов яркости (подход Otsu, предложенный в 1979 г.) и, при необходимости, более тонкой ручной обработки. В результате последовательно удаляется фон, а затем и координатная сетка на диаграмме, что позволяет исключить грубые ошибки при анализе изображения [1, 17].
Далее определяется область интереса изображения путем автоматического (или при необходимости ручного) выделения поля диаграммы (минимальное и максимальное значение шкал времени и температуры, как показано на рис.3). Таким образом, дальнейшая обработка будет производиться над областью, которая представляет собой замкнутое или разомкнутое кольцо. На этом этапе требуется указать полярный угол, соответствующий началу отсчета времени в полярной системе координат.
Методика автоматического распознавания координат кривой приведена на рис.4. Кривая К имеет толщину G, маркер М - вспомогательная линия на диаграмме, движется против часовой
Рис.2. Блок-схема алгоритма оцифровки изображений круговых диаграмм
Рис.3. Выделение области интереса и задание системы координат на круговой диаграмме
7
Гм
YR
О
(О; 0)
XR
/. M / 1 Ж 1 X | / 1 / 1
/
—\ к
1 \ XI \ \ 1 \ ^ 1 V» 1 1 1 1 1
/ф '' 1 1 1 ! 1 1 ^
Хм А"
Рис.4. Определение координаты исследуемой круговой диаграммы
стрелки вокруг центра, проходя через начало координат и вторую точку, которая задается параметрическим уравнением окружности х = х0 + М cos(ф); у = у0 + М sin(ф) с
шагом изменения угла ф = 1°, угол ф соответствует 4 мин времени в системе координат исходной круговой диаграммы, а также ограничивается размерами области интереса.
Результатом работы этой процедуры являются координаты точки R (х^ ук) (первое пресечение кривой К и маркера М (см. рис.3), рассчитываемой по пороговому значению изменения яркости вдоль вспомогательной линии М, где 0 - белый фон, 1 - объект интереса, линия графика черного цвета (рис.5).
Результаты. Каждое пересечение маркера и графика кривой регистрируется. Координаты точек пересечения автоматически экспортируются в файл, а также выводятся на график зависимости температуры от времени в декартовой системе координат (рис.6). Если пересечение обнаружено не было - на месте координат будут записаны нули.
Перевод длины отрезка О,R в значение температуры Т осуществляется с помощью коэффициента к. Этот коэффициент рассчитывается как отношение длины отрезка О,R к длине отрезка О,М оси температуры на исходной диаграмме (задаются вручную).
Полученные значения температуры Т было решено подвергнуть сглаживанию с целью фильтрации полученного сигнала и устранению помех [8, 16, 19, 22]. Сглаживание (фильтрация) сигнала проводилось по методу скользящего среднего [4, 7]: за сглаженное значение искомого значения температуры Т в любой точке £ принимают ее среднее значение на интервале (£ - 21; £ + 21),
Рис.5. Изображение кривой температуры, полученное после обработки
О
о
Й
Л
£
Л
и
н
900 850 800 750 700 650 600 550 500 450 400
350
0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
Время, ч
Рис.6. Перевод анализируемого изображения в графическую зависимость температуры от времени
где I - некоторое значение времени, принимаемое исследователем. При изменении £ этот интервал скользит вдоль оси времени, чем и объясняется название метода. Таким образом, ординаты искомого значения температуры Т(£) вычисляются по формуле
1 }=+1
t\ = T. (1)
г 21 +1 j
Как видно из формулы (1), чем больше интервал 21, тем лучше сглаживание. Однако при очень большом значении I происходит сглаживание и самой функции Т(£). Рекомендуется выбирать значение I не более 4. В данном случае I было принято равным 4.
Для проверки точности оцифровки результатов были выбраны 36 точек (каждое десятое значение) и определена относительная погрешность измерения по формуле
|| - Y I
А = —-^ • 100%, (2)
э
где 1э и 1р - экспериментальное и расчетное значение определяемого параметра.
Среднее значение относительной погрешности составило 2,14 %. Максимальное значение погрешности 7,95 % зафиксировано на участке с 1 до 2 ч (рис.6). Это объясняется возникновением шума на анализируемой круговой диаграмме (см. рис.5). Для времени с 3 до 10 ч (рис.6) погрешность составляет 0,09-0,9 %. С 14 до 24 ч (рис.6) погрешность оцифровки - в пределах 2 %.
Для подтверждения адекватности предложенной методики оцифровки круговых диаграмм аналогичным образом было проведено еще 45 испытаний по оцифровке изображений различного качества. Оцифровке подверглись отсканированные черно-белые и цветные изображения; снимки, сделанные на цифровой фотоаппарат и смартфон, высокого и низкого качества, с четкой линией графика и еле заметной линией.
Результат оцифровки изображений круговых диаграмм, полученных на цветном или черно-белом сканере, показал качественное распознавание четкой линии графика с относительной погрешностью в среднем до 3 %. В случае выцветания чернил или перспективной съемки диаграммы на фотоаппарат значение относительной погрешности может достигать 8 %, вследствие чего потребуется дополнительная ручная корректировка данных [18, 27, 29].
Выводы. Разработанная программа упрощает обработку круговых диаграмм, позволяя значительно сократить время и систематизировать многочисленные измерения. Уже на раннем этапе она почти полностью исключает влияние человеческого фактора на оцифровку.
Программа может быть использована на производстве для перевода результатов измерений с бумажных носителей в цифровой вид. Данная разработка защищена авторами свидетельством о государственной регистрации программы для ЭВМ № 2019612907 [12].
ЛИТЕРАТУРА
1. Алиев М.В. Выделение контуров на малоконтрастных и размытых изображениях с помощью фрактальной фильтрации / М.В.Алиев, А.Х.Панеш, М.С.Каспарьян // Вестник Адыгейского государственного университета. Серия 4: Естественно-математические и технические науки. 2011. № 3. С. 101-107.
2. Беленский И.И. Метод выделения контура на слабоконтрастных размытых изображениях / И.И.Беленский, И.В.Микулка // Вестник Винницкого политехнического института. 2012. № 3 (102). С. 164-169.
3. Большакова А. Фемтоскан он-лайн: оцифровка графиков и кривых // Наноиндустрия. 2012. № 2 (32). С. 52-53.
4. Калинкина Д. Проблема подавления шума на изображениях и видео и различные подходы к ее решению / Д.Калинкина, Д.Ватолин // Компьютерная графика и мультимедия. 2005. № 3 (2). С. 1-30.
5. Лепский А.Е. Математические методы распознавания образов / А.Е.Лепский, А.Г.Броневич. Таганрог: ТТИ ЮФУ, 2009. 155 с.
6. МерковА.Б. Распознавание образов. Введение в методы статистического обучения. М.: Едиториал УРСС, 2011. 256 с.
7. Мишин А.Б. Выбор структуры нейросетевого фильтра для обработки цифровых изображений / А.Б.Мишин, П.Ю.Ткачев // Известия Юго-Западного государственного университета. 2013. № 3 (48). С. 14-18.
8. Мишин А.Б. Фильтрация изображений с использованием нейросети // Телекоммуникации. 2012. № 13. С. 10-14.
9. Обработка и анализ цифровых изображений с примерами на LabVIEW IMAQ Vision / Ю.В.Визильтер, С.Ю.Желтов, В.А.Князь, А.Н.Ходарев, А.В.Моржин. М.: ДМК Пресс, 2008. 464 с.
10. Применение систем технического зрения для контроля технологических параметров и оборудования на производстве / А.А.Кульчицкий, В.В.Булатов, А.В.Бойков, Т.Ю.Комарова, В.Ю.Бажин // Новые информационные технологии в автоматизированных системах. 2017. № 20. С. 17-22.
11. Сафиуллин Р.Н. Концепция развития систем мониторинга и управления интеллектуальных технических комплексов / Р.Н.Сафиуллин, А.С.Афанасьев, В.В.Резниченко // Записки Горного института. 2019. Т. 237. С. 322. DOI: 10.31897/PMI.2019.3.322
12. Свидетельство о государственной регистрации программы для ЭВМ № 2019612907. Программа оцифровки диаграмм с растровых изображений / А.В.Бойков, Н.В.Васильева, Е.В.Сизякова. Заяв. 14.02.2019. Опубл. 04.03.2019.
13. ТынкачевА.Р. Интеллектуализация производства - путь к эффективности / А.Р.Тынкачев, А.В.Бухнер // Промышленные АСУ и контроллеры. 2006. № 6. С. 8-11.
14. Шарапова Э.Н. Система оцифровки графических данных / Э.Н.Шарапова, В.Л.Дмитриев // Математическое и программное обеспечение систем в промышленной и социальной сферах. 2014. № 1-2. С. 166-171.
15. Хапшер А.Л. Методы интеллектуальной оцифровки данных геофизических исследований скважин / А.Л.Хапшер, Ю.Б.Линд, С.Р.Галеев // Вестник Башкирского университета. 2013. Т. 18. № 4. С. 984-988.
16. Ярмоленко А.С. Применение теории вейвлетов при сжатии и фильтрации геоинформации / А.С.Ярмоленко, О.В.Скобенко // Записки Горного института. 2018. Т. 234. С. 612-623. DOI: 10.31897/PMI.2018.6.612
17. Abakumov I.I. Compensation of the Errors of a Passive Opto-Electronic System for Dimensional Control of Articles / I.I.Abakumov, A.A.Kulchitskii // Measurement Techniques. 2016. Vol. 59. Iss. 8. P. 826-831. DOI: 10.1007/s11018-016-1052-8
18. Bulatov V. V. Features of translucent materials and products defects detection with support of optical system / V.V.Bulatov, A.A.Kulchitskii // Journal of Physics: Conference Series. 2020. Vol. 1515. Iss. 5. P. 1-7. DOI: 10.1088/1742-6596/1515/5/052007
19. Context-based Denoising of Images Using Iterative Wavelet Thresholding / D.Marpe, H. L.Cycon, G.Zander, K.-U.Barthel // Electronic Imaging, 2002, San Jose, California, United States. Proc. SPIE. 2002. Vol. 4671. P. 907-914. DOI: 10.1117/12.453135
20. Digital image processing using LabVIEW / R.Posada-Gómez, O.Osvaldo Sandoval-González, A.Martínez Sibaja et al. // Practical Applications and Solutions Using LabVIEW™ Software, 2011. P. 297-316.
21. Fuzzy logic in automatic control of concrete thermal treatment using shuttering with heating elements / V.Marsov, A.Ilukhin, M.Mintsaev, Z.Khakimov, S.Aliev // International Journal ofEnvironmental and Science Education. 2016. Vol. 11. Iss. 18. P. 12803-12809.
22. Graboskwi S. A two-pass median-like filter for impulse noise removal in multi-channel images / S.Graboskwi, W.Bienieck // KOSYR. 2003. Vol. 1. P. 195-200.
23. Kim S.M. Vision based automatic inspection system for nuts welded on the support hinge / S.M.Kim, Y.C.Lee, S.C.Lee // 2006 SICE-ICASE International Joint Conference, 18-21 October 2006, Busan, South Korea. IEEE. 2006. P. 1508-1512. DOI: 10.1109/SICE.2006.315371
24. Koteleva N. Augmented reality system and maintenance of electromechanical equipment in industrial production / N.Koteleva, K.Bekenev, V.Valnev // Youth Technical Sessions Proceedings: VI Youth Forum of the World Petroleum Council-Future Leaders Forum (WPF 2019), 23-28 June 2019, St. Petersburg, Russia. CRC Press. 2019. P. 156-163. DOI: 10.1201/9780429327070-22
25. Litvinenko V.S. Digital Economy as a Factor in the Technological Development of the Mineral Sector // Natural Resources Research. 2020. Vol. 29. Iss. 3. P. 1521-1541. DOI: 10.1007/s11053-019-09568-4
26. Optimization of Raw Material Mixes in Studying Mixed Cements and Their Physicomechnical Properties / T.M.Khudyakova, A.S.Kolesnikov, B.E.Zhakipbaev et al. // Refractories and Industrial Ceramics. 2019. Vol. 60(1). P. 76-81. DOI: 10.1007/s11148-019-00312-2
27. Sytko I.I. Instrumentation for measuring the parameters and characteristics of four-poles / I.I.Sytko, D.A.Kremcheeva // International Journal of Mechanical Engineering and Technology. 2017. Vol. 8. Iss. 10. P. 844-854.
28. UshakovE. Neural network modeling methods in the analysis of the processing plant's indicators / E.Ushakov, T.Ale-ksandrova, A.Romashev // International Scientific Conference Energy Management of Municipal Facilities and Sustainable Energy Technologies (EMMFT 2019), 10-13 December, Voronezh, Russia. Springer, 2020. Vol. 1259 AISC. P. 36-45. DOI: 10.1007/978-3-030-57453-6_4
29. Valkov V.A. Calibration of digital non-metric cameras for measuring works / V.A.Valkov, A.A.Kuzin, A.I.Kazantsev // International Conference Complex equipment of quality control laboratories 17-19 July 2018, St. Petersburg, Russia. Journal of Physics: Conference Series. 2018. Vol. 118. Iss. 1. DOI: 10.1088/1742-6596/1118/1/012044
30. Zadeh H.G. Recognition and classification of the cancer cells by using image processing and labview / H.G.Zadeh, S.Janianpour, J.Haddadnia // International Journal of Computer Theory and Engineering. 2013. Vol. 5. № 1. P. 104-107. DOI: 10.7763/IJCTE.2013.V5.656
Авторы: Н.В.Васильева, канд. техн. наук, доцент, [email protected], http://orcid.org/0000-0001-7408-7290 (Санкт-Петербургский горный университет, Санкт-Петербург, Россия), А.В.Бойков, канд. техн. наук, научный руководитель проекта, [email protected], https://orcid.org/0000-0002-6583-2436 (Санкт-Петербургский горный университет, Санкт-Петербург, Россия), О.О.Ерохина, стажер-исследователь, [email protected], https://orcid.org/0000-0002-9570-2309 (Санкт-Петербургский горный университет, Санкт-Петербург, Россия), А.Ю.Трифонов, д-р физ.-мат. наук, заведующий кафедрой, [email protected], https://orcid.org/0000-0001-6959-4183 (Томский политехнический университет, Томск, Россия).
Авторы заявляют об отсутствии конфликта интересов.
Статья поступила в редакцию 24.06.2020.
Статья принята к публикации 01.02.2021.
