CC BY
52
Такая модель может быть реализована на основе аппарата искусственных нейронных сетей, который обладает свойством обучаемости по эмпирическим данным [2-5].
В проведенных ранее исследованиях были установлены следующие факт ы.
1. Аппарат И11С является удобным математическим аппаратом для разработки адаптивных систем психологического тестирования, а также для построения адекватных моделей психологических и социальных систем, что подтверждено конкретными примерами [2-5].
2. С помощью аппарата И! 1С возможно осуществлять идентификацию структуры и содержания трудно-формализуемых понятий, используемых в психологических и социальных исследованиях, а также и свойств самой личности. Гак, была произведена структурная идентификация понятия «уровень готовности индивида к познавательной деятельности в вузе» (УГИ) [2, 3].
Разработка компьютерной модели для оценки профессиональной предрасположенности старшеклассников производилась па основе значительного по объему эмпирического материала, являющегося результатом анкетирования школьников старших классов города Тамбова [1].
В результате был разработан многофункциональный программный комплекс для компьютерного моделирования на основе искусственных нейронных сетей с самоорганизацией структуры, а также специальная тестирующая оболочка. Эта часть реализована совместно с Л.А. Арзамасцевым и О.В. Крючиныч.
При этом в качестве эмпирических данных была использована выборка, полученная в результате анкетирования старшеклассников города Тамбова, в котором приняли участие 1052 школьника. Специально разработанная анкета имела следующую структуру: статистическая информация, успеваемость, профессиональный выбор, общественная активность, творчество, досуг, здоровье, семья [11.
Обучающая выборка, являющаяся результатом анкетирования школьников, представляла собой прямоугольную матрицу размером 1052 строки и 253 столб-
ца. Строки представляли собой записи, соответствующие респотщелту. столбцы - варианты ответа респондентов на вопросы анкеты, относительно предрасположенности к дальнейшему образованию в университете по различным профилям [1J.
Обучение ИНС проводили таким образом, что она автомат ически выбирала структуру модели. Время обучения составило две недели непрерывной работы компьютера. при тгом приведенная погрешность составила не более 10%. что позволило считать ИНС'-модель адекватной реальному объекту (в данном случае объектом являлся социум, включающий учащихся старших классов школ г. Тамбова).
Таким образом, нами разработана компьютерная модель социального объекта - личности школьников старших классов города Тамбова в плане их предпочтений к продолжению образования в университете и выборе специальности. Такая модель может быть использована для тестирования абитуриентов и выявления их профессиональной предрасположенности.
ЛИТЕРАТУРА
1. Лрш\ккцсв A.A., Гостиювич ТА.. Нпруч<тт П.П., Зсико/м Н А Личностные качества, профессиональная предрасположенность и социальная активность школьников старших классов. Тамбов: ТГУ им ГР Державина 2004. 103 с.
2. fciiKtxiii H.A. Психологическая модель готовности студентов мерного курса к обучению в вузе: дис. ... канд. психол. наук Тамбов, 2003.
3. Арзаиасцен A.A., Зс пк/та H.A. Моделирование н психологии на основе искусственных нейронных селей. Тамбов: ТГУ им. Г.Р. Державина, 2003. 106 с.
4. Аршмасции A.A.. Зснкова Н А. Моделирование психологического теста с помощью аппарата искусственных нейронных сетей // Нести Тямб VH-та. Сер Естестн. и технич науки Тамбов. 700У Т. 10. Вып. 2. С. 176-183.
5. 3eiiKtm< H.A., Аршчасцев A.A.. Ко.шсчшикос Ф.Ю. Использование аппарата искусственных нейронных сетей для построения компьютерных моделей психологических тестой // Нести. Тамб. ун-та Сер. Естсетв. и техн. науки Тамбов. 2006. Т 11. Иып. 2. С. 185-189
Поступила в редакцию 17 октября 2006 г.
ФИЗИЧЕСКИЕ ПРОБЛЕМЫ ФИЗИОЛОГИИ СЛУХА ПРИ МАТЕМАТИЧЕСКОМ МОДЕЛИРОВАНИИ РАСПОЗНАЮЩИХ СИСТЕМ
© Ю.Н. Титов
Titov V.N. Physical problems of auditor}' physiology at malhematical modeling of recognizing systems.
Вопрос распознавания речи интересует многих исследователей на протяжении последних 30-40 лет [2]. Возможность голосового управления компьютером притягивает- тем. что передача информации голосом (посредством акустических волн) являегся повседневной для любого человека, и каждый человек считает ) го удобным и обычным делом.
Многочисленные исследования и разработки в области распознавания речи на протяжении последних десятилетий дали много подходов к решению. г>го ис-
пользованис быстрого преобразования Фурье (FFT) и использование вей влет-преобразования при спектральном анализе, а также скрытых Марковских Моделей (НММ). методов динамического программирования (DTW) и т. д. В их числе находятся программные продукты крупных отечественных и зарубежных фирм и корпораций [2]. Стоит упомянуть такие программные продукты как « Dragon Dictation» (отечественный аналог - программа «Горыныч»). IBM viaVoicc. а также программный комплекс «Microsoft Speech Scrvcr-2007».
Но и па сегодняшний лень большое количество вложенных сил в поиск решения, к сожалению, не дают стопроцентного результата. Наличие определенных успешных открытий в сопряженных областях, работающих нал цифровой обработкой сигналов, побуждает исследователей в последнее десятилетие обращаться к подходам, которые включают анализ процессов, происходящих в биологических объектах, и дальнейший учет в разработке математических моделей, применяемых для создания тех или иных программных продуктов. Ярким примером данной тенденции служит создание стандарта компрессии аудио МРВО-2, в основе которого лежит построение математической модели слухового аппарата человека с учетом физиологических особенностей восприятия акустических воли. Положительные результаты в данном направлении дают основания для их применения в области цифровой обработки акустических сигналов и распознавания речи [4].
В статье проводи гея анализ исследований в области психоакустического восприятия, предлагается математическая модель слухового аппарата с использованием аппарата искусственных нейронных сетей с учетом взимодействия нейронов базилярной мембраны среднего уха е центральной нервной системой.
ВВЕДЕНИЕ
Основные задачи нсихоакустики - понять, как слуховая система расшифровывает звуковой образ, установить основные соответствия между физическими стимулами и слуховыми ощущениями, выявить, какие именно параметры звукового сигнала являются наиболее значимыми для передачи семантической (смысловой) и эстетической (эмоциональной) информации.
Звуковой сигнал любой природы может быть описан определенным набором физических характеристик: частота, интенсивность, длительность, временная структура, спектр и др. Им соответствуют определенные субъективные ощущения, возникающие при восприятии звуков слуховой системой: громкость, высота, тембр, биения, консонансы-диссонансы, маскировка,
локализация-стереоэффект и т. II.
Слуховые ощущения связаны с физическими характеристиками неоднозначно и нелинейно, например, громкость зависит от интенсивности звука, от его частоты, от спектра и т. п.
Еще в прошлом веке был установлен закон Фсхпс-ра, подтвердивший, что эfa~esят^t? нелинейна: «Ощущения пропорциональны отпошемигсПюгарифмов стимула» 111. Например, ощущения-'изменения громкости в первую очередь связаны с изменением логарифма интенсивности, высоты - с изменением логарифма частоты и т. д.
Всю звуковую информацию, которую человек получает из внешнего мира (она составляет примерно 25% от общей) [5]. он распознает с номошыо слуховой системы и работы высших отделов мозга, переводит в мир своих ощущений, и принимает решения, как надо на нее реагировать. Прежде чем приступить к изучению проблемы, как слуховая система воспринимает высоту тона, коротко остановимся на механизме работы слуховой системы.
Слуховая система являе тся своеобразным приемником информации и состоит из периферической части и высших отделов слуховой системы. Наиболее изучены процессы преобразования звуковых сигналов в периферической части слухового анализатора.
Периферическая часть
- 7то акустическая антенна, принимающая, локализующая, фокусирующая и усиливающая звуковой сигнал:
- микрофон:
- частотный и временной анализатор:
- аналого-цифровой преобразователь, преобразующий аналоговый сигнал в двоичные нервные импульсы -электрические разряды.
Общий вид периферической слуховой системы показан на рис. 1. Обычно периферическую слуховую систему делят на три части: внешнее, среднее и внутреннее ухо.
Внешнее ухо состоит из ушной раковины и слухового канала, закапчивающеюся тонкой мембраной, называемой барабанной перепонкой. Внешние уши и голова - это компоненты внешней акустической антенны, которая соединяет (согласовывает) барабанную перепонку с внешним звуковым полем.
Основные функции внешних ушей - бинауральное (пространственное) восприятие, локализация звукового источника и усиление звуковой энергии, особенно в области средних и высоких частот. Слуховой канал представляет собой изогнутую цилиндрическую трубку длиной 22.5 мм, которая имеет первую резонансную частоту порядка 2,6 кГц, поэтому в э той области частот он существенно усиливает звуковой сигнал, и именно здесь находится область максимальной чувствительности слуха. Барабанная перепонка - тонкая пленка толщиной 74 мкм, имеет вид конуса, обращенного острием в сторону среднего уха [2J. На низких частотах она движется как поршень, на более высоких - на ней образуется сложная система узловых линий, что также имеет значение для усиления звука.
Среднее ухо — заполненная воздухом полость, соединенная с носоглоткой евстахиевой трубой для выравнивания атмосферного давления. При изменении атмосферного давления воздух может входить или выходить из среднего уха. поэтому барабанная перепонка не реагирует на медленные изменения статического давления - спуск-подъем и т. п. В среднем ухе находятся три маленькие слуховые косточки: молоточек, наковальня и стремечко. Молоточек прикреплен к барабанной перепонке одним концом, вторым он соприкасается с наковальней, которая при помощи маленькой связки соединена со стремечком. Основание стремечка соединено с овальным окном во внутреннее ухо. Среднее ухо выполняет следующие функции: согласование импеданса воз^уСйнЪй срсды с жидкой средой улитки внутреннею у*а: защ'ита от громких звуков (акустический рефлекс); усцл$ние (рычаговый механизм), за счет которого звуковое давление, передаваемое во внутреннее ухо. усиливается почти на 38 дБ по сравнению с тем. которое попадает па барабанную перепонку [5].
Внутреннее ухо находится в лабиринте каналов в височной кости, и включает в себя орган равновесия (вестибулярный аппарат) и улитку.
Улитка (cochlca) играет основную роль в слуховом восприятии. Она представляет собой трубку переменного сечения, свернутую три раза подобно хвосту змеи.
В развернутом состоянии она имеет длину 3,5 ем |\]. Внутри улитка имеет чрезвычайно сложную структуру. По всей длине она разделена двумя мембранами на три полости: лестница преддверия, срединная полость и барабанная лестница (рис. 2). Сверху срединная полость закрыта мембраной Рейсснера. снизу - базилярной мембраной. lice полости заполнены жидкостью.
Верхняя и нижняя полости соединены через отверстие у вершины улитки (геликотрсму). В верхней полости находится овальное окно, через которое стремечко передает колебания во внутреннее ухо, в нижней полости находится круглое окно, выходящее обратно в среднее ухо. Базилярная мембрана состоит из нескольких тысяч поперечных волокон: длина 32 мм. ширина у стремечка - 0.05 мм (этот конец узкий, легкий и жесткий), у геликотремы - ширина 0.5 мм (этот конец толще и мягче). На внутренней стороне базилярной мембраны находится орган Корти, а в нем - специализированные слуховые рецепторы - волосковые клетки. В поперечном направлении орган Корти состоит из одного ряда внутренних волосковых клеток и трех рядов наружных волосковых клеток. Между ними образуется тоннель. Волокна слухового нерва пересекают тоннель и контактируют с волосковыми кло ками [3].
Слуховой нерв представляет собой перекрученный ствол, сердцевина которого состоит из волокон, отходящих от верхушки улитки, а наружные слои - от нижних ее участков. Войдя в ствол мозга, нейроны взаимодействуют с клетками различных уровней, поднимаясь к коре и перекрещиваясь по пути гак, что слуховая информация от левого уха поступает в основном в правое полушарие, где происходит главным образом обработка эмоциональной информации, а от правого уха в левое полушарие, где в основном обрабатывается смысловая информация. В коре основные зоны слуха находятся в височной области, между обоими полушариями имеется постоянное взаимодействие [3].
Общий механизм передачи звука упрощенно может быть предегавлен следующим образом: звуковые волны проходят звуковой канал и возбуждают колебания барабанной перепонки. Эти колебания через систему косточек среднего уха передаются овальному окну, которое толкает жидкость в верхнем отделе улитки (лестнице преддверия), в ней возникает импульс давления. который заставляет жидкость переливаться из верхней половины в нижнюю через барабанную лестницу и геликотрсму и оказывает давление на перепонку кругл О!'о окна, вызывая при этом его смещение в сторону. противоположную движению стремечка. Движение жидкости вызывает колебания базилярной мембраны (бегущая волна) (рис. 3).
Преобразование механических колебаний мемб ны в дискретные электрические импульсы нервных волокон происходят в органе Корти. Когда базилярная мембрана вибрирует, реснички на волосковых клетках изгибаются, и эго генерирует электрический потенциал. что вызывает поток электрических нервных импульсов, несущих всю необходимую информацию о поступившем звуковом сигнале в мозг для дальнейшей переработки и реагирования. Высшие отделы слуховой системы (включая слуховые зоны коры) можно рассматривать как логический процессор, который выделяет (декодирует) полезные звуковые сигналы на фоне шумов, группирует их по определенным признакам,
сравнивает с имеющимися в памяти образами, определяет их информационную ценность и принимает решение об ответных дейс твиях.
Определение высоты звука. Важнейшим свойством слуховой системы является возможность определения высоты звука. Это свойство имеет огромное значение для выделения и классификации звуков в окружающем звуковом пространстве, эта же способность слуховой системы лежит в основе восприятия интонационного аспекта звука как в воспринимаемой речи, так и в музыке.
В соответствии с международным стандартом ANSI-1994 «Высота (Pitch) - это аїрибут слухового ощущения в терминах, в которых звуки можно расположить но шкале от низких к высоким. Высота зависит главным образом от частоты зву кового стимула, но она также зависит от звукового давления и от формы волны» [3].
Таким образом, высота - это линейная классификация звуковых сигналов, в отличие от громкости, о которой можно сказать больше-меньше, т. е. ж> - относительная классификация.
Молоточек Оремеччо Полукруглые каналы .Овальное
Рис. I. Структура периферической слуховой системы
Рис. 4. Соотношение между частотной шкалой в Мелах и Герцах
Изучение связи частоты звука и воспринимаемой высоты предпринималось еще Пифагором, а также многими известными физиками: Галилеем. Гельмгольцем, Омом и др. И настоящее время на основе тщательных экспериментов, в процессе которых слушателю предъявлялись два звука разной частоты с просьбой расположить их по высоте, установлена зависимость высоты тона от частоты сигнала, показанная на рисунке 4. Значения высоты отложено в специальных единицах - мелах. Один мел равен ощущаемой высоте звука частотой 1 ООО Гц при уровне 40 дБ {иногда для оценки высоты тона используется другая единица, барк = 100 мел). Как видно из рисунка, эта связь нелинейна - при увеличении частоты, например, в три раза (от 1000 до 3000 Гц). высота повышается только в два раза (от 1000 до 2000 мел) 11]. Нелинейность связи особенно выражена на низких и высоких частотах, в определенных пределах изменение высоты тона в менах пропорционально логарифму частоты.
т = 1127.010481о&(1 +/700).
где т —полученная частота в мелах./- частота, Гц.
ТВОРИЯ МЕСТА
Теория места при восприятии высоты основана на способности базилярной мембраны выполнять частотный анализ сложного звука т. е. действовать как спектральный анализатор. Базилярная мембрана ^организована тонотопически, т. е. каждый тон имеет свокЦ;опо-графию размещения |1|. Как уже было указано выше, звуковой сигнал вызывает появление на мембране бс-. гущей волны (рис. 3), но специфика возбуждения состоит в том. что максимум смещения этой бегущей волны располагается в разных местах базилярной Мембраны - низкие час готы имеют максимум смещения, вблизи вершины мембраны, высокие - вблизи овального окна. Каждая частота имеет свое место максимума возбуждения на мембране. В зависимости от спектрального состава на базилярной мембране возбуждаются различные участки. Возбуждаются волосковые клетки, находящиеся на этом месте, и их электрическая
активность сообщает мозгу, какие частоты присутствуют в спектре. Таким образом, частота тона представлена в коде, основанном на том. нейроны каких участков активны, а каких - молчат. Физиологические исследования показывают, что тонотопическая организация нейронов сохраняется во всех отделах мозга, вплоть до отделов слуховой коры. Логично допустить, что распознавание частоты и распознавание высоты есть результат тонотопичсского кодирования - в этом и заключается теория места. При действии синусоидального сигнала в слуховом нерве формируется «образец возбуждения» - скорость разрядов нейронов как функция места па базилярной мембране. При этом пик этого образца движется вдоль мембраны при изменении частоты. Интересно отметить, что для того, чтобы слух различил два тона по высоте, необходимо, чтобы на базилярной мембране максимум смешения, соответствующий данным частотам, сместился всего на 52 мкм (если выразить в мелах. то одна градация высоты равна 3.9 мела) [1J.
Таким образом, можно считать, что периферическая слуховая система содержит банк полосовых фильтров («слуховых фильтров») с перекрывающимися полосами. Их ширина свыше I кГц составляет примерно 10-17% от центральной частоты (например, на частоте 1000 Гц ширина полосы составляет 160 Гц). С шириной слуховых фильтров связано известное понятие «критической полосы» - внутри этой полосы звуковая информация интегрируется слухом: при выходе за пределы этой полосы происходит скачкообразное изменение слуховых ощущений, и это подтверждается экспериментами по маскировке, громкости, фазовой чувствительности и др. при восприятии музыкального звука в соответствии с теорией места для слуховой системы существуют три возможности определения высоты:
Метод 1: локализовать место фундаментальной частоты и по нему определить высоту тона:
Метод 2: найти минимальную частотную разницу между соседними гармониками, которая равна фундаментальной частоте: [(« +1 )/0) - (я/0)] = (nJO) + (1/0) -
- (nJO) = уО, где п = I, 2, 3 ... и принять ее за основу при распознавании высоты:
Метод 3: найти общий наибольший сомножитель, который получается при делении всех гармоник на последовательные целые числа, и использовать его как базу для определения частоты. Первой была предложена теория, по которой ощущаемая высота соответствует частоте только в том случае, если в звуковой волне присутствует энергия па этой частоте (второй закон Ома). Отсюда следовало, что присутствие фундаментальной частоты является обязательным для определения высоты звука. Первые сомнения в этой теории появились. когда стало возможным электрическим нулем синтезировать спектры сложных звуков. В 1940 г. Шутен продемонстрировал, что ощущение высоты гона (сложной периодической волны) не изменится, если вырезать в музыкальном топе фундаментальную частоту.
Из этого следовало:
- присутствие фундаментальной частоті,] не обязательно для восприятия высоты:
- низшая частота не всегда является основой определения высоты.
Этот эксперимент получил название «феномен пропущенной фундаментальной» и доказал, что метод 1 не
может служить единственной базой лля определения высоты сложною тона, хотя он работает лля большинства музыкальных, в том числе вокальных звуков [3].
ВРЕМЕННАЯ ТЕОРИЯ
Временная теория восприятия высоты базируется на анализе временной структуры звуковой волны (теория места на ее спектральном анализе). Эта теория использует синхронизацию разрядов нейронов органа Корти с фазой колебания базилярной мембраны Оф* фскт запирания фазы). При смешениях определенной точки мембраны в сторону расположений волосковыч клеток в них возникаст электрический потенциал, при смещении в противоположную сторону - потенциал отсутствует. Благодаря фазовому запиранию время между импульсами в любом отдельном волокне будет равно целому числу 1. 2, 3... умноженному на период в основной звуковой волне. Нервные волокна коонери-руЕотся. чтобы кодировать частоты выше 300 Гц.
Основа временной теории — анализ формы волны в различных частях базилярной мембраны [1J. Если рассматривать механизм частотного анализа на базилярной мембране как работу линейки фильтров различной ширины, то форма волны звукового сигнала, выходящего из этою набора фильтров, должна иметь вид. показанный на рис. 5. Например, если анализируется музыкальный топ с основной частотой 200 Гц. то выход из фильтра с центральной частотой 200 Гц имеет форму синусоидальной волны, т. к. эта гармоника разворачивается анализирующим фильтром. Аналогично разворачиваются этими фильтрами и все гармоники до пятой (около 1300 Гц). На выходе они имеют синусоидальную волну. Шестая гармоника (около 1560 Гц) имеет уже вариации амплитуды, но индивидуальные циклы еше видны. Волновая форма выходного сигнала для фильтра, центральная частота которого (в данном примере) выше шестой, не синусоидальная, т. к, гармоники не разворачиваются индивидуально, демонстрируя, что частотный диапазон полосового фильтра шире. чем расстояния между ними. По меньшей мере две гармоники комбинируются на выходе этою фильтра.
Известно, что если две частоты находятся достаточно близко друг от друга, между ними возникают биения, т. е. одно колебание со средней частотой, равной разности частот. В данном случае, когда взаимодействуют две гармоники, этот период определяется фундаментальной частотой 7 = I //0. Таким образом, период всех воли, выходящих после фильтров с центральной частотой выше шестой гармоники и состоящих из соседних гармоник, будет одинаковым и равным 1/Д).
Минимальное время между импульсами от различных мест на базилярной мембране определяется периодом волны, выходящей от соответствующего фильтра. Для мест, которые соответствуют частотам от основной до шестой гармоники, минимальное время равно периоду данной гармоники. Для мест, соответствующих более высоким гармоникам, промежутки между импульсами равны периоду огибающей, т. е. основному гопу. Таким образом, выше шестой гармоники разряды нейронов синхронизированы с формой огибающей, и период разрядов совпадает с периодом для фундаментальной частоты. Иными словами, для bcjx гармоник периоды разрядов или равны, или отличаются в целое число раз от частоты основного тона.
вершина
1 1 5
I I * -
І І і
І і і
I 1 « ^
Mill II Mm 00
) і ] t і 11 і ' і t 11 ,
I I I I і t і i t 11 ■ і і і t і
I I I t I ■ I I . s
I > ■ ' * 1 I ' I I I » • ^
I I I 1 І і ■ t < .
I I
I I C\i
основание
1fr
2f0
3f„
время между разрядами нейронов
Рис. 5. Периоды разрядов нейронов от разных мест базилярной мембраны
Эго основа временной теории восприятия высоты тона: мозг определяет периодичность разрядов и по ним восстанавливает частоту основного тона. Восприятие музыкальной высоты связано с оценкой временной формы звукового сигнала (за счет использования эффекта «фазового запирания»). Временная теория позволяет понять, как найти фундаментальную частоту на основе анализа временных интервалов между нервными импульсами от различных мест на базилярной мембране и по ней определить высоту тона. Однако временная теория не объясняет восприятия высоты тона на частотах выше 5000 Гц, т. к. эффект фазовою запирания не срабатывает на этих частотах. Вероятно, в этой области частот меняется механизм восприятия высо ты тона.
Исследования в области спектрального анализа речи показывают, что речь занимает участок от до 3—4 кГц в зависимости от высоты голоса произносящего речь. Поэтому есть все основания утверждать, что описанные выше методы в совместном использовании дают положительные результаты.
Таким образом, создание полосовых фильтров для выявления характеристических черт' речи (отдельных звуков, фонем) осуществлялось с использованием частотного преобразования в мелах с дальнейшим комбинированием в зависимости от длины полосы пропускания. т. с. возможности реакции тех или иных нейронов базилярной мембраны во времени.
В работе использовался речевой корпус, состоящий из 5000 слов, записанный на 10 дикторах (5 мужских. 5 женских). Звук оцифровывался в формат wav (44100 Герц. 16 бит).
Для классификации векторов-образов использовался аппарат искусственных нейронных сетей NN
Toolbox, включенный в проіраммньїй комплекс Matlab. •*.
при котором на вход подавался вектор из 30 состав- 4
ляюших и классифицирующий полученные образы пофонемно.
5.
ЛИТЕРАТУРА ,
Ьекеши. Проблемы физиологии слуха // Успехи физических паук. 1982. Т. XV.
Haumganc /■'. ¡■crekuhs С., l-uchs Н. A Nonlinear Psychoacoustic Model Applied to the ISO MPEG Layer 3 Coder, http://www.tnt.uni-hannover.de/project/coding/audio/perception/publi-cations.html. 1995. Rohmson !) J M, Hawksford M.OJ. Psychoacoustic models and nonlinear human hearing H Proceedings оПЕЕЕ. 2000. V. 88. № 4.
Kahiner /... Jong H Fundamentals of speech recognition. CL.SU, 1993
1. Л.и)<тшпи И.Л. Основы психоакустики // Звукорежиссер. 2004.
№ 1-10.
2. 5РЕШМ-2006: гр, науч. конф. / спирас при ран рф СПб., Поступила в редакцию 17 октября 2006 г.
2006.
КОНТРОЛЬ КАЧЕСТВА ДАННЫХ ПРИ ПОСТРОЕНИИ ИНФОРМАЦИОННО-АНАЛИТИЧЕСКОЙ СИСТЕМЫ
©А.А. Ильин
analytical system/
llyin А.А. Quality control of data at formation of an infonnatioii
Большинство потребителей информационных технологий оперируют с большим объемом данных, которые необходимо анализировать. На сегодняшний день разработан ряд программных средств, предназначенных для облегчения задачи анализа информации. Одним из классов таких программных средств являкггся информационно-аналитические системы. За последние десятилетия были разработаны методологии построения систем >того класса. Разработанные методики способствовали решению ряда важных задач, таких как быстрый доступ к необходимой информации и возможность наиболее полного анализа данных. При этом одним из основных факторов риска, определяющим успешность проекта по созданию информационно-аналитической системы, является проблема качества данных f 1].
Многие исследователи определяют качественную информацию, как обладающую определенным набором свойств. Наиболее полный список свойств, характеризующих качественную информацию, для систем поддержки принятия решений приводится в работе [2]:
• Корректность. То есть все значения, содержащиеся в информационно-аналитической системе, являются достоверными и безошибочными.
• Недвусмысленность. То есть любая запрошенная информация должна иметь единственное значение, так чтобы она не могла быть истолкована различными пользователями по-разному.
• Согласованность. То есть вся информация должна соответствовать единой нотации.
• Полнота. Существуют два аспекта полноты:
1. Обеспечение того, чтобы все необходимые величины содержали непустые значения.
2. Обеспечение кон фоля попадания в информационно-аналитическую систему всех необходимых записей.
Была поставлена задача разработать методологию контроля качества данных, удовлетворяющую следующим требованиям:
1. контроль качества данных на всех стадиях создания информанионио-аналитической системы:
2. возможность настройки производительности системы;
3. использование архитектурных особенностей информационно-аналитических систем.
В результате были определены пять типов проверок качества данных, требующихся при разработке информационно-аналитических систем, и предложена методика применения данных проверок, позволяющая реализовать систему контроля качества данных, удовлетворяющую всем сформулированным требованиям:
1. контроль значений колонок таблицы;
2. контроль наличия в таблице всех необходимых значений;
3. контроль дубликатов;
4. контроль правила «трех сигм»;
5. контроль качества информации с помощью прогнозирования.
Также была поставлена задача разработать программное средство, позволяющее контролировать качество данных в рамках данной методологии.
На рис. 1 представлена архитектура разработанного программного комплекса, осуществляющею контроль качества данных. 11рограммный комплекс состоит из трех частей: I) средство определения правил проверки качества данных; 2) инструмент КТЦExtract Transform Load) - используется для наполнения информационно-аналити-ческой системы данными; 3) серверная часть системы, осуществляющая проверку качества данных.
Разработчик определяет офаничения. накладываемые на данные, и сохраняет их в текстовом файле. Затем добавляет в процедуры ETL компоненты проверки качества данных, в качестве параметра которых указывает имя файла, содержащего ограничения. При выполнении процедур ETL происходит вызов необходимых проверок качества данных, результат выполнения которых определяет последующие действия процедур ETL (продолжение загрузки данных либо предупреждение администратора системы о проблемах с качеством данных).
