CC BY
22
среди рассмотренных в таблице методов наилучший результат по самому объемному тесту £а!Ь, и находятся в числе лидеров по остальным трем тестам. Отметим, что £и7_<11у2, уступая двум названным нечетким методам по тестам £а!Ь, <ир1 и <ир2, при этом, показал уникальный для рассмотренных в таблице методов результат по тесту £а£с - более чем 86-процентное распознавание по рангу 1. По совокупному результату тестирования, т.е. при учете всех четырех тестов, можно сделать вывод, что методы и ^_8иЬ наряду с методом и8с_шаг_97 являются одними из лучших методов, рассмотренных в таблице 1. Сравнивая данные методы, отметим, что некоторое превосходство методов 1^_8иЬ и £и7_<11у4 на наиболее объемном тесте £а!Ь компенсируется преимуществом метода и8с_шаг_97 на остальных трех тестах, при этом заметное преимущество метода и8с_шаг_97 на ранге 1 имеет тенденцию к резкому сокращению на более высоких рангах. Таким образом, по совокупному результату и8с_шаг_97, 1^_8иЬ и £и7_<11у4 можно считать методами примерно одного класса.
выводы
Описанные в данной публикации нечеткие методы и модели показали свою высокую эффективность. Предложенные методы ^_8иЪ и ^_<1у4 показали наилучший результат по тесту £а!Ь, а метод 1^_<1у2 - по тесту
Также по совокупному результату методы 1^_8иЬ и ^_<1у4 являются наряду с методом шс_шаг_97 одними из наиболее эффективных методов, и, безусловно, могут быть положены в основу модуля поиска неизвестного лица в БД по фотопортрету.
ПЕРЕЧЕНЬ ССЫЛОК
1. Системы Папилон, АДИС «Папилон» - Режим доступа: http://www.papillon.ru/adis.html - название экрана.
2. Саницикий В.А та ¡н. Система шформацшного забезпе-чення ОВС Украши: Навчально-практичний поабник / За ред. Л.В. Бородича. - К., Редакцшно-видавничий в1дд1л МВС Украши, ТОВ АНТЕКС, 2000. - 144с., ¡л., таб.
3. Шиффман X. Р. Ощущение и восприятие. 5-е изд. -СПб.: Питер, 2003. - 928с.: ил.
4. Снетков В.А., Виниченко И.Ф., Зинин А.М., Освянникова М.Н. Криминалистическое описание внешности человека: учебное пособие. / Под ред. проф. В. А. Снеткова. - ВНИИ МВД СССР, 1984. - 128 с., 51 рис.
5. P. Jonathon Phillips & other, The FERET Evaluation Methodology for Face-Recognition Algorithms. Technical report NISTIR 6264. - 1999.
Шсля доробки 22.11.2004
В публгкацп розглянуто проблему пошуку neeidoMo'i лю-дини у БД по фотопортрету. Запропоновано dei нечШк модел1 представлення фото i метод пошуку фотографа на ocнoвi нeчimкoгo пoрiвняння з еталоном.
This article is dedicated to the problem of finding an unknown person in database by a photo. Two fuzzy models of representing a photo & the method of finding a photo based on fuzzy comparison with the template are offered.
УДК 681.518:004.6
А. Б. Кунгурцев
ИССЛЕДОВАНИЕ ИНФОРМАЦИОННЫХ СИСТЕМ ДЛЯ ВНЕДРЕНИЯ МЕХАНИЗМОВ МАТЕРИАЛИЗОВАННЫХ ПРЕДСТАВЛЕНИЙ
И ШАБЛОНОВ
Предлагается метод классификации запросов информационной системы (ИС) для формирования материализованных представлений (МП) и шаблонов. Предложена методика статистического исследования ИС для отбора запросов в группы МП и шаблонов, позволяющая обосновать эффективность применения указанных механизмов.
ВВЕДЕНИЕ
Применение механизма материализованных представлений (МП), предусматривающего сохранение результатов запросов, может значительно повысить производительность обработки запросов [1]. В работе [2] проведено исследование параметров запросов и показано, при каких условиях применение МП в конкретной информационной системе (ИС) окажется эффективным. Однако за рамками исследования остался очень важный вопрос - как организовать исследование ИС, каким образом произ-
вести классификацию и отбор транзакций для их дальнейшего анализа с целью создания МП.
Эффект от внедрения шаблонов запросов несколько другого рода. Здесь труд прикладного программиста частично перекладывается на плечи конечного пользователя за счет формирования определенных фрагментов запроса к БД непосредственно в момент возникновения потребности в этом запросе. Выгода от внедрения этого механизма заключается в повышении оперативности системы и снижении расходов на программирование. В настоящее время использование шаблонов, как и МП, в основном основано на интуитивной оценке их эффективности.
Целью данной работы является создание методики анализа транзакций реальной ИС, основанной на классификации запросов к системе, позволяющей объективно оценить эффективность внедрения механизма материализованных представлений и шаблонов.
ПРОГРЕСИВН1 1НФОРМАЦ1ЙН1 ТЕХНОЛОГ11'
1 КЛАССИФИКАЦИЯ ЗАПРОСОВ
Только запросы типа SELECT [3] являются потенциальными кандидатами на МП.
SELECT [ALL I DISTINCT] список_выбора
FROM |имя_таблицы I имя_курсора}[, |имя_таблицы_1
имя_курсора|]
[WHERE условие]
[GROUP BY имя_столбца [, имя_столбца]...] [HAVING условие]
[ORDER BY |имя_столбца I список_выбора} [ASC] [DESC]
[, |имя_столбца I список_выбора} [ASC I DESC]]...]
Пусть Zj и Z2 два запроса к БД. Введем следующие обозначения.
Tj и T2 - множество таблиц, используемых в Zj и Z2 соответственно.
Pj и P2 - множество полей, используемых в Zj и Z2 соответственно.
Uj и U2 - условия выборки для Zj и Z2 соответственно.
Sj и S2 - множества полей в списках сортировки для Zj и Z2 соответственно.
С точки зрения МП все запросы типа SELECT можно отнести к трем категориям.
Идентичные запросы (Zj = Z2). Кроме запросов полностью совпадающих по тексту к этой категории также следует отнести запросы, отличающиеся формой записи, но не семантикой. Ниже приведены некоторые характерные и наиболее простые случаи.
- В сложном условии не совпадает порядок простых условий:
type ='business' type ='business' or price > $10 or advance < &200 or advance < &200 or price > $10
- Применены различные способы записи отрицания: where type! = 'business' where not type ='business'
- Применены различные формы записи диапазонов:
Where ytd_sales >=4000 where ytd_sales between 4000 and and ytd_sales<= 12000 12000
Один запрос можно пересчитать в другой, используя только результирующую таблицу. Здесь возможен ряд вариантов.
A) Tj = T2, Pj = P2, Uj = U2, отличие заключается в порядке расположения полей в списке выборки. Здесь под равенством Pj и P2 понимается равенство множеств элементов списков выбора. Таким образом, порядок элементов не имеет значения. Однако применение к некоторому полю, например, агрегирующей функции, делает его неравным полю, к которому применена другая функция или не применена функция вообще.
Пересчет Zj и Z2 предусматривает перестановку столбцов результирующей таблицы.
B) Tj = T2, Pj с P2, Uj = U2. Пересчет Zj и Z2 предусматривает удаление из результирующей таблицы всех
P e P2 - Pj.
C) Tj = T2, Pj = P2, Uj = U2, Sj * S2. Пересчет Z2 в Zj предусматривает выполнение в результирующей таблице новой сортировки в соответствии с ^2-
D) Tj = T2, Pj = P2, Uj = U2, Sj = S2, критерии сортировки в Zj и Z2 не совпадают. Пересчет Z2 в Zj предусматривает новую сортировку в результирующей таблице в соответствии с критерием Zj.
E) Tj = T2, Pj = P2, Uj * U2, простое условие U2i из U2 поглощает простое условие Uji из Uj (например, условие «а > Is» поглощает условие «а > Ю»). Пересчет Z2 в Zj предусматривает применение к результирующей таблице условия
F)
Tj = T2, Pj = P2, Uj * U2. Отличие в условии заключается в том, что Zj использует предложение LIKE. Если подстрока из LIKE в Zj применена к столбцу, который в Z2 выбран целиком, то возможен пересчет.
G) Tj = T2, Pj * P2, Uj = U2. Неравенство списков выбора заключается в использовании в Zj агрегирующей функции для некоторого поля pi. Если это поле в Z2 выбирается полностью, то возможен пересчет Z2 по результирующей таблице в Zj.
H) Анализ отличий запросов, для которых Tj = T2, Pj = P2, Uj * U2, а также тех, у которых отличие заключается в применении агрегирующих функций позволяет создать «групповой запрос», обслуживающий группу подобных запросов методом пересчета его результирующей таблицы. Например, для двух запросов с условиями «а > Ю and a < 50» и «а > 5 and a < 20» можно создать групповой запрос с условием «а > 5 and а < 50».
Перед принятием решения о создании группового запроса следует оценить размер его результирующей таблицы.
Один запрос может быть пересчитан в другой с помощью дополнительного запроса к БД. Классификация запросов для этого варианта построения МП еще не завершена.
Шаблоны могут быть созданы для всех видов запросов. Ниже приведена классификация шаблонов для запросов типа UPDATE, INSERT и DELETE. Классификация шаблонов для запросов тип SELECT во многом подобна приведенной выше классификации для МП и поэтому не будет рассматриваться в дальнейшем.
Для запросов типа UPDATE можно применить следующий формат [2].
иРОДТЕ<Имя таблицы>
SET <Имя поля>=<Выражение>
<Имя поля>=<Выражение> [WHERE <Условия выбора>];
Возможны следующие варианты шаблонов.
А) Имя таблицы произвольное. Отсюда следует, что и все остальные настройки произвольны. Получаем шаблон для фразы UPDATE в самом общем виде. Создание шаблона подобного типа весьма затруднительно, поскольку предусматривает предоставление пользователю полного набора таблиц и их полей, а также проверку корректности формирования условий.
B) Имя таблицы неизменно, поля редактирования и условия разные.
C) Имя таблицы и поля редактирования неизменны, разные значения и условия выбора.
D) Имя таблицы, поля редактирования и условия выбора неизменны, меняются только значения полей.
Оператор INSERT имеет две основные формы [2]. Первая форма позволяет добавить в таблицу одну строку.
INSERT INTO <имя таблицы> [(<список полей>)] VALUES (<список значений>);
Вторая форма позволяет вставить несколько строк и обычно используется для копирования данных. В упрощенном виде она представлена ниже.
INSERT INTO <имя таблицы> [(<список полей>)] SELECT <список полей> FROM <имя таблицы> WHERE <условие выбора>
Рассмотрим варианты такого шаблона для INSERT.
A) Имя таблицы, куда производится вставка произвольно. Тогда и все остальные настройки произвольны. Получаем шаблон для фразы INSERT в самом общем виде. Создание подобного шаблона достаточно трудная задача.
B) Оператор INSERT первой формы. Имя таблицы, куда производится вставка зафиксировано. В этом случае с большой долей вероятности можно утверждать, что и список полей будет фиксированным. В этом случае переменным остается список значений.
C) Оператор INSERT второй формы. Имя таблицы, куда производится вставка зафиксировано. Имя таблицы из фразы FROM, список полей из фразы SELECT и условия выбора произвольны. Работа с таким шаблоном достаточно сложная, однако для большинства ИС список таблиц, из которых можно копировать строки, очевидно, не будет большим. Это позволит в подсказке предоставить не только список таблиц, но и список их полей.
D) Оператор INSERT второй формы. Имя таблицы, куда производится вставка зафиксировано. Имя таблицы из фразы FROM также зафиксировано. Тогда очень вероятно, что и список полей из фразы SELECT будет фиксированным. В этом случае переменным остается только условие выбора фразы WHERE.
Оператор DELETE имеет следующий формат:
DELETE FROM <имя таблицы> [WHERE <условие выбора>];
Для этого оператора возможны два шаблона.
А) Не фиксировано имя таблицы и условие. Получим шаблон общего вида. Трудно представить себе ситуацию, когда конечному пользователю будет предоставлена возможность по своему усмотрению производить удаление из любой таблицы базы данных. Однако, если список таких таблиц будет ограничен функциями рабочего места, то возможно построение шаблона подобного типа.
В) Имя таблицы фиксировано. Переменным является условие.
Вопрос о целесообразности создания МП и шаблонов может быть решен после анализа запросов ИС. Для некоторых запросов решение можно принять на основании опроса конечных пользователей. Однако оценка эффективности такого решения может быть только интуитивной. Обоснованную оценку эффективности применения шаблонов и МП может дать только статистическое исследование выполненных транзакций, которое можно провести по данным журнала транзакций.
2 ПОЛУЧЕНИЕ СТАТИСТИЧЕСКИХ ДАННЫХ
Для статистической обработки предлагается следующая стратегия.
В качестве наибольшей генеральной совокупности принимается совокупность транзакций за один год работы системы. Такой интервал позволяет охватить все периоды колебаний, связанных с сезонностью, отчетностью, анализом деятельности организации и другими факторами, а также учесть тренд, обусловленный, например, развитием ИС. Обработка всех транзакций за год может оказаться практически нереализуемой задачей, поэтому далее обосновывается гипотеза создания репрезентативной выборки.
Если нет истории транзакций, либо она не полная (например, фиксировались только запросы, которые изменяли данные), то предварительное исследование можно выполнить и на меньшем статистическом материале, с последующей коррекцией результатов по мере накопления материала.
Для построения выборки будем исходить из следующих предположений.
Частота появления запросов, которые могут быть «кандидатами» для ПМ и шаблонов соответствует частоте всех запросов. Интенсивность запросов может быть разной в зависимости от дня недели. Поэтому в качестве рабочего дня выбирается каждый п-й, где п не кратно £ (£ - количество рабочих дней в неделе), что позволяет в большой выборке обеспечить практически равную вероятность включения каждого рабочего дня недели.
Количество элементов в выборке будет определяться наименьшим временным интервалом, который будет учтен при реализации механизмов МП или шаблонов. Например, если в конце каждого месяца предполагается корректировка указанных механизмов, то промежуточный уровень статистических результатов должен относиться к месяцу. В любом случае следует установить больше выборочных значений, чем этого требует принятая доверительная вероятность, например 0.95, поскольку из общей выборки предстоит сформировать вторичные выборки в соответствии с рассмотренными выше типами запросов. Предлагается количество элементов в выборке устанавливать в соответствии с формулой:
N =
N„
2
k'
(1)
где Ng - число элементов в генеральной совокупности; k -целое число.
ПРОГРЕСИВН1 1НФОРМАЦ1ЙН1 ТЕХНОЛОГИ
Из (1) следует, что в выборку включается каждый 2 элемент генеральной совокупности, например, при к = 4 -каждый шестнадцатый. Если выборка сделана и обработана, то при необходимости можно увеличить количество элементов в выборке в два раза без пересчета ранее выбранных запросов путем выбора каждого шестнадцатого запроса, но со смещением на восемь позиций относительно элементов первой выборки.
3 ОБРАБОТКА СТАТИСТИЧЕСКИХ ДАННЫХ
Пусть множество элементов выборки будет
X = Х2, •••,
тогда в соответствии с целью дальнейшего анализа нужно определить принадлежность каждого запроса определенной группе запросов в соответствии с ранее приведенной классификацией. Для этого каждый элемент выборки должен быть представлен как ж-мерный вектор
(
Z, =
Z
(j)
л
z(2)
у( m)
где каждый компонент определяет признак запроса.
На основании анализа признаков формируются множества запросов, которые могут быть представлены шаблонами или материализованными представлениями
ZW = {Zf, z2°,
7(j)} 7l }.
(2)
Здесь ] - признак классификации запросов.
Для шаблонов на этом исследование ИС заканчивается, поскольку значения I (мощность множества) достаточно для определения эффективности построения шаблона соответствующего типа.
Решить вопрос об эффективности МП можно только с учетом частоты изменения используемых ими данных. Если рассматривать (2), как множество запросов, формирующих некоторое МП, то следует сформировать множество используемых этим МП данных.
DU) = Dj)иD0... иDij),
(3)
где В^ = {¿ц, ¿12, •••, } - множество данных (полей таблиц), используемых в запросе Хр. Аналогично Т^ будет представлять множество таблиц для этого же МП. Следует отметить, что в (2) могут попасть много одинаковых запросов. Если же будет сформирован групповой запрос, то именно его множество данных будет определено в (3).
Каждое изменение данных из В^ должно быть зафиксировано счетчиком для чего удобно использовать операцию присваивания (:=). Будем фиксировать
изменения данных в результате запросов UPDATE, INSERT и DELETE, которые попали в выборку Z.
Пусть запрос UPDATE редактирует данные dj, dj, ..., dn, тогда если {dj, ¿2> •••> dn} n Dj * 0, то k(j) := := k(j') + j.
Пусть запрос INSERT или DELETE вставляет или удаляет строку в таблице Tt, тогда, если Tt <t то kU) := kU) + j.
Отношение r = l/kj дает предварительную оценку эффективности МП. Очевидно, при r < 2 механизмы МП, предусматривающие полный пересчет окажутся неэффективными.
После выбора МП и шаблонов имеет смысл определить доверительную вероятность их появления, учитывая, что на стадии предварительной статистической обработки еще не было известно, какие именно запросы будут представлять интерес, и количество обрабатываемых запросов не могло определяться теми запросами, которые были окончательно выбраны. Если расчеты окажутся неудовлетворительными, то можно увеличить число элементов, как об этом упоминалось выше.
Другим способом улучшения принятых решений является определение тенденции изменения частоты запросов, входящих в множества МП и шаблонов. Если обнаружен тренд для элементов этих множеств, и он не соответствует тренду частоты всех запросов, то можно считать, что происходят качественные изменения в используемой информации в ИС и в скором времени, возможно, придется выполнять новый анализ транзакций и выявлять новые МП и шаблоны.
Следует отметить, что предлагаемые исследования используются в качестве прогноза на последующий период. Если не происходят серьезные изменения в структуре БД, в налоговой, статистической и другой подобной сфере, не наблюдается существенное изменение количества и функций рабочих мест, то есть все основания распространить полученные результаты на текущий период работы системы. Однако даже в этом случае рекомендуется продолжать вести журнал транзакций и периодически, например один раз в месяц, производить из него выборку за новый период.
Результаты обработки такой выборки, особенно при сравнении их с соответствующим периодом в прошлом, позволят своевременно отслеживать изменения в процессах обработки информации и принимать своевременные решения по корректировке множеств МП и шаблонов.
ВЫВОДЫ
Предложенный метод классификации запросов реляционных баз данных и статистической обработки транзакций информационной системы позволяет обосновать выбор запросов для материализованных представлений и шаблонов и значительно повысить эффективность внедрения этих механизмов.
В рамках данного направления исследования представляет интерес разработка метода адаптивной коррекции МП, по результатам текущего исследования ИС.
В.М. Опанасенко, 1.Г. Тимошенко: АРХ1ТЕКТУРНА ОРГАН13АЦ1Я РЕКОНФ1ГУРОВНИХ КОМП'ЮТЕР1В НА БА31 ПЛ1С
ПЕРЕЧЕНЬ ССЫЛОК
1. Чаудхари С. Методы оптимизации запросов в реляционных системах // Системы управления базами данных. -1998. - Вып 3. - С 22. - http://www/osr/ru/dbms/1998/ 03/22/htm.
2. Кунгурцев А. Б., Куок Винь Нгуен Чан. Анализ возможности применения материализованных представлений в информационных системах. Труды ОНПУ, 2003, вып. 2(20). C. 102-106.
3. Джудит С. Боуман, Сандра Л. Эмерсон, Марси Дарновски. Практическое руководство по SQL. К.: Диалектика, 1997. 320 с.
Надшшла 17.11.2003 Шсля доробки 31.03.2004
Пропонуеться метод класиф1кацп çamumie 1нформацт-hoï системи (1С) для формування маmерiалiзованиx уяв-лень (МУ) i шаблотв. Запропоновано методику стати-стичного дослiдження 1С для добору заnиmiв у групи МУ i шаблотв, що дозволяв обгрунтувати ефективтсть засто-сування зазначених меxанiзмiв.
The method of classification of inquiries of information system for formation of materialized view and patterns is offered. The technique of statistical research of information systems for selection of inquiries in the groups allowing to prove efficiency application of the specified mechanisms is offered.
УДК 004.272
В.М. Опанасенко, ¡.Г. Тимошенко
АРХ1ТЕКТУРНА 0РГАН13АЦ1Я РЕК0НФ1ГУР0ВНИХ К0МПЮТЕР1В
НА БА31 ПЛ1С
Виконано аналiз сучасного стану проблеми Reconfigurable computing - мехатзми розробки комп'ютерних архШектур, яш базуються на штегральних схемах типу FPGA, а також аналiз статичного способу проектування з використанням iнсmруменmальниx засобiв автоматизованого проектування та способу з використанням мови Java. Pозглянуmi перспек-тиви мехатзму з використанням Java, якi обумовлет перевагами над традицшними методами проектування: перевiрка i моделювання проекту на рiвнi двткових пототв, тдтримка RTR, взаeмодiя з iнсmруменmальним пакетом для проектування систем за mеxнологieю IRL - Jbits.
ВСТУП
Розвиток HOBiTHix технологш у свт комп'ютерно'1' техшки й мжроелектрошки та створення програмних лопчних штегральних схем (ПЛ1С) високого ступеня штеграци викликало тдвищений штерес до дослщжень в област реконф^уровного комп'ютингу. Реконф^уров-на комп'ютерна система поеднуе поняття реконф^уров-но' структури апаратного пристрою i процесу обробки даних, який виконуеться цим пристроем. Вщмшшсть реконф^уровного комп'ютера вщ традицшного полягае в тому, що структура реконф^уровних пристро'в не е фжсованою i змшюеться в залежносп вщ виконувано' задачi чи алгоритму, що дозволяе вносити змши в гото-вий i функцюнуючий продукт.
Gerald Estrin на початку 1960 роюв запропонував «комп'ютер з елементами фжсовано1 та змтно1 структуры» [1]. Ця базова архиектура, яка тдтримуе програмоваш пристро' i програмне забезпечення, лежить в основi реконфiгуровниx комп'ютерних систем. Дана концепщя набагато випередила розвиток технологш у свт мжроелектрошки i, на жаль, вш змiг представити тшьки наближення свое!' розробки. Множина понять, як1 зараз вiдкритi органiзацieю з дослщжень в областi реконфiгуовного комп'ютингу, не були прийнят до ува-ги в цих дослiдженняx.
Втшення основних концепцiй реконфiгуровноï комп'ю-терно' системи в реальнi проекти стало можливим тiльки
з появою штегральних схем типу FPGA (field programmable gate array), як1 м^тять масиви конф^уровних логiчниx блокiв i програмованих взаемозв'язюв мiж цими блоками [2]. Лопчш блоки можуть бути зконф^уроваш на виконання простих чи складних лопчних функцш i можуть змшюватися вiдповiдно до задано!' вимоги.
МЕХАН13МИ РОЗРОБКИ КОМП'ЮТЕРНИХ АРХ1ТЕКТУР, ЩО БАЗУЮТЬСЯ НА
ШТЕГРАЛЬНИХ СХЕМАХ ТИПУ FPGA
бмшсть сучасних FPGA нараховуе бтьше шж 10 мiльйонiв лопчних вентилiв, крiм того, FPGA також включають RAM (Read Access Memory), апаратш перем-ножувачi, якi е стандартними компонентами сучасних мiкропроцесорiв та фшсоване мiкропроцесорне ядро. Метод, за яким конф^уруються логiчнi блоки та взаемозв'язки, специфiчний кожному виробнику FPGA. Лопчш блоки та взаемозв'язки мають внутршню структуру, яка збертае поточну конф^уращю.
Час, потрiбний для конф^урацп FPGA, називаеться часом конф^урацп. Час конфiгурацiï залежить вiд серп, емносп FPGA та ïx кшькость Для реконфiгуровноï комп'ютерно' системи, яка включае декiлька FPGA час конф^ураци залежить не тiльки вiд часу конф^урацш окремо' iнтегральноï схеми, а й вщ конфiгурацiï всix схем. Кристал FPGA може бути сконф^урований по-слiдовно чи паралельно в залежносп вiд розробки системи i, таким чином, час конф^урацп може вартвати вiд сотень наносекунд до юлькох секунд. Рисунок 1 шю-струе базовi арxiтектури реконф^уровних систем, з яких походить бтьшшть арxiтектур.
У Сполучених Штатах Америки ведуться штенсивш роботи у напрямку дослщжень та розробки комп'ютерних архитектур, якi базуються на штегральних схемах типу FPGA з метою прискорення обробки даних. Розробка структури реконф^уровного пристрою i ïï реалiзацiя в кристалi на вентильному рiвнi дозволяе
