CC BY
11DOI: 10.12731/2227-930X-2022-12-4-81-95 УДК 681.3
АНАЛИЗ ВОЗМОЖНОСТЕЙ ИСПОЛЬЗОВАНИЯ АЛГОРИТМОВ ФИЛЬТРАЦИИ ИНФОРМАЦИИ И ЗАПОЛНЕНИЯ ПРОБЕЛОВ
Я.Е. Львович, А.П. Преображенский, Т.В. Аветисян
Анализ показывает, что реальные информационные потоки, характеризуются: произвольной функцией распределения; наличием как количественных, так и качественных показателей; отсутствием части содержательных фрагментов данных; недостоверностью данных, связанной с ошибками при регистрации и их вводе; параметрической избыточностью.
Не все существующие средства, включенные в состав большинства инструментальных систем, дают возможность решать ряд перечисленных задач.
В статье рассматривается задача, связанная с фильтрацией информации. Представлена иллюстрация схемы алгоритма, позволяющего вести информационную фильтрацию. Указаны подробно этапы, используемые в ходе построения алгоритма. Применяется геометрический подход. Он дает возможности для того, чтобы проводить рассмотрение информационных сообщений в виде «созвездий», которые связаны с в ¡-мерным гиперпространством признаков. Предложен алгоритм, который позволяет реализовать заполнение пробелов.
Представленные в работе результаты могут быть полезными при рассмотрении различных потоков информации в современных информационных системах.
Ключевые слова: алгоритм; фильтрация информации; заполнение пробелов; показатель
ANALYSIS OF THE USE OF ALGORITHMS TO FILTER INFORMATION AND FILL GAPS
Ya.E. Lvovich, A.P. Preobrazhensky, T.V. Avetisyan
The analysis shows that the real information flows are characterized by: arbitrary distribution function; the presence of both quantitative and qualitative indicators; the absence ofpart of the meaningful data fragments; unreliability of data associated with errors in registration and their entry; parametric redundancy.
Not all of the existing tools included in most of the instrumental systems, make it possible to solve a number of these problems. The article deals with the problem related to information filtering. The illustration ofan algorithm scheme, which allows to conduct information filtering, is presented. The stages used in the construction of the algorithm are specified in detail. The geometric approach is applied. It gives an opportunity to lead consideration of information messages in the form of "constellations " which are connected with the i-dimensional feature hyperspace. An algorithm that allows to implement gap filling is proposed. The results presented in the paper can be useful when considering different information flows in modern information systems.
Keywords: algorithm; information filtering; gap filling; indicator
Введение
Сейчас можно наблюдать активное использование различных систем, позволяющих осуществлять статистическую обработку информации в различных сферах. Для тех данных, которые применяются в практических приложениях, можно отметить произвольные функции распределения, наличие пропусков в данных, влияние различных помех, данные могут быть недостоверными, в них могут встречаться ошибки.
Не во всех случаях существуют возможности для того, чтобы по произвольным наборам данных осуществлять процессы каче-
ственной обработки. Это ведет к необходимости разработки соответствующих алгоритмов.
Цель работы связана с разработкой подхода, направленного на фильтрацию информации.
Предложения по процедурам фильтрации информации
При рассмотрении функционирования информационных систем во многих случаях необходимо обеспечивать фильтрацию информации [1, 2]. Тогда обеспечивается выбор таких информационных сообщений, которые характеризуются такой совокупно-стьюсведений, которая является наиболее вероятной.
Множество объектов позволяют рассматривать всю анализируемую информацию таким образом
^исх
Оисх= и ёп, (1)
п = 1
в ходе моделирования считается, что N рассматривается в виде объем первичной выборки.
Набор показателей связан с каждым из наблюдений:
^ : Еп^Рп^Рп'Рп'-'Р^РН (2)
в ходе рассмотрения считается, что 1 = Мисх будет индексом показателя,
п = 1,МИСХ при наблюдении считается порядковым номером.
Требуется, прежде всего, указать нижнюю и верхнюю возможные границы Р1 и Р1, (1 = 1,1Исх), которые относятся к каждому показателю Р1 (¡ = 1,1Исх). За границы можно выйти лишь вследствие того, что естьошибки визмерениях или в ходе записей показателей [3]. После этого ведется отсев по недостоверным сообщениям. Возникнуть они могут вследствие того, что за некоторые установленные границы будет выходопределенных параметров. Формируется множество
Схр= и ёп. (3)
п=1
Это позволит включить в него лишь измерения, которые связаны с таким условием:
тах
(4)
После этого в фильтрации выделяется второй этап. При этом обозначается некоторый порог w0. Оценкой достоверности wn (п = 1,КГр) по информационным сообщениям должна превышать указанный порог. Если в информации есть лингвистические значения, тогда необходимо осуществить процессы преобразования с привлечением экспертных оценок в численный вид.
Если информация представлена численным способом [4, 5], тогда необходимо, чтобы множество, связанное с информационными сообщениями (3), было отображено к множеству оценок достоверности первичных сообщений
Реализуется процесс, в котором формируется множество О — Огр тех сообщений, которые будут отфильтрованными
В указанном выражении 0 - рассматривается в виде пустого множества.
На практике можно столкнуться с тем, что в разных единицах измерения будут измеряться, различные показатели. Должна быть проведена нормировка по всем показателям, чтобы обеспечивать эффективную работу алгоритма фильтрации информации. Единообразное описаниепо всем признакам позволяет достичь нормировки. Тогда объекты могут быть формальным образом сопоставлены [6, 7]. Мы можем осуществлять какой-то из переходов от первичных значений х к нормированным г, если реализуется нормировка:
(5)
п=1
f=l
(6)
Z = (x - x) / G, Z^ = X / X, Z^ = X / X ',
,1
(7)
(8)
(9)
(10)
Z^-(x x)/(xmax Xmjn),
(11)
в ходе моделирования х, ст рассматриваются в виде среднего и сред-неквадратического отклонения x;
x' рассматривается в виде эталонного значения x; при анализе x , x являются наибольшим и наименьшим зна-
г max min
чениемх.
По шкалам, связанным с отношениями и интерваламиисполь-зуются нормировки z1 и z2. Другие из них применяются лишь по шкалам отношений.
Если изменяются значения показателей, тогда удобно применять нормировку по допустимому диапазону. Необходимо применять следующую формулу в задаче (3):
Применяется концепция типичности, когда определяется степень достоверности в информационных сообщениях в ходе рассмотрения задачи (5)-(6). Будет тем больше значение в достоверности wn информационных сообщениях, чем оно типично в анализируемой. Численные значения используются для того, чтобы представлять сведения по сообщениям {Р^}. В этой связи можно применят геометрический подход. Он дает возможности для того, чтобы проводить рассмотрение информационных сообщений в виде «созвездий», которые связаны с в ^мерным гиперпространством признаков. То, насколько первичная выборка по сообщениям Gгр является «засоренной», будет оказывать влияние на тот метод решения, который используется.
Vn,Vi :P_normj
(12)
Р1 . min
В случае малой «засоренности» выборки Grp можно это представить соответствующим геометрическим образом. Тогда будет группировка по сообщениям gn вокруг некоторого мнимого центра тяжести. Группировка будет симметричной. Чем меньше расстояние до обобщенного сообщения g тем будет больше значение вероятности. Для такого сообщения есть численный набор сведений Po = {P,J
'Р0'"-'Р0'""'Р()ГР}. Выполняется условие . Nip .
Vi : P¿= ^ P_normn/N. (13)
n=l
Необходимо найти решение. Оно связано с тем, что вычисляется значение, соответствующее вектору расстояний S = {Si,S2,-.Sn,...,SNrp}. между сообщениями gneGrp и обобщенным сообщением g При этом необходимо ориентироваться на некоторую метрику. В качестве примера может быть евклидова метрика:
- -|1/2 ^(P_normJ1 -P_norm10)2 (14)
.Vi .
Для того, чтобы по сообщениям gn дать оценку степени достоверности, можно опираться на выражение
wn=Smin/Sn- (15)
учитывается, что Smjn =minSn.
Vn
Может быть случай большей «засоренности» по выборке G. Например, может анализироваться половина выборки. В таких случаях можно говорить об асимметрии распределения анализируемых данных. Использование обобщенного сообщения g0 не дает преимуществ в рассмотрении выборки G. Тогда может помочь использование соответствующей метрики. Она должна быть адекватной с точки зрения сведений метрики. Происходит вычисление между информационными сообщениями значений векторов суммарных расстояний S = {Si,S2,—>Sn,...,SN } таким образом
Vn : Sn =
sn=
Nip 1ИСХ / \ 2
z zfpk-pin)
m=l i=l
1/2
n = l,Nrp
(16)
Также как в (15) можно по сообщениям рассмотреть степень достоверности.
В случае сильной «засоренности» выборки Gгр можно учесть гипотезу компактности. Она относится другим возможным группировкам. В таком случае можно применять способы, связанные с кластерным анализом. Для того, чтобы определить степеньдосто-верности информацииможно применять соответствующие методики [8]. Происходит организация М=К,р-2 итерационных циклов, в которых есть индексы С = 2,(1ЧГр-1), в случае, когда в выборке Огр объем будет N. Выборка Gгр классифицируется по С классам для каждого итерационного цикла. Происходит подсчет по всем итерациям при объеме Ус > 2^ общего числа включений каждого сообщения в классы Кс
N-
гр
hn= I 1
С=2
gn-»Kc&Vc > n = l,N:
гр
(17)
В информационном сообщении g будет степень достоверности
™П=ЬП/ 2) (18)
Метод «средней связи» может быть использован при классификации выборки сообщений = и ёп с учетом соответствующего
числа классов С. Тогда происходит построение матрицы S взаимных расстояний среди сообщений. При этом необходимо выбирать метрику, например евклидову
Smn -
тисх / . \2
Z (Pîn-Pk)
i=l
1/2
n = l,Nrp
(19)
После этого применяется гипотеза компактности, чтобы классифицировать сообщения. Тогда происходит расположение сходных сообщений внутри гиперпространства сведений компактным образом [9]. При этом расстояния среди центров классов будут
превышать расстояния среди сообщений, которые лежат в одном классе.
Установленное значение w0 оказывает влияние на объем отфильтрованных сообщений Gф.
Анализ особенностей алгоритма, позволяющего вести заполнение пробелов
Были рассмотрены возможности формирования алгоритма, который позволяет пропущенные значения соответствующим образом заполнять. В ходе его создания мы опирались на несколько предпосылок.
Первая связана с тем, что когда используются на практике таблицы с данными, то в них наблюдается свойство избыточности. То есть объекты - строки будут похожими. Столбцы характеризуются зависимыми свойствами. Когда в таблице находятся случайные числа, тогда не будет избыточности. В таком случае нет возможностей для того, чтобы один прогноз был предпочтен другому.
Предпосылка вторая связана с тем, что при близости пары объектов близка с точки зрения (п-1) свойств, можно считать, что будет наблюдаться близость относительно п-ого свойства. То есть, выполняется гипотеза аналогичности.
Предпосылка третья базируется на локальном характере избыточности (локальная компетентность). Тогдасуществует подмножество объектов-аналогов по каждому объекту. Также подмножество свойств-аналогов может быть выделено по каждому свойству. При заполнении пробелов необходимо соответствующим образом делать выбор строк и столбцов отдельным образом по каждому предсказываемому элементу [10]. Нормировка по всем показателям должна быть осуществлена, чтобы этот алгоритм был использован. Можно указать три этапа по анализируемому алгоритму.
1. Выделяется множество строк, которые можно использовать и после этого по таким строкам выделяется множество столбцов с точки зрения «соответствия».
2. Проводится проверка на то, чтобы прогнозная ошибка по была минимальной в ходе расчетов.
3. Реализуется процесс прогнозирования интересующих элементов.
Когда рассматривается 1-я строка, то она будет «соответствовать» с точки зрения ьой строки, если выбирается величина Ьц. Она должна быть обратно пропорциональной расстоянию между указанными строками. Будет обеспечиваться «соответствие» между к-м столбцами j-м столбцом при выборе величины Ljk. Она должна быть пропорциональнойтому расстоянию, которое будетсреди столбцов. После этого осуществляется-формирование подматрицы. В нее входят от 3-х до 7-и строк и столбцов.
В тех строках и столбцах, которые обеспечивают «соответствие», не должны быть пробелы для j-го столбца (>ой строке).
Должна быть обеспечена нормировка по всем показателям, чтобы алгоритм функционировал эффективным способом. Тогда будет введена новой единицы измерения, что дает возможности для того, чтобы все признаки были представлены единообразным способом. Тогда сопоставление объектов формальные будет обеспечено формальным образом.
По допустимому диапазону, в котором изменяются значения показателей, можно обеспечивать процессы нормировки. В анализируемой задаче следующую формулу можно применять на практике:
Уп,VI :у_погт|1 = ,Уп~Утш (20)
Ушах ~ Угтп
Происходит выработка «подсказок» Ь(к) = F(X(k)) с привлечением уравнений регрессии, когдапредсказывается значение пробела на основе зависимостей среди j-ым и другими (к-ыми) столбцами. Используется вес, который пропорциональны компетентности соответствующего столбца при у усреднения q подсказок, когда внутри под матрицы анализировался q+1 столбец. Тогда,
вследствие избыточности, которая есть внутри столбцовбудет формироваться прогнозная величина Ь0:
q
b(j)= I k=l
b(k)-L(jk)
q a
/^L(jk) (21)
k=l
В ходе моделирования используется а - коэффициент, который позволяет вести регулирование влияние соответствия на результат предсказания. Чем больше значение используется для а, тем больше будет влияние со стороны соответствия столбцов. Разные значения а используются в ходе предсказания всех известных элементов в ^м столбце. После этого обеспечение минимальной ошибки по прогнозу обеспечивается при выборе соответствующего значения а. Осуществляется процесс прогноза Ь(]) величины того элемента, который пропущен, при выбранном значении а на основе формулы (21).
Используется зависимость среди ьой строкой и s остальными (1-ыми) строками (1, 2,..1..^), если заполняется пробел. Тогда можно опираться на следующую формулу
b(i) = S 1=1
b(l)-L(il)
s ОС
/£b(il) (22) 1=1
Исходим из того, что достигается минимальная ошибка в предсказании всех известных элементов вьой строке, когда осуществляется процесс выбора а. Усреднение Ь(^ и Ь(]) позволяет прогнозировать у' значение в пропущенном элементе у^.
В «соответствующей» подматрице проводится вычисление по дисперсии величин подсказок Ь(к) и Ь(1), которые могут быть получены относительно всех к столбцов и 1 строк. Тогда определяется ожидаемая ошибкав предсказании. Не будет устойчивая закономерная связь среди элемента у^ и остальными элементами в подматрице, если наблюдаются большие значения в дисперсии.
На рис. 1 дана иллюстрация схемы алгоритма, позволяющего реализовывать информационную фильтрацию.
Нормировка параметров
Группировки нет
Анализ данных о группах, полу- ченных в результате работы алгоритма фильтрации информации
Формирование однородных групп с помощью методов кластерного анализа_т_
X
Группировка есть
Формирование строк-подсказок по наименьшим значениям вектора расстояний между объектами
преимущественно из объектов той группы, в которую входит строка с пробелом
X
Ненормальное распределение
Анализ нормальности распределения данных
Нормальное распределение
Формирование столбцов-подсказок из всей матрицы данных по наименьшим значениям вектора расстояний между исследуемым столбцом и прочими .Ч—! ... }
а
Формирование столбцов-подсказок из всей матрицы данных наибольшим значениям коэффициента линейной корреляции г между исследуемым столбцом и прочими
Придание строкам и столбцам подсказок весов в зависимости от их _удаленности от искомого пробела_
X
Расчет пропущенного значения по формулам для столбцов и строк соответственно, а затем усреднение результата
ь(Л = Е \ь(к)-1(]к л1{]к )
к=1 V ) к=1
Ъ{ о = X (ь(П ■£(*)]/£ I (Я)
„ /=1 V У 1=1
Для выбора а используются все известные элементы искомои строки или столбца и выбор делается при минимальном значении ошибки предсказания
Количество пропущенных данных в исходной матрице больше 20%?
Рис. 1. Иллюстрация схемы алгоритма, который позволяет реализовать заполнение пробелов
Выводы
Когда строятся классификационно-прогностические модели, тогда необходимо чтобы была использовались лингвистические переменные, если информация будет преобразована к численному виду. Качество исходных данных оказывает влияние на точность применяемых моделей. Информация должна быть предварительным образом обработана. Предложен алгоритм заполнения пробелов в информации. Его эффективность может быть повышена за счет того, используются уравнения регрессии высших порядков.
Список литературы
1. Львович Я. Е., Преображенский Ю. П., Ружицкий Е. Анализ особенностей приема и передачи сигналов в компьютерных сетях // Вестник Воронежского института высоких технологий. 2022. № 1 (40). С. 75-78.
2. Львович Я. Е., Преображенский Ю. П., Ружицкий Е. Исследование характеристик рубрикации текстов // Вестник Воронежского института высоких технологий. 2022. № 2 (41). С. 105-108.
3. Чупринская Ю.Л., Линкина А.В. Краткий обзор современных технологических трендов в контексте цифровой трансформации // Вестник Воронежского института высоких технологий. 2022. № 1 (40). С. 107-109.
4. Львович К. И. Управление эффективностью деятельности персонала в условиях цифровой трансформации организационных систем // Моделирование, оптимизация и информационные технологии. 2020. Т. 8. № 3 (30). https://doi.org/10.26102/2310-6018/2020.30.3.039
5. Rykova V.V. The northern sea route: a scientometric analysis of information arrays in Web of Science and Scopus databases // International Journal of Advanced Studies. 2021. Т. 11. № 1. С. 7786. https://doi.org/10.12731/2227-930X-2021-11-1-77-86
6. Львович Я. Е., Преображенский Ю. П., Ружицкий Е. О проблемах использования современных технологий в «умных городах»
// Вестник Воронежского института высоких технологий. 2022. N° 2 (41). С. 116-119.
7. Львович Я. Е., Преображенский Ю. П., Ружицкий Е. Исследование характеристик алгоритмов классификации // Вестник Воронежского института высоких технологий. 2022. № 2 (41). С. 96-99.
8. Plotnikova T.A. Computer aided schematic design: how to manage large data in the early stages of urban design projects // International Journal of Advanced Studies. 2021. Т. 11. № 2. С. 52-64. https://doi. org/10.12731/2227-930X-2021-11-2-52-64
9. Rykova V.V. The arctic regional security: a scientometric analysis of information arrays in databases Web of Science and Scholar Sibirica // International Journal of Advanced Studies. 2020. Т. 10. № 3. С. 18-29. https://doi.org/10.12731/2227-930X-2020-3-18-29
10. Линкина А.В., Лихачев С. А. Применение корреляционного и регрессионного анализа в геоинформационных системах // Вестник Воронежского института высоких технологий. 2022. № 2 (41). С. 80-82.
References
1. L'vovich YA.E., Preobrazhenskij YU.P., Ruzhickij E. Vestnik Vorone-zhskogo instituta vysokih tekhnologij, 2022, no. 1 (40), pp. 75-78.
2. L'vovich YA.E., Preobrazhenskij YU.P., Ruzhickij E. Vestnik Vorone-zhskogo instituta vysokih tekhnologij, 2022, no. 2 (41), pp. 105-108.
3. CHuprinskaya YU.L., Linkina A.V. Vestnik Voronezhskogo instituta vysokih tekhnologij, 2022, no. 1 (40), pp. 107-109.
4. L'vovich K.I. Modelirovanie, optimizaciya i informacionnye tekh-nologii, 2020, vol. 8, no. 3 (30). https://doi.org/10.26102/2310-6018/2020.30.3.039
5. Rykova V.V. The northern sea route: a scientometric analysis of information arrays in Web of Science and Scopus databases. International Journal of Advanced Studies, 2021, vol. 11, no. 1, pp. 77-86. https:// doi.org/10.12731/2227-930X-2021-11-1-77-86
6. L'vovich YA.E., Preobrazhenskij YU.P., Ruzhickij E. Vestnik Voronezhskogo instituta vysokih tekhnologij, 2022, no. 2 (41), pp. 116-119.
7. L'vovich YA.E., Preobrazhenskij YU.P., Ruzhickij E. Vestnik Vorone-zhskogo instituta vysokih tekhnologij, 2022, no. 2 (41), pp. 96-99.
8. Plotnikova T.A. Computer aided schematic design: how to manage large data in the early stages of urban design projects. International Journal of Advanced Studies. 2021. T. 11. № 2. S. 52-64. https://doi. org/10.12731/2227-930X-2021-11-2-52-64
9. Rykova V.V. The arctic regional security: a scientometric analysis of information arrays in databases Web of Science and Scholar Sibirica. International Journal of Advanced Studies, 2020, vol. 10, no. 3, pp. 18-29. https://doi.org/10.12731/2227-930X-2020-3-18-29
10. Linkina A.V., Lihachev S.A. Vestnik Voronezhskogo instituta vysokih tekhnologij, 2022, no. 2 (41), pp. 80-82.
ДАННЫЕ ОБ АВТОРАХ Львович Яков Евсеевич, профессор, доктор технических наук, профессор
Воронежский государственный технический университет ул. 20 лет Октября, 84, г. Воронеж, 394006, Российская Федерация
Преображенский Андрей Петрович, профессор, доктор технических наук, доцент
Воронежский институт высоких технологий
ул. Ленина, 73а, г. Воронеж, 394043, Российская Федерация
Аветисян Татьяна Владимировна, старший преподаватель
Воронежский институт высоких технологий
ул. Ленина, 73а, г. Воронеж, 394043, Российская Федерация
DATA ABOUT THE AUTHORS Yakov E. Lvovich, Doctor of Technical Sciences, Professor Voronezh State Technical University
84, 20 years of October Str., Voronezh, 394006, Russian Federation
ORCID: https://orcid.org/0000-0002-7051-3763
Andrey P. Preobrazhenskiy, Professor, Doctor of Technical Sciences, Associate Professor
Voronezh Institute of High Technologies
73a, Lenin Str., Voronezh, 394043, Russian Federation
ORCID: https://orcid.org/0000-0002-6911-8053
Tatiana V. Avetisyan, Senior Lecturer
Voronezh Institute of High Technologies
73a, Lenin Str., Voronezh, 394043, Russian Federation
ORCID: https://orcid.org/0000-0003-3559-6070
Поступила 27.10.2022
После рецензирования 15.11.2022
Принята 20.11.2022
Received 27.10.2022 Revised 15.11.2022 Accepted 20.11.2022
