Научная статья на тему 'ЧИСЛЕННЫЙ МЕТОД ФОРМИРОВАНИЯ АЛЬТЕРНАТИВНОГО МНЕНИЯ В КОАЛИЦИЯХ ВЫСОКОКВАЛИФИЦИРОВАННЫХ СПЕЦИАЛИСТОВ С ИСПОЛЬЗОВАНИЕМ ОТНОСИТЕЛЬНОГО ПОКАЗАТЕЛЯ ПОЛЕЗНОСТИ'

ЧИСЛЕННЫЙ МЕТОД ФОРМИРОВАНИЯ АЛЬТЕРНАТИВНОГО МНЕНИЯ В КОАЛИЦИЯХ ВЫСОКОКВАЛИФИЦИРОВАННЫХ СПЕЦИАЛИСТОВ С ИСПОЛЬЗОВАНИЕМ ОТНОСИТЕЛЬНОГО ПОКАЗАТЕЛЯ ПОЛЕЗНОСТИ Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
0
0
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
численный метод / высококвалифицированный специалист / компьютерная программа / коалиция экспертов / альтернативное мнение / относительный показатель полезности / numerical method / highly qualifi ed specialist / computer program / coalition of experts / alternative opinion / relative utility indicator

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Жилин Роман Андреевич

Предмет исследования: формирование альтернативного мнения в коалициях высококвалифицированных специалистов. Цель исследования: разработка численного метода по формированию альтернативного мнения в коалициях высококвалифицированных специалистов с использованием относительного показателя полезности и с последующей его реализацией в виде программы для ЭВМ. Методы исследования: анкетирование, формализация, системный анализ, корреляционный анализ, критерий Хэмминга, натурный эксперимент, объектно-ориентированное программирование. Основные результаты исследования: 1. Предложенный автором подход, основанный на комбинировании методов математической статистики и учете индивидуальных компетенций экспертов, представляет новые возможности для формирования альтернативного мнения в коалициях экспертов и позволяет повысить эффективность в сфере принятии решений. 2. Верификация разработанного численного метода осуществлена на примере опроса сотрудников полиции в отношении нарушителей систем безопасности в сфере критической информационной инфраструктуры. 3. Разработана компьютерная программа, реализующая созданный метод. 4. В ходе исследования выяснилось, что относительный показатель полезности j-ого эксперта предоставляет возможность сформировать альтернативные экспертные позиции, которые обладают достоверным обобщенным мнением. 5. Практическая значимость работы заключается в разработке компьютерной программы, которая может использоваться при проведении экспертных опросов и получении на их основе достоверных экспертных оценок.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по компьютерным и информационным наукам , автор научной работы — Жилин Роман Андреевич

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

NUMERICAL METHOD FOR FORMING AN ALTERNATIVE OPINION IN COALITIONS OF HIGHLY QUALIFIED SPECIALISTS USING RELATIVE USEFULNESS INDICATOR

Subject of research: the formation of an alternative opinion in coalitions of highly qualifi ed specialists. Purpose of research: development of a numerical method for the formation of an alternative opinion in coalitions of highly qualifi ed specialists using a relative utility indicator and its subsequent implementation in the form of a computer program. Methods of research: survey, formalization, system analysis, correlation analysis, Hamming criterion, natural experiment, object-oriented programming. Main results of research: 1. The approach proposed by the author, based on combining methods of mathematical statistics and taking into account the individual competencies of experts, provides new opportunities for the formation of an alternative opinion in coalitions of experts and allows for increased effi ciency in decision-making. 2. Verifi cation of the developed numerical method was carried out using the example of a survey of police offi cers regarding violators of security systems in the fi eld of critical information infrastructure. 3. A computer program has been developed that implements the created method. 4. The study revealed that the relative usefulness indicator of the j-th expert provides an opportunity to form alternative expert positions that have a reliable generalized opinion. 5. The practical signifi cance of the work lies in the development of a computer program that can be used to conduct expert surveys and obtain reliable expert assessments based on them.

Текст научной работы на тему «ЧИСЛЕННЫЙ МЕТОД ФОРМИРОВАНИЯ АЛЬТЕРНАТИВНОГО МНЕНИЯ В КОАЛИЦИЯХ ВЫСОКОКВАЛИФИЦИРОВАННЫХ СПЕЦИАЛИСТОВ С ИСПОЛЬЗОВАНИЕМ ОТНОСИТЕЛЬНОГО ПОКАЗАТЕЛЯ ПОЛЕЗНОСТИ»

0 МАТЕМАТИЧЕСКОЕМОДЕЛИРОВАНИЕ > ИИНФОРМАЦИОННЫЕТЕХНОЛОГИИ

УДК 004.942 DOI 10.18822/byusu202402107-112

ЧИСЛЕННЫЙ МЕТОД

ФОРМИРОВАНИЯ

АЛЬТЕРНАТИВНОГО

МНЕНИЯ В КОАЛИЦИЯХ

ВЫСОКОКВАЛИФИЦИРОВАННЫХ

СПЕЦИАЛИСТОВ С

ИСПОЛЬЗОВАНИЕМ

ОТНОСИТЕЛЬНОГО ПОКАЗАТЕЛЯ

ПОЛЕЗНОСТИ

Жилин Роман Андреевич

кандидат технических наук, старший преподаватель кафедры тактико-специальной подготовки, Воронежский институт МВД России Воронеж, Россия E-mail: zhilin99.zhilin@yandex.ru

Предмет исследования: формирование альтернативного мнения в коалициях высококвалифицированных специалистов.

Цель исследования: разработка численного метода по формированию альтернативного мнения в коалициях высококвалифицированных специалистов с использованием относительного показателя полезности и с последующей его реализацией в виде программы для ЭВМ.

Методы исследования: анкетирование, формализация, системный анализ, корреляционный анализ, критерий Хэмминга, натурный эксперимент, объектно-ориентированное программирование.

Основные результаты исследования: 1. Предложенный автором подход, основанный на комбинировании методов математической статистики и учете индивидуальных компетенций экспертов, представляет новые возможности для формирования альтернативного мнения в коалициях экспертов и позволяет повысить эффективность в сфере принятии решений. 2. Верификация разработанного численного метода осуществлена на примере опроса сотрудников полиции в отношении нарушителей систем безопасности в сфере критической информационной инфраструктуры. 3. Разработана компьютерная программа, реализующая созданный метод. 4. В ходе исследования выяснилось, что относительный показатель полезности j-ого эксперта предоставляет возможность сформировать альтернативные экспертные позиции, которые обладают достоверным обобщенным мнением. 5. Практическая значимость работы заключается в разработке компьютерной программы, которая может использоваться при проведении экспертных опросов и получении на их основе достоверных экспертных оценок.

Ключевые слова: численный метод, высококвалифицированный специалист, компьютерная программа, коалиция экспертов, альтернативное мнение, относительный показатель полезности.

NUMERICAL METHOD FOR FORMING AN ALTERNATIVE OPINION IN COALITIONS OF HIGHLY QUALIFIED SPECIALISTS USING RELATIVE USEFULNESS INDICATOR

Roman A. Zhilin

Candidate of Technical Sciences, Senior Lecturer, Department of Tactical and Special Training, Voronezh Institute of the Ministry of Internal Affairs of Russia Voronezh, Russia E-mail: zhilin99.zhilin@yandex.ru

Subject of research: the formation of an alternative opinion in coalitions of highly qualified specialists.

Purpose of research: development of a numerical method for the formation of an alternative opinion in coalitions of highly qualified specialists using a relative utility indicator and its subsequent implementation in the form of a computer program.

Methods of research: survey, formalization, system analysis, correlation analysis, Hamming criterion, natural experiment, object-oriented programming.

Main results of research: 1. The approach proposed by the author, based on combining methods of mathematical statistics and taking into account the individual competencies of experts, provides new opportunities for the formation of an alternative opinion in coalitions of experts and allows for increased efficiency in decision-making. 2. Verification of the developed numerical method was carried out using the example of a survey of police officers regarding violators of security systems in the field of critical information infrastructure. 3. A computer program has been developed that implements the created method. 4. The study revealed that the relative usefulness indicator of the j-th expert provides an opportunity to form alternative expert positions that have a reliable generalized opinion. 5. The practical significance of the work lies in the development of a computer program that can be used to conduct expert surveys and obtain reliable expert assessments based on them.

Keywords: numerical method, highly qualified specialist, computer program, coalition of experts, alternative opinion, relative utility indicator.

ВВЕДЕНИЕ

В различных научных областях разработаны подходы к организации экспертных опросов, формализованы методы обработки данных, оценки точности и достоверности экспертных оценок, а также установлены требования к квалификации экспертов. В свою очередь, в процессе разработки математической модели в предметной области, которая

характеризуется низкой степенью формализуемости, существует вероятность возникновения противоположных мнений высококвалифицированных специалистов [1, 2 и др.].

Некоторые предметные области могут не обладать достаточным количеством экспертов, что требует привлечения специалистов из смежных предметных областей для проведения экспертной оценки. В таких ситуациях,

Жилин Р.А.

когда мнения экспертов не согласуются (например, в социально-экономической сфере), может быть полезным применение метода по формированию альтернативных позиций в коалициях экспертов [3, 4 и др.].

В данной работе автором предложен метод формирования альтернативных коалиций экспертов в случае слабоформализуемых задач, основанный на реальных данных.

Целью данной работы является разработка метода формирования альтернативного мнения в коалициях высококвалифицированных специалистов с использованием относительного показателя полезности.

Практическая значимость работы заключается в разработке компьютерной программы, которая может использоваться при проведении экспертных опросов и получении на их основе достоверных экспертных оценок.

Рассмотренные в многочисленных работах [5, 6, 7 и др.] методы формирования коалиций экспертов, как правило, верификацию проводят на малочисленной экспертной группе. Поэтому требуется проверить методы в вышеуказанных работах на многочисленной экспертной группе.

Реальная практика экспертиз объектов требует значительно большего учета количества экспертов, особенно когда необходимо выбрать согласованных экспертов из многочисленной экспертной группы. Тогда может получиться так, что количество выделенных коалиций может быть не одна, а несколько [8, 9 и др.].

Вопросам разработки численных методов, необходимых для решения задачи данного исследования, посвящены работы [10, 11, 12 и др.], однако в них основное внимание уделялось формированию 1-2 альтернативных коалиций экспертов. Реальные задачи экспертного оценивания свидетельствуют о необходимости выделения 3-4 и более коалиций, что потребует разработки соответствующих численных методов.

Исследования Е. А. Буркова [10] и К. Е. Волковицкого [11] посвящены вопросам формирования и анализа альтернативного мнения в коалициях высококвалифицированных специалистов (каждый из вышеперечисленных авторов предложил свой подход к исследуемой проблеме).

Е. А. Бурков предлагает использовать методы математической статистики для формирования альтернативного мнения в коалициях экспертов (он признает возможным тот факт, что с помощью статистических методов и простейшего анализа данных возможно выделение множества экспертных групп, которые имеют схожие мнения или подходы к

исследуемой проблеме). Методика, рассматриваемая в его работе, позволяет учесть различные аспекты исследования и получить более детальные результаты.

С другой стороны, К. Е. Волковицкий утверждает, что альтернативные коалиции формируются на основе полного согласия или полного отрицания определенной точки зрения. Проведенные исследователем вычислительные эксперименты показывают, что эксперты могут разделиться на несколько противоречащих друг другу коалиций. Однако в этих исследованиях не представлена специфика объекта исследования, что может привести к ограничениям в использовании только одной альтернативной позиции.

В контексте сформировавшихся экспертных групп, где высококвалифицированные специалисты с разными опытом и знаниями собираются для решения сложных проблем, важно разработать метод, который позволил бы выявить и учесть множество альтернативных позиций.

Учитывая данные подходы, автор предлагает свой, который учитывает специфику объекта исследования и предоставляет возможность формирования нескольких альтернативных позиций.

Разрабатываемый численный метод основан на комбинировании методов математической статистики и учета индивидуальных компетенций высококвалифицированных специалистов (автор предлагает использовать алгоритмы кластерного анализа, которые позволяют выделить группы экспертов на основе их сходства или различия во мнениях, при этом, учитывая специфику объекта исследования, можно определить, какие альтернативные позиции могут быть наиболее полезными и релевантными).

РЕЗУЛЬТАТЫ И ОБСУЖДЕНИЕ

Численный метод по формированию альтернативного мнения в коалициях экспертов с использованием относительного показателя полезности состоит из следующих этапов.

1. Проведение экспертного опроса и получение оценок высококвалифицированных специалистов.

2. Формирование высокосогласованной экспертной группы.

3. Составление вектор-строки ранжированных значений последней строки расширенной корреляционной матрицы.

4. Получение вектора приоритетов альтернатив.

5. Нормировка элементов собственного вектора.

Жилин Р.А.

6. Вычисление относительного показателя полезности.

7. Нахождение расстояния Хэмминга.

Далее перейдем к подробному рассмотрению каждого из этапов исследуемого численного метода.

1. Проведение экспертного опроса и получение оценок высококвалифицированных специалистов.

Собираются данные от экспертов, включающие их оценки и предпочтения по заданной проблеме. Оценки могут быть числовыми или категориальными, в зависимости от характера проблемы.

На основе опроса экспертов формируется

матрица 2мхм [13]:

Г

2 =

'21

212 213

\

ПМ

V гм 1

(1)

-мы у

где м - количество экспертов; м -

коли-

чество признаков нарушителя; - оценка г -ого признака 7 -ым экспертом.

Проведен опрос среди 72 действующих сотрудников полиции, проходящих службу на различных должностях из 15 регионов Российской Федерации и имеющих опыт работы с объектами рассматриваемой предметной области, прибывших в Воронежский институт МВД России для переподготовки и повышения квалификации по программам дополнительного профессионального образования и программам профессионального обучения.

Экспертам было предложено ранжировать критерии по уровню значимости по шкале от 1 до 10. В ходе экспертного оценивания составлена прямоугольная матрица размера 72*10.

2. Формирование высокосогласованной экспертной группы.

На основе матрицы Z сформируем расширенную корреляционную матрицу строк

значение коэффициента корреляции меньше

заданного значения: гг < гтт .

Для выделения высокосогласованной экспертной группы следует исключить несогласованных экспертов, которые не удовлетворяют условию г > 0,7 матрицы г (0,7 - пороговое значение для решения задачи по формированию альтернативного мнения в коалициях высококвалифицированных

специалистов).

3. Формирование вектор-строки ранжированных значений последней строки расширенной корреляционной матрицы.

Ранжируем значения последней строки

расширенной корреляционной матрицы г и сформируем вектор-строку Р.

р (1; ч, ... гп)

(3)

где Р - вектор-строка ранжированных значений последней строки расширенной

корреляционной матрицы гг; гп - элементы вектор-строки ранжированных значений последней строки расширенной корреляционной матрицы ^.

4. Получение вектора приоритетов альтернатив.

Приоритеты - это числа, которые связаны с элементами иерархии. Чем больше величина приоритета, тем более значимым является соответствующий ему элемент.

Вектор коэффициентов относительной важности признаков (вектор приоритетов), предложенный в работе [15], имеет следующий вид:

Г = (п,^ )

(4)

размером

(N + 1) х N [14]:

где У1, У2, •••,Ут - элементы собственного вектора матрицы парных сравнений относительной значимости признаков.

5. Нормировка элементов собственного вектора.

В работе [16] предложена нормировка элементов собственного вектора делением на сумму его элементов:

Г = (г1, Г2 ••• Гп )

(2)

Г = у 2, •• Ут ),

где гп - элементы расширенной корреляционной матрицы.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Полученные данные позволяют исключить несогласованных экспертов, для которых

где

У г =

Уг

м

г=1

(5)

Жилин Р.А.

Таблица 1. Обработанные результаты исследования.

Тип нарушителя Параметры Нарушитель систем безопасности в сфере критической информационной инфраструктуры (КИИ)

Общее количество высококвалифицированных специалистов, принимающих участие в проведении экспертизы альтернатив №обЩ 72

Исходное значение коэффициента конкордации Кендела экспертной группы из 72 специалистов (Жисх) 0,26

Количество экспертов в сформированной высокосогласованной экспертной группе (п) при 26

Значение коэффициента конкордации Кендела в сформированной высокосогласованной экспертной группе (Ж) 0,70

Тип экспертной коалиции Основная коалиция Альтернативная коалиция

Условие формирования альтернативного мнения в коалициях высококвалифицированных специалистов гтш > 0,7;В >0,557 Гт1П > 0,7;В <0,557

Количество экспертов в сформированных высокосогласованных альтернативных экспертных группах (п) 13 13

Значение коэффициента конкордации Кендела в сформированных высокосогласованных альтернативных экспертных группах (Жал) 0,70 0,73

Расстояние Хэмминга между рангами рассматриваемых признаков (к) 8

2г V' (ранг) 2] V] (ранг)

21 9 10 9,53 10

22 6,07 6 5,61 5

23 3,61 3 3,23 4

24 1,38 1 2,92 2

25 2,38 2 2,07 1

26 3,69 4 3,15 3

27 8,30 9 7,84 9

28 7,38 8 6,61 7

21 5,92 5 6,30 6

210 7,23 7 7,69 8

Жилин Р.А.

Нормирование обеспечивает соотношение ^ У1 = 1. С точки зрения функционального анализа такая норма соответствует про-

Г) т

странствуй .

6. Вычисление относительного показателя полезности эксперта.

Вычислим относительный показатель полезности ]-ого эксперта по формуле:

B

А

Zj- vt

+1

(6)

B -

где - относительный показатель полез-

ности7-ого эксперта Втах = 1; Вт1п ^ 0; А - вектор, созданный на основе идеально согласованной матрицы парных сравнений; -оценка, выставленная ] экспертом по I при-

знаку;

Vj -

ранги признаков оцениваемых

альтернатив.

Относительный показатель полезности 7-ого эксперта зависит от количества г'-ых признаков.

После расчета произведем разделение экспертов на коалиции, принимая во внимание условие (6):

> 0,7;B >0,557

rmin > 0,7;B <0,557

(7)

7. Нахождение расстояния Хэмминга.

Используя критерий Хэмминга, рассчитываем расстояние между сформированными вектор-столбцами средних значений оцениваемых альтернатив (признаков) [17]:

ш

h y )=Z[(x+)mod2]

(8)

i=1

где: т - длина характеристического вектора; х и у - вектор столбцы матрицы.

Значительный объем различных вычислений определяет реализацию данного численного метода с использованием ЭВМ. С этой целью автором разработана компьютерная программа по формированию альтернативного мнения в коалициях экспертов на языке программирования С#.

Верификация разработанного численного метода по формированию альтернативного мнения в коалициях высококвалифицированных специалистов с использованием относительного показателя полезности осуществлена на примере опроса сотрудников

полиции в отношении нарушителей систем безопасности в сфере критической информационной инфраструктуры [18, 19, 20].

Результаты вычислительного эксперимента по формированию альтернативного мнения в коалициях высококвалифицированных специалистов представлены в таблице.

ЗАКЛЮЧЕНИЕ И ВЫВОДЫ

В современном информационном обществе получение качественной и объективной информации является неотъемлемой частью принятия обоснованных решений в различных сферах деятельности. Особенно важным является учет альтернативных позиций, которые смогут противоречить установившимся консенсусам или привносить новые идеи и подходы.

Исследования Е. А. Буркова и К. Е. Волко-вицкого представляют разные подходы к данной проблеме, однако учет специфики объекта исследования является необходимым для получения более точных результатов.

В ходе исследования выяснилось, что относительный показатель полезности j-ого эксперта предоставляет возможность сформировать альтернативные экспертные позиции, которые обладают достоверным обобщенным мнением.

Использование мнений альтернативных коалиций при разработке математических моделей позволяет получить более точное описание предметной области, а проведенные вычислительные эксперименты показали устойчивость данного метода к исходным данным (к экспертной информации).

Предложенный автором подход, основанный на комбинировании методов математической статистики и учете индивидуальных компетенций экспертов, представляет новые возможности для формирования альтернативного мнения в коалициях экспертов и позволяет повысить эффективность в сфере принятии решений.

ЛИТЕРАТУРА

1. Орлов, А. И. Экспертные оценки : Учебное пособие / А. И. Орлов. - Москва : Ай Пи Ар Медиа, 2022. - 57 с. -Текст : непосредственный.

2. Haocheng, T. A brief history and technical review of the expert system research / T. Haocheng // IOP Conf. Series: Materials Science and Engineering. - 2017 - № 242.

3. The application of expert system: a review of research and applications / C. F. Tan [and others]// ARPN Journal of Engineering and Applied Sciences. - 2016. - № 4. - T. 11. - С. 2448-2453.

r

Жилин Р.А.

4. Oravec, J. A. Expert systems and knowledge-based engineering (1984-1991): implications for instructional systems research / J. A. Oravec // International Journal of Designs for learning. - 2014. - № 5. - Т. 2. - С. 66-75.

5. Мельников, А. В. Кластерно-иерархические методы экспертизы технических и экономических объектов: дисс. ... докт. техн. наук: 05.13.18 / Мельников Александр Владимирович. - Воронеж, 2014. - 354 с. . -Текст : непосредственный.

6. Shu-Hsien, L. Expert system methodologies and applications—a decade review from 1995 to 2004 / L. Shu-Hsien // Expert Systems with Applications. - 2005. - № 28. - С. 93-103.

7. Angeli, C. Diagnostic Expert Systems: From Expert's Knowledge to Real-Time Systems / С. Angeli// Advanced Knowledge Based Systems: Model, Applications & Research. - 2010. - № 1. - С. 50-73.

8. Жилин, Р. А. Численный метод оценки необходимости использования альтернативных коалиций при анализе интегральных показателей опасности нарушителей в сфере физической защиты объектов / Р. А. Жилин, А. В. Мельников, И. В. Щербакова. - Текст: непосредственный // Вестник Воронежского института ФСИН России. - 2020. - № 3. - С. 45-52.

9. Avolio G. Applications of advanced data analysis and expert system technologies in the atlas trigger - daq controls framework. / G. Avolio, A.C. Radu, A. Kazarov, G. Lehmann Miotto, L. Magnoni // Journal of Physics: Conference Series. - 2012. - Т. 396 (1).

10. Бурков, Е. А. Методы и алгоритмы анализа и агрегирования групповых экспертных оценок: дис.....

канд. техн. наук: 05.13.01 / Бурков Евгений Александрович. - Санкт-Петербург, 2011. - 189 с. - Текст : непосредственный.

11. Волковицкий, К.Е. Исследование пространства ранговых оценок и разработка пакета прикладных программ классификационной обработки данных экспертного

оценивания: дис.....канд. физ-мат. наук: 01.01.09 / Вол-

ковицкий Кирилл Евгеньевич. - Москва, 1984. - 154 с. . - Текст : непосредственный.

12. Melnikov, A. V. Method of forming expert coalitions in the context of solving the expertise problem of alternatives with weakly formalized criteria / A. V. Melnikov, I. V. Shcherbakova, R. A. Zhilin // Journal of Physics: Conference Series : Applied Mathematics, Computational Science and Mechanics: Current Problems, Voronezh, 11-13 ноября 2019 года. Vol. 1479. - Voronezh: Institute of Physics Publishing, 2020. - P. 012071. .

13. Мельников, А. В. Метод формирования коалиций экспертов в рамках решения задачи экспертизы альтернатив со слабоформализуемыми критериями / А. В. Мельников, И. В. Щербакова, Р. А. Жилин. - Текст : непосредственный // Актуальные проблемы прикладной математики, информатики и механики : сборник трудов Международной научной конференции, Воронеж, 11-13 ноября 2019 года. - Воронеж: Научно-исследовательские публикации, 2020. - С. 968-975.

14. Жилин, Р. А. Численный метод предварительной экспертизы альтернатив нарушителей охраны объектов общекриминальной направленности / Р. А. Жилин, А. В. Мельников, И. В. Щербакова. - Текст : непосредственный // Вестник Воронежского института МВД России.

- 2019. - № 3. - С. 46-54.

15. Моделирование оценки эффективности функционирования систем безопасности объектов органов внутренних дел / Р. А. Жилин, А. В. Мельников, С. Б. Ахлюстин, В. В. Горлов. - Воронеж : Воронежский институт Министерства внутренних дел Российской Федерации, 2023.

- 104 с. - Текст : непосредственный

16. Саати, Т. Принятие решений. Метод анализа иерархий / Т. Саати. — Москва : Радио и связь, 1993. — 320 с. . - Текст : непосредственный.

17. Кузьмин, А. С. Линейные рекуррентные последовательности и их приложения / А. С. Кузьмин, В. Л. Куракин, В. Т. Марков, А. В. Михалев, А. А. Нечаев. - Текст : непосредственный // Московский университет и развитие криптографии. - Москва: МЦНМО, 2003. - С. 122-173.

18. Жилин, Р. А. Категориальная иерархия нарушителей объектов критической информационной инфраструктуры / Р. А. Жилин. - Текст : непосредственный // Общественная безопасность, законность и правопорядок в III тысячелетии. - 2019. - № 5-2. - С. 257-260.

19. Жилин, Р. А. Анализ результатов вычислительного эксперимента по формированию однородных групп нарушителей охраны объектов критической информационной инфраструктуры / Р. А. Жилин, В. Г. Саркисов.

- Текст : непосредственный // Общественная безопасность, законность и правопорядок в III тысячелетии. -2019. - № 5-2. - С. 253-257.

20. Жилин, Р. А. Об экспертном опросе в отношении нарушителей систем безопасности / Р. А. Жилин. - Текст : непосредственный // Общественная безопасность, законность и правопорядок в III тысячелетии. - 2021. - № 7-3. - С. 64-68.

i Надоели баннеры? Вы всегда можете отключить рекламу.