CC BY
26
ПРИМЕНЕНИЕ МАТЕМАТИЧЕСКИХ МЕТОДОВ ТЕОРИИ НЕЧЕТКИХ МНОЖЕСТВ ПРИ ПРОВЕДЕНИИ СУДЕБНО-ЭКСПЕРТНЫХ ИССЛЕДОВАНИЙ
Федосеев С.В.*
Ключевые слова: экспертные и судебно-экспертные исследования, объекты судебно-экспертной деятельности, количественные и качественные показатели, подходы к проведению судебно-экспертного исследования, совместное использование количественных и качественных показателей, функции принадлежности альтернативных предположений. .
Аннотация.
Цель работы: обоснование научно-методического подхода к решению задач определения результатов судебно-экспертных исследований.
Метод: логическое моделирование правовых отношений и информационных связей в правовой сфере; системный анализ взаимосвязи предметной области правовой сферы, объектов судебно-экспертной деятельности и основных объектов и методов теории принятия решений и теории нечетких множеств.
Результаты: выполнен анализ подходов к проведению судебно-экспертного исследования и направлений судебно-экспертной деятельности; определена необходимость совместного использования количественных и качественных показателей; обосновано применение математических методов теории нечетких множеств и теории принятия решений при проведении экспертного исследования; приведена процедура вычисления нечетких отношений предпочтения, разработан алгоритм определения результата экспертного исследования, представлен пример реализации разработанного алгоритма.
Р01: 10.21681/1994-1404-2020-4-38-45 Введение
Необходимость совершенствования научно-методической базы [1, 2, 7] и способов [8, 15] получения новых специальных правовых знаний в области проведения экспертных и судебно-экспертных исследований отмечается в настоящее время многими специалистами.
Проведение таких исследований становится все более актуальным в арбитражном, гражданском, уголовном судопроизводстве, при урегулировании споров хозяйствующих субъектов и др. на основе системного подхода, в частности, разработки и применения предметно-ориентированных методик системного анализа — прикладных методик, особенностью которых является сочетание в них формальных методов, моделей, алгоритмов (аналитических, статистических, теоретико-множественных, логических, лингвистических, семиотических, графических) и качественных (эвристических) способов использования неформализованных знаний (эвристик, опыта и
интуиции) экспертов, таких как способы экспертных оценок (экспертный опрос, взвешенное оценивание и выбор предпочтительного варианта), «мозговая атака» (одновременное коллективное обсуждение всех сформулированных идей), «Делфи» (многошаговая процедура «мозговой атаки», учитывающая результаты предшествующих шагов при оценке значимости экспертов), «дерево целей» (выявление и декомпозиция главной цели, построение «прогнозного графа»), морфологический анализ Ф. Цвикки (систематический поиск всех возможных вариантов решения проблемы путём комбинирования выделенных элементов или их признаков) и др. [11].
Подтверждением этого является рост числа, например, строительно-технических экспертиз, выполняемых государственными судебно-экспертными учреждениями [2, 6].
Другими важными направлениями судебно-экспертной деятельности являются:
- комплексное обследование зданий и сооружений;
- инженерная экспертиза;
- оценка бизнеса и недвижимого имущества;
- экспертиза и оценка ущерба после пожара
* Федосеев Сергей Витальевич, кандидат технических наук, доцент, профессор кафедры информационного права, информатики и математики Российского государственного университета правосудия, г. Москва, Российская Федерация. E-mail: fedsergvit@mail.ru
- экспертиза промышленного и технологического оборудования;
- экспертиза объектов интеллектуальной собственности;
- судебная психофизиологическая экспертиза с использованием так называемого «компьютерного полиграфа» [10] и др.
Подходы к проведению судебно-экспертного исследования
Объекты судебно-экспертной деятельности описываются системами показателей, на основании которых выполняется исследование. Эти показатели могут быть отнесены к двум базовым категориям: количественные и качественные.
Количественные показатели отражают свойства исследуемых объектов, измеряемые в количественных шкалах, выражаемые количественными мерами.
Определение качественных показателей выполняется с использованием качественных шкал, таких как ранговая (прямая и обратная) или классификационная. Кроме этого, часто применяется процедура бинарного сравнения со степенями предпочтения или со строгим предпочтением.
В большинстве случаев объекты судебно-экспертного исследования описываются набором, содержащим как количественные, так и качественные показатели [3, 4, 6].
Например, при проведении судебно-экспертного определения стоимости объектов интеллектуальной собственности необходимо учитывать следующие показатели [1, 12—14]:
1. Показатели, увеличивающие стоимость объекта: конкурентоспособность объекта; экономическая эффективность использования объекта; объем и надежность правовой охраны объекта, в том числе патентная чистота объекта; степень новизны объекта; техническая значимость объекта; коммерческая реализуемость объекта (ожидание будущих доходов); производственная применимость, производственная готовность.
2. Показатели, уменьшающие стоимость объекта: низкая надежность правовой охраны объекта; высокая скорость морального старения интеллектуального продукта; незначительный срок полезного использования; малый срок действия охранного документа; незначительный жизненный цикл объекта; малый срок действия лицензионного договора.
Для любого направления судебно-экспертной деятельности точное определение показателей и правильная методика их использования позволяют повысить качество получаемых результатов.
Особенно важным это обстоятельство является в случае использования при проведении судебно-экспертного исследования вероятностно-статистического и байесовского подходов.
Первый подход основан на предварительном определении набора показателей, характеризующих исследуемый объект, и вычислении их частот встречаемости. Признается, что применение вероятностно-статистических методов может рассматриваться как основа, позволяющая эксперту сделать категорические выводы [7].
Применение второго подхода позволяет определить вероятность предшествующего события по факту совершения последующего, т. е. описать вероятностной характеристикой связь между возможной причиной и следствием. В системе англо-американского права такой подход допускается при представлении суду результатов судебной экспертизы.
По существу, в основу байесовского подхода положено сравнение, сопоставление взаимоисключающих гипотез (альтернативных предположений).
Совместное использование количественных и качественных показателей представляет собой определенную методологическую проблему [16].
Одним из возможных путей решения этой проблемы является использование математических методов теории нечетких множеств [5, 9]. В этом случае использование базового понятия этой теории — функции принадлежности — для количественных и качественных показателей позволяет далее обрабатывать их совместно.
Если качественные показатели уже по своей природе являются нечеткими, то нечеткость, «размытость» количественных показателей вводится как результат неточного их измерения или получения при моделировании.
На основании изложенного можно предложить следующий подход к выполнению экспертного исследования.
Примем к использованию идею байесовского подхода по сопоставлению альтернативных предположений (АП), вырабатываемых в ходе экспертного исследования.
Сформируем множество исходных альтернативных предположений. Каждому АП (элементу этого множества) поставим в соответствие набор значений количественных и качественных показателей.
Учтем возможные ограничения на значения показателей, логическую непротиворечивость и физическую реализуемость АП и получим множество допустимых альтернативных предположений.
Введем понятие нечеткого множества актуальных альтернативных предположений и определим функции принадлежности этому множеству элементов множества допустимых альтернативных предположений.
Используя вычисленные значения функций принадлежности и применяя математические методы целевого программирования и теории нечетких множеств, определим то альтернативное предположение, которое следует считать результатом экспертного исследования.
Процедура получения результата экспертного исследования представлена на рис. 1.
Рис. 1. Логическая организация процедуры получения результата экспертного исследования
Определение функций принадлежности для количественных и качественных показателей
Сделаем предположение, что все используемые показатели положительно ориентированы.
Определим функции принадлежности всех АП нечеткому множеству актуальных альтернативных предположений по показателю Юг-, / = 1,771.
Всего рассматривается т показателей, из них: (1, ..., с-1) — количественные;
(с, ..., т) — качественные. _
Тогда для каждого АП х, , = 1 ,К (К — мощность множества допустимых альтернативных предположений) по каждому показателю шг, / = 1,771, величина определяется как функция принадлежности альтернативного предположения х) нечеткому множеству Мцх актуальных альтернативных предположений (см. рис. 1).
Рассмотрим способы определения величины щ . Значения количественных показателей считаются полученными для каждого альтернативного предположения.
Функция принадлежности для количественного показателя задается в виде1:
_ шЦх^-щ'^ (1)
' ,
где & = — диапазон изменения /-го
показателя, — нижний (в смысле «худший») предел диапазона изменения /-го показателя; ш-2 — верхний (в смысле «лучший») предел; — измеренное или полученное в результате моделирования значение показателя альтернативного предположения х) .
Таким образом для каждого АП х, можно получить набор функций принадлежности
\1)= {р'ц, ..., },j = 1,К.
Дальнейшее использование ^ связано с употреблением в том или ином виде свертки набора функций принадлежности
1 Кофман А. Введение в теорию нечетких множеств. М. : Радио и связь, 1982. 120 с.;
Орловский С. А. Проблемы принятия решений при нечеткой исходной информации. М. : Наука, 1981. 312 с.
Ш р£ = 1,
(2)
где коэффициент Р, — важность /-го показателя, определяемый экспертным способом (0 < Р, < 1).
Как правило, Р,- = const при изменении внутри диапазона d, (рис. 2) или присутствует линейная зависимость = (рис. 3). Очевидно, что приращение показателя Аш[ имеет большую важность в верхней части диапазона d,, чем в нижней.
в
в/
(х])
Отсюда значение функции принадлежности рассматриваемого альтернативного предположения ху нечеткому множеству актуальных альтернативных предположений по качественному показателю ш-'определит-ся следующим образом:
Му = 1 Муг •
^'i (х])
ш
п
ш
(2
Ш
(1
ш
(2
Рис. 2. Постоянный коэффициент важности Р, на диапазоне изменения Ad,
Для введения нелинейной (например, ступенчатой) зависимости Р, = Р, )) целесообразно диапазон изменения показателя ОХ разделить на некоторое число поддиапазонов Е1 величиной Ас/,:
Е =
Adi
и для каждого 8г-го поддиапазона задать (рис. 4) коэффициент р.а. важности при условии нормировки
Тогда функция принадлежности АП х^ по г-му нечёткому количественному показателю, имеющему значение (х;) и относящемуся к 8,-му поддиапазону, определяется следующим образом:
где - определяется из (1). В этом случае (2) представляется в виде:
My = £¿=1 Pisi М-ij = Mi;5
где
Пусть качественный показатель ^ , I = С,т имеет дг уровней градаций. Тогда
—. если <х>,- (xj) > I;
q. i \ U
Vijl =
I j = 1.,K;i = c,m;l = 1 ,q. О, если w-'(xy) < I.
Рис. 3. Линейная зависимость коэффициента важности от изменения показателя
(х]])
ш
¿1
ш
¿2
(3)
выбирается из множества
Bi = {Pj£j|Sj = 1,Е1} в соответствии с условиями: (Adt)Et < (Xj) < (AdiXEj + 1); (X])^ (Ad^Ei; Ei = 1,Ег
(4)
Рис. 4. Ступенчатое изменение коэффициента важности на диапазоне изменения Аёг
Последнее означает, что если при оценке объекта по качественному показателю предусмотрено десять градаций (уровней оценки), а сам объект отнесен, например, к седьмой градации, то функция принадлежности в этом случае равна 0,7.
Определение результата экспертного исследования
Введем понятие хид — «идеального» гипотетического альтернативного предположения, для которого функции принадлежности по всем показателям принимаются равными единице:
М^ид = * = 1,с - 1; М^ид = Ы = с~/т-
Используем понятие хид для определения результата экспертного исследования. Очевидно, что может
в
0
0
в
0
быть выделено такое альтернативное предположение, которому соответствует минимальное отличие от хид.
Близость альтернативного предположения х, к «идеальному» альтернативному предположению хид можно оценить с помощью обобщенного расстояния Хемминга в т-мерном пространстве (пространстве показателей)2.
Обобщенное расстояние Хемминга в данном случае выражается формулой:
х,)=т - (Ш р^ ^ + ^ (5) Результатом экспертного исследования признается альтернативное предположение х*, для которого &(хвд, х ) < &(хид, х,) Ух, £ Хд, где Хд — множество допустимых альтернативных предположений.
Исходя из изложенного, алгоритм определения результата экспертного исследования можно представить в следующем виде:
Шаг 1. Задание множества исходных альтернативных предположений по рассматриваемой экспертной процедуре.
Шаг 2. Определение вида используемых показателей и их значений для каждого альтернативного предположения.
Шаг 3. Определение множества допустимых альтернативных предположений, исходя из возможных допустимых ограничений на значения параметров альтернативных предположений, их логической непротиворечивости и физической реализуемости.
Шаг 4. Введение понятия нечеткого множества актуальных альтернативных предположений и определение функции принадлежности этому множеству элементов множества допустимых альтернативных предположений.
Шаг 5. Поиск, использующий метод целевого программирования, на полученном множестве допустимых альтернативных предположений того предположения, которое будет признано как итоговый результат экспертного исследования.
Функции принадлежности нечетких количественных и качественных показателей определяются по выражениям (1) и (4). Свертка функций принадлежности производится согласно (3). Итоговый результат экспертного исследования соответствует альтернативному предположению, имеющему минимальное обобщенное расстояние Хэмминга (5).
Пример реализации экспертного алгоритма
Пусть выполняется строительно-техническая экспертиза, в ходе которой после анализа технического состояния строительного объекта, его планировки и
2 Кофман А. Введение в теорию нечетких множеств. М. : Радио и связь, 1982. 120 с.;
Орловский С. А. Проблемы принятия решений при нечеткой исходной информации. М. : Наука, 1981. 312 с.
степени благоустройства определены два альтернативных предположения:
х1 — строительному объекту требуется комплексный капитальный ремонт;
х2 — строительному объекту требуется выборочный капитальный ремонт.
Ставится задача определения итогового результата экспертизы из набора альтернативных предположений X = {хЬ х2}.
Заданы следующие исходные данные. Количественные и качественные показатели альтернативных предположений:
Ю1 — вероятность выполнения ремонта в заявленные сроки;
Ю2 — время выполнения ремонта; Ю3 — сложность выполнения ремонта (качественный показатель).
Допустимые диапазоны изменения указанных показателей соответственно: & = 0,65 ... 0,95;
&2 = 5 ... 10 единиц времени (ед. вр.);
= 10 — количество градаций для показателя Ю3. Для простоты предположим, что коэффициенты важности показателей Ю1, Ю2 неизменны внутри диапазонов изменения и принимаются равными: в] = 0,6; Р2 = 0,4.
Пусть альтернативному предположению х1 соответствует семь уровней градации по показателю Ю3, а х2 — шесть уровней; значения двух других показателей для х1 и х2 принимаются равными:
Ю](х]) = 0,8, Ю](х2) = 0,71;
Ю2(х]) = 8 ед. вр., Ю2(х2) = 7 ед. вр.
Пусть значения показателей альтернативных предположений х1 и х2 удовлетворяют имеющимся ограничениям, а сами предположения логически непротиворечивы и физически реализуемы и поэтому предположения х1 и х2 можно отнести к множеству допустимых альтернативных предположений.
Определим функции принадлежности альтернативных предположений нечеткому множеству актуальных альтернативных предположений. Используя (1), (4), получим:
= 0,5; ^21 = 0,4; ^ = 0,7; Ц]2 = 0,2; Ц22 = 0,6; ^ = 0,6. Согласно (5) обобщенное расстояние Хэмминга для альтернативных предположений х1 и х2 принимает значение:
<&(хвд , хО = 1,84; &(хид , х2) = 2,04.
Результатом экспертного исследования признается альтернативное предположение х1, так как этому предположению соответствует меньшее значение обобщенного расстояния Хэмминга.
Таким образом, рассмотрен новый научно-методический подход к решению задач определения результатов судебно-экспертных исследований на основе логического моделирования правовых отношений и информационных связей в правовой сфере, системно-
го анализа взаимосвязи предметной области правовой сферы, объектов судебно-экспертной деятельности и основных объектов и методов теории принятия решений и теории нечетких множеств (в частности, пред-
Литература
ложена процедура вычисления нечетких отношений предпочтения), а также разработан алгоритм определения результата экспертного исследования и приведен численный пример его реализации.
1. Аснис А. Я., Иванова М. А., Хазиев Ш. Н. Судебно-экспертное определение стоимости объектов интеллектуальной собственности // Теория и практика судебной экспертизы. 2019. Т. 14. № 3. С. 40—45. DOI: 10.30764/18192785-2019-14-3-40-45.
2. Бутырин А. Ю., Данилкин И. А. Совершенствование судебно-экспертных исследований реконструируемых зданий и сооружений // Теория и практика судебной экспертизы. 2017. Т. 12. № 2. С. 27—33.
3. Бутырин А. Ю., Кулаков К. Ю. Исходные данные для проведения судебно-оценочных исследований // Теория и практика судебной экспертизы. 2011. № 3. С. 34—41.
4. Ващекина И. В., Ващекин А. Н. Оптимизация экспертно-оценочной деятельности при сделках с недвижимостью: экономико-математическая модель // Недвижимость: экономика, управление. 2018. № 3. С. 23—29.
5. Ващекин А. Н. Применение математических методов теории нечетких множеств при моделировании принятия решений в экономической и правовой сфере // Экономика. Статистика. Информатика. Вестник УМО. 2013. № 6. С. 18—21.
6. Герасименко В. В., Долин А. Н., Шипилова И. А. Решение экспертных вопросов, связанных с определением рыночной стоимости строительных объектов и земельных участков, функционально связанных с ними // Метод. рек. по проведению стоимостных и преобразовательных исследований при производстве судебных строительно-технических экспертиз / Под ред. А. Ю. Бутырина. М. : РФЦСЭ, 2016. С. 7—264.
7. Градусова О. Б., Кузьмин С. А. К вопросу о вероятностно-статистической интерпретации результатов судебно-экспертных исследований // Теория и практика судебной экспертизы. 2017. Т. 12. № 4. С. 27—33.
8. Ершов В. В., Ловцов Д. А. Концепция непрерывной информационной подготовки юриста // Информационное право. 2007. № 3. С. 29—34.
9. Королев В. Т., Ловцов Д. А., Радионов В. В. Системный анализ. Часть 2. Логические методы / Под ред. Д. А. Лов-цова. М. : Росс. гос. ун-т правосудия, 2017. 164 с. ISBN 978-5-93916-638-6.
10. Ловцов Д. А. Системология правового регулирования информационных отношений в инфосфере : монография. М. : Росс. гос. ун-т правосудия, 2016. 316 с. ISBN 978-5-93916-505-1.
11. Ловцов Д. А. Системный анализ. Часть. 1. Теоретические основы. М. : Росс. гос. ун-т правосудия, 2018. 224 с. ISBN 978-5-93916-701-7.
12. Ловцов Д. А. Эффективные методы защиты результатов интеллектуальной деятельности в инфосфере глобальных телематических сетей // Открытое образование. 2016. Т. 20. № 5. С. 85—88. DOI: 10.21686/1818-42432016-5-85-88.
13. Ловцов Д. А., Богданова М. В., Лобан А. В. Информационно-математическое обеспечение правового регулирования оборота результатов интеллектуальной деятельности // Правовая информатика. 2018. № 4. С. 15—23. DOI: 10.21681/1994-1404-2018-4-15-23.
14. Ловцов Д. А., Галахова А. Е. Защита интеллектуальной собственности в сети Интернет // Информационное право. 2011. № 4. С. 13—20.
15. Федосеев С. В. Инфологическая модель комплекса средств автоматизации компьютерных деловых игр в экспертной деятельности // Правовая информатика. 2019. № 4. С. 40—49. DOI: 10.21681/1994-1404-2019-4-40-49.
16. Царькова Е. В. Информационно-математическое обеспечение задач «цифровой» экономики в нечетких условиях // Правовая информатика. 2019. № 1. С.18—28. DOI: 10.21681/1994-1404-2019-1-18-28.
Рецензент: Бурый Алексей Сергеевич, доктор технических наук, эксперт РАН, директор департамента ФГУП «Российский научно-технический центр информации по стандартизации, метрологии и оценке соответствия», Российская Федерация, г. Москва. E-mail: a.s.burij@gostinfo.ru
USING MATHEMATICAL METHODS OF FUZZY SET THEORY IN CARRYING OUT FORENSIC EXAMINATIONS
Sergei Fedoseev, Ph.D. (Technology), Associate Professor, Professor at the Department of Information Technology Law, Informatics and Mathematics of the Russian State University of Justice, Moscow, Russian Federation. E-mail: fedsergvit@mail.ru
Keywords: expert and forensic examinations, objects of forensic activities, quantitative and qualitative indicators, approaches to carrying out forensic examinations, joint use of quantitative and qualitative indicators, membership functions of alternative assumptions.
Abstract.
Purpose of the work: justifying a methodological approach to solving problems of determining the results of forensic examinations.
Methods used: logical modelling of legal relations and information relations in the legal sphere, system analysis of relationships between the subject area of the legal sphere, objects of forensic activities, and the main objects and methods of the decision-making theory and fuzzy set theory.
Results obtained: an analysis of approaches to carrying out forensic examinations as well as of areas of forensic activities is performed, a need for jointly using quantitative and qualitative indicators is established, using mathematical methods of fuzzy set theory and decision-making theory in expert examinations is justified, a procedure for calculating fuzzy preference relations is presented, an algorithm for determining the result of expert examination is worked out, and an example of implementation of the developed algorithm is given.
References
1. Asnis A. Ia., Ivanova M. A., Khaziev Sh. N. Sudebno-ekspertnoe opredelenie stoimosti ob"ektov intellektual'noi sobstvennosti. Teoriia i praktika sudebnoi ekspertizy, 2019, t. 14, No. 3, pp. 40-45. DOI: 10.30764/1819-2785-201914-3-40-45.
2. Butyrin A. Iu., Danilkin I. A. Sovershenstvovanie sudebno-ekspertnykh issledovanii rekonstruiruemykh zdanii i sooruzhenii. Teoriia i praktika sudebnoi ekspertizy, 2017, t. 12, No. 2, pp. 27-33.
3. Butyrin A. Iu., Kulakov K. Iu. Iskhodnye dannye dlia provedeniia sudebno-otsenochnykh issledovanii. Teoriia i praktika sudebnoi ekspertizy, 2011, No. 3, pp. 34-41.
4. Vashchekina I. V., Vashchekin A. N. Optimizatsiia ekspertno-otsenochnoi deiatel'nosti pri sdelkakh s nedvizhimost'iu: ekonomiko-matematicheskaia model'. Nedvizhimost': ekonomika, upravlenie, 2018, No. 3, pp. 23-29.
5. Vashchekin A. N. Primenenie matematicheskikh metodov teorii nechetkikh mnozhestv pri modelirovanii priniatiia reshenii v ekonomicheskoi i pravovoi sfere. Ekonomika. Statistika. Informatika. Vestnik UMO, 2013, No. 6, pp. 18-21.
6. Gerasimenko V. V., Dolin A. N., Shipilova I. A. Reshenie ekspertnykh voprosov, sviazannykh s opredeleniem rynochnoi stoimosti stroitel'nykh ob"ektov i zemel'nykh uchastkov, funktsional'no sviazannykh s nimi. Metod. rek. po provedeniiu stoimostnykh i preobrazovatel'nykh issledovanii pri proizvodstve sudebnykh stroitel'no-tekhnicheskikh ekspertiz. Pod red. A. Iu. Butyrina. M. : RFTsSE, 2016, pp. 7-264.
7. Gradusova O. B., Kuz'min S. A. K voprosu o veroiatnostno-statisticheskoi interpretatsii rezul'tatov sudebno-ekspertnykh issledovanii. Teoriia i praktika sudebnoi ekspertizy, 2017, t. 12, No. 4, pp. 27-33.
8. Ershov V. V., Lovtsov D. A. Kontseptsiia nepreryvnoi informatsionnoi podgotovki iurista. Informatsionnoe pravo, 2007, No. 3, pp. 29-34.
9. Korolev V. T., Lovtsov D. A., Radionov V. V. Sistemnyi analiz. Chast' 2. Logicheskie metody. Pod red. D. A. Lovtsova. M. : Ross. gos. un-t pravosudiia, 2017, 164 pp. ISBN 978-5-93916-638-6.
10. Lovtsov D. A. Sistemologiia pravovogo regulirovaniia informatsionnykh otnoshenii v infosfere : monografiia. M. : Ross. gos. un-t pravosudiia, 2016, 316 pp. ISBN 978-5-93916-505-1.
11. Lovtsov D. A. Sistemnyi analiz. Chast. 1. Teoreticheskie osnovy. M. : Ross. gos. un-t pravosudiia, 2018, 224 pp. ISBN 978-5-93916-701-7.
12. Lovtsov D. A. Effektivnye metody zashchity rezul'tatov intellektual'noi deiatel'nosti v infosfere global'nykh telematicheskikh setei. Otkrytoe obrazovanie, 2016, t. 20, No. 5, pp. 85-88. DOI: 10.21686/1818-4243-2016-5-85-88.
13. Lovtsov D. A., Bogdanova M. V., Loban A. V. Informatsionno-matematicheskoe obespechenie pravovogo regulirovaniia oborota rezul'tatov intellektual'noi deiatel'nosti. Pravovaia informatika, 2018, No. 4, pp. 15-23. DOI: 10.21681/19941404-2018-4-15-23.
14. Lovtsov D. A., Galakhova A. E. Zashchita intellektual'noi sobstvennosti v seti Internet. Informatsionnoe pravo, 2011, No. 4, pp. 13-20.
15. Fedoseev S. V. Infologicheskaia model' kompleksa sredstv avtomatizatsii komp'iuternykh delovykh igr v ekspertnoi deiatel'nosti. Pravovaia informatika, 2019, No. 4, pp. 40-49. DOI: 10.21681/1994-1404-2019-4-40-49.
16. Tsar'kova E. V. Informatsionno-matematicheskoe obespechenie zadach "tsifrovoi" ekonomiki v nechetkikh usloviiakh. Pravovaia informatika, 2019, No. 1, pp. 18-28. DOI: 10.21681/1994-1404-2019-1-18-28.
