CC BY
22
DOI: 10.24143/2072-9502-2019-2-86-97 УДК 004: 007.51
ПРОЦЕДУРА ОЦЕНКИ СТЕПЕНИ ДОВЕРИЯ ЭКСПЕРТУ
НА ПРИМЕРЕ ЗАДАЧИ ВОЗРАСТНОГО КАТЕГОРИРОВАНИЯ ВЕБ-КОНТЕНТА
В. А. Гостюнина, Н. В. Давидюк, В. В. Давидюк, А. З. Байтуменов
Астраханский государственный технический университет, Астрахань, Российская Федерация
Решение множества задач без применения экспертных процедур на текущий момент невозможно. Некоторые из них при этом требуют привлечения достаточно большого количества экспертов, повышая вероятность ошибок вследствие влияния человеческого фактора, фабрикации и фальсификации экспертных оценок. Предложен метод получения количественной оценки степени доверия экспертам, позволяющий повысить качество и точность результатов экспертных процедур. Разработанный метод позволяет учитывать как уже сложившуюся репутацию эксперта, так и его реакцию в процессе проведения экспертизы. Приведено описание и примеры расчетов ключевых показателей, участвующих в формировании коэффициента обратной связи эксперта при применении одного из самых распространенных экспертных методов - опроса: длительности заполнения (ответа) на вопрос, временной разницы между ответами на связанные вопросы, наличия некорректных ответов на вопросы-ловушки. Адекватность метода подтверждена результатами расчетного эксперимента на примере решения задачи возрастной категоризации веб-ресурсов с привлечением группы из 20 экспертов. Разработанный метод поддается дальнейшей алгоритмизации и может быть применен в системах поддержки принятия решений различного назначения.
Ключевые слова: эксперт, экспертная процедура, коэффициент доверия эксперту, показатель, коэффициент репутации, коэффициент обратной связи, опрос.
Для цитирования: Гостюнина В. А., Давидюк Н. В., Давидюк В. В., Байтуменов А. З. Процедура оценки степени доверия эксперту на примере задачи возрастного категорирования веб-контента // Вестник Астраханского государственного технического университета. Серия: Управление, вычислительная техника и информатика. 2019. № 2. С. 86-97. DOI: 10.24143/20729502-2019-2-86-97.
Введение
На сегодняшний день множество задач в различных областях требуют привлечения экспертов в процессе их решения. В сфере обеспечения информационной безопасности, например, к такого рода задачам относятся анализ объектов информатизации в части составления модели угроз, модели нарушителя, классификация и категорирование веб-контента с точки зрения его безопасности и т. д. При отсутствии инструментального метода оценивания тех или иных критериев неизбежно приходится прибегать к методу экспертных оценок.
При вовлечении человека в решение той или иной задачи с определенной вероятностью могут возникнуть проблемы человеческого фактора, в том числе различного рода ошибки вследствие халатности или недобросовестного выполнения обязанностей. Вероятность возникновения данных проблем снижается при условии компетентности отдельного эксперта, уровень которой необходимо достоверно определить [1]. Однако при осуществлении строгого отбора компетентных специалистов возникают другие сложности: существенные материальные затраты для осуществления экспертной процедуры, нехватка кадров и эффективности экспертной деятельности. Компромиссом в данном вопросе при решении некоторого круга задач является выбор лиц, не являющихся специалистами в области экспертного оценивания, но способных корректно и адекватно осуществлять данный вид деятельности. Основанием для такого суждения о субъекте может быть его принадлежность к пользователям объекта оценивания, таким образом, он обладает всей необходимой информацией для формирования своего экспертного заключения в данном вопросе. Примером может являться задача фильтрации и возрастной категоризации веб-контента, в которой экспертами могут выступить опытные пользователи сети Интернет. Более того, в данной задаче экспертную оценку могут предоставить родители несовершеннолетних детей в силу своей прямой заинтересованности в идентификации и блокировке деструктивной информации в Интернете.
При применении такого подхода к процедуре экспертной оценки процент некорректных результатов будет неизбежно выше по сравнению с предварительным отбором компетентных специалистов. Данный недостаток может быть устранен вводом некоторого количественного коэффициента доверия для каждого эксперта в системе, отражающего адекватность и эффективность его деятельности и корректирующего результаты его оценивания. Это позволяет контролировать результаты экспертных заключений и нивелировать отсутствие соответствующей специализации у субъектов системы.
Кроме того, нельзя исключать возможность фабрикации и фальсификации экспертных оценок. Данная угроза представляет наибольшую опасность при дистанционном опросе экспертов, который в настоящее время является достаточно распространенным методом проведения экспертных процедур. Успешная реализация фабрикации и фальсификации оценок негативно повлияет на корректность итогового экспертного заключения в рамках решения той или иной задачи.
В контексте минимизации влияния рассмотренных факторов возникает актуальная задача разработки метода оценки степени доверия эксперту с целью контроля результатов и повышения достоверности экспертной деятельности. При этом в оценке должно учитываться, с одной стороны, текущее состояние субъекта, его способность к прохождению экспертного опроса на текущий момент и адекватность его оценки и, с другой стороны, его «репутация» на основе уже проведенной экспертной деятельности [2]. Оценка степени доверия должна быть объективной и универсальной к применению.
Кроме того, процедура оценки степени доверия эксперту должна удовлетворять следующим требованиям [3]:
1. Анонимность экспертов - при проведении экспертной процедуры эксперту не предоставляются идентификационные данные и коэффициенты репутации других субъектов.
2. Независимость экспертов - эксперты никак не взаимодействуют друг с другом и не имеют информации о действиях, осуществляемых другими субъектами при проведении процедуры.
3. Отсутствие преимущества у новых экспертов - на момент ввода нового эксперта ему присваивается начальное значение коэффициента репутации, которое затем изменяется в соответствии с результатами его экспертной деятельности и установленным алгоритмом.
4. Устойчивость системы, основанной на методе: некомпетентные эксперты или злоумышленники не в состоянии существенно повлиять на итоговую экспертную оценку вследствие их низких коэффициентов репутации и доверия.
5. Саморегулируемость системы, основанной на методе: с увеличением количества экспертов увеличивается и сумма всех коэффициентов репутации, таким образом, уменьшается степень влияния каждого субъекта на итоговую экспертную оценку. Кроме того, коэффициенты репутации субъектов также корректируются автономно.
Описание разработанного метода
В соответствии с поставленными требованиями был разработан метод оценки степени доверия эксперту, позволяющий учитывать как его сложившуюся на момент проведения экспертизы репутацию, так и реакцию в процессе прохождения экспертной процедуры.
Введем следующие понятия.
Коэффициент репутации эксперта К - характеристика, определяющая вес оценки эксперта на основе произведенных им экспертных процедур:
_ | К, если эксперт новый , ' [К в иных случаях , ' = 1, ..., т , (1)
где т - количество экспертов, участвующих в процедуре; Л. - начальный коэффициент репутации нового эксперта, принимающий конкретное числовое значение, одинаковое для всех экспертов; Щ - скорректированный по результатам прохождения экспертной процедуры коэффициент репутации эксперта.
Коэффициент обратной связи эксперта К - характеристика, определяющая вес его текущей экспертной оценки на основе заданных критериев. Эта характеристика определяется с помощью системы показателей, позволяющих оценить реакцию эксперта в процессе проведения экспертизы. В общем случае
R° = F (R, R,, R,),
где 5 - количество учитываемых показателей.
В работе рассмотрены 3 ключевых показателя и предлагается следующая зависимость для определения №:
3
RO = RO да
S=1
где Ко - начальное значение коэффициента обратной связи эксперта.
Коэффициент доверия эксперту К - величина, характеризующаяся совокупностью коэффициента репутации и коэффициента обратной связи:
К = F(Я0, К).
1 \ 1 1 /
«Грязная» (невзвешенная) экспертная оценка - экспертная оценка без учета коэффициента доверия.
«Чистая» (взвешенная) экспертная оценка - итоговая оценка экспертов, полученная с учетом влияния на нее их коэффициентов доверия.
Получение «чистой» экспертной оценки согласно разработанному методу оценки доверия эксперту происходит следующим образом:
1. Определение множества экспертов.
Пусть в процедуре участвуют т экспертов, образующих множество экспертов А: А = {А}, А е Z; ' = 1, ..., т.
2. Получение «грязных» оценок.
Каждый из т экспертов проходит экспертную процедуру, в результате чего получается множество «грязных» экспертных оценок О: О _ {О {}, О { е Z; ' = 1, ..., т.
Также в результате проведения экспертизы рассчитываются коэффициенты обратной связи для каждого эксперта Ко: К = {К}, К е 2; ' = 1, ..., т.
3. Расчет коэффициентов доверия для каждого эксперта К1:
Rd = R + R,
2 (2)
где К - коэффициент репутации '-го эксперта; К - коэффициент обратной связи. В результате получается множество
_ 1 Т\1 I
Rd={Rd}; i= 1, ..., m.
4. Определение «чистой» оценки.
4.1. Выделение из множества А подмножества экспертов с одинаковыми экспертными оценками О^:
о = uk {ojio = о2 = okj},
где k - количество подмножеств экспертов с одинаковыми оценками; ] - количество экспертов в подмножестве.
4.2. Вычисление итоговой оценки. Конкретный расчетный способ ее нахождения может варьироваться в зависимости от поставленной задачи. Положим:
W =
(3)
Qj
max ; ' 'd
x; r
5. Корректировка коэффициентов репутации экспертов К на основании «чистой» экспертной оценки Ж:
5.1. Декомпозиция множества экспертов А на 2 подмножества:
А = {А} = {А+|<2, = Ж} и {А:|<2, * Ж};
А+ п А" =0, А с А, А с А.
5.2. Уточнение для указанных подмножеств коэффициентов репутации следующим образом:
К =
Г К (А-)К К+—V—УА. е А+, ' тК (А) '
К (А+) К
К--^—'— УА. е А-.
(4)
тК (А)
где В.Г(А ) - сумма коэффициентов репутации экспертов из подмножества А":
К (А>ЕП-, (5)
где I - количество экспертов в подмножестве А ; КГ(А) - сумма коэффициентов репутации экспертов из подмножества А+:
К (А+) = ^КА+,
где п - количество экспертов в подмножестве А+. Для новых экспертов К = К.
Схематично разработанный метод представлен на рис.
(6)
1. Выбор т экспертов для опроса Эксперт 1 Эксперт 2 Эксперт т
т • г 1 Г.
2. Прохождение опроса Проиетр;
экспертами, расчет . т-учено
коэффициентов обратной '. связи
грязной
оценки п
/Процедура^
получения I грязной оценки п2
/Процедурах получения I грязной
оценки пт
/
3. Пл:уч;н:е когффщижгов репутации; расчет коэффициенте! неверия ЭЕСПерГОЕ
4. ?г ^нтнюгоьоГ: экспертной оценки на основе коэффициентов доверия
5. Обновление коэффициентов репутации экспертов на основе их грязных оценок
■ доверия К1 .
('Корректировка^ коэффициента I
репутации К1 \
\
Расчет \ |коэфф илиенха) ■ доверия К2
\ '
{Корректировка \ | коэффициента 1
репутации К2 ' \ ' /
Расчет \ (коэффициент) ■ доверия К'т ■
(Корректировка^^ коэффициента
репутации К т
Схема проведения экспертной процедуры на основе разработанного метода
п
Показатели для получения коэффициента обратной связи эксперта
В результате анализа практических процедур экспертной оценки были выявлены следующие ключевые показатели, позволяющие в дальнейшем оценить коэффициент обратной связи, а затем и степень доверия эксперту (рассматриваемый метод экспертизы - дистанционный опрос).
1. Длительность заполнения ответа на вопрос (фильтрация тестирований со слишком быстрой длительностью заполнения).
Слишком быстрое прохождение опроса сигнализирует о возможности того, что респондент является «спидстером» (проходящим тестирование на скорость, не думая над ответами) [4]. Задачей является определение предела длительности прохождения, ниже которого показатели являются недопустимыми.
Пусть Т - данная длительность заполнения, Та - среднее арифметическое показателей длительности заполнения за все время, о - среднеквадратическое отклонение показателей длительности заполнения за все время, Т' - длительность заполнения опроса, обработанного ранее, п - количество обработанных ранее опросов:
1 п
та—;
п 1=1
■■=]1 ¿а - т )2-
Vй 1=1
Если \Т — Тв| > 2о , то коэффициент обратной связи № снижается, т. к. отклонение данного
времени заполнения от медианы вдвое превысило показатель рассеивания предыдущих показателей времени заполнения относительно математического ожидания.
Пусть начальная (и максимальная) обратная связь эксперта К _ 100, длительность заполнения Т _ 15 мин _ 900 с, среднее арифметическое показателей длительности заполнения Та _ 10 мин _ 600 с, среднеквадратическое отклонение показателей длительности заполнения о _ 1 мин _ 60 с, тогда |Т — Та| = 300 с > 2о = 120 с ^ снижается на величину отношения предела отклонения длительности заполнения от среднего арифметического 2о к данному отклонению |Т — Та\:
К = К |—20 | = 100 • 120 = 40 - скорректированный коэффициент обратной связи.
|Т Та| 300
2. Разница во времени между ответами на связанные вопросы.
Если в экспертной процедуре существует ряд связанных контекстом вопросов (например, несколько вопросов по показанной эксперту картинке) и нет возможности вернуться к предыдущим вопросам и материалам, то эксперт должен ответить на эти вопросы за короткий промежуток времени. Если эксперт отвечает на часть данных вопросов, например, через сутки, маловероятно, что он восстановит контекст тестирования по памяти.
Пусть t1, ..., tn - показатели длительности прохождения логически связанных вопросов, п - количество данных идущих подряд вопросов, tm - предел времени, после которого эксперт с большой долей вероятности не сможет восстановить в памяти контекст, чтобы корректно отвечать на дальнейшие вопросы. Тогда, если существует такое, что ^ > tm, то коэффициент обратной связи уменьшается.
Пусть начальная (и максимальная) обратная связь эксперта К _ 100, количество связанных контекстом вопросов п _ 3, длительности ответа на связанные контекстом вопросы t1 _ 120 с, t2 _ 900 с, ^ _ 240 с, предел длительности ответа tm _ 10 мин _ 600 с, тогда t2 > tm _>К снижается на величину отношения предела длительности ответа tm к длительности ответа t2, превышающего данный предел:
о tm 2о 600 120 = К, --.-г = 100 ----= 26,67 - скорректированная обратная связь.
2 ^ \Т — Та| 900 300
3. Ответы на вопросы-ловушки.
Примером такого вопроса является «Законно ли распространение детской порнографии в Российской Федерации?». Если ответ эксперта - «да», ценность данного экспертного мнения резко снижается.
Пусть G - количество некорректных ответов эксперта на вопросы-ловушки, Gmax - установленный экспериментально предел таких ошибок. Если G > Gmax, вероятность того, что эксперт является «спидстером», резко повышается.
Пусть начальная (и максимальная) обратная связь эксперта R0 = 100, количество некорректных ответов на вопросы-ловушки G = 2, предел некорректных ответов на вопросы-ловушки Gmax = 1, тогда G > Gmax => R° снижается на величину отношения предела некорректных ответов на вопросы-ловушки Gmax к количеству данных некорректных ответов О:
ПО о о Отах т 2о 1 600 120
К3 = Кн —-- = 100 ------= 13,33 - скорректированная обратная связь.
3 н О ^ |Т - 2 900 300
Расчетный эксперимент
Разработанный метод был апробирован на примере решения актуальной задачи возрастного категорирования веб-контента согласно требованиям ФЗ № 436 [5, 6]. Для участия в сессии поставленных экспериментов привлекались 20 экспертов.
Первый эксперимент заключался в получении начального значения коэффициента репутации экспертов в результате прохождения ими серии из 10 экспертиз по оценке разных сайтов с различной возрастной маркировкой. Следующий эксперимент был направлен на исследование влияния коэффициента доверия К4 эксперту на итоговый результат экспертизы путем формирования и сравнения возрастной оценки конкретного веб-ресурса с учетом и без учета коэффициентов репутации К и обратной связи экспертов К0.
В значительной степени экспертиза особенностей восприятия информационного продукта, как сформулировано в ст. 6, п. 2-2, ФЗ № 436, заведомо носит предположительный, субъективированный характер, поскольку эксперт не изучает особенности восприятия детьми исследуемого сайта, но, опираясь на знание соответствующей литературы, на свой жизненный опыт, может предположить, какие эффекты способен произвести тот или иной материал. Поэтому получение экспертных оценок осуществлялось анкетно-вопросным методом (табл. 1), при этом часть вопросов представляла собой вопросы-ловушки, предназначенные для более точного вычисления коэффициентов обратной связи экспертов.
Таблица 1
Пример опроса по одному возрастному индикатору
Употребление ненормативной лексики Да Нет
Наличие нецензурных слов и выражений (матерных - по словарям ненормативной лексики) вне зависимости от их сюжетной или персонажной функции, особенно в адрес ребенка или из уст ребенка, допускается
Наличие ненормативной лексики в контенте сайта с маркировкой 18+ допускается
Наличие ненормативных речевых оборотов и выражений, сходных до степени смешения с нецензурными, вне зависимости от их сюжетной или персонажной функции, особенно в адрес ребенка или из уст ребенка, допускается
Наличие бранных слов (имеющих в толковых словарях такую пометку и используемых в бранной функции, особенно в адрес ребенка или из уст ребенка) допускается
Наличие ненормативной лексики в контенте сайта с маркировкой 6+ допускается
Наличие вульгарных, жаргонных, экспрессивно-просторечных (имеющих такие словарные пометы) как речевых характеристик персонажей или как средств сюжетной выразительности допускается
В ходе первого эксперимента был проведен опрос 20 человек с целью присвоения сайтам возрастной категории согласно требованиям ФЗ № 436. Для анализа было выбрано 10 сайтов, владельцы которых уже самостоятельно произвели возрастную маркировку ресурса:
- https://www.ntv.ru 18+;
- https://tonkosti.ru/ 16+;
- https://bash.im 18+;
- http: //uotika. ru 0+;
- https://www.kinopoisk.ru 18+;
- https://dic.academic.ru 16+;
- http://disney.ru 0+;
- https://www.metrinfo.ru 16+;
- https://rocit.ru 12+;
- https://www.KTaccHbm^ypHar^era 6+.
За «чистую» оценку W в рамках данного эксперимента были приняты оценки, официально размещенные владельцами ресурсов. Каждому эксперту до начала опросов был присвоен априорный коэффициент репутации R[, равный 100, в соответствии с формулой (1). По мере прохождения опросов коэффициент репутации Rr каждого эксперта корректировался в зависимости от результата опроса. При совпадении оценки эксперта с «чистой» оценкой сайта коэффициент репутации эксперта повышался, в обратном случае - понижался. Данная корректировка описывается формулами (4)-(6).
Результаты расчета коэффициентов репутации экспертов Rr после прохождения 10 опросов сведены в табл. 2.
Таблица 2
Коэффициенты репутации экспертов по итогам первого эксперимента
№ эксперта Коэффициент репутации эксперта
1 83,5
2 87,8
3 130,7
4 83,5
5 118,2
6 107,1
7 87,8
8 83,5
9 137,2
10 112,6
11 87,8
12 83,5
13 112,5
14 87,8
15 92,3
16 83,5
17 124,3
18 92,3
19 107,1
20 87,8
Рассмотрим расчет коэффициента репутации эксперта № 1 в данном эксперименте. В ходе проведения серии опросов из 10 для эксперта № 1 рассчитывались промежуточные коэффициенты репу-
1 9 10
тации К' , ... , R1'' и конечный коэффициент репутации R1'' , отображенный в табл. 2:
1 К (А+)К 800-100 2 1 К (А)Rr1 824-98
К = К--V—IX = 100 - 800 100 = 98; К = К--^—= 98 - 824 98 = 96;
1 н тК (А) 20-2000 1 1 тК (А) 20-2000
з 2 К (А+) К' 837 1-96 4 з К (А+) К' 858 4-94
К' = К'--^ ' 1 = 96- 837,1 96 = 94; К = К--^ ' 1 = 94 - 858,4 94 = 92;
1 1 тК (А) 20-2000 1 1 тК (А) 20-2000
5 4 К (А+) < 872 8 • 92 6 , К (Л+) 879 1 • 90
Rr = кг--V—!_^ = 92--г-= 90; К; = К;--V—!_^ = 90 -. ,
7 6
К = к -
тК (А)
к (А+) К;6 тК (А)
20•2000
896,6 • 88 20•2000
тК (А)
20•2000
7 Кг (А+ )К;7 9155 • 86
= 86; К,8 = К;7--1 ' 1 = 86 - 915,5 86 = 84;
тК; (А)
20•2000
9 8 К (А+) К 9217 • 84 и 9 К (А+) 940 4 • 82
= д8--V ; ; 1 = 84--,-= 82; К = К--V. = 82--,-= 80.
1
тК (А)
20•2000
1
1
тК (А)
20•2000
В ходе следующего этапа экспериментальных исследований 20 экспертов производили оценку контента веб-ресурса http://diletant.media. Теперь задача состояла в анализе результатов экспертизы и получения итогового значения возрастной категории сайта с учетом коэффициентов доверия экспертам и без их учета.
Результаты присвоения возрастной категории сайту экспертами без учета коэффициента доверия приведены в табл. 3.
Таблица 3
Результаты присвоения возрастной категории сайту
№ эксперта Категория сайта http://diletant.media
1 16+
2 16+
3 12+
4 16+
5 12+
6 12+
7 12+
8 16+
9 12+
10 12+
11 6+
12 16+
13 6+
14 16+
15 16+
16 16+
17 12+
18 16+
19 12+
20 16+
Таким образом, указанному сайту большинством экспертов присвоена категория 16+, что не соответствует «эталонной» оценке категории сайта. Согласованность экспертов оценивалась с помощью коэффициента вариации [7]:
V = —,
м
где о - среднее квадратическое отклонение оценок эксперта: о = \[о ; Б - дисперсия оценок, данных экспертом:
1 \ 2
Б =
тУ(с* -ме) ,
т -1 е '
где т - число экспертов; С^ - оценка (в баллах или долях) е-го элемента .-м экспертом; Ме - среднее арифметическое значение величины оценки элемента (в баллах или долях):
1 п
м = 1 ус..
Тогда D = 119((16 -12,65)2 +8 • (12 -12,65)2 + (216 -12,65)2) = 10,74; о = 3,27; V = 0,3.
Полученное значение коэффициента вариации соответствует удовлетворительной степени согласованности экспертов.
По итогам проведения первого эксперимента каждый из экспертов «заработал» свой коэффициент репутации Яг, который характеризует качество его предыдущих оценок и будет учитываться в следующем эксперименте. Кроме того, на данном этапе введем коэффициент обратной связи Я0, который отражает соответствие прохождения опроса поставленным критериям. Коэффициент доверия эксперту рассчитывался по формуле (2). Результаты экспертизы и расчета коэффициентов доверия экспертам сведены в табл. 4.
Таблица 4
Результаты экспертизы и расчета коэффициентов доверия экспертам
№ эксперта Коэффициент репутации эксперта Коэффициент обратной связи эксперта Коэффициент доверия эксперту Оценка сайта http://diletant. media
1 80 36,2 58,1 16+
2 87,8 75,2 81,5 16+
3 110,7 100,0 105,3 12+
4 83,5 72,8 78,1 16+
5 98,2 98,9 98,5 12+
6 87,1 95,8 91,4 12+
7 87,8 100,0 93,9 12+
8 83,5 48,2 65,8 16+
9 117,2 100,0 108,6 12+
10 112,6 96,3 104,4 12+
11 87,8 92,0 89,9 6+
12 83,5 56,9 70,2 16+
13 112,5 92,7 102,6 6+
14 87,8 65,5 76,6 16+
15 92,3 79,3 85,8 16+
16 83,5 70,1 76,8 16+
17 124,3 100,0 112,1 12+
18 92,3 60,4 76,3 16+
19 87,1 100,0 93,5 12+
20 87,8 40,7 64,2 16+
Рассмотрим расчет коэффициента обратной связи Яо на примере эксперта № 1. Его начальный коэффициент обратной связи Я = 100.
Корректировка по показателю «Длительность заполнения»:
- среднеквадратическое отклонение показателей длительности заполнения о = 30 с;
- среднее арифметическое показателей длительности заполнения Та = 480 с;
- длительность заполнения (экспертом № 1) Т = 559 с;
- |Т - Та| = 79 с > 2о = 60 с => Я0 эксперта подвергается негативной корректировке -снижается.
Корректировка по показателю «Разница во времени между ответами на связанные вопросы»:
- количество связанных контекстом вопросов п = 4;
- длительности ответа на связанные контекстом вопросы ^ = 90 с, Ь = 78 с, ^ = 94 с, t4 = 210 с;
- предел длительности ответа tm = 100 с, тогда t4 > tm => Я° эксперта снижается.
Корректировка по показателю «Ответы на вопросы-ловушки»:
- количество некорректных ответов на вопросы-ловушки G = 0;
- предел некорректных ответов на вопросы-ловушки Gmax = 1, тогда G < Gmax => Яо остается неизменным.
Следовательно, по итогам учета 3-х ключевых показателей скорректированный коэффициент обратной связи эксперта № 1 Я,° = Я° --.—2о , = 100 •100 •— = 36,2.
1 ^ \Т -Та| 210 79
В качестве «чистой» оценки выбран результат экспертизы, который соответствует наибольшей сумме коэффициентов доверия экспертам, в соответствии с формулой (3). Из результатов расчетов, приведенных в табл. 5, следует, что итоговая возрастная категория сайта принимается равной 12+, что действительно соответствует официально проставленной маркировке.
Таблица 5
Возрастные категории, присвоенные сайту с учетом суммарного коэффициента доверия
Категория сайта http://diletant.media Суммарный коэффициент репутации Суммарный коэффициент доверия
0+ 0 0
6+ 200,3 192,5
12+ 825 807,7
16+ 865,5 733,4
18+ 0 0
Заключение
В результате проведенных экспериментов продемонстрированы значимость и необходимость учета коэффициентов доверия экспертам при проведении процедуры оценки сайта, а также показана адекватность разработанного метода и процедуры.
Применение разработанной процедуры оценки степени доверия экспертам в процессе проведения экспертных процедур позволяет контролировать достоверность и повышать качество результатов экспертной деятельности при решении широкого спектра задач, требующих вовлечения значительного количества экспертов в дистанционном режиме, в том числе и в сфере информационной безопасности.
СПИСОК ЛИТЕРА ТУРЫ
1. Петросян Е. Р. Компетентность экспертов. М.: Академия стандартизации, метрологии и сертификации, 2013. 53 с.
2. Гостюнина В. А. Определение качества экспертной оценки при проведении категоризации web-контента // Информационные технологии и технологии коммуникации: современные достижения: материалы II Междунар. молодеж. конф. (Астрахань, 11-14 сентября 2018 г.). Астрахань: Изд-во АГТУ, 2018. С. 50.
3. Супруненко А. В. Модели и алгоритмы классификации веб-контента на основе теоретико-игрового подхода: автореф. дис. ... канд. техн. наук. Н. Новгород: Изд-во НГТУ, 2017. 22 с.
4. Федоровский А. М. Качество онлайн-опросов. Методы проверок // Мониторинг общественного мнения: экономические и социальные перемены. 2015. № 3 (127). С. 28-35.
5. О защите детей от информации, причиняющей вред их здоровью и развитию: Федеральный закон от 29 декабря 2010 г. № 436-ФЗ // Российская газета. 2010. иКЬ: https://www.rg.ru/2010/12/31/deti-inform-dok.html (дата обращения: 28.12.2018).
6. Давидюк Н. В., Байдулова Д. Р., Байтуменов А. З., Гостюнина В. А. Анализ содержательных индикаторов для решения задачи по возрастной классификации текстовой информации // Студенческая наука для развития информационного общества: сб. материалов IX Всерос. науч.-техн. конф. Ставрополь: Изд-во СКФУ, 2019. Ч. 1. С. 60-70.
7. Полякова В. В., Шаброва Н. В. Основы теории статистики. Екатеринбург: Изд-во Урал. ун-та, 2015. 142 с.
Статья поступила в редакцию 31.01.2019
ИНФОРМАЦИЯ ОБ АВТОРАХ
Гостюнина Валерия Андреевна - Россия, 414056, Астрахань; Астраханский государственный технический университет; аспирант кафедры системного анализа, управления и обработки информации; [email protected].
Давидюк Надежда Валерьевна - Россия, 414056, Астрахань; Астраханский государственный технический университет; канд. техн. наук, доцент; доцент кафедры информационной безопасности; [email protected].
Давидюк Валерий Владимирович — Россия, 414056, Астрахань; Астраханский государственный технический университет; канд. техн. наук, доцент; доцент кафедры технологических машин и оборудования; [email protected].
Байтуменов Асхат Зулпухарович - Россия, 414056, Астрахань; Астраханский государственный технический университет; студент, направление подготовки «Информационная безопасность»; [email protected].
PROCEDURE OF ASSESSING CREDIBILITY TO THE EXPERT IN TERMS OF THE PROBLEM OF AGE CATEGORIZATION OF WEB CONTENT
Abstract. Currently the solution of a set of tasks is impossible without using expert procedures. At the same time, some of them require the involvement of the great number of experts, increasing the probability of human factor errors, fabrication and falsification of expert assessments. There has been suggested the method of obtaining the quantitative assessment of the degree of trust to experts, which allows to improve the quality and accuracy of the expert procedures. The developed method helps to consider both the established reputation of the expert and his reaction in the course of the expertise. The description and examples of calculations of key indicators involved in the formation of the expert's feedback coefficient (in applying one of the most common expert methods - a survey), such as: duration of filling/answering a question, time difference between answers to the related questions, availability of incorrect answers to trap questions. The adequacy of the method has been confirmed by the results of the computational experiment conducted in a group of 20 experts solving the problem of web resource age categorization. The developed method is amenable to further algorithmization and can be applied in decision support systems for various purposes.
Key words: expert, expert procedure, expert trust coefficient, indicator, reputation coefficient, feedback coefficient, survey.
For citation: Gostyunina V. A., Davidyuk N. V., Davidyuk V. V., Baitumenov A. Z. Procedure of assessing credibility to the expert in terms of the problem of age categorization of web content. Vestnik of Astrakhan State Technical University. Series: Management, Computer Science and Informatics. 2019;2:86-97. (In Russ.) DOI: 10.24143/2072-9502-2019-2-86-97.
1. Petrosian E. R. Kompetentnost' ekspertov [Competency of experts]. Moscow, Akademiia standartizatsii, metrologii i sertifikatsii, 2013. 53 p.
2. Gostiunina V. A. Opredelenie kachestva ekspertnoi otsenki pri provedenii kategorizatsii web-kontenta [Determining the quality of expert evaluation in conducting categorization of web-content]. Informatsionnye tekhnologii i tekhnologii kommunikatsii: sovremennye dostizheniia: materialy II Mezhdunarodnoi molodezhnoi konferentsii (Astrakhan', 11-14 sentiabria 2018 g.). Astrakhan', Izd-vo AGTU, 2018. P. 50.
3. Suprunenko A. V. Modeli i algoritmy klassifikatsii veb-kontenta na osnove teoretiko-igrovogo pod-khoda. Avtoreferat dis. ... kand. tekhn. nauk [Models and algorithms of web-content classification using theoretical and game approach. Abstr. Diss....Cand.Tech.Sci.]. Nizhnii Novgorod, Izd-vo NGTU, 2017. 22 p.
4. Fedorovskii A. M. Kachestvo onlain-oprosov. Metody proverok [Quality of on-line surveys]. Monitoring obshchestvennogo mneniia: ekonomicheskie i sotsial'nyeperemeny, 2015, no. 3 (127), pp. 28-35.
5. O zashchite detei ot informatsii, prichiniaiushchei vred ikh zdorov'iu i razvitiiu. Federal'nyi zakon ot 29 dekabria 2010 g. № 436-FZ [On protection of children against information harmful for their health and development. Federal Law No.436-FZ dated 29 December, 2010]. Rossiiskaia gazeta, 2010. Available at: https://www.rg.ru/2010/12/31/deti-inform-dok.html (accessed: 28.12.2018).
V. A. Gostyunina, N. V. Davidyuk, V. V. Davidyuk, A. Z. Baitumenov
Astrakhan State Technical University, Astrakhan, Russian Federation
REFERENCES
6. Davidiuk N. V., Baidulova D. R., Baitumenov A. Z., Gostiunina V. A. Analiz soderzhatel'nykh indi-katorov dlia resheniia zadachi po vozrastnoi klassifikatsii tekstovoi informatsii [Analysis of informative indicators for solving the problem of age classification textual information]. Studencheskaia nauka dlia razvitiia infor-matsionnogo obshchestva: sbornik materialov IX Vserossiiskoi nauchno-tekhnicheskoi konferentsii. Stavropol', Izd-vo SKFU, 2019. Part 1. Pp. 60-70.
7. Poliakova V. V., Shabrova N. V. Osnovy teorii statistiki [Theoretical grounds of statistics]. Ekaterinburg, Izd-vo Ural'skogo un-ta, 2015. 142 p.
The article submitted to the editors 31.01.2019
INFORMATION ABOUT THE AUTHORS
Gostyunina Valeriya Andreevna - Russia, 414056, Astrakhan; Astrakhan State Technical University; Postgraduate Student of the Department of System Analysis, Management and Information Processing; [email protected].
Davidyuk Nadezhda Valerievna — Russia, 414056, Astrakhan; Astrakhan State Technical University; Candidate of Technical Sciences, Assistant Professor; Assistant Professor of the Department of Information Security; [email protected].
Davidyuk Valery Vladimirovich — Russia, 414056, Astrakhan; Astrakhan State Technical University; Candidate of Technical Sciences, Assistant Professor; Assistant Professor of the Department of Technological Machines and Equipment; [email protected].
Baitumenov Askhat Zulpukharovich — Russia, 414056, Astrakhan; Astrakhan State Technical University; Student, Direction of Training "Information Security"; acxat_11 @m ail .ru.
