CC BY
12УДК 61:004.891
ОСОБЕННОСТИ МЕТОДИКИ ПОЛУЧЕНИЯ, АНАЛИЗА И ОБРАБОТКИ ЭКСПЕРТНОЙ ИНФОРМАЦИИ В МЕДИЦИНЕ
Д. А. Федоров
Сургутский государственный университет, fda.polytech@gmail.com
Разработана интерактивная методика сбора, анализа и обработки мнений экспертов на предмет выбора наиболее существенных факторов диагностики облитерирующего атеросклероза артерий нижних конечностей человека. Данная методика позволяет минимизировать признаковое пространство с помощью учета экспертных оценок. Новизной является учет ограниченных возможностей кратковременной памяти человека в задачах выбора. Интерактивная методика разработана для сбора мнений экспертов по данным, разделенным на смысловые группы, которые состоят не более чем из девяти параметров, с целью выявления в слабо формализуемой предметной области конкретного количества параметров признакового пространства.
Ключевые слова: интерактивный опрос мнений экспертов, система поддержки принятия решений в медицине, экспертные оценки, экспертный анализ, согласованность экспертов.
FEATURES OF THE TECHNIQUE OF OBTAINING, ANALYSIS
AND PROCESSING OF EXPERT INFORMATION IN MEDICINE
D. A. Fedorov
Surgut State University, fda.polytech@gmail.com
An interactive method of collecting, analyzing and processing expert opinions to select the most significant factors for diagnosing obliterating atherosclerosis of lower limbs is developed. This technique allows minimizing the feature space by taking into account the maximum and minimum possible expert evaluations. A novelty is the consideration of the limited capabilities of a person's short-term memory in selection tasks. The interactive method is designed to collect expert opinions, according to data divided into semantic groups consisting of no more than nine parameters, in order to identify a specific number of parameters of a feature space in a weakly formalized subject area.
Keywords: online expert survey, decision-making support system in medicine, expert evaluation, expert analysis, consistency of experts.
На текущий момент в открытых источниках нет методик, которые могут найти решение проблемы по анализу влияния на организм человека большого количества разнородных факторов, участвующих в развитии и протекании атеросклероза. В связи с этим приходится опираться на опыт и знания врачей специализированных медицинских учреждений [1].
Для сбора мнений экспертов и проведения экспертного анализа разработана и апробирована интерактивная методика опроса мнений экспертов, анализа и обработки полученных результатов в контрольной группе опрошенных с 2006 по 2012 гг. [2].
В общем случае экспертный анализ состоит из следующих этапов [3, 4]:
1) постановка экспертного опроса;
2) проведение экспертного опроса;
3) обработка экспертных оценок;
4) интерпретация результатов
Во время постановки предварительного диагноза эксперт принимает во внимание 48 наиболее значимых признаков, определенных врачами, из которых 32 фактора риска и 16 клинических признаков [5, 6].
Обобщение объективных мнений различных экспертов о рассматриваемой задаче диктует условия по использованию методов сбора мнений экспертов, анализа и обработки полученных результатов. Опрашиваемые эксперты обладают уникальным опытом и мотивацией, что способствует появлению расхождений в оценках их мнений [7]. Данный факт требует выделения высоко согласованных групп экспертов. Описываемая задача нечеткой классификации относится к разделу многомерного статистического анализа [3-5].
I способ решения задачи по выявлению высоко согласованной группы состоит в вычислении критерия непротиворечивости по формуле (1). Основой предварительного диагноза по сердечно-сосудистым заболеваниям для врача является степень сужения артерий нижних конечностей человека. Степень ишемии имеет определенную классификацию и упорядоченный набор признаков, характеризующих степень влияния на тяжесть протекания болезни. Данное обстоятельство дает возможность оценить степень противоречивости мнений экспертов, проведя анализ выявленных и упорядоченных ими клинических признаков. В рамках опроса врачам-экспертам в интерактивном режиме предлагалось расположить в порядке убывания значимости клинические признаки. Данный порядок в автоматическом режиме оценивал компетентность экспертов путем сравнения упорядоченных признаков с классификацией Фонтейна - Покровского [6]. Критерий расчета непротиворечивости оценок мнений экспертов представлен следующей формулой:
у
Л = 1 - —, (1)
утах
где у - количество высказанных врачом-экспертом противоречивых мнений;
утах - максимально возможное значение противоречивых мнений при парном сравнении всех участвующих в опросе объектов. Диапазон значений - 77 е [0,1], где значение 1 соответствует абсолютной непротиворечивости оценок, 0 - полностью противоречивой матрице (табл. 1).
Таблица 1
Представление информации о распределении мнений при ранжировании объектов (факторов риска и клинических признаков)
№ Количество экспер- Среднее значение критерия непротиво- Коэффициент конкорда-
группы тов (в % от группы) речивости для клинических признаков ции для факторов риска
18 (100) 0,93 0,42
1 11 (61) 1 0,45
5 (27) 0,8 0,40
25 (100) 0,87 0,51
2 20 (80) 0,8 0,54
5 (20) 1 0,62
1А 5 (100) 0,93 0,40
Данные табл. 1 показывают, что эксперты старшей по стажу работы первой группы, совершили меньше ошибок при упорядочивании клинических признаков при сравнении их с классификацией Фонтейна - Покровского. Среднее значение коэффициента непротиворечивости группы № 1 = 0,93, а в группе № 2 = 0,87. Коэффициент конкордации группы № 1 = 0,42, что говорит о средней согласованности экспертов. Младшая группа экспертов (№ 2) в составе 25 человек показала большую согласованность, что свидетельствует о едином понимании процессов протекания болезни, но в своих мнениях выдала больше различий по коэффициенту непротиворечивости [8].
II способ состоит в использовании алгоритма эвристического анализа по выделению высоко согласованных групп экспертов. В целях выделения контрольной группы № 1А применен эвристический алгоритм к группе экспертов № 1. Данный алгоритм представляет со-
бой модификацию методики, основанной на многоугольнике «коэффициентов парной ранговой корреляции», что позволяет вычислить решение задачи при неизвестных классах.
Для да-опрашиваемых экспертов рассчитываем коэффициенты парной ранговой корреляции и формируем корреляционную матрицу Р = {р7|/,7 = где р7 е[-1.1] - коэффициенты парной ранговой корреляции /-го и у'-го врача-эксперта.
Пусть рпор - пороговое значение, определяющее понятие «сильная» связь для пары экспертов, у которых коэффициент ранговой корреляции выше данного порога. Таким образом, сформируем матрицу «сильных» связей:
Н = {Ц\1,] = 1...Ш}, (2)
[1, если ру > pnоP, где щ =\ .
[ 0, если ру < PnоP.
Выявляем лидера высоко согласованной группы № 1, который имеет наибольшее количество «сильных» связей. В матрице Н (2) ему соответствует строка Н/, имеющая максимальную сумму. Если таких экспертов несколько, то выбираем первого из них и формируем шаблон связей группы, являющийся копией строки матрицы Н: V = Н/ /-го лидера.
Проводим анализ всего перечня оценок экспертов и добавляем в группу тех, у которых менее 50 % «сильных» связей совпадает со связями шаблона. Для каждого добавленного эксперта корректируется шаблон. Выполняется соответвующая дизьюнкция у: V ^ V V Н). При добавлении новых экспертов в группу действие повторяется, если шаблон в ходе описываемого процесса хоть раз изменялся.
В заключении предварительного формировании группы рассчитываем общее число вошедших экспертов и вычеркиваем тех, у кого общее значение «сильных» связей меньше 50 % от общего числа экспертов в группе.
Согласованность мнений экспертов рассчитывается с помощью коэффициента кон-кордации:
w=_sdi
m2
(k3 _ 1)_m^Tj
(3)
12 ;=i
1 „ ^ ^ 1
где S(d2) = £d2; d, = atJ)--m(k +1); T} = -£tf -1});
¿=1 j=1 2 i2 j=1
tJ - число повторений i-го ранга в оценках j-го эксперта; atj - ранг j-го эксперта i-го критерия; m - количество экспертов;
к - количество входных параметров.
Если матрица ранжирования не содержит совпавших рангов для всех экспертов, то Tj -показатель связанных рангов в ранжировании j-го эксперта равен нулю и коэффициент кон-кордации определяется по формуле:
W = 12S(d2) . (4)
m (k - k) W
Значение коэффициента конкордации лежит в пределах от 0 до 1. При W = 1 эксперты единогласны в рангах оценок, при W = 0 согласие полностью отсутствует.
Для оценки значимости коэффициентов конкордации W используется х2 - критерий Пирсона, расчетное значение которого определяется по формулам (5) или (6):
k
m
Хр
б (а2)
12 тк{к +1) - к-Г |т (5>
Хр = т(к - 1)Ж (6)
При числе степеней свободы / = п - 1 определяется табличное (критическое) значение Хтабл и сравнивается с расчетным. Если хр^ > Хтабл, то гипотеза о наличии согласия мнений экспертов принимается.
Рассчитаем по формуле (3) коэффициент конкордации Ж скорректированной группы.
Обнулим строки матрицы Н, соответствующие экспертам, вошедшим в группу № 1, после чего выявим лидера группы № 2, сформируем ее и так далее до тех пор, пока в матрице Н не останется ни одной ненулевой строчки и все эксперты не будут отнесены к какой-либо из групп. Для этого рассчитаем матрицу парных корреляций (табл. 2).
Таблица 2
Матрица парных ранговых корреляций между мнениями 18 экспертов
№ 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18
1 1,00
2 0,86 1,00
3 0,59 0,57 1,00
4 0,59 0,58 0,52 1,00
5 0,48 0,42 0,75 0,46 1,00
6 0,58 0,48 0,52 0,46 0,58 1,00
7 0,26 0,33 0,25 0,25 0,23 0,30 1,00
8 0,12 0,12 0,31 0,24 0,38 0,33 0,16 1,00
9 0,58 0,59 0,24 0,42 0,18 0,32 0,12 0,05 1,00
10 0,39 0,35 0,43 0,47 0,45 0,42 0,13 0,30 0,20 1,00
11 0,44 0,40 0,42 0,21 0,42 0,47 0,28 0,40 0,23 0,30 1,00
12 0,42 0,39 0,37 0,39 0,35 0,43 0,29 0,26 0,19 0,31 0,23 1,00
13 0,18 0,13 0,35 0,26 0,49 0,40 0,11 0,49 -0,02 0,34 0,22 0,49 1,00
14 0,40 0,42 0,62 0,55 0,65 0,39 0,18 0,41 0,22 0,42 0,39 0,38 0,56 1,00
15 0,29 0,31 0,35 0,36 0,46 0,42 0,24 0,36 0,13 0,38 0,25 0,56 0,61 0,55 1,00
16 0,17 0,16 0,18 0,12 0,25 0,11 0,25 0,00 0,17 0,26 0,07 -0,05 -0,05 0,05 -0,03 1,00
17 0,21 0,19 0,24 0,13 0,22 0,20 0,17 -0,03 0,21 0,37 0,16 0,04 -0,01 0,05 0,03 0,57 1,00
18 0,25 0,23 0,25 0,36 0,18 0,22 0,23 0,13 0,12 0,15 0,08 0,19 0,03 0,18 0,15 0,11 0,29 1,00
Установим пороговое значение р = 0,5 и построим матрицу «средних» связей: если коэффициент ранговой корреляции больше либо равен 0,5, то на пересечении ставим 1, если меньше данного значения - 0. В матрице «средних» связей (табл. 3) видим, что наибольшим количеством «средних» связей (7 единиц) обладает эксперт 3, который является лидером группы. К нему в группу можно включить экспертов под номерами 1, 2, 4, 5, 9.
Таблица 3
Матрица «средних» связей
№ группы, эксперта 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 Сумма
1 3 1 1 1 1 1 1 0 0 0 0 0 0 0 1 0 0 0 0 7
1 1 1 1 1 1 0 1 0 0 1 0 0 0 0 0 0 0 0 0 6
1 (1А) 14 0 0 1 1 1 0 0 0 0 0 0 0 1 1 1 0 0 0 6
1 (1А) 2 1 1 1 1 0 0 0 0 1 0 0 0 0 0 0 0 0 0 5
1 4 1 1 1 1 0 0 0 0 0 0 0 0 0 1 0 0 0 0 5
Окончание табл. 3
№ группы, эксперта 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 Сумма
1 5 0 0 1 0 1 1 0 0 0 0 0 0 0 1 0 0 0 0 4
1 6 1 0 1 0 1 1 0 0 0 0 0 0 0 0 0 0 0 0 4
1 15 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 0 0 0 4
1 9 1 1 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 3
1 13 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 0 0 0 3
1 12 0 0 0 0 0 0 0 0 0 0 0 1 0 0 1 0 0 0 2
1 16 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 0 2
1 17 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 0 2
1 7 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 1
1 8 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 1
1 (1А) 10 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 1
1 (1А) 11 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 1
1 (1А) 18 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1
Сумма 6 5 7 5 4 4 1 1 3 1 1 2 3 6 4 2 2 1 58
В оценках экспертов № 7, 8, 10, 11, 18 выявлено по одной средней связи, т. е. данные ответы не были отмечены ни одним другим экспертом. При этом все остальные оценки экспертов имеют две и более «средних» связей между собой.
С помощью матрицы «средних» связей определяем следующие подгруппы в группе экспертов, выделенные из группы № 1 :
- № 1.1 (№ 1А) - эксперты-аналитики отделения сосудистой хирургии (№ 2, 10, 11, 14, 18);
- № 1.2 - эксперты (№ 1, 2, 3, 4, 5, 9), где лидером является эксперт № 3;
- № 1.3 - эксперты (№ 6, 12, 13, 14, 15);
- № 1.4 - эксперты с похожими мнениями (№ 16, 17);
- № 1.5 - эксперты с отличающимися мнениями (№ 7, 8, 10, 11, 18). Результаты по согласованности мнений экспертов по критерию непротиворечивости
для группы № 1 приведены в табл. 4.
Стоит отметить, что в группу № 1 входит контрольная группа № 1А, в составе которой 5 экспертов-аналитиков.
Таблица 4
Результаты экспертного опроса группы № 1 (2006 г.)
№ группы № эксперта Коэффициент непротиворечивости Выделение экспертов с «сильными» связями Сумма
1 3 1,00 0 7
1 1 1,00 2 6
1 4 1,00 0 5
1 5 1,00 0 4
1 13 1,00 0 3
1 12 1,00 3 2
1 16 1,00 0 2
1, 1А 11 1,00 Обособленное мнение 1
1, 1А 18 1,00 Обособленное мнение 1
1, 1А 2 0,95 2 5
1, 1А 14 0,90 3 6
1 9 0,90 2 3
1 17 0,86 3 2
1 6 0,81 4 4
1 15 0,81 3 4
Окончание табл. 4
№ группы № эксперта Коэффициент непротиворечивости Выделение экспертов с «сильными» связями Сумма
1 7 0,76 Обособленное мнение 1
1 8 0,76 Обособленное мнение 1
1, 1А 10 0,76 Обособленное мнение 1
В результате опроса экспертов у трех из них (группа № 1А) наблюдаем обособленное мнение, оценки двух других экспертов демонстрируют принадлежность к двум разным высоко согласованным группам.
После выделения контрольной группы экспертов коэффициент конкордации [3-5] изменился незначительно (табл. 5).
Из 5 экспертов, работающих в отделении сосудистой хирургии, один (№ 10) вошел во вторую группу экспертов, второй (№ 11) - в третью. Остальные высказали обособленные мнения. Рассчитывая для выделенных подгрупп критерии непротиворечивости по формуле (1). Совмещая два способа выделения высоко согласованных групп, получаем следующие результаты (табл. 5).
Таблица 5
Результаты экспертного опроса по согласованности экспертов (2006 г.)
Подгруппа из 1-й группы (количество экспертов) Коэффициент конкордации по ФР (W) Коэффициент непротиворечивости по КП (77) Тип группы (эксперты)
гр. № 1А - (5) 0,40 0,93 Аналитики
гр. № 1.2 - (6) 0,69 0,90 Согласованные
гр. № 1.3 - (6) 0,68 0,87 Согласованные
гр. № 1.5 - (5) 0,42 0,87 Обособленные
гр. № 1 - (18) 0,42 0,87 Группа № 1
Таким образом, согласованность экспертов-аналитиков ^ = 0,4) немного ниже, чем согласованность обособленных экспертов ^ = 0,42). Причиной данного явления может быть несогласованность экспертов в оценке незначимых факторов, что требует дополнительного исследования. При этом согласованность всех экспертов группы № 1 составляет w = 0,42. В выделенных высоко согласованных подгруппах экспертов в каждой группе представлено по одному эксперту (табл. 4). Трудности в выделении высоко согласованной группы можно объяснить большим количеством анализируемых признаков, неудобной формой опроса экспертов, а также слабоструктурированной задачей, в которой присутствуют как некоторая доля ошибок, так и противоречивость, неопределенность.
Интерпретация результатов экспертного опроса. В данном исследовании ни один из двух известных способов выделения высоко согласованных групп экспертов не дал возможности вычислить достаточную степень согласованности экспертов контрольной группы (№ 1А). В данной связи выдвигается гипотеза о необходимости разработать новую интерактивную методику экспертного опроса, обработки и анализа полученных мнений.
Для повышения качества экспертного опроса была предложена и апробирована новая методика, которая базируется на следующих соображениях: емкость кратковременной памяти ограничена 5-9 объектами [7, 8]; многочисленность признаков состояния больного вызывает у специалистов дополнительные затруднения при их выделении и упорядочивании.
С целью повышения эффективности экспертного опроса предлагается интерактивная методика его проведения и обработки мнений экспертов, главным преимуществом которой является возможность сократить ошибочность, неполноту, неоднозначность и противоречивость мнений экспертов о процессе диагностики ОААНК. Данная методика в том числе решает задачи минимизации признакового пространства путем учета возможных отклонений оценок экспертов.
В ходе данной методики экспертам было предложено оценивать признаки, характеризующие состояние больного ОААНК, в балльной шкале. Затем баллы автоматически переводились в ранговую шкалу для дальнейших расчетов, в частности для расчета коэффициента конкордации по формуле (5) или (6).
В отличие от классического подхода к опросу мнений экспертов, разработанная интерактивная методика дает возможность уменьшить неоднозначность и противоречивость мнений экспертов о процессе диагностики в слабо формализованных предметных областях и включает в себя следующие этапы:
1) показатели в опросной интерактивной анкете разделяются на смысловые группы, содержащие не более девяти структурных элементов в каждом;
2) значения каждого блока ранжируются от нуля до девяти и автоматически сортируются по убыванию рангов;
3) расставляются приоритеты для каждого блока в интервальной шкале со значениями от 0 до 100, где 0 баллов - это рекомендация эксперта к исключению из рассмотрения данного параметра;
4) экспертом определяется направление влияния выбранного показателя: «+» - прямое влияние признака, «-» - обратное влияние признака, «?» - неизвестное влияние, «0» -полное отсутствие влияния;
5) в соответствии с п. 2-4 проводится анкетирование экспертов для каждого признака в блоке;
6) для всех блоков и показателей внутри них с помощью операции ранжирования рассчитывается вес;
7) эксперту представляется в интерактивном режиме упорядоченный по весу список признаков, в котором представлены все ранги и баллы;
8) согласованные оценки мнений экспертов заносятся в базу данных, иначе пункты с 1 по 7 повторяются.
Полученные данные опроса мнений экспертов по четырем смысловым группам (факторы риска клинические, лабораторные и инструментальные признаки) подвергаются последующей обработке:
1) количество параметров в блоке уменьшается за счет исключения показателей, которым эксперты поставили 0 баллов и коэффициент вариации которых меньше 30 %;
2) вычисляются коэффициенты согласованности мнений экспертов для полного и сокращенного блока параметров;
3) анализируется коэффициент непротиворечивости мнений экспертов:
77 = 1 — 7
Ушах
где у - количество данных экспертом противоречивых суждений;
7шах - максимально возможное число противоречивых оценок при парном сравнении всех объектов;
диапазон значений щ £ [0, 1];
4) вычеркиваются эксперты с противоречивыми мнениями; подсчитывается согласованность для сокращенной и полной группы экспертов; в случае повышения согласованности - дальнейший опрос проводится для сокращенной группой, иначе - с полной.
Интерактивная методика проведения вычислительного эксперимента и определения необходимости ее использования. Для моделирования процесса диагностики атеросклероза артерий нижних конечностей и построения улучшенной интерактивной методики опроса мнений экспертов, обработки и анализа полученных результатов опроса предлагается последовательность действий:
1) выявление пространства параметров протекания и развития атеросклероза (ФР, КП, ЛИ и ИП);
2) разработка интерактивных опросных листов по анализу клинических признаков и факторов риска;
3) выявление 3 групп экспертов;
4) сбор мнений, анализ и обработка результатов опроса экспертов групп № 1, 1 А, 2 по клиническим признакам и факторам риска классической методики: а) определение высокой согласованности мнений экспертов, вычисление критерия непротиворечивости; б) выделение высоко согласованных групп;
5) сбор мнений, анализ и обработка результатов опроса экспертов группы № 1А по факторам риска и клиническим признакам используя улучшенную методику; анализ согласованности суждений экспертов, вычисление показателя непротиворечивости;
6) анализ, обработка и сравнение полученных суждений эксперотов по двум пред-стваленным методикам: а) выявление высоко согласованной группы; б) сравнение мнений экспертов, оценок на основе корреляционного анализа; в) выбор необходимой методики и группы экспертов; г) регрессионный анализ;
7) сбор, анализ и обработка мнений экспертов групп № 1А ЛИ и ИП на основе модифицированной методики.
В результате достигается последовательная и научно-обоснованная процедура сбора суждений экспертов, анализа и уточнения результатов, полученных от врачей по выявлению наиболее значимых параметров, используемых в процессе диагностики атеросклероза артерий нижних конечностей человека и оценки его состояния.
Литература
1. Покровский А. В. Болезни аорты и ее ветвей. М. : Медицина, 1979. 328 с.
2. Федоров Д. А. Информационная система поддержки принятия решений для диагностики и лечения облитерирующего атеросклероза. РОСПАТЕНТ. Свидетельство ЭВМ № 2012660556 от 23 ноября 2012 года.
3. Паринов А. В. , Федорков Е. Д. Методы формализации профессиональных знаний врача на основе интеллектуальных технологий идентификации состояния здоровья пациента и выбора тактики лечения : монография. Воронеж : Изд-во Воронеж. гос. техн. унта, 2007. 122 с.
4. Джарратано Дж., Райли Г. Экспертные системы: принципы разработки и программирование : пер. с англ. 4-е изд. М. : Вильямс, 2007. 1152 с.
5. Айвазян С. А., Бухштабер В. М., Енюков И. С., Мешалкин Л. Д. Прикладная статистика. Классификация и снижение размерности / под ред. С. А. Айвазяна. М. : Финансы и статистика, 1989. 607 с.
6. Бокерия Л. А. Лекции по сердечно-сосудистой хирургии в 2 т. / под ред. Л. А. Бокерия. М. : Изд-во НЦССХ им. А. Н. Бакулева РАМН, 1999. Т. 2. 194 с.
7. Солсо Р. Л. Когнитивная психология. 6-е изд. СПб. : Питер, 2006. 589 с.
8. Федоров Д. А. Модели и алгоритмы диагностики атеросклероза артерий нижних конечностей // Вестник кибернетики. 2015. № 4. С. 135-141.
Сетевое издание. Полные тексты статей размещаются на официальном сайте издания surgu.ru и в базе данных Научной электронной библиотеки на сайте elibrary.ru, сведения о публикуемых материалах включаются в Российский индекс научного цитирования (РИНЦ).
Адрес учредителя и издателя: бюджетное учреждение высшего образования Ханты-Мансийского автономного округа - Югры
«Сургутский государственный университет», 628412, Ханты-Мансийский автономный округ - Югра, Сургут, пр. Ленина, 1. Тел. (3462) 76-30-67.
Дата выхода в свет 00.06.2019. Формат 60 х 84/8. Уч.-изд. л. 22,6. Цена свободная.
