CC BY
1
УДК 004.9
DOI: 10.24412/2071-6168-2023-9-283-284
МЕТОДИКА ОЦЕНИВАНИЯ КАЧЕСТВА ИНФОРМАЦИОННЫХ РЕСУРСОВ СПЕЦИАЛИЗИРОВАННЫХ СИСТЕМ ИНФОРМАЦИОННОГО ОБЕСПЕЧЕНИЯ НАУЧНЫХ ИССЛЕДОВАНИЙ
Д.А. Мосин, М.А. Прохоров, М.Н. Квасов, Г.А. Митряев, Р.С. Злобин
В статье разработана методика оценивания качества информационных ресурсов специализированных систем информационного обеспечения научных исследований. Предложенный подход основывается на квалиметри-ческой концепции раскрытия понятия качества и теоретико-множественном способе его моделирования. Обоснованы характерные свойства информационного ресурса в приложении научно-информационной деятельности, а также сформулированы конкретные расчетные показатели и критерии. Реализация методики обеспечивает решение трех основных задач системно-кибернетических исследований (моделирование, анализ, наблюдение состояния), а также предоставляет обоснованные оценки необходимые для последующего управления качеством информационного ресурса.
Ключевые слова: научно-информационная деятельность, информационный ресурс, качество, оценивание, модель, показатель качества, методика.
Научными сообществами большинства технологически развитых стран мира в качестве магистрального направления развития науки и техники рассматривается эволюционный подход, под которым понимается постепенный многошаговый процесс повышения уровня знаний в научно-технологических областях по принципу приращения ранее накопленных данных [1]. При этом результативность современной научно-технической деятельности во многом определяется качеством ее информационного обеспечения (ИО).
В общем случае качество ИО определяется двумя аспектами: качеством располагаемых информационных ресурсов (ИР) и эффективностью их использования. При этом эффективность использования информации, как правило, обеспечивается за счет применения специализированных систем, позволяющих накапливать, распространять и предоставлять соответствующую информацию [2]. С учетом определённых успехов достигнутых при создании подобных систем, задача управления качеством ИО может быть сведена к управлению качеством совокупности научно-информационных материалов (НИМ), образующих тот или иной ИР, что требует на первоначальном этапе разработки конкретных методологических подходов к оцениванию их качества.
Сама по себе проблема оценивания качества ИР является слабо разработанной. В настоящее время нет единого подхода как к свойствам, отражающим качество ИР, так и к мерам, используемым для количественной или качественной характеристики этих свойств [3]. Как правило, ИР оцениваются неформальными методами с привлечением экспертов, что делает получаемые оценки не объективными.
Таким образом, практически отсутствующая формализация задач оценивания качества ИР обуславливает актуальность выбранного направления исследования.
Разработка методики оценивания качества информационного ресурса. Опираясь на функционально-кибернетическую концепцию раскрытия понятия свойства и квалиметрический подход, под оцениванием качества ИР будем понимать особую деятельность, направленную на формирование суждения о нем, определяющего степень его пригодности для использования по назначению. При этом качество ИР может характеризоваться как отдельным свойством, так и некоторой совокупностью свойств.
Оценка качества ИР может быть представлена четырёхкомпонентной системой [4]:
5 = {Sb,Ob,B,Al},
где: Sb - субъект оценивания, представляемый пользователем, владельцем ИР или их группами; Ob - объект оценивания (ИР); В - база сравнения, которая формируется в зависимости от нормативов качества (требований руководящих документов, значений показателей «идеального» ресурса и тому подобное); AI - операциональная логика оценивания качества.
Оценивание качества ИР подразумевает движение от внешней фиксации объекта оценивания, раскрытия структурности его качества к системе взаимосвязанных показателей и к определению их значений. Внешними по отношению к рассмотренной системе оценивания являются субъекты оценивания, база сравнения и операциональная логика оценивания.
Таким образом для формирования оценки качества ИР в рамках рассмотренной системы необходимо разработать модель качества, включающую частные показатели и обосновать рациональные критерии оценивания.
Под ИР понимается упорядоченная (классифицированная) совокупность документированной информации содержащейся в информационных системах в форме, обеспечивающей ее поиск, отбор и предоставление потребителю.
Информационный ресурс, в отличие от материально-вещественных ресурсов, не обладает характеристиками, которые возможно оценить с помощью общепринятых систем измерений [3]. Любой ИР имеет свой жизненный цикл, включающий создание, хранение, обработку и уничтожение [5]. Качество ИР на каждом из этих этапов может характеризоваться множеством свойств. Так, например, в работе [3] выделяется около 20 характеристик современного ИР, среди которых, например, объем, полезность или своевременность.
С учетом этого качество ИР в общем виде может быть задано следующим базисным множеством:
G= {X1,X2,...,Xn), _
где Xt ={x1l,x2l,...,xm1} - i-е свойство, характеризуемое конечным множеством частных показателей (t = 1,п).
Для задания конкретной структуры показателей в рамках рассматриваемых свойств определим следующее правило:
Xi={xkl\RXi = i\,{k = 1^), (1, если показатель используется для описания свойства;
д (х п_(1, если показатель испо. k ) — |q _в противном случае.
Тогда, теоретико-множественная модель, отражающая статический аспект качества ИР, будет иметь следующий вид:
Q=(G;RXi) (1)
В целях формирования конкретных расчетных показателей качества ИР необходимо придать им определенный смысл в рамках некоторых аналитических (математических) конструкций. Для чего на первоначальном этапе необходимо рассмотреть характерные свойства ИР в приложении научно-исследовательской деятельности.
Информационный ресурс, в первую очередь, должен быть источником аутентичных знаний, то есть обладать свойством достоверности (XJ. Научно-информационные материалы составляющие ИР должны отражать объективно существующие положения и основываться на всестороннем анализе выполненных ранее научно-исследовательских работ по предмету исследования и применении апробированных научно-методических аппаратов.
В последнее время наблюдается устойчивая тенденция по увеличению общего количества новых НИМ [6]. При этом также увеличивается количество материалов, воспроизводящих старые знания, в связи с чем возникает острая проблема оригинальности (Х2) и актуальности (Х3) научной информации, составляющей ИР.
Также для описания качества ИР особое значение играет свойство доступности (Х4) информации. При этом под доступностью понимается состояние ИР, при котором пользователи, имеющие права доступа, могут реализовать их [7], а под актуальностью - степень соответствия НИМ текущему состоянию, уровню разработанности какой-либо научно-технической области.
Стоит отметить что размещение (загрузка) любого НИМ в тот или иной ИР специализированных информационных систем обеспечения научных исследований подразумевает загрузку, помимо самого материала, дополнительной служебной информации, например рецензий, заключений о возможности открытого опубликования, отчетов проверки на заимствования (оригинальность) и т.д., что справедливо воспринимать как метаданные НИМ, совокупность которых позволяет проводить анализ качества ИР.
В целях установления достоверности результатов, информационные материалы подвергаются процедурам рецензирования, за счет чего и обеспечивается достоверность как частного НИМ, так и ИР в общем. Исходя из этого основным расчетным показателем достоверности ИР справедливо рассматривать коэффициент достоверности - отношение количества НИМ, имеющими положительные рецензии к общему количеству НИМ размещенных в ИР:
Xl - с'
где С* - количество НИМ имеющих положительные рецензии; С - общее количество НИМ размещенных в ИР.
Для контроля оригинальности размещаемых материалов в настоящее время применяется специализированное программное обеспечение для сопоставления текстов - text-matching software (TMS). При этом TMS, как правило, реализуют подходы к обнаружению заимствований, сравнивая анализируемый документ с эталонной коллекцией. На основе выбранной модели документа и предопределенных критериев подобия задача обнаружения заключается в извлечении всех документов, содержащих текст, который на степень выше выбранного порога похож на текст в анализируемом документе. Подобные решения могут быть как составными модулями информационных систем так и самостоятельными сторонними сервисами. Тогда показатель оригинальности может быть представлен коэффициентом характеризующим среднее значение оригинальности НИМ размещенных в ИР:
где Zf - значение оригинальности /-го НИМ в процентах; С - общее количество НИМ;
Доступность ресурса определяется организационно-техническими решениями, реализованными в той или иной информационной системе. Например, если в информационной системе реализован принцип «открытой науки», то доступ к ее ИР не имеет организационных или технических препятствий, любой пользователь может получить доступ к НИМ например с мобильного терминала. В случае корпоративной системы, доступ к ресурсам, как правило, реализуется через специализированные точки доступа и ограничивается соответствующими организационными мероприятиями. Тогда ИР может характеризоваться коэффициентом доступности, определяемым следующим образом:
Ха~ М'
где К- количество точек доступа к информационной системе; М - количество пользователей зарегистрированных в системе и имеющих права доступа к ИР.
Наибольшую сложность вызывает формализация показателей актуальности ИР. С учетом стохастичной природы процессов формирования ИР наиболее объективно его актуальность может быть охарактеризована вероятностью сохранения актуальности информации на момент обращения к ней:
3 Е+Т
где £ - среднее время между появлением новых результатов или данных; Т - время подготовки и загрузки НИМ в ИР.
Научно-исследовательской деятельности соответствует плановость [1]. Этим обуславливается определенная периодичность в появлении новых результатов и дает возможность определить статистическое среднее £. При этом время размещения НИМ в ИР зависит от организационно-технических особенностей конкретной информационной системы (формирования массива НИМ, подготовка метаданных) и определяется математическим ожиданием продолжительности каждого частного этапа работы:
3tJnln + 2tJnax t- = —----
. tj 5 '
где tjnln, tjnax - минимально и максимально возможная продолжительность выполнения работы у'-го этапа.
Тогда время размещения (подготовки и загрузки) НИМ будет определяться:
я
У=1
где ц - общее количество этапов деятельности по загрузке НИМ в ИР.
В соответствии с (1), полученную совокупность показателей справедливо считать общим показателем качества ИР, который можно в свою очередь представить вектором У<4>, размерность которого соответствует количеству рассматриваемых свойств (в данном случае достоверности, актуальности, доступности и оригинальности). В случае рассмотрения совокупности показателей в рамках какого-либо свойства необходимо проводить их свертывание (любым из известных методов) путем введения обобщенных показателей.
Для оценивания качества, описываемого векторным показателем У<4>, может быть реализован один из критериев: пригодности, оптимальности или превосходства [8]. В рассматриваемой задаче целесообразно использовать критерий пригодности:
оп >-<4) е{У(7} = и,
где {У<д°п} - область (множество) допустимых значений вектора У<4), задающаяся 5; и - достоверное событие (истинное высказывание).
Разработанный подход позволяет получить, как числовые характеристики показателей качества, так и ре-ализовывать процедуры принятия решения о качестве ИР, рисунок.
Моделирование качества информационного ресурса
Ob: Q = (GiRXt)
Al:
Расчет частных показателей свойств, характеризующих качество информационного ресурса
Формирование области допустимых значений (базы сравнения)
В: {*ЙП
Оценивание качества информационного ресурса
Область допустимых значений
YW е {>-») г и
Качество исследуемого информационного ресурса_
Структура подхода к оцениванию качества информационного ресурса
Следует особо отметить, что в зависимости от ситуации количество анализируемых свойств и показателей характеризующих уровень качества ИР может варьироваться.
Заключение. Таким образом, разработанная методика позволяет решать три основные задачи системно-кибернетических исследований: моделирование; анализ и наблюдение состояния. А также обеспечивает получение обоснованных оценок качества ИР, что в дальнейшем позволит перейти к решению обратных задач - задач синтеза (управления) ИР с заданным (требуемым) качеством, что в свою очередь, позволит повысить эффективность информационного обеспечения научных исследований в целом.
Список литературы
1. Буренок В.М., Ивлев А.А., Корчак В.Ю. Развитие военных технологий XXI века: проблемы, планирование, реализация. Тверь.: Издательство ООО «КУПОЛ», 2009. 624 с.
2. Прохоров М.А., Злобин Р.С., Квасов М.Н., Митряев Г.А. Обоснование требований к информационным системам обеспечения научных исследований // Известия Тульского государственного университета. Технические науки. Выпуск 3. 2023. С. 358-363.
3. Качество информации и методика оценки качества информации [Электронный ресурс]. URL: http://www.sites.google.com/site/mirmirmirmir2011/teoreticeskie-osnovy-informacionnyh-resursov/lekcii/4-kacestvo-infomacii-i-metodika-ocenki-kacestva-informacii (дата обращения 03.02.2023).
4. Андрианов Ю.М., Субетто А.И. Квалиметрия в приборостроении и машиностроении. Л.: Машиностроение. Ленингр. отд-ние, 1990. 216 с.
5. Доррер Г.А., Попов А.А., Сысенко К.В. Исследование жизненного цикла электронных информационных ресурсов // Вестник Сибирского государственного аэрокосмического университета имени академика М.Ф. Ре-шетнева, 2013. С. 128-132.
6. Статистика библиотеки eLIBRARY.RU [Электронный ресурс] URL.: www.elibrary.ru (дата обращения 01.05.2023).
7. Ревнивых А.В., Федотов А.М. Доступность ресурсов информационных систем // Вестник Новосибирского государственного университета. Серия: Информационные технологи. 2014. Т. 12, вып. 1. С. 55-67.
8. Методологические основы проектирования целенаправленных процессов и целеустремленных систем / Петухов Г.Б., Якунин В.И. М.: АСТ, 2006. 504 с.
Мосин Дмитрий Александрович, д-р воен. наук, начальник кафедры, [email protected], Россия, Санкт-Петербург, Военно-космическая академия имени А. ФМожайского,
Прохоров Михаил Александрович, канд. техн. наук, главный эксперт, Россия, Москва, Военно-научный комитет Вооруженных Сил Российской Федерации,
Квасов Михаил Николаевич, канд. техн. наук, начальник лаборатории, [email protected], Россия, Анапа, Военный инновационный технополис «ЭРА»,
Злобин Роман Сергеевич, главный эксперт, Россия, Москва, Военно-научный комитет Вооруженных Сил Российской Федерации,
Митряев Геннадий Андреевич, канд. техн. наук, начальник лаборатории, [email protected], Россия, Санкт-Петербург, Военно-космическая академия имени А. ФМожайского
METHODOLOGY FOR ASSESSING THE QUALITY OF INFORMATION RESOURCES OF SPECIALIZED INFORMATION SUPPORT SYSTEMSSCIENTIFIC RESEARCH
D.A. Mosin, M.A. Prokhorov, M.N. Kvasov, G.A. Dmitriev, R.S. Zlobin
The article develops a methodology for assessing the quality of information resources of specialized information support systems for scientific research. The proposed approach is based on the qualimetric concept of the disclosure of the concept of quality and the set-theoretic method of its modeling. The characteristic properties of the information resource in the application of scientific and information activities are substantiated, as well as specific calculation indicators and criteria are formulated. The implementation of the methodology provides a solution to three main tasks of system-cybernetic research (modeling, analysis, state observation), and also provides reasonable estimates necessary for subsequent quality management of an information resource.
Key words: scientific and informational activity, information resource, quality, evaluation, model, quality indicator, methodology.
Mosin Dmitry Alexandrovich, doctor of military sciences, head of the department, [email protected], Russia, St. Petersburg, Military Space Academy named after A.F.Mozhaisky,
Prokhorov Mikhail Aleksandrovich, candidate of technical sciences, chief expert, Russia, Moscow, Military Scientific Committee of the Armed Forces of the Russian Federation,
Kvasov Mikhail Nikolaevich, candidate of technical sciences, head of the laboratory, [email protected], Russia, Anapa, Military innovative technopolis «ERA»
Mityaev Gennady Andreevich, candidate of technical sciences, head of the laboratory, [email protected], Russia, St. Petersburg, Military Space Academy named after A.F.Mozhaisky,
Zlobin Roman Sergeevich, candidate of technical sciences, chief expert, Russia, Moscow, Military Scientific Committee of the Armed Forces of the Russian Federation
