CC BY
6ИНФОРМАТИКА, ВЫЧИСЛИТЕЛЬНАЯ ТЕХНИКА И УПРАВЛЕНИЕ
СИСТЕМНЫЙ АНАЛИЗ, УПРАВЛЕНИЕ И ОБРАБОТКА ИНФОРМАЦИИ
DOI 10.21672/2074-1707.2021.54.2.009-015 УДК 004:9
ЭЛЕМЕНТЫ ТЕОРИИ ФИЛЬТРАЦИИ И ТЕОРИИ ИНТЕРВАЛЬНЫХ СРЕДНИХ В ПРИЛОЖЕНИИ К ЗАДАЧАМ АНАЛИЗА КАЧЕСТВА ЭЛЕКТРОННЫХ БИБЛИОТЕК
Статья поступила в редакцию 26.03.2021, в окончательном варианте — 10.04.2021.
Крюкова Елена Сергеевна, Военная академия связи им. Маршала Советского Союза С.М. Буденного, 194064, Российская Федерация, г. Санкт-Петербург, пр. Тихорецкий, 3, адъюнкт, ORCID 0000-0001-7482-056, e-mail: e.kkrukovaa69@yandex.ru Паращук Игорь Борисович, Военная академия связи им. Маршала Советского Союза С.М. Буденного, 194064, Российская Федерация, г. Санкт-Петербург, пр. Тихорецкий, 3,
доктор технических наук, профессор, ORCID 0000-0001-8793-7768, e-mail: shchuk@rambler.ru
Охарактеризованы роль и место электронных библиотек, как одного из ключевых элементов фундамента единого информационного пространства России. Показаны особенности, обуславливающие сложность (уровень) методов и средств анализа состояния и качества электронных библиотек и накладывающие все более высокие требования к алгоритмам оценивания качества программно-аппаратных средств и цифрового контента. Описаны некоторые ключевые аспекты формулировки и наполнения содержанием базовых этапов методики анализа качества электронных библиотек. Показано, что эти аспекты имеют существенное значение в рамках получения интервальных частных (нижней и верхней) оценок качества и обобщенной оценки качества систем такого класса с использованием методов теории интервальных средних. Предложен подход, сочетающий методы теории интервальных средних и традиционные методы калмановской фильтрации (экстраполяции) для анализа качества электронных библиотек. Практическая реализация методики позволит получать оценочные значения конкретных параметров системы на временных интервалах, что позволит повысить достоверность анализа качества и адекватность управления структурой, параметрами и режимами функционирования объектов такого класса.
Ключевые слова: электронная библиотека, показатель качества, анализ, оценивание, фильтрация, интервальные средние, качество, параметр, метод, алгоритм, контент, требования, управление
Graphical annotation (Графическая аннотация)
Анализ качества Quality analysis г
Интервальное оценивание Interval estimation
Lj(x+M)=f(l1(x+M)-,.. /е(х+Дс)
Фильтрация Калмана Kalman filtering
Электронная (цифровая) библиотека Electronic (Digital) Library
Методы фильтрации Калмана и методы теории интервальных средних в интересах оценки качества электронных библиотек Kalman filtering methods and methods of the theory of interval averages in the interests of evaluating the quality of an electronic libraries
ELEMENTS OF THE FILTERING THEORY AND THE THEORY OF INTERVAL AVERAGES IN THE APPLICATION TO THE PROBLEMS OF ANALYZING THE QUALITY OF ELECTRONIC LIBRARIES
The article was received by the editorial board on 26.03.2021, in the final version — 10.04.2021.
Kryukova Elena S., Military Academy of Communications named after Marshal of the Soviet Union S.M. Budyonny, 3 Tikhoretsky Ave., Saint Petersburg, 194064, Russian Federation,
postgraduate student, ORCID 0000-0001-7482-056, e-mail: e.kkrukovaa69@yandex.ru
Parashchuk Igor B., Military Academy of Communications named after Marshal of the Soviet Union S.M. Budyonny, 3 Tikhoretsky Ave., Saint Petersburg, 194064, Russian Federation,
Doct. Sci. (Engineering), Professor, ORCID 0000-0001-8793-7768, e-mail: shchuk@rambler.ru
The role and place of electronic libraries as one of the key elements of the foundation of the unified information space of Russia are characterized. The features that determine the complexity (level) of methods and tools for analyzing the state and quality of electronic libraries and impose increasingly high requirements on algorithms for evaluating the quality of software and hardware and digital content are shown. Some key aspects of the formulation and content filling of the basic stages of the methodology for analyzing the quality of electronic libraries ar-described. It is shown that these aspects are essential in the framework of obtaining interval partial (lower and upper) quality estimates and generalized quality estimates of systems of this class using the methods of the theory of interval averages. An approach combining the methods of the theory of interval averages and traditional methods of Kalman filtering (extrapolation) is proposed) to analyze the quality of electronic libraries. The practical implementation of the methodology will allow us to obtain estimated values of specific system parameters at time intervals, which will increase the reliability of the quality analysis and the adequacy of the management of the structure, parameters and modes of operation of objects of this class.
Keywords: electronic library, quality indicator, analysis, evaluation, filtering, interval averages, quality, parameter, method, algorithm, content, requirements, management
Введение. Электронные библиотеки (ЭБ) завоевывают все большую популярность как в системе образования (включая самообразование), сфере IT-индустрии, так и в иных сферах народного хозяйства. Эти современные информационно-справочные и информационно-поисковые технологии, а также реализующие их распределенные системы, обладающие унифицированным интерфейсом и возможностью доступа пользователей к электронному контенту через глобальную сеть. Причем эти IT-объекты имеют все классификационные признаки, позволяющие отнести их к сложным управляемым техническим (информационно-техническим) системам [7]. Создание национальных ЭБ нарабатывает на развитие современной науки и образования, являясь, по сути, одним из ключевых элементов фундамента единого информационного пространства России [6, 10-12].
Электронные библиотеки предназначены для хранения и обработки различного цифрового контента, их количество и объем содержимого неуклонно растет, технологии хранения контента активно развиваются во всем мире, но наибольшее распространение инновационные решения в рамках развития ЭБ получили у нас в стране и на американском континенте [13-18]. Требования к современному цифровому контенту предопределяют высокий уровень требований к архитектуре ЭБ, к алгоритмам управления ими.
Это, в свою очередь, накладывает определенные обязательства на сложность (уровень) методов и средств анализа состояния и качества ЭБ, накладывает более высокие требования к алгоритмам оценивания качества программно-аппаратных средств ЭБ в интересах управления параметрами, структурой и режимами работы систем такого класса.
Иными словами, речь идет о поиске новых современных, достоверных и оперативных методологических инструментов анализа качества ЭБ. Существующие методологические подходы, ориентированные на анализ технического состояния, качества и эффективности подобных сложных информационных систем, традиционно используют вероятностную меру и комплексные (интегральные) показатели качества [9], получаемые, в частности, на основе математической свертки. При этом анализ качества связан с интегрированием (по пороговым значениям существенных параметров систем такого класса) совместных плотностей распределения вероятностей, составляющих физическую сущность этих показатели качества (ПК). Однако при анализе комплексных (интегральных) ПК ЭБ исследователи вынуждены использовать процедуры непосредственного Q-кратного интегрирования совместной плотности распределения вероятностей, характеризующих эти ПК. Это связано с тем, что текущие совместные плотности распределения вероятностей имеют размерность Q*S*T, где Q - количество анализируемых ПК ЭБ, S - число состояний этих ПК, а Т - число временных отсчетов оценивания показателей качества. Очевидно, что процесс
0-кратного интегрирования совместной плотности распределения вероятностей размерности QxSxТ трудоемок и имеет большую вычислительную сложность из-за большой математической размерности решаемой задачи.
С учетом рассмотренных трудностей решения задач анализа комплексных (интегральных) ПК сложных управляемых технических (информационных) систем, на наш взгляд, имеет право на жизнь гипотеза о рациональности применения методологических подходов, ориентированных на интервальное оценивание качества. Иными словами, на использование методов и алгоритмов, ориентированных как на традиционные методы фильтрации, так и на анализ частных и комплексных ПК ЭБ и параметров процесса их функционирования на определенном временном интервале. Способу решения задач подобного класса посвящена данная статья.
Постановка задачи исследования. Известно, что задачи оценивания традиционно решаются на основе линейной и нелинейной фильтрации Калмана, а задачи интервального контроля для систем подобного класса могут, на наш взгляд, быть успешно решены с использованием методов теории интервальных средних [1, 2, 5].
При этом сочетание методов обработки статистики интервальных средних и алгоритмов линейной и нелинейной фильтрации, позволяет, в отличие от традиционных методов и алгоритмов, упростить вычисления и существенно снизить размерность задачи оптимального оценивания частных и комплексного (интегрального) показателей качества функционирования ЭБ на определенном временном интервале.
С точки зрения формулировки методологических аспектов анализа качества ЭБ, две ключевые стадии (этапы) методики оценивания ПК ЭБ на основе постулатов теории интервальных средних, могут иметь следующий вид.
Первая стадия - получение исходных данных, т.е. данных наблюдения либо результатов математического моделирования процесса смены состояний ПК ЭБ на основе непрерывных марковских цепей. Математическая модель такого типа записывается в форме разностных стохастических уравнений и позволяет снизить сложность последующих вычислений и свести размерность задачи анализа к размерности где t - временной интервал анализа ПК ЭБ. Иными словами,
на данной стадии вместо процедуры непосредственного 0-кратного интегрирования совместной плотности распределения вероятностей размерности реализуются процедура сбора данных
наблюдения или процедура моделирования [3, 4].
Вторая стадия - определение оценочных значений нижнего и верхнего средних уровней качества ЭБ. Фактически это процедура вычисления нижнего и верхнего средних значений частных ЭБ на интервале времени с использованием методов теории интервальных средних.
Рассмотренные стадии методики оценивания ПК ЭБ описывают две глобальные многошаговые процедуры интервального оценивания частных ПК функционирования ЭБ на определенном временном интервале, основываясь на методах теории интервальных средних и алгоритмах оптимальной фильтрации (экстраполяции).
Методологические аспекты анализа качества электронных библиотек на основе методов теории фильтрации и статистики интервальных средних. Предложенный подход позволяет осуществить текущую пошаговую фильтрацию (экстраполяцию) ПК ЭБ и вычисление оценочных значений нижнего и верхнего средних уровней качества (средних уровней значений частных ПК) ЭБ на интервале времени на основе алгоритмов теории интервальных средних.
При этом временной интервал оценивания состоит из конечного множества Т
непрерывных отсчетов (тТ+Дт) времени наблюдения (моделирования):
^ + Д^ = {(т1 + Дт) + (т2 + Дт) +... + (тТ + Дт)}. (1)
Рассмотрим детально содержание этапов интервального оценивания ПК ЭБ.
Начальный этап интервального оценивания частных показателей качества функционирования ЭБ - сбор статистических данных о значениях ПК ЭБ:
Ь(т + Дт) = / (11 (т + Дт); 12(т + Дт);... ^ (т + Дт);... (т + Дт)), (2)
где Ь(т + Дт) - вектор показателей качества функционирования ЭБ, характеризующих ее конкретные свойства (например, доступность пользователей к цифровому контенту) и изменяемый (наблюдаемый, моделируемый) на (т+Дт)-ом временном отрезке функционирования ЭБ; ^ (т + Дт) -
1-ый (/ = 1, ... , О) частный показатель качества функционирования ЭБ в составе вектора ПК ЭБ Ь(т + Дт).
Статистика собирается за период наблюдения или шаг моделирования, на (г+Лг)-ом временном отрезке функционирования ЭБ, с использованием математической, имитационной модели или на основе данных наблюдения, поступающих от сенсоров и датчиков реальной ЭБ.
Этап фильтрации - оптимальная по критерию минимального среднего квадрата ошибки (МСКО) калмановская фильтрация (экстраполяция) значений ПК ЭБ. Причем фильтрация (экстраполяция) осуществляется для временного отрезка, характеризующего период наблюдения или шаг моделирования (т.е., на (г+Лг)-ом временном отрезке функционирования ЭБ).
С учетом того, что процесс смены состояний ПК ЭБ моделируется непрерывной марковской цепью и может быть аналитически описан линейным векторным разностным уравнением
и уравнением наблюдения [3, 4], оптимальные (в смысле МСКО) оценки индикатора ©, (г + Дг)
состояния конкретного /-го ПК ЭБ ^ (г + Дг) могут быть получены в результате решения рекуррентных уравнений одноинтервальной (за интервал времени (г+Лг)) экстраполяции [8, 9]:
© , (г + Дг) = Лт (г + Дг, г) © , (г, г -Дг) + К (г + Дг, г) х [ ^ (г) - Н (г) © , (г, г — Дг)], (3)
где ©1 (г + Дг) - вектор оценочных значений индикатора состояния конкретного /-го ПК ЭБ
к (г+Лг);
Лт (г + Дг, г) - транспонированная квадратная матрица (порядка т) плотностей вероятностей перехода Лгк конкретного /-го ПК ЭБ за время (г+Лг) из состояния г в состояние м>;
©, (г, г — Дг) - вектор оценочных значений индикаторов состояния конкретного /-го ПК ЭБ к на предыдущем (г, г - Лг) временном интервале;
zl (г) - вектор возможных наблюдаемых значений конкретного /-го ПК ЭБ ¡/ на всем интервале оценивания (г);
Нк (г) - диагональная квадратная матрица (порядка т) наблюдаемых значений конкретного /-го ПК ЭБ ¡/ ;
К1 (г + Дг, г) - коэффициент усиления одноинтервального (для интервала (г+Лг)) фильтра Калмана, определяемый для конкретного /-го ПК ЭБ к в соответствии с выражением: К1 (г + Дг, г) = Лт (г + Дг, г) Р1 (Д© , (г + Дг, г) Нг (г) х
' ' ' 1' (4)
У, ( г +Дг , г ) Н1/(г ) + У1а Г41
X [H (т) P (Д©, (т + Дг, т) HI (т) + V ю (т)]-,
где Р1 (Д©, (г + Дг, г) - матрица априорных дисперсий ошибок оценивания, определяемая для
следующего интервала (г+Лг) фильтрации конкретного /-го показателя качества ЭБ к ; V, ю (г) -
матрица шумов ю оценивания [8].
В итоге, на выходе этапа оптимальной по критерию МСКО калмановской фильтрации (экстраполяции), получим вектор оценочных значений ПК ЭБ на интервале времени (г+Лг):
Ь(г + Дг) = f (/1 (г + Дг); /2 (г + Дг);... ^ (г + Дг);... ^ (г + Дг)). (5)
Этап определения интервальных средних для частных ПК ЭБ - вычисление интервального
оценочного нижнего ^ ^ + Д) и верхнего ^ ^ + Дt) средних уровней значений каждого из частных
ПК ЭБ на интервале времени оценивания (/+Л) на основе статистической обработки оценочных значений этих ПК за все непрерывные отсчеты (периоды) наблюдения или шаги моделирования (г+Лг), составляющие в сумме содержание шага оценивания (/+Л), как определено выражением (1).
Тем самым на этом этапе, на основе статистического анализа измеряемых (наблюдаемых, моделируемых) параметров и с использованием методов теории интервальных средних находят
точный нижний ^ ^ + ДО и верхний ^ ^ + Д^ средние уровни качества - средние значения /-ых
показателей качества ЭБ к и обобщенного ПК ЭБ в целом на интервале времени (¿+Л/).
Точный нижний и верхний средние уровни качества - средние значения /-ых показателей качества ЭБ к вычисляются на основе предположения о том, что любой показатель (коэффициент)
качества ЭБ li может рассматриваться как признак (идентифицированный параметр системы), а функции li (t + At) и li (t + At) как нижнее и верхнее средние этого признака [2], т.е.
i±(t + At) = M (l,), 1, (t + At) = M (¡i), (6)
где M(¡i) и M(l,) - нижние и верхние средние, причем при полном отсутствии сведений l, (t + At) =0 и l (t + At) = 1.
Для вычисления нижнего среднего значения уровня качества ЭБ L(t + At) по имеющимся средним уровням качества - средним оценочным значениям i-ых показателей качества ЭБ
l(t + At) и l(t + At), i=1, 2, ... , Q, необходимо определить точную нижнюю границу (наименьшую из всех верхних) [2]:
^ Q „
L (t + At) = sup (c0 + V (c, l, (t + At) - d, li (t + At))), (7)
c,ci,di i=i
где с, сi - нижние средние значения идентифицированного (наблюдаемого, измеренного) i-го показателя качества ЭБ ¡; di - верхние средние значения идентифицированного i-го показателя качества ЭБ U (неотрицательные вещественные параметры), а с0 - произвольный вещественный параметр.
Для вычисления верхнего среднего значения уровня качества ЭБ L(t + At) по имеющимся средним уровням качества - средним оценочным значениям i-ых показателей качества ЭБ
l (t + At) и l (t + At), необходимо определить точную верхнюю границу качества системы (наибольшую из всех нижних) [2]:
l Q „
L(t + At) = inf (c0 + V(с, li(t + At)-d,L(t + At))). (8)
c,c',d' =
Заключительный этап методики анализа качества ПК ЭБ, основанной на применении методов теории фильтрации и теории интервальных средних - вычисление интервальных оценок обобщенного ПК ЭБ с учетом результатов интервального анализа (идентификации) ПК ЭБ. Здесь
определяются интервальные оценки нижних L об^ + At) и верхних L об^ + At) значений обобщенного ПК ЭБ с учетом результатов интервальных оценок (идентификации) ее частных показателей качества.
С учетом того, что при оценивании качества в рамках теории интервальных средних не используется информация о независимости ПК ЭБ, важным аспектом методологии анализа является возможность применить математическое соотношение для систем с мультипликативным обобщенным показателем (коэффициентом) качества [2].
Это соотношение характеризует функцию взаимосвязи интегральных (комплексных) ПК ЭБ с частными i-ми (i =1, ... , Q) показателями качества и позволяет получать точные нижнее и верхнее оценочные значения обобщенных показателей качества ЭБ: - Q * l -
Lo6(t + At) = П ¡t (t + At); Lоб(? + At) = min ll (t + At). (9)
i=l,... , Q
j
В качестве реального примера для формулировки и реализации процедур анализа качества ЭБ, можно рассмотреть формальную запись вектора ПК L (т + At) , характеризующих, например, своевременность предоставления услуг ЭБ пользователям. Для этого может быть использовано выражение, где в качестве l, - элементов этого вектора, выступают конкретные ПК:
4вр (т + At ) = [ ¿доСт (т + At), ^ (т + At), tnpe6 (т + At ), GCBp (т + At)], (Ш)
где t (т + At) - время доступа легального (авторизованного) пользователя к запрашиваемому контенту (информационному ресурсу) ЭБ на интервале времени (т+Дт); tOT (т + At) - время ожидания доступа легального (авторизованного) пользователя к запрашиваемому контенту (информационному ресурсу) ЭБ; ¿преб(т + At ) - время пребывания запрашиваемого контента
(информационного ресурса) в системе; GCBp(r + Дт ) - коэффициент своевременности
предоставления услуг (контента, информационного ресурса), определяемый как отношение реального времени ожидания доступа к конкретной услуге к суммарному времени ожидания всех
услуг. Тем самым выражение (10) описывает пример вектора ПК (векторного ПК) Д,вр(т + Дт)
ЭБ, характеризующих ее способность обеспечивать доступ пользователей к запрашиваемым информационным ресурсам и предоставление им требуемого перечня услуг в установленные сроки или в реальном масштабе времени. Примером ПК, например, характеризующих затраты различных ресурсов (временных, вычислительных, финансовых, частотных, человеческих (персонал), ресурсов систем хранения данных и т.д.), используемых для реализации процесса функционирования ЭБ, может выступать, допустим, + Дт) - время обработки системой
единичного запроса легального (авторизованного) пользователя к конкретному контенту (информационному ресурсу) ЭБ.
Тем самым, с помощью выражений (1)-(10) рассмотрены некоторые ключевые аспекты методологии анализа качества ЭБ, которые имеют существенное значение в рамках получения интервальных частных (нижней и верхней) оценок качества и обобщенной оценки качества систем такого класса с использованием методов теории фильтрации и теории интервальных средних.
Заключение. Таким образом, использование при реализации данных методов, этапов и аналитических выражений единого критерия (МСКО) оценки как линейно, так и нелинейно изменяющихся ПК элементов и процессов, реализуемых ЭБ на (т + Дт) -м временном интервале, позволяет унифицировать алгоритмы интервальной оценки качества систем такого класса, создавая тем самым предпосылки для унификации алгоритмов управления ЭБ.
Рассмотренные особенности применения методов теории фильтрации и теории интервальных средних позволят учесть все сопутствующие факторы при формулировке методики анализа качества ЭБ, а полученные при практической реализации данных методов интервальные результаты анализа - оценочные значения параметров системы на конкретных временных интервалах, позволят повысить достоверность анализа качества ЭБ, что, в конечном итоге, позволит повысить адекватность управления структурой, параметрами и режимами работы систем такого класса.
Библиографический список
1. Боран-Кешишьян А. Л. Положения теории интервальных средних, применительно к анализу надежности технических средств сложных систем при независимых по надежности элементах / А. Л. Боран-Кешишьян, Е. В. Хекерт // Эксплуатация морского транспорта. - 2014. - № 1 (73). - С. 38-42.
2. Гуров С. В. Надежность систем при неполной информации / С. В. Гуров, Л. В. Уткин. -Санкт-Петербург : Любавич, 1999. - 160 с.
3. Крюкова Е. С. Модель функционирования электронной библиотеки для анализа ее качества и информационной безопасности / Е. С. Крюкова // Вопросы оборонной техники. Технические средства противодействия терроризму. - 2020. Сер. 16, вып. № 9-10 (147-148). - С. 16-22.
4. Крюкова Е. С. Математическая модель, предназначенная оценки качества электронной библиотеки: синтез числа градаций пространства состояний / Е. С. Крюкова, И. Б. Паращюк // Прикаспийский журнал: управление и высокие технологии. - 2020. - № 1 (49) - С. 121-131.
5. Кузнецов В. П. Интервальные статистические модели / В. П. Кузнецов. - Москва : Радио и связь, 1991. - 352 с.
6. Матвеев М. Ю. Национальные библиотеки: на пути к цифровому будущему / М. Ю. Матвеев // Вестник Санкт-Петербургского государственного института культуры. - 2017. - № 2 (31). - С. 88-95.
7. Национальный стандарт Российской Федерации ГОСТ Р 7.0.96 - 2016. Электронные библиотеки. Основные виды. Структура. Технология формирования. - Москва : Стандартинформ, 2016. - 13 с.
8. Сейдж Э. Теория оценивания и ее применение в связи и управлении / Э. Сейдж, Дж. Мэлс. -Москва : Связь, 1976. - 496 с.
9. Терентьев В. М. Теоретические основы управления сетями многоканальной радиосвязи / В. М. Терентьев, И. Б. Паращук. - Санкт-Петербург : ВАС, 1995. - 195 с.
10. Шаповалова Г. М. Информационное общество: от цифровых архивов к цифровому культурному наследию / Г. М. Шаповалова // Международный научно-исследовательский журнал. - 2016. - № 5-6. -С. 177-181.
11. Besser H. The Past, Present, and Future of Digital Libraries. A Companion to Digital Humanities / H. Besser // A Companion to Digital Humanities. - Blackwell Publishing Ltd., 2004. - P. 557-575.
12. Isah A. Digital Libraries: Analysis of Delos Reference Model and 5S Theory / А. Isah, В. С. Serema, А. Mutshewa, L. Kenosi // Journal of Information Science Theory and Practice. - 2013. - № 1 (4). - P. 38-47.
13. Lanagan J. Video digital libraries: contributive and decentralized / J. Lanagan, A. F. Smeaton // International Journal on Digital Libraries. - 2012. - № 12 (4). - P. 159-178.
14. Papy F. Digital Libraries / F. Papy. - 1st ed. - Amsterdam, Netherlands : ISTE Press-Elsevier. 2016. -
152 p.
15. Pomerantz J. The digital library as place / J. Pomerantz, G. Marchionini // Journal of Documentation. -2007. - № 63 (4). - P. 505-533.
16. Reilly B. F. Jr. Rethinking the National Library / B. F. Jr. Reilly // American Libraries. - 2016. -Vol. 47, iss. 11-12. - 30 p.
17. Russian Association of Digital Libraries. - 2020. - Режим доступа: http://www.aselibrary.ru/index.html, свободный. - Заглавие с экрана. - Яз. англ. (дата обращения: 17.01.2020).
18. Witten I. H. How to Build a Digital Library / I. H. Witten, D. Bainbridge, D. M. Nichols. - 2nd ed. -Waltham, USA : Morgan Kaufmann, 2009. - 656 p.
References
1. Boran-Keshishyan A. L., Heckert E. V. Polozheniya teorii intervalnykh srednikh, primenitelno k analizu nadezhnosti tekhnicheskikh sredstv slozhnykh sistem pri nezavisimykh po nadezhnosti elementakh [Propositions of the theory of interval averages, applied to the analysis of the reliability of technical means of complex systems in elements independent of reliability]. Ekspluatatsiya morskogo transporta [Operation of sea transport], 2014, no. 1 (73), pp. 38-42.
2. Gurov S. V., Utkin L. V. Nadezhnost sistem pri nepolnoy informatsii [Reliability of systems with incomplete information]. Saint Petersburg, Lyubavich Publ., 1999. 160 p.
3. Kryukova E. S. Model funktsionirovaniya elektronnoy biblioteki dlya analiza yeye kachestva i infor-matsi-onnoy bezopasnosti [A model of the functioning of an electronic library for analyzing its quality and information security]. Voprosy oboronnoy tekhniki. Tekhnicheskiye sredstva protivodeystviya terrorizmu [Defense Technology Issues. Technical means of countering terrorism], 2020, ser. 16, issue 9-10 (147-148), pp. 16-22.
4. Kryukova E. S., Parashchuk I. B. Matematicheskaya model, prednaznachennaya otsenki kachestva elektronnoy biblioteki: sintez chisla gradatsiy prostranstva sostoyaniy [A mathematical model designed to assess the quality of an electronic library: synthesis of the number of gradations of the state space]. Prikaspiyskiy zhurnal: uprav-leniye i vysokiye tekhnologii [Caspian Journal: Management and High Technologies], 2020, no. 1 (49), pp. 121-131.
5. Kuznetsov V. P. Intervalnyye statisticheskiye modeli [Interval statistical models]. Moscow, Radio I svyaz Publ., 1991. 352 p.
6. Matveev M. Yu. Natsionalnyye biblioteki: na puti k tsifrovomu budushchemu [National libraries: on the way to the digital future]. Vestnik Sankt-Peterburgskogo gosudarstvennogo instituta kultury [Bulletin of the Saint Petersburg State Institute of Culture], 2017, no. 2 (31), pp. 88-95.
7. Natsionalnyy standart Rossiyskoy Federatsii GOSTR 7.0.96 - 2016. Elektronnyye biblioteki. Osnovnyye vidy. Struktura. Tekhnologiya formirovaniya [National Standard of the Russian Federation GOST R 7.0.96 - 2016. Electronic libraries. The main types. Structure. Technology of formation]. Moscow, Standartinform Publ., 2016. 13 p.
8. Sage E., Mels J. Teoriya otsenivaniya iyeyeprimeneniye v svyazi i upravlenii [Theory of evaluation and its application in communication and management]. Moscow, Svyaz Publ., 1976. 496 p.
9. Terentyev V. M., Parashchuk I. B. Teoreticheskiye osnovy upravleniya setyami mnogokanalnoy radi-osvyazi [Theoretical foundations of multichannel radio communication network management]. Saint Petersburg, VAS, 1995. 195 p.
10. Shapovalova G. M. Informatsionnoye obshchestvo: ot tsifrovykh arkhivov k tsifrovomu kulturnomu naslediyu [Information society: from digital archives to digital cultural heritage]. Mezhdunarodnyy nauchno-issledovatelskiy zhurnal [International research journal], 2016, no. 5-6. pp. 177-181.
11. Besser H. The Past, Present, and Future of Digital Libraries. A Companion to Digital Humanities. Blackwell Publishing Ltd., 2004, pp. 557-575.
12. Isah A., Serema B. C., Mutshewa A., Kenosi L. Digital Libraries: Analysis of Delos Reference Model and 5S Theory. Journal of Information Science Theory and Practice, 2013, no. 1 (4), pp. 38-47.
13. Lanagan J., Smeaton A. F. Video digital libraries: contributive and decentralized. International Journal on Digital Libraries, 2012, no. 12 (4), pp. 159-178.
14. Papy F. Digital Libraries. 1st ed. Amsterdam, Netherlands, ISTE Press-Elsevier, 2016. 152 p.
15. Pomerantz J., Marchionini G. The digital library as place. Journal of Documentation, 2007, no. 63 (4), pp. 505-533.
16. Reilly B. F. Jr. Rethinking the National Library. American Libraries, 2016, vol. 47, iss. 11-12. 30 p.
17. Russian Association of Digital Libraries 2020. Available at: http://www.aselibrary.ru/index.html (accessed 17.01.2020).
18. Witten I. H, Bainbridge D., Nichols D. M. How to Build a Digital Library. 2nd ed. Waltham, USA, Morgan Kaufmann, 2009. 656 p.
