CC BY
81
Анализ юзабилити системы SCIENCE INDEX*
[организация]
Галеев Ильдар Хамитович доцент, к.т.н., начальник отдела ЦНИТ Казанский национальный исследовательский технологический университет, ул. К. Маркса, 68, г. Казань, 420015, (843)2314105 [email protected]
Аннотация
В работе рассматривается юзабилити системы SCIENCE INDEX* [организация]. Констатируется возникший конфликт интересов и необходимость его скорейшего разрешения.
The paper deals with the usability of SCIENCE INDEX * [organization]. It is stated caused a conflict of interest and the need for an early resolution.
Ключевые слова
научная электронная библиотека eLibrary.Ru, юзабилити системы SCIENCE INDEX* [организация], конфликт интересов
scientific digital library eLibrary.Ru, usability of SCIENCE INDEX* [organization], conflict of interest
Введение
Актуальность Научной Электронной Библиотеки eLibrary.Ru (НЭБ) и системы Российского индекса научного цитирования (РИНЦ) для российской науки и образования общеизвестна [1]. Число зарегистрированных читателей НЭБ динамично растет, и если в конце августа 2007 года их было около 337 тысяч [2], то в конце августа 2015 года их стало уже более 1 миллиона 280 тысяч (http://elibrary.ru/defaultx.asp), то есть за 8 лет прирост зарегистрированных читателей составил около 1 миллиона.
Для различных задач анализа российской публикационной и издательской активности широко используется РИНЦ [3-5]. В [5] изложены результаты проведенного исследования полноты и интеллектуальности РИНЦ. В указанной работе показано, что полнота данных в РИНЦ о публикационной активности российских исследователей неудовлетворительна. Следовательно, утверждение (размещенное на сайте НЭБ http://elibrary.ru/project_risc.asp), что РИНЦ "является также мощным аналитическим инструментом, позволяющим осуществлять оценку результативности и эффективности деятельности научно-исследовательских организаций, ученый:,...." является дискуссионным, а оценки, получаемые с помощью РИНЦ, существенно искажены и не могут служить достаточным основанием для принятия практических решений. Для роста полноты данных в РИНЦ специалисты НЭБ предлагают использовать систему SCIENCE INDEX* [организация]. Необходимо отметить, что доступ к системе SCIENCE INDEX* [организация] осуществляется путем приобретения организацией лицензии и услуг по обслуживанию и поддержке авторизованных пользователей сроком на один год (http://elibrary.ru/projects/science_index/science_index_org_info.asp). Взимание платы за
доступ к системе SCIENCE INDEX* [организация], по мнению автора, крайне дискуссионное по следующим основным причинам:
- создание и развитие НЭБ было обеспечено российскими грантами (Российский Фонд Фундаментальных Исследований, Министерство Образования Российской Федерации и т.д.) [5];
-основной контингент пользователей РИНЦ - сотрудники российских организаций образования и науки, финансируемых из госбюджета, и, следовательно, плата за доступ к системе SCIENCE INDEX* [организация] вновь, в той или иной степени, осуществляется из госбюджетных средств;
- функционирование РИНЦ целесообразно и оправдано только в случае, если формируемые в РИНЦ показатели публикационной активности объективны и достоверны, а это возможно лишь в случае, когда база описаний публикаций в РИНЦ достаточно полна;
- достичь необходимой полноты базы описаний публикаций в РИНЦ возможно лишь при активном участии самих организаций-пользователей РИНЦ через своих представителей, осуществляющих добавление описаний публикаций в РИНЦ;
- основной объем работы, направленной на рост полноты базы описаний публикаций в РИНЦ, осуществляется представителями организаций, оплативших доступ системе SCIENCE INDEX* [организация].
В 2015 году Казанский национальный исследовательский технологический университет (КНИТУ) приобрел у общества с ограниченной ответственностью (ООО) «НАУЧНАЯ ЭЛЕКТРОННАЯ БИБЛИОТЕКА (НЭБ)» уже вторую лицензию за доступ к системе SCIENCE INDEX* [организация] стоимостью 250 тысяч рублей. Следует отметить, что лицензия распространяется на общее количество авторов КНИТУ до 1 тысячи человек и на авторизованных пользователей КНИТУ общим количеством до 16 человек (сотрудников КНИТУ, осуществляющих добавление описаний публикаций в РИНЦ).
В сложившихся условиях остро встают вопросы качества самой системы SCIENCE INDEX* [организация] и поставляемой с ней документации, а также обоснованности стоимости лицензии за доступ к системе и срока ее действия.
Юзабилити системы SCIENCE INDEX* [организация]
Широко известно, что начиная с 2005 года, ежегодно во второй четверг ноября, отмечается Всемирный день юзабилити (World Usability Day) [6,7].Часто юзабилити (usability) «дословно переводят с английского языка как «практичность, удобство и простота использования»». «Якоб Нильсен (Jakob Nielsen) определяет юзабилити как: «...качество работы пользователя в некоторой интерактивной среде (web-сайт, программа и пр.)»». http://www.calend.ru/holidays/0/0/2553/. Само понятие usability четко не определено и продолжает расширяться и уточняться. Например, с ним связывают следующие категории: полезность; удобство использования не только для подготовленных компьютерных специалистов, но и для конечных пользователей, не имеющих специальной подготовки в области информационных технологий; устойчивость к ошибкам; легкость изучения; удовлетворенность; простые и естественные диалоги и возможность их ведения на языке пользователя; предупреждение и сообщение об ошибках; руководство для пользователя; краткость процедур достижения поставленных пользователем целей (решения поставленных пользователем задач) и т.д. Исследования по юзабилити активно ведутся как в России [8], так и за рубежом. Проводятся соответствующие международные конференции, посвященные проблемам оценки юзабилити [9]. Все это обусловлено
бурным ростом электронных ресурсов различного целевого назначения, сопровождающее развитие глобального информационного общества.
В системе SCIENCE INDEX* [организация] добавление библиографического описания публикации осуществляется в 2 шага: "Для создания главы в книге или статьи в сборнике трудов конференции необходимо сначала завести саму книгу или сборник трудов конференции соответственно. Затем, после подтверждения создания книги или сборника можно вводить главы или статьи в сборниках, выбрав из списка вновь созданную книгу или сборник трудов'
Возможно, указанная 2-х шаговая процедура удобна разработчикам системы SCIENCE INDEX* [организация], но она крайне неудобна для авторизованных пользователей, осуществляющих основную работу по добавлению библиографических описаний публикаций в РИНЦ. Следует отметить следующие неудобства:
- на первом шаге при описании, например сборника трудов конференции, авторизованный пользователь не знает, был ли уже описан кем - то до него описываемый сборник трудов конференции. Дублирование описаний случается достаточно часто, когда происходит добавление описаний популярных в России конференций. Автор статьи неоднократно сталкивался с такими ситуациями, например, при описании трудов Всероссийских научно-методических конференций серии "Телематика" http://tm.ifmo.ru/. К сожалению, отсутствуют сервисы, препятствующие дублированию работ авторизованных пользователей, то есть труд пользователей используется нерационально;
- в соответствии с существующей процедурой добавления описаний после каждого шага происходит проверка введенного описания операторами системы SCIENCE INDEX* [организация]. Как показал опыт проведенной автором работы по добавлению описаний, время, отведенное для проверки (3 недели, по словам службы поддержки), часто нарушается и в первой половине текущего года достигало в ряде случаев 2-х месяцев. Таким образом, практически нельзя говорить о работе с системой SCIENCE INDEX* [организация] в режиме online. Как следствие возникает естественный вопрос: почему университет, заплативший 250 тысяч рублей, не может просто передать список описаний публикаций (состоящий из существенно менее 10 тысяч описаний), подготовленный в текстовом процессоре Word, в ООО НЭБ для последующей загрузки описаний в базу РИНЦ силами сотрудников ООО НЭБ, и какова разумная (экономически обоснованная) цена загрузки одного описания ;
- отсутствие диалога с операторами системы SCIENCE INDEX* [организация] в режиме реального времени существенно затрудняет сам диалог, особенно в случаях, когда в процессе добавления находятся несколько десятков описаний. Возникает необходимость следить за статусом каждого описания публикаций. Предусмотрено 6 различных статусов, в одном из которых может находиться описание публикации. К сожалению, достаточно часто оказывается, что одно и то же описание находиться одновременно в нескольких списках различных статусов, например: "отправлено на регистрацию" и "подтверждено" или "отклонено", что противоречит здравому смыслу и иногда приводит к ненужному повторному вводу описания и ненужной проверки этого описания;
- качество проверки и ответов, осуществляемых операторами системы SCIENCE INDEX* [организация], достаточно часто низкого уровня, например, на рис. 1 приведен ответ оператора: "Как представитель организации, Вы можете добавлять, или уточнять только описания публикаций сотрудников Вашей организации или публикаций, цитирующих работы сотрудников Вашей организации. Проверьте идентификаторы авторов в описании публикации и цитируемых источников" на попытку автора (он же представитель организации) добавить следующее описание публикации: "Ildar GALEEV Architecture of Integrated Learning Environment //Proceedings of the International Conference on Information Technologies
(InfoTech-2009) 17-20 September 2009, Bulgaria, P.42 - 50. - ISBN 978-954-438-771-6", в котором все запрашиваемое есть. Очевидно, что разумно интерпретировать этот ответ оператора без дополнительного к нему обращения просто невозможно. Нередко, оператор системы, без видимых на то причин, запрашивает у представителя организации отсканированные обложку трудов со всеми выходными данными, полный текст самой публикации с пристатейным списком ссылок. Это наглядно свидетельствует о том, что реального, фактического контроля описываемой публикации (с обращением операторов в какие-то библиотеки и каталоги) не проводиться, то есть сам контроль носит скорее формальный характер и, следовательно, ценность такого контроля относительна.
Рис.1 Ответ оператора системы на попытку добавления описания публикации
Указанные выше неудобства работы с системой SCIENCE INDEX* [организация] далеко не исчерпывают ее недостатки. В системе недостаточно качественно реализованы основные функции:
- разбора библиографического описания публикации;
- поиска;
- связывания ссылок на публикацию с самой публикацией.
Пример, некорректного разбора библиографического описания публикации системой SCIENCE INDEX* [организация] представлен на рис. 2 - рис. 4. На рис. 2 представлено начало процесса добавления библиографического описания публикации: "И.Х. Галеев, Л.Н. Абуталипова, О.В. Колосов, А.И. Филяев. Форум «Образовательные технологии и общество» - эффективный ресурс единого образовательного информационного пространства СНГ // Материалы Всероссийской научно-методической конференции Телематика'2004, Т.2, С.-Петербург, 7-10 июня 2004 г. - С.464-465."
Рис.2 Начало добавления библиографического описания публикации
После нажатия кнопки "Добавить" программа разбора библиографического описания публикации системы SCIENCE INDEX* [организация] формирует
следующий результат (Рис. 3).
Рис. 3 Результат действий системы SCIENCE INDEX* [организация]
Как указывалось выше, добавление библиографического описания публикации осуществляется в 2 шага. Если, процесс добавления находиться на первом шаге, то действия системы просто неприемлемы. Система в обязательное поле "Тип
публикации" устанавливает значение "книга или сборник статей", хотя в
рассматриваемом случае осуществляется добавление сборника трудов конференции. Система, по умолчанию, всегда устанавливает в это поле указанное значение, что неудобно по следующим причинам:
- обычно пользователь доверяет действиям любой программной системы;
- если поле заполнено каким-то значением, то это притупляет внимание пользователя, и пользователь не всегда проверяет, нужным ли значением заполнено поле, и это часто приводит к ошибкам.
Рациональнее системе не заполнять это обязательное поле и если пользователь его не заполнит сам, то система должна сообщать ему об этом перед отправкой web-формы на проверку операторам системы.
Кроме того, система в поле "Заглавие на русском языке" вводит название конкретного доклада, хотя ни о каком докладе на первом шаге нет и речи. Само наименование рассматриваемого поля "Заглавие ..." вызывает естественный вопрос -".Заглавие..." ЧЕГО? Эта неопределенность возникает из-за того, что при продолжении заполнения web-формы для добавления трудов конференции (Рис. 4) необходимо заполнить обязательное поле "Название конференции".
Также система сама заполняет поле "Авторы", что при дополнении библиографического описания трудов конференции является грубой ошибкой, и пользователь обязан очистить это поле. При этом можно заметить, что удалить сразу весь список авторов не удается, приходиться выделять и удалять каждого автора по отдельности.
В целом размер рассматриваемой web-формы явно избыточен, ее невозможно заполнить, не используя полосу прокрутки, что мешает ее целостному восприятию и проведению удобного контроля заполненной формы пользователем. Web-форма содержит много необязательных полей. Поле "Число страниц" не отмечено как обязательное, в то же время web-форма, в которой это поле не заполнено, отклоняется (не пропускается). Как правило, большинство авторов сохраняют ксерокопии своих публикаций и ведут список своих публикаций в соответствии с ГОСТом. В ГОСТе при описании конкретной публикации в трудах конференции не предусмотрено поле "общее число страниц трудов конференции". Таким образом, если автор не сохранил саму книгу трудов конференции (не знает общее число страниц в книге), то, даже имея всю полную, соответствующую ГОСТу информацию о своей публикации, он не может ее добавить в список своих публикаций.
Рис. 4 Результат действий системы SCIENCE INDEX* [организация]
(продолжение)
Обязательное поле "Разделы тематического рубрикатора" (Рис. 4) адекватно заполнить при добавлении трудов конференции крайне проблематично. Например, в аннотации к 4-му тому трудов Международной молодежной научной конференции "XXII Туполевские чтения (школа молодых ученых) " указывается: "В сборнике представлены доклады, посвященные актуальным вопросам и проблемам развития аэрокосмических технологий, энергомашиностроения, приборостроения, информационных, инфокоммуникационных, радиоэлектронных технологий, а также социально-экономических аспектов создания аэрокосмической техники". Определить один раздел тематического рубрикатора в рассмотренном примере очевидно нельзя.
Список приведенных и проиллюстрированных претензий к функции разбора библиографического описания публикации системы SCIENCE INDEX* [организация], безусловно, может быть продолжен.
Юзабилити (usability) системы SCIENCE INDEX* [организация] во многом зависит от качества реализованной в ней функции поиска. На рис. 5 - рис. 7 наглядно иллюстрируется низкое качество этой функции на примере добавления библиографического описания следующей публикации: "Галеев И.Х. Проектирование интеллектуальных сред обучения // Проблемы техники и технологий телекоммуникаций ПТиТ-2014: Материалы XV Международной научно-технической конференции. Оптические технологии в телекоммуникациях ОТТ-2014: Материалы XII Международной научно-технической конференции, - Т. 2. Казань, 18 - 21 ноября 2014 года. Казань: Изд-во Казан. гос. техн. ун-та, 2014.- С.392 - 394. ISBN 9785-75792007-8, ISBN 9785-7579-2005-4" (рис. 5).
Рис.5 Начало добавления библиографического описания публикации
Сами труды конференции уже добавлены в РИНЦ (Рис. 6)
Рис. 6 Существующая в РИНЦ информация о трудах конференции
После нажатия кнопки "Добавить" (рис. 5) система предлагает пользователю новую для заполнения форму, в которой необходимо заполнить поля "Название сборника" и "Год издания" и затем нажать кнопку "Поиск" (рис. 7) . Естественно, во избежание описки, название сборника даже не набирается, а копируется в
соответствующее поле. Результат поиска наглядно представлен на рис. 7, и он
неуспешен.
Рис. 7 Неуспешный результат поиска существующих в РИНЦ трудов
конференции
Оказалось, что рекомендуется вводить не полное название, а его фрагмент. Как выбирать фрагмент названия, не понятно, и при каком выбранном фрагменте названия поиск будет успешным, заранее угадать нельзя. При этом список найденных сборников может быть значительным, и требуемый сборник будет необходимо вновь выбирать из предложенного системой списка. Естественно такое качество поиска не может вызывать у пользователя комфортных ощущений от работы с системой.
Качество реализации функции связывания ссылок на публикации с самими публикациями иллюстрируется на рис. 8 - рис. 11. На рис.8 представлен пристатейный список добавляемой публикации.
r.Mi «{I Л«.//1|ргП ЦМ»В»
i«) t; \л <
• ♦
— + m»>
b n
u
luuts SM|4
СП11COK Л ГГЕРАТУРЫ:
1. ПХ I алееа. Д.Л Храмов. A ll С вет иков. O.B Колосов. Адшшшнос обучение и iccuqioiuHMe. Материалы Bcepocuiflckof) научно-ме! одический конференции «Ра житие методов п средств компьютерного адаптивного ■ есшровашш». 1"-18 апреля 2003 г - < 33-35.
2 Компксгтершл! контроль шлннй < локально и листяяпкчпю); ^'чеоное пособие II.X Гатеев. В.Г. Иванов. Д.Л. Храмов. О.В Колосов. Катан г ос технатун-i К л инь. 2005. 126с
3 И Х Галеее В И Чепепш. С.А СосновскнП МОНАП-П авторств средства проектирования интелзсиуалышх обучающих систем Управляющие системы и машины. 3-4. 2002 Г. - С 80-S6. - ISSN 0130-5395.
4 Гатеев II X Проблемы н опыт проектирования НОС Международный .»лемроинып журнал "С*5рах>ва1еи.ные технологии и общество i Ыис.июиа! Technology Л Society )" - 2014 • V 17 - КМ - С 526-542 - ISSN 1136-4522 ITU Imp ifeb ieee.org mtuu 'periodicaljournal litrnl
Рис. 8 Пристатейный список ссылок добавляемой публикации
Следует подчеркнуть, что все указанные публикации описаны в РИНЦ, включены в список публикаций автора, и каждая из публикаций цитируется неоднократно, то есть процесс связывания должен осуществляться системой полностью автоматически. На рис. 9 представлен результат связывания. Автоматически системой SCIENCE INDEX* [организация], связаны 2 ссылки из четырех (связанные ссылки отмечены знаком *).
Рис. 9 Результат автоматического связывания
Пользователю необходимо проделать ряд операций, чтобы продолжить процесс связывания. Для связывания необходимо выделить публикацию и нажать кнопку ГО, запускающую поиск, и в случае удачного результата нажать на найденное описание. В случае неудачного поиска (рис. 10) приходиться вносить изменения в библиографическое описание ссылки.__
Рис. 10 Результат неудачного поиска
В рассматриваемом примере, для успешного поиска и последующего связывания в библиографическое описание учебного пособия, перед его названием пришлось вставить имя первого автора (Рис. 11).
♦ -•OS' О Лап.ы .. л." — • О ® X
•«i'WMJW
itmiMoauMMlair. v
г : «■»■» 1 зпамк
OMV |ГЧ>|*Ч» .V>wr®« о l. Л>_ Vwi Д.П. Л J*. Гшчш ш ~ Д <x»QC0W- Кшш—»а эту • к г •>Г* pwii 1 и Кг»рш». ^»■^••»-f'CO» • СЛЛГЧ CW) IUT,««JfJ .^-11 О С'ви'амищммши
г**— уг.;' с а п J ГцмШ 't»»ii '»<гшч » »%»• OHWO « асшон,: nataKi Гамм. 1 Г >«м.Д/. «f CI «CWM; (шлсимм «М, uw*. Oft i л» *«ге«.М toonev*»' »*>дЛ-С эедлм •мм» vj u xc: г. с кул. о»оимаи с Гцщщ fyugiH^» »ну г^атпфсди ■■ iCdHmniBcj ■>! W>4»IIMI я1* 4(Н. СЙ1Н1 -ПбЙ IA.
агавиэоов
еэ И.
Рис. 11 Результат требуемого связывания с участием пользователя
Особо остро проблема связывания возникает в случаях, когда в пристатейных списках указываются ссылки на зарубежные публикации, оформленные чаще всего не по российскому ГОСТу. Система SCIENCE INDEX* [организация] не обеспечивает их автоматическую обработку, приходиться указанные ссылки корректировать с целью установления соответствия российскому ГОСТу.
Таким образом, для добавления библиографических описаний публикаций пользователю системы SCIENCE INDEX* [организация] достаточно часто приходиться выполнять целый ряд операций, то есть не обеспечивается краткость процедур достижения поставленных пользователем целей (решения поставленных пользователем задач).
Заключение
Российские образование и наука заинтересованы в развитии Научной Электронной Библиотеки eLibrary.Ru (НЭБ) и системы Российского индекса научного цитирования (РИНЦ). Для обеспечения адекватности и полноты РИНЦ НЭБ предлагает использовать систему SCIENCE INDEX* [организация]. Как любая частная организация, ООО НЭБ заинтересована, прежде всего, в извлечении прибыли от своей деятельности, чем и обусловлена высокая стоимость лицензии на систему. Проведенный в статье анализ юзабилити системы SCIENCE INDEX* [организация] наглядно показал, что система нуждается в существенной доработке. Возникший конфликт интересов между ООО НЭБ и организациями, приобретающими лицензию
на использование системы SCIENCE INDEX* [организация], нуждается в скорейшем разрешении.
Литература
1. Галеев И.Х. Мониторинг функционирования и развития НЭБ // Труды 17-й Всероссийской научно-методической конференции Телематика'2010, Том 1, С.Петербург, 21-24 июня 2010 г. - С. 41 - 44.
2. Галеев И.Х Проблемы формирования единого информационно - образовательного пространства // Сборник трудов 5-й ежегодной международной научно-практической конференции «Инфокоммуникационные технологии Глобального информационного общества». 5-6 сентября 2007 года. Казань: Изд-во Фолиантъ -С.68-70.
3. И.Х. Галеев Динамика развития международного электронного журнала «Образовательные технологии и общество» // Международный электронный журнал "Образовательные технологии и общество (Educational Technology & Society)" - 2007. - V.10. - №1. - C.315-328. - ISSN 1436-4522. URL: http://ifets.ieee.org/russian/periodical/j ournal. html
4. Галеев И.Х., Галеева Н.Х. Опыт анализа публикационной и издательской активности с использование РИНЦ // Международный электронный журнал "Образовательные технологии и общество (Educational Technology & Society)" -2012. - V.15. - №1. - C.594-608. - ISSN 1436-4522. URL: http://ifets.ieee.org/russian/periodical/journal.html
5. Галеев И.Х. Оценка полноты и интеллектуальности РИНЦ // Международный электронный журнал "Образовательные технологии и общество (Educational Technology & Society)" - 2014. - V.17. - №3. - C.583-602. - ISSN 1436-4522. URL: http://ifets.ieee.org/russian/periodical/journal.html
6. Всемирный день юзабилити. URL: http://www.calend.ru/holidays/0/0/2553/ (дата обращения: 09.09.15)
7. Боброва Л.Н., Никулова Г.А. Анализ взаимосвязи факторов usability открытых образовательных сетевых ресурсов для поддержки обучения и самообучения// Международный электронный журнал "Образовательные технологии и общество (Educational Technology & Society)" - 2015. - V.18. - №2. - C.653-674. - ISSN 14364522. URL: http://ifets.ieee.org/russian/periodical/journal.html
8. Usability в России. URL: http://usability.ru/ (дата обращения: 09.09.15)
9. Galeev, I., Chepegin, V., Sosnovsky, S. The East European Sub-group of International Forum of Educational Technology and Society: Problems and the Ways to Solve Them // In Proceedings of 9th International Conference on Human-Computer Interaction (Poster Session: Abridged Proceedings), New Orleans, Louisiana, USA, August 5-10, 2001, pp. 260-262.
