Научная статья на тему 'Влияние открытого доступа на цитируемость и на альтернативные метрики научных статей по медиа и коммуникации'

Влияние открытого доступа на цитируемость и на альтернативные метрики научных статей по медиа и коммуникации Текст научной статьи по специальности «СМИ (медиа) и массовые коммуникации»

CC BY
192
39
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
НАУЧНЫЕ ЖУРНАЛЫ / НАУЧНАЯ КОММУНИКАЦИЯ / ОТКРЫТЫЙ ДОСТУП / ЦИТИРУЕМОСТЬ / АЛЬТМЕТРИКА / МЕДИАКОММУНИКАЦИЯ / SCIENTIFIC JOURNALS / SCIENTIFIC COMMUNICATION / OPEN ACCESS / CITATIONS / ALTMETRICS / MEDIA COMMUNICATION

Аннотация научной статьи по СМИ (медиа) и массовым коммуникациям, автор научной работы — Макеенко Михаил Игоревич, Трищенко Наталия Дмитриевна

В статье представлены результаты пилотного этапа исследования влияния публикаций в открытом доступе на важнейшие показатели востребованности научных статей в изданиях, посвященных изучению журналистики, медиа и массовой коммуникации. Для анализа использовались научные статьи, опубликованные в период с 2015 по 2017 гг. в 32 зарубежных научных журналах, которые индексируются в международных наукометрических базах Web of Science и Scopus, а также в 11 российских журналах в категории «Массовая коммуникация. Журналистика. Средства массовой информации» из каталога elibrary, входящих в список ВАК. Для исследования использованы данные наукометрических баз Web of Science и Scopus, показатели Google Scholar, каталогов «КиберЛенинки» и elibrary. Доля статей открытого доступа пока довольно мала, что ограничивает возможности анализа влияния новой модели на ключевые показатели, принятые в научной среде. Результаты анализа журналов по медиакоммуникации, проведенного в рамках доступной выборки, свидетельствуют о том, что в целом открытый доступ оказывает позитивное влияние скорее на альтернативные метрики и показатели использования статей, чем на их цитирование, что в целом согласуется с результатами ранее проведенных зарубежных исследований.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по СМИ (медиа) и массовым коммуникациям , автор научной работы — Макеенко Михаил Игоревич, Трищенко Наталия Дмитриевна

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

The Impact of Open Access on Citations and Alternative Metrics of Scientific Articles in Media and Communication Studies

The article contains the results of the pilot stage of the research into the impact of open access on major relevance indicators of scientific articles on journalism, media and mass communication. The study analyzed scientific articles published during the period from 2015 to 2017 in 32 foreign scientific journals, which are indexed in the international scientometric databases Web of Science and Scopus, and in 11 Russian journals in the category “Mass Communication. Journalism. Mass Media” from the elibrary catalog, which are included in the list of the Higher Attestation Commission (VAK). The research used data from the Web of Science and Scopus databases, Google Scholar metrics, CyberLeninka and elibrary catalogs. The share of open access articles is still rather insignificant, which limits the possibilities of analysing the effects of the new model on key indicators adopted in the scientific community. The results of the analysis of the journals on media communication conducted within the available sample revealed that in general open access has a stronger positive effect on alternative metrics and the use of articles than on citations, which is consistent with the results of previous foreign studies.

Текст научной работы на тему «Влияние открытого доступа на цитируемость и на альтернативные метрики научных статей по медиа и коммуникации»

ВЕСТН. МОСК. УН-ТА. СЕР. 10. ЖУРНАЛИСТИКА. 2018. № 5

ТЕОРИЯ ЖУРНАЛИСТИКИ И СМИ

Макеенко Михаил Игоревич, кандидат филологических наук, доцент кафедры теории и экономики СМИ, факультет журналистики МГУ имени М. В. Ломоносова, Москва, Россия; e-mail: makeenko.mikhail@smi.msu.ru

Трищенко Наталия Дмитриевна, магистрант кафедры новых медиа и теории коммуникации, факультет журналистики МГУ имени М. В. Ломоносова, Москва, Россия; e-mail: natahatri@yandex.ru

ВЛИЯНИЕ ОТКРЫТОГО ДОСТУПА НА ЦИТИРУЕМОСТЬ И НА АЛЬТЕРНАТИВНЫЕ МЕТРИКИ НАУЧНЫХ СТАТЕЙ ПО МЕДИА И КОММУНИКАЦИИ

В статье представлены результаты пилотного этапа исследования влияния публикаций в открытом доступе на важнейшие показатели востребованности научных статей в изданиях, посвященных изучению журналистики, медиа и массовой коммуникации. Для анализа использовались научные статьи, опубликованные в период с 2015 по 2017 гг. в 32 зарубежных научных журналах, которые индексируются в международных наукометрических базах Web of Science и Scopus, а также в 11 российских журналах в категории «Массовая коммуникация. Журналистика. Средства массовой информации» из каталога elibrary, входящих в список ВАК. Для исследования использованы данные наукометрических баз Web of Science и Scopus, показатели Google Scholar, каталогов «КиберЛенинки» и elibrary. Доля статей открытого доступа пока довольно мала, что ограничивает возможности анализа влияния новой модели на ключевые показатели, принятые в научной среде. Результаты анализа журналов по медиакоммуникации, проведенного в рамках доступной выборки, свидетельствуют о том, что в целом открытый доступ оказывает позитивное влияние скорее на альтернативные метрики и показатели использования статей, чем на их цитирование, что в целом согласуется с результатами ранее проведенных зарубежных исследований.

Ключевые слова: научные журналы, научная коммуникация, открытый доступ, цитируемость, альтметрика, медиакоммуникация.

Makeenko Mikhail, PhD in Philology, Associate Professor at the Chair of Media Theory and Economics, Faculty of Journalism, Lomonosov Moscow State University; e-mail: makeenko.mikhail@smi.msu.ru

Trishchenko Nataliia, Master Student at the Chair of New Media and Communication Theory, Faculty of Journalism, Lomonosov Moscow State University; e-mail: natahatri@yandex.ru

THE IMPACT OF OPEN ACCESS ON CITATIONS

AND ALTERNATIVE METRICS OF SCIENTIFIC ARTICLES

IN MEDIA AND COMMUNICATION STUDIES

The article contains the results of the pilot stage of the research into the impact of open access on major relevance indicators of scientific articles on journalism, media and mass communication. The study analyzed scientific articles published during the period from 2015 to 2017 in 32 foreign scientific journals, which are indexed in the international scientometric databases Web of Science and Scopus, and in 11 Russian journals in the category "Mass Communication. Journalism. Mass Media" from the elibrary catalog, which are included in the list of the Higher Attestation Commission (VAK). The research used data from the Web of Science and Scopus databases, Google Scholar metrics, CyberLeninka and elibrary catalogs. The share of open access articles is still rather insignificant, which limits the possibilities of analysing the effects of the new model on key indicators adopted in the scientific community. The results of the analysis of the journals on media communication conducted within the available sample revealed that in general open access has a stronger positive effect on alternative metrics and the use of articles than on citations, which is consistent with the results of previous foreign studies.

Key words: scientific journals, scientific communication, open access, citations, altmetrics, media communication.

DOI: 1030547/vestnik.journ.5.2018326

Открытая наука является одним из основных направлений развития научной коммуникации, и уже не осталось ни одного ее элемента, который не был бы затронут влиянием открытого доступа1: требование открытости является частью политики государств и финансирующих исследования фондов, большинство крупных образовательных и исследовательских организаций развивает собственные открытые репозитории, во всех частях света появились открытые научные журналы, а подавляющая часть традиционных научных издательств начала предлагать своим авторам опцию открытой публикации (Трищенко, 2017). Однако вопрос о том, как и в какой степени открытая публикация влияет на цитируемость и распространение научных статей, остается предметом дискуссий

еще с начала 2000-х гг. (Lawrence, 2001). С тех пор было проведено множество исследований для различных научных дисциплин, большинство из которых подтверждает гипотезу о позитивном влиянии открытого доступа на цитируемость, однако данные значительно разнятся (Antelman, 2004; Donovan, Watson, Osborne, 2015; Harnad, Brody, 2004; Hajjem, Harnad, Gingras, 2006; Norris, Oppenheim, Rowland, 2008; McCabe and Snyder, 2015; Kousha and Abdoli, 2010; Wohlrabe, 2014; Xu, Liu, Fang, 2011; Zhang, 2006).

Сложность точного определения эффектов от публикации в открытом доступе объясняется (Davis, Lewenstein, Simon, Booth et al., 2008) рядом причин.

1. Авторы могут специально отбирать свои лучшие работы для публикации в открытом доступе в надежде на более высокую ци-тируемость.

2. Открытые статьи иногда становятся доступными еще до публикации в журнале — при размещении в открытом репозитории в виде препринта. В результате такие публикации могут получать больше цитирований благодаря ранней доступности, а не открытому доступу как таковому.

3. Довольно сложно подобрать большую коллекцию статей, которые были открытыми достаточно долгое время после того, как их перевели из закрытого доступа в открытый, чтобы сравнить, как меняется цитируемость.

4. Даже просто найти достаточно широкую выборку открытых статей по разным дисциплинам, чтобы сделать на ее примере какие-то выводы, — довольно сложная задача, т. к. доля статей открытого доступа пока сравнительно невысока.

5. Предполагается, что каждая научная статья уникальна (по крайней мере, должна быть таковой), поэтому их сравнение даже в рамках одних и тех же гибридных журналов может не дать реальной картины.

Результаты одного из наиболее полных исследований по теме, основывающегося на выборке из десятков миллионов документов, говорят о том, что статьи открытого доступа в среднем получают на 30% больше цитирований (Piwowar, Priem, Lariviere, Alperin, et al., 2017). Эффект различен для разных типов открытого доступа: публикации в подписных журналах получают на 10% меньше цитирований, чем научные статьи в среднем по миру; статьи в зеленом2 доступе — на 33% больше, публикации в гибридных3 журналах — на 31%, в бронзовом4 — на 22%. При этом статьи из золотых5

журналов получают в среднем на 17% меньше цитирований, что, по-видимому, объясняется многообразием новых открытых журналов, которые публикуются на разных языках мира и не всегда ориентированы на широкую аудиторию (локальные журналы).

Другие исследования (Antelman, 2017) показывают, что открытый доступ в разных областях науки (в частности, философии, политических науках, машиностроении и математике) способствует повышению цитируемости в 1,45—1,9 раза. Из еще 70 исследований6 результаты 46 (66%) свидетельствуют о преимуществах для статей открытого доступа, 17 (24%) не подтверждают наличия разницы в показателях и еще 7 (10%) не делают никаких однозначных выводов.

Аналогичное исследование для статей по коммуникации (Schultz, 2017) показало, что материалы, размещенные в открытом доступе, цитируются в среднем в 2 раза чаще. Несмотря на то что не каждый журнал показывает такие результаты, в 8 из 10 изданий выборки цитируемость статей открытого доступа выше.

Ряд исследований также посвящен вопросу о том, как влияет открытый доступ на распространение и популяризацию результатов научных исследований. Пример журнала Nature Communications (Wang, Liu, Mao, Fang, 2015) свидетельствует, что в среднем количество просмотров статей открытого доступа выше в 3,26 раза, а показатели цитируемости в социальных медиа — в 1,37 раза. Аналогичные результаты (Davis, 2010) показывают журналы American Psychological Society: в течение первого года доступные статьи бесплатно загружались в виде полного текста в 2,19 раза чаще, чем доступные по подписке, и на 61% чаще в формате PDF. Открытый доступ также на 47% повышает шансы статьи быть процитированной в «Википедии» (Teplitskiy, Lu, Duede, 2016).

Результаты анализа влияния открытого доступа на показатели научных статей из различных областей знания значительно различаются: например, в научных журналах по сельскохозяйственным наукам средний показатель цитирований для статей открытого доступа составил 1,73, а для доступных по подписке — 0,28 (Kousha and Abdoli, 2010), для журналов по офтальмологии существенной разницы выявлено не было (Lansingh and Carter, 2009), в журналах по экологии цитируемость статей открытого доступа оказалась в 2 раза выше (Norris, Oppenheim, Rowland, 2008).

При этом одним из немногих актуальных исследований, близких к теме данной статьи, остается упомянутая выше работа Тере-

зы Шульц, которая посвящена журналам по коммуникации (Schultz, 2017) — довольно широкому тематическому полю. Более ранняя попытка анализа влияния открытого доступа на цитируе-мость в журналах по коммуникации как в научном мире, так и за его пределами (Zhang, 2006) не выявила разницы в цитируемости (по данным Web of Science), но подтвердила гипотезу о более широком распространении в Интернете материалов, опубликованных в режиме открытого доступа. Стоит, однако, учитывать, что данное исследование основывается на показателях журналов разной тематической направленности и довольно ограниченной выборке.

Другие исследования эффектов открытого доступа для научных журналов по медиа и коммуникации посвящены смежным вопросам: описанию новых платформ и важности открытого доступа для развития науки о медиа (Pooley, 2016), особенностях цитирования в научных статьях, опубликованных в открытых и подписных журналах (Poor, 2009), описанию характеристик журналов по медиа и коммуникации, включенных в DOAJ7 (Husain, Nazim, 2013).

В рамках первого этапа настоящего исследования впервые были получены данные, показывающие влияние открытого доступа на ключевые библиометрические показатели статей, опубликованных в международных и отечественных научных журналах по массовой коммуникации и медиа — более нишевом сегменте ме-диасистемы.

Также в рамках исследования были проведены глубинные интервью с 12 экспертами, представляющими разные типы организаций и сферы деятельности, которые непосредственно связаны с информационным обеспечением науки и открытым доступом. Факторы, тенденции и сценарии развития научной коммуникации в условиях открытого доступа являются предметом отдельной научной публикации, но в рамках данной статьи приводятся некоторые комментарии, имеющие прямое отношение к рассматриваемой теме.

Влияние открытого доступа на наукометрические показатели

научных статей в международных журналах

Наиболее эффективными инструментами анализа международных журналов считаются наукометрические базы Web of Science

(WoS) и Scopus, т. к. другие инструменты (в частности, Google Scholar) пока не могут обеспечить должного контроля качества индексируемых документов.

Сложность отбора журналов была обусловлена тем, что журналистика или медиа не обозначены в качестве отдельного тематического подраздела ни в WoS, ни в Scopus, поэтому составление выборки потребовало изучения всех изданий в категории communication, входящих в WoS (79 наименований) и Scopus (98 наименований), для отсеивания тех, которые относятся к техническим наукам, политологии, межличностным коммуникациям, рекламе, научной коммуникации и образованию. В результате сопоставления баз и проверки на соответствие выбранной тематике получился итоговый список из 32 журналов, индексируемых в обеих базах (порядок в соответствии со значением импакт-фактора журнала по данным WoS):

1. New Media & Society,

2. Journal of Communication,

3. Media Psychology,

4. Communication Research,

5. Communication Theory,

6. Information Communication & Society,

7. Journalism Studies,

8. Communication Monographs,

9. International Journal of Communication,

10. Journalism,

11. European Journal of Communication,

12. Television & New Media,

13. Journal Of Broadcasting & Electronic Media,

14. Mass Communication and Society,

15. Journalism & Mass Communication Quarterly,

16. Media, Culture & Society,

17. Discourse & Communication,

18. Discourse Context & Media,

19. Critical Studies in Media Communication,

20. Discourse Studies,

21. Communication and Critical-Cultural Studies,

22. Asian Journal of Communication,

23. International Communication Gazette,

24. Chinese Journal of Communication,

25. Communication, Culture & Critique,

26. Javnost-ThePublic,

27. Media International Australia,

28. Journal of Applied Communication Research,

29. Journal of Media Economics,

30. African Journalism Studies,

31. Tijdschrift voor Communicatiewetenschap,

32. Journal of African Media Studies.

Большая часть журналов (14 наименований) принадлежит английскому издательству Taylor & Francis Group, 11 изданий относятся к американской компании Sage Publications, 3 издаются американским Wiley (Wiley-Blackwell). По одному журналу принадлежит голландским издательствам Elsevier и Boom Uitgevers, а также английскому издательству Intellect. Единственный журнал открытого доступа International Journal of Communication выпускается издательством USC Annenberg Press Университета Южной Калифорнии (США).

Почти в каждом из подписных изданий есть опция открытого доступа: ее предлагает 28 журналов из 31. Среди тех, кто еще не использует гибридную модель, 2 принадлежат небольшим издательствам (Boom Uitgevers и Intellect) и только 1 входит в портфолио Taylor & Francis.

В рассматриваемых журналах каждое из издательств разрешает депонирование статей, сроки которого варьируются от 6 месяцев до 2 лет. При этом самый щадящий режим предлагает голландское издание Tijdschrift voor Communicatiewetenschap, и только при публикации в этом журнале автор имеет возможность открыто разместить версию издателя (постпринт) — в случае со всеми остальными компаниями это запрещено. Общим для издателей требованием также является размещение статьи исключительно на некоммерческом ресурсе (в некоторых научных дисциплинах издатели соглашаются на размещение препринта не только на странице автора и сайте организации, но и в тематическом репозито-рии, что связано с необходимостью обозначить приоритет).

Крупные издатели начали активно вводить опцию открытого доступа в 2010-х гг., однако ее распространение относится скорее к 2013—2016 гг., когда европейские страны стали активно вводить механизмы платы за публикацию в открытом доступе за счет средств грантов, а исследовательские организации — закладывать APC (Article Processing Charge)8 в бюджеты библиотек. Стоимость публикации в журналах Sage составляет 3000 долларов США, T&F — 2 950

долларов (однако может варьироваться в зависимости от страны). Из крупнейших издателей самую низкую цену предлагает Elsevier, в Discourse Context & Media опубликовать статью в открытом доступе можно за 1800 долларов.

При этом в журналах Sage Publications статьи открытого доступа, опубликованные на условиях открытых лицензий за последние 3 года, составляют очень небольшую долю — в среднем 1—2% от общего количества статей. В 2 из 11 журналов — Journalism & Mass Communication Quarterly и Media International Australia — таких статей вообще нет (что, однако, может объясняться недавним введением опции открытого доступа). Тем не менее если изучить раздел Online First, в котором представлены статьи, опубликованные на сайте журнала, но еще не вошедшие в конкретный выпуск, то можно обнаружить, что опция открытого доступа в 2017 г. была оплачена для гораздой большей доли статей. Расчет доли статей открытого доступа среди материалов, еще не вошедших ни в один из выпусков, возможны только для 4 журналов из-за ограничений раздела: 12% в New Media & Society (сентябрь-декабрь 2017 г.), по 7% в Communication Research и Journalism, а также 16% в Media, Culture & Society (сентябрь-декабрь 2017 г.).

В единственном журнале Elsevier в выборке в открытом доступе за 2015—2017 гг. была опубликована только одна статья (в 2018 г. за первый квартал таких статей размещено уже две).

В Journal of Communication, Communication, Communication Theory и Communication, Culture & Critique издательства Wiley, несмотря на наличие опции открытого доступа, ни одной открытой статьи за 2015—2017 гг. обнаружено не было.

Более интересной выглядит ситуация с частью журналов Taylor & Francis (Media Psychology, Information Communication & Society, Journalism Studies, Mass Communication and Society, Asian Journal of Communication, Javnost — The Public), которые показывают наглядный рост числа статей, опубликованных под открытыми лицензиями. Причем, как и в случае с Sage, динамика заметна именно при просмотре списка статей, опубликованных только на сайте и еще не успевших войти в какой-либо выпуск (от момента публикации онлайн до появления в журнале может пройти год и более).

Количество статей

" ИН'ЧЮ РИНЙ

Рисунок 1. Количество статей открытого доступа в журналах по массовой коммуникации Taylor & Francis за 2015—2017гг. (публикация на сайте)

В большинстве журналов из выборки доля статей открытого доступа слишком мала, чтобы проводить какой бы то ни было сопоставительный анализ для статей в открытом и подписном доступе. Поэтому для более подробного исследования было отобрано 9 научных журналов из изначальной выборки по критерию наличия как минимум 3 статей открытого доступа, опубликованных в период с 2015 по 2017 гг. В список вошли:

1. New Media & Society,

2. Media Psychology,

3. Information Communication and Society,

4. Journalism,

5. Media, Culture & Society,

6. Journalism Studies,

7. European Journal of Communication,

8. Javnost — The Public,

9. Discourse Studies.

В каждом из номеров журнала, в который входит хотя бы одна статья открытого доступа, были сопоставлены показатели цитиру-емости (по Web of Science), просмотров или скачиваний (в зависимости от сайта издательства) и альтернативных метрик9 (по показателям Altmetrics) для открытых статей, а также 1 и 6 статей в номере, доступ к которым возможен только при наличии подписки (в случае, если такие статьи опубликованы в открытом досту-

пе, бронзовом доступе или относятся к жанру рецензии на книгу или колонки редактора, использовались показатели 2 и/или 5 статей). В итоге были проанализированы показатели для 36 номеров и 115 статей и получены средние и медианные значения для журналов по 43 открытым статьям и 72 — доступным по подписке.

Результаты (табл. 1, 2 и 3) свидетельствуют о том, что размещение статьи в открытом доступе в большинстве случаев положительно сказывается на показателях просмотров и скачиваний, а также на альтернативных метриках, при этом цитируемость у статей открытого доступа иногда оказывается даже ниже, чем у статей с платным доступом. Однако необходимо учитывать ряд ограничений для расчетов, в т. ч. небольшую выборку. Кроме того, все статьи были опубликованы в период с 2014 по 2017 гг., поэтому с течением времени показатели могут измениться.

Таблица 1

Показатели использования и цитируемости статей с различными типами доступа (средние значения)

Название журнала Просмотры/ скачивания Цитируемость Альтметрика

ОД Подписка ОД Подписка ОД Подписка

New Media & Society 2490 723 10,3 5,4 36,2 5,7

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Media Psychology 1750 661 1,0 0,8 5,7 55,3

Information Communication and Society 2363 2514 2,2 7,6 23,6 24,4

Journalism 1804 271 0,0 0,7 14,8 5,8

Media, Culture & Society 790 750 1,0 1,4 12,2 8,3

Journalism Studies 10932 698 4,2 2,5 15,0 4,2

European Journal of Communication 1233 283 0,8 0,0 48,3 2,1

Javnost - The Public 2610 225 3,8 0,2 3,0 0,3

Discourse Studies 567 188 0,3 2,0 0,0 4,5

Все статьи из выборки 2861 753 3,4 2,7 19,4 9,9

Таблица 2

Показатели использования и цитируемости статей с различными типами доступа (медианные значения)

Название журнала Просмотры/ скачивания Цитируемость Альтметрика

ОД Подписка ОД Подписка ОД Подписка

New Media & Society 949 776 7,5 3,0 8,5 3,0

Media Psychology 2130 593 0,0 0,5 5,0 3,5

Information Communication and Society 2095 2457 1,0 8,0 10,5 27,0

Journalism 1998 220 0,0 0,7 6,5 1,0

Media, Culture & Society 667 652 1,0 0,5 7,5 5,0

Journalism Studies 2344 355 1,0 1,0 6,0 2,0

European Journal of Communication 1134 237 1,5 0,0 26,0 1,0

Javnost - The Public 2431 245 1,5 0,0 3,0 0,0

Discourse Studies 355 249 0,0 2,5 0,0 2,5

Все статьи из выборки 1451 378 1,0 1,0 7,0 3,0

Таблица 3

Соотношение показателей использования и цитируемости статей: открытый доступ/доступ по подписке

Название журнала Просмотры/ скачивания Цитируемость Альтметрика

По среднему значению По медиане По среднему значению По медиане По среднему значению По медиане

New Media & Society 3,5 1,2 1,9 2,5 6,3 2,8

Media Psychology 2,7 3,6 1,3 n/a 0,1 1,4

Information Communication and Society 0,9 0,9 0,3 0,1 1,0 0,4

Journalism 6,7 9,1 n/a n/a 2,5 6,5

Окончание таблицы 3

Media, Culture & Society 1,0 1,0 0,7 2,0 1,5 1,5

Journalism Studies 15,7 6,6 1,7 1,0 3,6 3,0

European Journal of Communication 4,4 4,8 n/a n/a 23,0 26,0

Javnost - The Public 11,6 9,9 22,1 n/a 9,1 n/a

Discourse Studies 3,0 1,4 0,2 n/a n/a n/a

Все статьи из выборки 3,8 3,8 1,2 1,0 2,0 2,3

По средним значениям для 4 журналов из 9 подробно изученных цитируемость статей открытого доступа оказалась выше, в 3 случаях — ниже, а в 2 случаях из-за ограничений выборки определить соотношение не удалось. Средние и медианные показатели для всех статей говорят об отсутствии преимущества в цитируемо-сти для статей в открытом доступе или его низком значении.

Более явным представляется позитивное влияние открытого доступа на альтернативные метрики, которое подтверждается как средними, так и медианными показателями в 6 случаях из 9 (для одного из журналов соотношение не может быть подсчитано). В среднем показатели альтернативных метрик примерно в два раза выше для статей в открытом доступе. Показатели просмотров и скачиваний тоже говорят о преимуществах для открытых статей: в среднем открытые полные тексты читают в 3,8 раза чаще, чем доступные по подписке.

Сложность проведения расчетов связана еще с несколькими факторами, которые могут сказываться на показателях цитируемо-сти. Во-первых, вероятно, что все статьи из анализируемых журналов доступны через Sci-Hub10, поэтому ограничение доступа лишь несколько осложняет поиск, но уже не может быть решающим фактором. Во-вторых, еще одним значительным ограничением такого анализа является использование издателями бронзового доступа в качестве инструмента для продвижения научного журнала. Период пребывания публикации в бесплатном доступе никак публично не регистрируется, поэтому сложно сказать, какие статьи могли увеличить свои показатели за счет открытости. Например, в некоторых журналах (в частности, Mass Communication and Society и Journal of Media Economics) почти в каждом номере доступна для бесплатного прочтения статья редактора, которая, как

правило, не несет особой научной ценности, но призвана заинтересовать аудиторию.

Широкое распространение практики публикации статей в бронзовом доступе в качестве инструмента продвижения традиционными научными журналами подтверждается мнением представителя руководства компании, специализирующейся на сборе наукометрических данных: по его словам, часто на непродолжительный срок открытой делается та статья, которая с наибольшей вероятностью должна привлечь внимание сообщества и получить высокие показатели цитируемости. В это время результаты исследования имеют также больше шансов заинтересовать СМИ и стать медиасобытием, что обеспечивает изданию доход в дальнейшем — как за счет розничной продажи доступа, так и за счет того, что организации продолжат подписываться на журнал.

Иллюстрацией того, что из Web of Science пока не всегда можно получить достоверную информацию о текущем типе доступа к той или иной статье, могут служить данные по журналу New Media & Society — одному из самых цитируемых в своей предметной области. В соответствии с WoS, из 10 самых цитируемых статей издания 8 размещено в «открытом доступе». Однако база учитывает в качестве «открытого» также доступ на сайте издателя без использования открытой лицензии. Проверка показала, что из 8 указанных статей 6 уже снова можно прочитать только по подписке и лишь 2 все еще доступны на сайте издательства.

Влияние открытого доступа на показатели научных статей

в российских журналах

В России практика создания журналов открытого доступа, публикующих статьи на условиях открытых лицензий, пока не очень распространена: в DOAJ зарегистрировано всего 233 российских издания — для сравнения в базе elibrary 13 152 журнала. Тем не менее журналы довольно часто предоставляют пользователям бесплатный доступ к полным текстам статей: только в базе elibrary таких изданий 5 672 (однако это не значит, что все остальные журналы не размещают статьи в бесплатном доступе на своих сайтах: среди изданий по массовым коммуникациям так делает, например, «МедиаАльманах», не входящий в список открытых журналов elibrary). В «КиберЛенинке» в разделе «Журналистика»

размещено 3 433 статьи, большая часть из которых распространяется на условиях открытых лицензий.

Для анализа российских журналов по массовым коммуникациям были выбраны издания, входящие в список ВАК по каталогу elibrary в категории «Массовая коммуникация. Журналистика. Средства массовой информации», — всего 11 журналов:

1. «Библиография и книговедение»,

2. «Вестник Московского университета. Серия 10: Журналистика»,

3. «Вестник Российского университета дружбы народов. Серия: Литературоведение, журналистика»,

4. «Вестник Томского государственного университета. Филология»,

5. «Вопросы теории и практики журналистики»,

6. «Знак: проблемное поле медиаобразования»,

7. «Коммуникативные исследования»,

8. «МедиаАльманах»,

9. «Медиамузыка»,

10. «Медиаскоп»,

11. «Текст. Книга. Книгоиздание».

На официальном сайте каждого из изданий можно как ознакомиться с архивом статей, так и прочитать свежий номер. Средний срок ожидания публикации в журналах, в соответствии с указаниями на некоторых сайтах, составляет 1 год.

Все издания, кроме «МедиаАльманаха», входят в список журналов открытого доступа в elibrary, что обеспечивает индексацию полных текстов статей в Google Scholar через эту электронную библиотеку.

При этом — с точки зрения правового статуса публикаций — журналов открытого доступа в выборке всего два: зарегистрированная в DOAJ «Медиамузыка», статьи в которой публикуются на условиях лицензии CC BY-NC-ND11, и «Вестник Российского университета дружбы народов. Серия: литературоведение, журналистика», которого в DOAJ нет (в отличие от 7 других журнальных серий университета), однако статьи в нем также публикуются на условиях открытой лицензии CC BY, более того, журнал работает на открытом программном обеспечении Open Journals System12.

Большинство журналов осуществляет публикацию полностью на некоммерческой основе (и 8 из 11 выпускаются университет-

скими издательствами), но в некоторых случаях необходимо обеспечить оплату издательских расходов. В выборке отсутствуют журналы, которые бы использовали APC как основу бизнес-модели, что, вероятно, связано с особенностями российской научной среды. По мнению одного из российских экспертов, курирующего платформу для издания научных журналов, причины кроются в том, что механизмы финансирования публикации в открытом доступе отсутствуют, а сами ученые, во-первых, не готовы платить, во-вторых, опасаются подобных журналов, потому что подозревают их в «хищничестве», под которым принято понимать распространенную в России практику публикации за деньги статей любого качества в сжатые сроки.

Таблица 4

Индексация российских журналов по массовой коммуникации в Google Scholar

Название Наличие в «Кибер-Ленинке» Проиндексировано статей в Scholar с сайта журнала Проиндексировано статей в Scholar из «Кибер-Ленинки» Проиндексировано в Scholar статей из е^га^ Проиндексировано в Scholar всего

Библиография и книговедение нет n/a нет 127 197

Вестник Московского

университета. Серия 10: Журналистика нет 1 нет 7 645

Вестник Российского

университета дружбы народов. Серия: Литературоведение, журналистика да n/a 735 1 825

Вестник Томского государственного университета. Филология да n/a 850 3 1340

Окончание таблицы 4

Вопросы теории и практики журналистики да 0 377 11 535

Знак: проблемное поле медиа-образования да 0 590 8 713

Коммуникативные исследования да 0 361 55 1620

МедиаАльманах нет 0 нет 520 681

Медиамузыка нет 20 нет 37 134

Медиаскоп нет 96 нет 18 1960

Текст. Книга. Книгоиздание да 0 157 n/a 197

Инфраструктура открытого доступа в России пока недостаточно развита, особенно для мониторинга показателей журналов, хотя работа в этом направлении ведется в рамках ряда международных инициатив. Для всех рассматриваемых изданий можно учитывать только показатели Google Scholar и elibrary, которые не дают детального понимания ситуации (а в случае со Scholar показатели могут также содержать значительные ошибки, т. к. инструменты поиска не ориентированы на подробную аналитику показателей журналов). Тем не менее нам удалось собрать некоторые данные по индексации статей в Scholar через разные источники, показатели Google по цитируемости журналов (h-индекс и h-медиана), а также показатели цитируемости по elibrary (табл. 3, 4).

Наиболее полно проиндексированы в Scholar статьи «Вестника Томского государственного университета», «Медиаскопа» и журнала «Коммуникативные исследования». В первом случае более половины статей попали в Scholar благодаря размещению в «Ки-берЛенинке». «Медиаскоп» индексируется в основном благодаря публикации полных текстов в elibrary. Сами официальные сайты журналов, как правило, «выпадают» из зоны видимости Google Scholar, поэтому размещения выпусков на них может быть мало для широкого распространения статей — повышению видимости в большей степени способствуют агрегаторы, которые адаптированы к требованиям поисковых систем и делают для них индексацию максимально легкой.

Таблица 5

Наукометрические показатели российских журналов по массовой коммуникации

Название Проиндексировано в Scholar всего h-индекс h-медиана Цитируемость журнала по е^га^

Библиография и книговедение 197 5 6 92

Вестник Московского университета. Серия 10: Журналистика 645 7 10 4414

Вестник Российского университета дружбы народов. Серия: литературоведение, журналистика 825 2 3 212

Вестник Томского государственного университета. Филология 1340 9 12 1996

Вопросы теории и практики журналистики 535 7 10 528

Знак: проблемное поле медиаобразо-вания 713 4 7 334

Коммуникативные исследования 1620 3 6 252

МедиаАльманах 681 5 5 522

Медиамузыка 134 - - 133

Медиаскоп 1960 10 12 1505

Текст. Книга. Книгоиздание 197 3 4 86

Нельзя утверждать, что показатели цитируемости elibrary, а также индекс Хирша по Google Scholar напрямую связаны с количеством проиндексированных статей. Скорее, можно говорить о том, что наиболее качественные журналы стремятся максимально увеличить видимость в Интернете. При этом определяющим все рав-

но оказывается уровень качества контента: например, «Вестник Российского университета дружбы народов» довольно хорошо индексируется в Scholar, но имеет низкие показатели как по данным Google, так и по данным elibrary. Выбор «КиберЛенинки» для размещения полных текстов статей в большинстве случаев оказывается более выигрышным, чем выбор elibrary, т. к. открытую электронную библиотеку Google использует гораздо более эффективно: в Scholar проиндексированы все 1,5 млн статей, размещенных в «КиберЛенинке», а из 12 млн статей elibrary проиндексировано только 1,610 млн, т. е. только 13,4%.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Выводы и дискуссия

Результаты анализа международных журналов по медиа и коммуникации показали, что, хотя большинство изданий предлагает авторам опцию размещения в открытом доступе, доля статей, опубликованных таким образом, остается очень небольшой. Тем не менее наблюдается тенденция к расширению практики открытой публикации, поэтому проведение аналогичного исследования через 3—5 лет даст более полную картину влияния открытого доступа на наукометрические показатели. Например, по мнению представителя организации, специализирующейся на обеспечении библиотек электронными ресурсами, влияние открытого доступа на цитируемость заключается не в увеличении количества ссылок, а в скорости их получения: «Есть такие исследования, которые показывают, что фактически открытый доступ не влияет на цитирование, но влияет на скорость появления ссылок, т. е. условно статья в подписном журнале будет процитирована 10 раз за 5 лет, а в открытом доступе 10 раз за 3 года. При этом за 5 лет количество цитирований будет одинаковым». Отслеживание этого эффекта в рамках исследуемой тематической области также будет возможно лишь по прошествии нескольких лет.

В рамках доступной выборки можно говорить о том, что открытый доступ чаще позитивно влияет на цитируемость, хотя его роль не является определяющей. При этом открытая публикация позитивно влияет на альтернативные метрики и — в еще большей степени — на количество просмотров и скачиваний статьи.

Сложно сказать, свидетельствуют ли описанные результаты о том, что научные статьи, опубликованные открыто, привлекают внимание не только ученых, но и людей, не имеющих прямого от-

ношения к научному сообществу. Возможно, такая разница между статистикой скачиваний, альтернативными метриками и уровнем цитируемости вызвана тем, что эти материалы еще не успели получить свои цитирования, т. к. цикл публикации довольно долог, а в открытом доступе научные статьи начали публиковаться в основном в последние годы. Тем не менее, по мнению ряда экспертов, одно из основных преимуществ открытого доступа заключается в расширении аудитории, которая имеет доступ к результатам научных исследований. Как заметил представитель европейского проекта по развитию открытой науки, вовлечение исследовательских организаций в распространение открытого доступа объясняется, в первую очередь, тем, что «они хотят максимальный результат и максимально широкое распространение информации о результатах работы, потому что на этом строится их репутация».

Дополнительные сложности при попытке анализа текущего статуса распространения открытого доступа, а также его воздействия на научную коммуникацию создает использование издательствами бронзового открытого доступа в качестве инструмента для продвижения статей (в то же время это еще и яркое свидетельство того, что открытый доступ является признанным и эффективным способом расширения аудитории и повышения цитируемости). Осложняет анализ позиция Web of Science и Scopus, которые используют наиболее расширительное толкование термина открытый доступ для присвоения материалам соответствующего статуса, в результате чего на момент обращения к статьям, которые обозначены как открытые, можно столкнуться с необходимостью подписаться на издание.

В российских журналах по массовым коммуникациям доступность статей, с одной стороны, шире, а с другой стороны, не соответствуют базовым требованиям открытости — необходимости применения открытых лицензий, которые используют только два журнала из выборки. Распространению практики открытого лицензирования научных статей препятствует отсутствие культуры управления авторскими правами и знаний о новых правовых инструментах (а также инструментов финансирования и устойчивых бизнес-моделей для коммерческих издательств в текущих условиях рынка).

Учитывая, что в то же время 100% статей можно бесплатно прочитать онлайн, довольно сложно делать какие-то предположения о влиянии открытого доступа на цитируемость или альтернатив-

ные метрики. Вместе с тем очевидно, что использование сторонних агрегаторов (таких, как «КиберЛенинка» и elibrary) делает статьи более заметными, а значит, повышает их шансы быть прочитанными и процитированными.

Наиболее вероятным после изучения показателей использования и цитируемости статей представляется вывод о том, что открытый доступ сам по себе не гарантирует более высокую цитируе-мость, однако служит для привлечения внимания к публикациям, а также обеспечения еще большего охвата и более высоких показателей для тех статей, которые и так были бы замечены учеными. В целом, по данным Web of Science, доля статей открытого доступа по теме communication составляет 14% (114 344 из 814 463 статей). Интересно, что при этом доля статей открытого доступа среди 3 434 вы-сокоцитируемых — уже 33% (1 156 публикаций).

Очевидно, что у международных и региональных издательств совершенно разные пути перехода к открытому доступу, а также разная мотивация: если для крупных коммерческих издательств отрытый доступ — перспективная бизнес-модель, то для российских журналов это лишь инструмент для более широкого распространения контента и более эффективной работы над задачей развития науки и повышения престижа организации, спонсирующей издание.

В гуманитарных дисциплинах открытый доступ пока развит гораздо меньше, чем в других научных областях. Однако есть основания полагать, что повышение осведомленности исследователей будет способствовать и распространению практики открытой публикации научных статей, так как для ученого это не только шанс получить больше внимания со стороны коллег, но и — вопреки сложившимся порядкам и представлениям — возможность сохранить контроль над своей интеллектуальной собственностью.

Расширение массивов исследований, опубликованных в открытом доступе, со временем может способствовать появлению элементов инфраструктуры открытой науки, которые обеспечат мониторинг научной активности и измерение научного вклада на платформах и в журналах, по тем или иным причинам не удовлетворяющих критериям международных наукометрических баз, но публикующих качественный контент. Кроме того, в условиях, когда публикация научной статьи занимает более года (что актуально и для изданий по медиа и коммуникации), очевидна необходи-

мость появления новых платформ, обеспечивающих немедленное размещение результатов исследования в открытом доступе и вовлечение практиков в процесс научной коммуникации.

Примечания

1 Открытый доступ — бесплатный, оперативный, постоянный, полнотекстовый, онлайновый доступ к изданиям и произведениям, который обеспечивается за счет специального правового статуса произведений, основанного на использовании открытых лицензий.

2 Зеленый открытый доступ — открытая публикация в репозитории открытого доступа (в случае с научной статьей это может быть пре- или постпринт, с эмбарго или без задержки — в зависимости от политики журнала в отношении депонирования статей).

3 Гибридный открытый доступ — открытая публикация в подписном журнале с применением опции открытого доступа в момент публикации.

4 Бронзовый доступ — статьи доступны на сайте издателя, однако без использования открытой лицензии (текст бесплатен для ознакомления, но не является свободным для использования).

5 Золотой открытый доступ — публикация в журнале открытого доступа, обеспечивающая моментальную доступность статьи.

6 OACA list // SPARC Europe. Режим доступа: https://sparceurope.org/what-we-do/ open-access/sparc-europe-open-access-resources/open-access-citation-advantage-ser-vice-oaca/oaca-list/

7 The Directory of Open Access Journals (DOAJ) — один из крупнейших в мире агре-гаторов открытого доступа, запущенный в 2003 г. Лундским университетом (Швеция).

8 APC или Article Processing Charge — плата за публикацию в журнале открытого доступа, основа бизнес-модели примерно трети открытых журналов.

9 Альтернативные метрики — новые методы наукометрических исследований, которые могут учитывать распространение в социальных сетях, СМИ, блогах, ци-труемость в «Википедии», значимых документах и т. п.

10 Sci-Hub — сервис, позволяющий бесплатно получать доступ к подписным статьям. В США является нелегальным, считается пиратским ресурсом.

11 Открытые лицензии — правовой инструмент, позволяющий автору (правообладателю) передать некоторые неисключительные права на свое произведение неограниченному кругу лиц. Наиболее популярными лицензиями в научной среде являются Creative Commons, которые настраиваются по ряду параметров, позволяя автору ограничивать набор передаваемых прав. В частности, CC BY-NC-ND запрещает коммерческое использование и создание производных произведений, является самой несвободной лицензией, а CC BY разрешает совершать с произведением любые манипуляции при условии указания автора и ссылки на источник.

12 Open Journals System — открытое ПО для организации рецензируемых научных журналов, распространяется по лицензии GNU GPL.

Библиография

Трищенко Н. Д. Открытый доступ к науке: анализ преимуществ и пути перехода к новой модели обмена знаниями / под ред. И. И. Засурского. М.: Ассоциация интернет-издателей, Кабинетный ученый, 2017. С. 69—70.

Antelman K. (2004) Do open-access articles have a greater research impact? College & Research Libraries 65: 372—382.

Antelman K. (2017) Leveraging the Growth of Open Access in Library Collection Decision Making. At the helm: leading transformation. Association of College and Research Libraries, 411—422.

Davis P. (2010) Does Open Access Lead to Increased Readership and Citations? A Randomized Controlled Trial of Articles Published in APS Journals. The Physiologist 53: 197-201.

Davis P., Lewenstein B., Simon D., Booth J., Connolly M. (2008) Open access publishing, article downloads, and citations: randomised controlled trial. BMJ2008;337: a568.

Donovan J., Watson C., Osborne C. (2015) The open access advantage for American law reviews. Edison: Law + Technology 2015: 1-22.

Hajjem C., Harnad S., Gingras Y (2006) Ten-year cross-disciplinary comparison of the growth of open access and how it increases research citation impact. Bulletin of the IEEE Computer Society Technical Committee on Data Engineering 28: 39-47.

Harnad S., Brody T. (2004) Comparing the impact of open access (oa) vs. non-oa articles in the same journals. D-Lib Magazine 10(6).

Husain S., Nazim M. (2013) Analysis of open access scholarly journals in media and communication. Journal of Library & Information Technology 33(5): 405-411.

Kousha K., Abdoli M. (2010) The citation impact of open access agricultural research. Online Information Review 34: 772-785.

Lansingh V, Carter M. (2009) Does Open Access in Ophthalmology Affect How Articles Are Subsequently Cited in Research? Ophthalmology 116: 14251431.

McCabe M., Snyder C. (2015) Does online availability increase citations? Theory and evidence from a panel of economics and business journals. Review of Economics and Statistics 97: 144-165.

Norris M., Oppenheim C., Rowland F. (2008) The citation advantage of open-access articles. Journal of the American Society for Information Science and Technology 59: 1963-1972.

Piwowar H., Priem J., Larivière V., Alperin J., Matthias L., Norlander B., Farley A., West J., Haustein S. (2017) The state of OA: a large-scale analysis of the prevalence and impact of Open Access articles. PeerJ 6: e4375

Pooley J. (2016) Open Media Scholarship: The Case for Open Access in Media Studies. International Journal of Communication 10: 1-17.

Poor N. (2009) Global citation patterns of open access communication studies journals: Pushing beyond the Social Science Index. International Journal of Communication 3: 853-870.

Schultz T. (2017) Opening Up Communication: Assessing Open Access Practices in the Communication Studies Discipline. Journal of Librarians hip and Scholarly Communication 5(1), p. eP2131.

Teplitskiy M., Lu G., Duede E. (2016) Amplifying the impact of open access: Wikipedia and the diffusion of science. Journal of the Association for Information Science and Technology 22.

Wang X., Liu C., Mao W, Fang Z. (2015) The open access advantage considering citation, article usage and social media attention. Scientometrics 103(2): 555-564.

Wohlrabe K., Birkmeier D. (2014) Do open access articles in economics have a citation advantage? Munich Personal RePEc Archive, 56842.

Xu L., Liu J., Fang Q. (2011) Analysis on open access citation advantage: an empirical study based on oxford open journals. iConference '11, Proceedings of the 2011 iConference, Seattle, 11th February 2011. Pp. 426-432.

Zhang Y. (2006) The effect of open access on citation impact: A comparison study based on web citation analysis. Libri 56:145-156.

References

Antelman K. (2004) Do Open-Access Articles Have a Greater Research Impact? College & Research Libraries 65: 372-382.

Antelman K. (2017) Leveraging the Growth of Open Access in Library Collection Decision Making. At the Helm: Leading Transformation. Association of College and Research Libraries, 411-422.

Davis P. (2010) Does Open Access Lead to Increased Readership and Citations? A Randomized Controlled Trial of Articles Published in APS Journals. The Physiologist 53: 197-201.

Davis P., Lewenstein B., Simon D., Booth J., Connolly M. (2008) Open Access Publishing, Article Downloads, and Citations: Randomised Controlled Trial. BMJ2008;337: a568.

Donovan J., Watson C., Osborne C. (2015) The Open Access Advantage for American Law Reviews. Edison: Law + Technology 2015: 1-22.

Hajjem C., Harnad S., Gingras Y. (2006) Ten-Year Cross-Disciplinary Comparison of the Growth of Open Access and How It Increases Research Citation Impact. Bulletin of the IEEE Computer Society Technical Committee on Data Engineering 28: 39-47.

Harnad S., Brody T. (2004) Comparing the Impact of Open Access (OA) vs. Non-OA Articles in the Same Journals. D-Lib Magazine 10(6).

Husain S., Nazim M. (2013) Analysis of Open Access Scholarly Journals in Media and Communication. Journal of Library & Information Technology 33(5): 405-411.

Kousha K., Abdoli M. (2010) The Citation Impact of Open Access Agricultural Research. Online Information Review 34: 772-785.

Lansingh V, Carter M. (2009) Does Open Access in Ophthalmology Affect How Articles Are Subsequently Cited in Research? Ophthalmology 116: 14251431.

McCabe M., Snyder C. (2015) Does Online Availability Increase Citations? Theory and Evidence from a Panel of Economics and Business Journals. Review of Economics and Statistics 97: 144—165.

Norris M., Oppenheim C., Rowland F. (2008) The Citation Advantage of Open-Access Articles. Journal of the American Society for Information Science and Technology 59: 1963-1972.

Piwowar H., Priem J., Larivière V., Alperin J., Matthias L., Norlander B., Farley A., West J., Haustein S. (2017) The State of OA: a Large-Scale Analysis of the Prevalence and Impact of Open Access Articles. PeerJ 6: e4375

Pooley J. (2016) Open Media Scholarship: The Case for Open Access in Media Studies. International Journal of Communication 10: 1-17.

Poor N. (2009) Global Citation Patterns of Open Access Communication Studies Journals: Pushing Beyond the Social Science Index. International Journal of Communication 3: 853-870.

Schultz T. (2017) Opening Up Communication: Assessing Open Access Practices in the Communication Studies Discipline. Journal of Librarians hip and Scholarly Communication 5(1), p. eP2131.

Teplitskiy M., Lu G., Duede E. (2016) Amplifying the Impact of Open Access: Wikipedia and the Diffusion of Science. Journal of the Association for Information Science and Technology 22.

Trishchenko N. (2017) Otkrytyy dostup k nauke: analiz preimushchestv i puti perekhoda k novoy modeli obmena znaniyami [Open Access to Science: an Analysis of the Benefits and Ways of Transition to a New Model of Knowledge Sharing]. Moscow: Webpublishers Association Armchair, Scientist Publishers. Pp. 69-70.

Wang X., Liu C., Mao W, Fang Z. (2015) The Open Access Advantage Considering Citation, Article Usage and Social Media Attention. Scientometrics 103(2): 555-564.

Wohlrabe K., Birkmeier D. (2014) Do Open Access Articles in Economics Have a Citation Advantage? Munich Personal RePEc Archive, 56842.

Xu L., Liu J., Fang Q. (2011) Analysis on Open Access Citation Advantage: an Empirical Study Based on Oxford Open Journals. iConference '11, Proceedings of the 2011 iConference, Seattle, 11th February 2011. Pp. 426-432.

Поступила в редакцию 04.07.2018

i Надоели баннеры? Вы всегда можете отключить рекламу.