CC BY
49
ны «Английский язык»). Препринт. Йошкар-Ола: Национальное аккредитационное агентство в сфере образования, 2008. 66 с.; Тер-Авакян И.В. Проектирование языковых тестов: компетентностный подход (на материале дисциплины «Английский язык» // Вестник Вятского государственного гуманитарного университета.
2008. № 4 (2). С. 50-53; Тер-Авакян И.В. Методология лингводидактических измерений: компетентностный подход (на материале дисциплины «Английский язык»). Йошкар-Ола: Национальное аккредитационное агентство в сфере образования.
2009. 63 с.
9. Гальскова Н.Д., Гез Н.И. Теория обучения
иностранным языкам. Лингводидактика и методика. М.: Академия, 2004. 336 с.
10. Сотникова Т.В. О лингвистических основах тестирования // Language and Literature. URL: http://frgf.utmn.ru/last/No13/ text21.htm
11. Тер-Авакян И.В. Английский язык: Грамматика для чтения. Ч. I. Йошкар-Ола: Мар-ГТУ, 2005.124 с.; Тер-Авакян И.В. Английский язык: Грамматика для чтения. Ч.2. Йошкар-Ола: МарГТУ, 2005. 96 с.; Тер-Ава-кян И.В Английский язык: Чтение и обработка информации. Йошкар-Ола: МарГТУ, 2007. 168 с.
NAVODNOV V., TER-AVAKYAN I. NEW APPROACH TO DESIGNING LANGUAGE TESTS
The paper deals with a problem of assessment of foreign language proficiency in the area of professional education. The key idea is to introduce a model of text-oriented tests and to define its design parameters with the view of improving the reliability of test procedures. Special attention is paid to the accuracy of decisions when evaluating the levels of students’ competence in the context of indirect communication.
Keywords: competence-based approach; communicative competence; quality assessment; test designing; text-oriented language tests.
И.Х. ГАЛЕЕВ, доцент Казанский государственный технологический университет
Информационнообразовательное пространство России и «перечень» журналов
Новым ключевым требованием, предъявляемым к научным журналам, является их участие в формировании РИНЦ. Показаны нерешенные проблемы, существующие между издательствами, НТЦ «ИНФОРМРЕГИСТР » и НЭБ, препятствующие формированию единого открытого информационно-образовательного пространства России.
Ключевые слова: информационное общество, информационные ресурсы, относительный рейтинг, востребованность, цитируемость, импакт-фактор, самоцитирование.
Формирование информационного общества сопровождается интенсивным созданием информационных ресурсов и технологий для науки и образования. Наглядным примером, в частности, служит совместная работа ряда стран над созданием Всемирной цифровой (электронной) библиотеки (World Digital Library). Поиск на вебсайте Всемирной электронной библиотеки (ВЭБ) можно будет вести на семи языках, в том числе на русском. ВЭБ
изначально создавалась на базе Библиотеки Конгресса США, в которой на сегодняшний день хранится 26 млн. единиц документов. Однако за последние четыре года к проекту присоединились библиотеки и национальные архивы ряда других стран, в том числе Российская национальная библиотека (Санкт-Петербург), Российская государственная библиотека (Москва) и Президентская библиотека имени Б.Н. Ельцина.
Научные образовательные издания играют важнейшую роль в формировании информационного общества в России. Эффективность формирования информационного общества во многом зависит от организации единого открытого информационно-образовательного пространства на базе электронных библиотек, обеспечивающих всеобщий, не зависящий от времени и места доступ к информации. Пользователи информации (читатели) заинтересованы в получении объективной и достоверной информации о том, какие из научных журналов являются ведущими, а какие можно воспринимать как информационный «шум».
Наиболее значимым информационным ресурсом для науки и образования в нашей стране является Научная электронная библиотека (НЭБ) (eLIBRARY.RU - http://www.elibrary.ru/). Это обусловлено тем, что 14.10.2008 вышло решение Президиума Высшей аттестационной комиссии (ВАК) Минобрнауки России №45.1-132 о порядке формирования Перечня ведущих рецензируемых научных журналов и изданий, в которых должны быть опубликованы основные научные результаты диссертаций на соискание ученых степеней доктора и кандидата наук. В решении Президиума ВАК приведен ряд требований, которым должны удовлетворять научные журналы и издания, претендующие на вхождение в Перечень ВАК. Ключевым является требование регулярного предоставления информации об опубликованных статьях по установленной форме в систему Российского индекса научного цитирования (РИНЦ), которая создается НЭБ в рамках проекта, инициированного Федеральным агентством по науке и инновациям.
Для электронных научных журналов, помимо участия в формировании РИНЦ, необходима регистрация в НТЦ «Информрегистр », сопровождаемая
требованием регулярной (по мере издания) передачи выпусков журнала с комплектом сопроводительных документов. Сроки,порядок регистрации и комплект сопроводительных документов описаны на сайте НТЦ «Информрегистр » (http://www.inforeg.ru/). Очевидно, что указанная процедура в настоящее время крайне затратна для издателей и лишена здравого смысла для государства, научной общественности и с точки зрения формирования информационного общества в России. Примечательно, что к международным (зарубежным) научным электронным журналам аналогичных требований не предъявляется. Для них достаточно включения текущих номеров научного периодического издания в одну из систем цитирования - Web of Science или Scopus. Таким образом, назрела крайняя необходимость совершенствования российского законодательства в области электронных научных изданий. Существующее дублирование ряда функций по систематизации и хранению периодических электронных научных журналов между НЭБ и НТЦ «Ин-формрегистр» приводит к неоправданной трате госбюджетных средств, используемых на финансирование указанных организаций, а также средств издателей (университетов и других учреждений науки и образования).
В отличие от НТЦ «Информрегистр», НЭБ предоставляет научной общественности ряд сервисов, имеющих высокую актуальность. Это в первую очередь расчет значений им-пакт-факторов научных журналов, мониторинг их востребованности (значения относительных рейтингов), сведения об авторах статей и т.д. В условиях существующего в России монополизма НЭБ на предоставление научной общественности указанных сервисов резко возрастает ее ответственность за регулярность и достоверность предоставляемых данных.
Здесь, к сожалению, возникает целый ряд вопросов.
Рассмотрим, к примеру, вопрос о достоверности информации об авторах статей, предоставляемой НЭБ. В период 2002-2009 гг. профессор КГТУ Нуриев Н.К. опубликовал 16 статей в международном электронном научном журнале Educational technology & Society (Образовательные технологии и общество) [1]. В НЭБ загружены все выпуски указанного журнала (на июль 2009 г. -43 выпуска, содержащих 1216 статей). Естественно, все статьи оформлены в строгом соответствии с требованиями. На рис. 1 приведен пример снимка экрана со статьей профессора Нуриева Н.К., загруженной из НЭБ по адресу http:/ / elibrary.ru / download/ 97684304.pdf. На рис. 2 представлен снимок экрана, содержащий поисковый запрос по автору Нуриеву и результат поиска в авторском указателе НЭБ.
Можно привести не один пример, иллюстрирующий недостоверность функционирования авторского указателя в НЭБ. Очевидно, что для конструктивного решения проблемы достоверности информации, предоставляемой НЭБ, требуется организовать тесное взаимодействие между разработчиками НЭБ и пользователями, и в первую очередь - издателями научных журналов.
Общепризнано, что важнейшим компонентом единого информационно-образовательного пространства являются научные издания в области образования. В статье [2] приведены им-пакт-факторы (ИФ) РИНЦ части журналов по образованию в НЭБ за 2006-
2007 гг. В настоящее время (на 28.07.2009) в разделе «Народное образование. Педагогика» размещено уже 210 журналов (на 30.01.2009 их было около 160). В июне 2009 г. были рассчитаны значения ИФ РИНЦ за 2008 г. Анализ изменений значений ИФ РИНЦ за три последовательных года позволяет
констатировать следующее. Среди 11 журналов-лидеров по значениям ИФ РИНЦ за 2006 г. в последующие два года произошли существенные изменения. По характеру изменений значений ИФ РИНЦ указанные журналы можно разбить на три группы (табл. 1):
• демонстрирующие устойчивый рост цитируемости своих статей («Высшее образование в России», «Вопросы образования»);
• сохраняющие достаточно стабильную цитируемость своих статей («Экономика образования», «Стандарты и мониторинг в образовании», «Образовательные технологии и общество (Educational Technology & Society)»);
• практически утратившие цити-руемость (ИФ РиНц = 0,000) своих статей («Педагогика», «Высшее образование сегодня», «Университетское управление: практика и анализ», «Качество. Инновации. Образование», «Школьные технологии», «Информатика и образование»).
К глубокому сожалению, третья группа оказалось самой многочисленной.
Исчерпывающий анализ изменений значений ИФ РИНЦ по годам по всему массиву журналов в НЭБ провести не удается, так как в НЭБ указываются значения ИФ РИНЦ только за последний рассчитанный год, и если их не сохранять, то они утрачиваются для последующего анализа.
Нестабильность по годам значений ИФ РИНЦ ставит под сомнение объективность отбора журналов в Перечень ВАК только на основе одного статистического показателя. В упомянутой статье [2] предлагалось учитывать относительные рейтинги журналов, основанные на востребованности журналов (фиксируется, когда и сколько статей загружено с сервера НЭБ). В табл. 2 представлена интегрированная информация о журналах по образованию в НЭБ на 28.07.2008, имеющих
Рис. 1. Снимок экрана со статьей Н.К. Нуриева из НЭБ
Рис. 2. Снимок экрана с результатом поиска автора Нуриева Н.К.
Таблица 1
Импакт-факторы РИНЦ журналов по образованию в НЭБ за 2006-2008 гг.
N Название журнала ИФ РИНЦ за 2006 г. ИФ РИНЦ за 2007 г. ИФ РИНЦ за 2008 г.
1 Педагогика 0,387 0,166 0,000
2 Высшее образование сегодня 0,317 0,065 0,000
3 Университетское управление: практика и анализ 0,221 0,263 0,000
4 Экономика образования 0,151 0,045 0,061
5 Высшее образование в России 0,127 0,237 0,336
6 Стандарты и мониторинг в образовании 0,089 0,050 0,094
7 Образовательные технологии и общество (Educational T echnology & Society) 0,082 0,016 0,046
8 Вопросы образования 0,079 0,121 0,247
9 Качество. Инновации. Образование 0,068 0,014 0,000
10 Школьные технологии 0,064 0,045 0,000
11 Информатика и образование 0,054 0,086 0,000
ненулевое значение ИФ РИНЦ за 2008 г. (всего 23 журнала).
Кроме значений Иф РИНЦ за 2008 г., в табл. 2 содержатся сведения о количестве статей в журналах и количестве их цитирований, а также информация о занимаемом месте среди всех журналов в НЭБ (за весь период функционирования НЭБ) по количеству считанных статей (относительному рейтингу) и само значение рейтинга. В некоторых ячейках таблицы проставлен знак «?». Это означает, что в НЭБ отсутствует соответствующая информация. Таким образом, из журналов, помеченных знаком «?», за весь период функционирования НЭБ не было считано ни одной статьи из НЭБ. Чаще всего это объясняется тем, что в НЭБ отсутствуют сами статьи и в лучшем случае приводятся их аннотации, а в ряде случаев только название журнала и перечень выпусков. Из 23 журналов, приведенных в табл. 2, таких журналов 8. Аналогичная ситуация характерна и для других рубрик НЭБ. Это свидетельствует о том, что НЭБ, к сожалению, в своей достаточно значительной части является не электронной библиотекой, а лишь электронным каталогом.
При этом необходимо подчеркнуть, что вклад журналов, помеченных зна-
ком «?», в формирование открытого информационно-образовательного пространства России крайне проблематичен. Впрочем, как и многих других журналов. Только два журнала из табл. 2 имеют рейтинги больше 2000 - это «Образовательные технологии и общество (Educational Technology & Society)» (239-е место с рейтингом 2961) и «Высшее образование в России»(248-е место с рейтингом 2815). Находящийся на 3-м месте (по значению рейтинга) среди журналов по образованию журнал «Вестник Томского государственного педагогического университета» значительно отстает - 983-е место с рейтингом 441. Необходимо особо подчеркнуть, что статьи указанных трех журналов находятся в открытом (бесплатном) доступе. Следует также отметить, что только пять журналов из приведенных в табл. 2 имеют более 1000 статей.
Наряду с рейтингом существенный интерес представляет усредненная востребованность статей того или иного журнала. Для ее оценки можно предложить коэффициент востребованности КВ, вычисляемый по формуле: PUBL1/PUBL2, где:
PUBL1 - рейтинг (число статей, считанных из данного журнала за заданный период);
Таблица 2
Интегрированная информация о журналах по образованию в НЭБ на 28.07.2008
№ Название журнала Статей Цити рований ИФ РИНЦ за 2008 г. Место среди всех журналов (из 4837 журналов) в НЭБ (за весь период) Рейтинг (за весь период)
1 Сибирский педагогический журнал 432 371 1,395 1809 126
2 Высшее образование в России 2737 2397 0,336 248 2815
3 Вопросы образования 255 151 0,247 ? ?
4 Вестник Российского университета дружбы народов. Серия: Психология и педагогика 215 50 0,194 ? ?
5 Открытое образование 379 221 0,132 ? ?
6 Стандарты и мониторинг в образовании 266 183 0,094 ? ?
7 Образование и наука. Известия Уральского отделения Российской академии образования 540 162 0,084 4337 3
8 Машиностроение и инженерное образование 142 31 0,083 ? ?
9 Вестник международных организаций: образование, наука, новая экономика 108 37 0,068 ? ?
10 Дефектология 284 413 0,067 ? ?
11 Экономика образования 880 138 0,061 1163 323
12 Вестник Тихоокеанского государственного экономического университета 226 34 0,051 2120 83
13 Знание. Понимание. Умение 731 62 0,047 1388 233
14 Образовательные технологии и общество (Educational Technology & Society) 1216 75 0,046 239 2961
15 Вестник Челябинской государственной академии культуры и искусств 219 12 0,034 1727 139
16 Интеграция образования 535 47 0,028 ? ?
17 Вестник Православного Свято-Тихоновского гуманитарного университета. Серия 4: Педагогика. Психология 158 5 0,026 2088 86
18 Человек и образование 323 14 0,021 4838 1
19 Вестник Чувашского университета 1406 66 0,016 1095 361
20 Вестник Томского государственного педагогического университета 1327 59 0,015 983 441
21 Мир образования - образование в мире 413 84 0,013 3299 15
22 Известия Пензенского государственного педагогического университета им. В.Г. Белинского 485 4 0,008 1508 196
23 Дистанционное и виртуальное обучение 2374 8 0,004 1830 123
PUBL2 - общее число статей, опубликованных в данном журнале за заданный период.
Так, для журнала «Образовательные технологии и общество (Educational Technology & Society)» КВ=2961/ 1216=2,435; для журнала «Высшее образование в России» КВ=2815/ 2737=1,028; для журнала «Вестник Томского государственного педагогического университета» КВ= 441/983=0,449. В качестве примера журнала с низкой усредненной востребованностью статей можно привести «Дистанционное и виртуальное обучение» (КВ=123/ 2374=0,052). Очевидно, что значение рейтинга журнала и усредненная востребованность его статей находятся в существенной зависимости от метода доступа - открытого (бесплатного) или платного (частично или полностью).
Дальнейший анализ информации в табл. 2 инициирует вопрос: чем обусловлен весьма существенный разрыв между значением ИФ РИНЦ у журнала «Сибирский педагогический журнал» и значениями ИФ РИНЦ у других журналов? При этом следует обратить внимание на то, что ИФ РИНЦ у журнала «Сибирский педагогический журнал» в 2006 г. был меньше 0,054 (табл. 1), а в
2008 г. вырос до 1,395 (табл. 2). Кроме того, «Сибирский педагогический журнал» занимает достаточно скромное (1809-е) место с невысоким рейтингом (126) среди всех журналов в НЭБ и существенно отстает по значениям этих параметров от ряда других журналов по образованию. Можно добавить, что у этого журнала, несмотря на открытый доступ, КВ=126/432=0,292.
На рис. 3 представлен снимок экрана, содержащий список статей, цитирующих публикации в данном журнале. Рассматриваемый список содержит всего 197 статей, содержащих 371 ссылку. При этом можно получить информацию, что из 197 статей, содержащих ссылки, 170 статей опубликованы в са-
мом журнале «Сибирский педагогический журнал».
Нужно иметь в виду, что ИФ в НЭБ рассчитывается как «классический» (Гарфильдовский) импакт-фактор, то есть учитывающий самоцитирование [2]. Из проведенного выше анализа следует, что высокое значение ИФ РИНЦ у журнала «Сибирский педагогический журнал» обеспечивается главным образом высокой степенью самоцитирования. В качестве показателя, характеризующего общую степень самоцитирования журнала, можно предложить коэффициент самоцитирования КС, вычисляемый по формуле: РиВ1/РиВ2, где:
РиВ1 - число статей из данного журнала, цитирующих публикации в данном журнале;
РиВ2 - общее число статей из всех журналов, цитирующих публикации в данном журнале.
Для журнала «Сибирский педагогический журнал» введенный коэффициент самоцитирования КС=170/ 197=0,863, то есть очень высок и близок к 1. Для сравнения: у журнала «Высшее образование в России», занимающего в 2008 г. 2-е место среди журналов в разделе «Народное образование. Педагогика» по значению ИФ РИНЦ, КС=416/16Ю= 0,258, то есть существенно (в разы) меньше. Коэффициент самоцитирования КС легко вычисляется, а данные для его расчета, как показано выше, легко извлекаются из НЭБ. Можно рассмотреть и другие оценки самоцитирования, например, основанную на отношении числа цитирований из данного журнала, цитирующих публикации в данном журнале, к общему числу цитирований из всех журналов, цитирующих публикации в данном журнале. Какое самоцитирование считать нормальным, а какое завышенным? Очевидно, высокое самоцитирование оправданно, когда тематика журнала узкоспециализированна и в нем публикуется достаточно узкий круг специалис-
3. Список статей, цитирующих публикации в данном журнале
тов [3]. В рассматриваемом нами случае этого сказать нельзя.
В заключение необходимо отметить следующее. Формирование нового «Перечня ВАК» на основе статистических данных, предоставляемых НЭБ, позволит выделить лучшие научные издания, в том числе и образовательные. В ряде случаев могут потребоваться не только значения ИФ РИНЦ и относительных рейтингов, но и значения дополнительных статистических параметров, позволяющих учитывать усредненный уровень востребованности статей журнала и/или уровень его самоцитирования. Кроме того, возможна оптимизация самой процедуры вхождения в новый «Перечень ВАК» за счет устранения требования регистрации электронных научных изданий в НТЦ «Информре-гистр». Федеральный масштаб проекта по формированию РИНЦ предъявляет высокие требования к НЭБ как в
части достоверности поставляемой информации, так и в части общей функциональности. Обе характеристики НЭБ могут быть существенно улучшены за счет организации более тесного взаимодействия с издателями. Целесообразно существенно увеличить мотивацию университетов к изданию научных журналов в открытом (бесплатном) доступе.
Литература
1. Галеев И.Х. Динамика развития междуна-
родного электронного журнала «Образовательные технологии и общество» // Образовательные технологии и общество. 2007 V. 10 N 1. С. 315-328.
2. Галеев И.Х. Научный журнал в информа-
ционном пространстве // Высшее образование в России. 2009. № 3. С. 92-95.
3. См. Писляков В.В. Методы оценки научного
знания по показателям цитирования // Социологический журнал. 2007. № 1. С. 134.
Институт развития информационного общества
^ Институт развития информационного общества (ИРИО) - независимая исследовательская и I сервисная организация, созданная 7 сентября 1998 г. по инициативе известных специалистов! в сфере информационных технологий, телекоммуникаций и информационной политики, объединенных идеей развития информационного общества в России.
Наша миссия - помогать правильному выбору целей и путей развития. Мы предлагаем продуманные и взвешенные решения, так как несем ответственность перед нашими партнерами и клиентами за последствия сделанного выбора.
ИРИО занимается аналитической и консультационной деятельностью, выполняет научно-исследовательские работы, разрабатывает целевые программы, оказывает другие | услуги по проблемам развития информационного общества и экономики знаний в контексте интеграции России в глобальное информационное общество.
ОСНОВНЫЕ НАПРАВЛЕНИЯ ДЕЯТЕЛЬНОСТИ: і
Популяризация идей информационного общества Формирование партнерств
Содействие электронному развитию российских регионов Независимая экспертная деятельность Создание информационных систем Развитие «электронного лидерства»
УЧАСТИЕ В МЕЖДУНАРОДНЫХ ИНИЦИАТИВАХ:
— Глобальный альянс по использованию ИКТ в целях развития L-
— Портал развития |
— Стокгольмский вызов 1 4
— Глобальный юношеский вызов ,
— Европейская сеть компетенции по электронным 1
I библиотекам DELOS
I Адрес: 105062, г. Москва, ул. Макаренко, 4 ' Адрес для переписки: 101000, Россия г. Москва, Главпочтамт, а/я 716 ' Тел: +7 (495) 625-42-03 I Факс: +7 (495) 625-17-27 E-mail: info@iis.ru
Институт развития ИГ информационного общества
■
