CC BY
165
Эффективность систем яндекс и гугл для поиска учебного материала
УДК 004.738.52:37 В. Н. Белоозеров
Всероссийский институт научной и технической информации Российской Академии наук
описан эксперимент по оценке эффективности поиска в интернете учебного материала по курсу «Введение в информатику» студентами различных специальностей Московского государственного университета культуры и искусств. В качестве инструмента поиска взяты поисковые системы Яндекс и Гугл. их эффективность оценивалась классическим показателем точности Т и вновь введённым показателем достаточности поиска Д. Показатель Д определялся по степени удовлетворённости пользователя результатами поиска. Эксперимент показал, что в значительном числе случаев обе системы дают возможность поиска основных сведений, но не обеспечивают получения исчерпывающих знаний. В этом наблюдается некоторое преимущество Яндекса над Гуглом. общий характер результатов свидетельствует о пригодности показателей Т и Д для численной оценки и сравнения эффективности поисковых систем интернета.
Ключевые слова: эффективность информационного поиска, поисковые системы интернета, точность поиска, достаточность поиска, Яндекс, Гугл, введение в информатику, поиск учебного материала.
V. N. Beloozerov
All-Russian Institute of Scientific and Technical Information of Russian Academy of Sciences
THE EFFECTIVENESS OF YANDEX AND GOOGLE TO SEARCH FOR TEACHING MATERIALS
The paper describes an experiment to assess the effectiveness of Internet search for training material on the course of introduction to information science by the students of different specialties in the Moscow State University of Culture and Arts. Yandex and Google search engines were taken as the search tool. Their effectiveness was assessed by the classic accuracy rate T and the newly introduced search sufficiency rate D. Figure D was determined by the degree of the user's satisfaction of the search results. The experiment showed that in the majority of cases, both systems allow retrieving of basic information, but do not provide comprehensive knowledge. In this respect, Yandex has a certain advantage over Google. The general character of the results reveals the suitability of T and D indicators for numerical evaluation of Internet search engines efficiency.
Keywords: information search effectiveness, Internet search engines, search accuracy, search sufficiency, Yandex, Google, introduction to information science, searching for educational material.
Показатели эффективности. Большая популярность сетевых информационных технологий обуславливает стремление студентов искать сведения, необходимые для выполнения зачётных заданий, не в учебниках, а путём
свободного поиска в Интернете с помощью той или иной общепользовательской поисковой системы. Это требует оценки эффективности и целесообразности использования тех или иных инструментов, с помощью которых
БЕАООЗЕРОВ ВИКТОР НИКОЛАЕВИЧ — кандидат филологических наук, доцент, заведующий сектором 208 Всероссийского института научной и технической информации РАН
BELOOZEROV VIKTOR NIKOLAEVICH — Ph.D. (Philology), Associate Professor, divisional manager of All-Russian Institute of Scientific and Technical Information of Russian Academy of Sciences
e-mail: systemling@narod.ru © Белоозеров В. Н., 2015
удаётся получить необходимые сведения быстрее и легче, чем путём изучения учебных пособий в книжной форме или путём освоения специализированных сетевых ресурсов. Для объективной оценки и сравнения различных методов отыскания учебных материалов требуется разработка методики таких оценок.
В настоящей работе развивается способ определения эффективности поисковых систем Интернета на основе показателей точности и достаточности поиска, который был предложен в работе автора статьи «Эффективность поиска в Интернете учебного материала по музыкальной информатике» [см.: 1].
Согласно классической теории информационного поиска [7, 4, 2] эффективность поисковых систем определяется двумя показателями — точностью Т и полнотой П. Определение этих величин основано на усреднении результатов поиска в массиве документов по представительному набору типичных запросов при определённых условиях. Показатель точности равен отношению числа найденных релевантных документов (соответствующих запросу) Ыт к общему числу выданных документов Nоии Т = Ыт/ ЫоШ. Показатель полноты равен отношению числа Ыт найденных релевантных документов к общему числу Мт релевантных документов, имеющихся в поисковом массиве: П = Ыт/ Мт. Достаточно удачным признаком хорошей работы поисковой системы оказался показатель суммарной эффективности Э = Т + П, который должен быть больше или не на много меньше единицы: Э 1 для признания системы поиска достаточно эффективной.
Эти критерии доказали свою полезность для систем, работающих на контролируемых массивах документов, какими являются книжные коллекции библиотек и фонды информационных центров. В этих условиях применение данных показателей не сопряжено с принципиальными сложностями. однако многие закономерности, приёмы анализа и поиска информации, установленные для библиотечных информационных массивов, с успехом могут быть применены и для
совокупности информационных ресурсов, доступных в Интернете (см., напр., [5]). Однако определение показателя полноты П для поиска в Интернете требует оценки общего количества доступных ресурсов и общего количества имеющихся в них перти-нентных документов (удовлетворяющих информационную потребность). А это связано с очевидными методическими и практическими затруднениями.
Имеется и другое основание не включать полноту П в число основных показателей эффективности при анализе поисковых систем Интернета. Использование показателя полноты П подразумевает, что идеальным результатом поиска была бы выдача ВСЕХ пертинент-ных документов (Ыт = Мт). Но при поиске в Интернете такая задача никогда не ставится (в отличие от поиска в библиотечных коллекциях). Что же касается показателя точности Т, то его смысл и способ определения целиком сохраняется при поиске в Интернете в том же виде, как и для поиска в библиотечных массивах. Однако одного этого показателя для оценки эффективности недостаточно. Может существовать такая поисковая система, которая характеризуется очень низкой точностью, но которая сразу выдаёт документ, полностью удовлетворяющий пользователя. Также могут существовать обстоятельства, когда выдача системы будет содержать только релевантные документы (Т = 1 = 100% — максимальное значение), которые все дают крайне мало необходимых сведений.
Поиск в Интернете идёт до тех пор, пока пользователь не получит ДОСТАТОЧНУЮ для его потребности информацию, либо пока он не убедится, что надежды на это нет. Качество системы определяется тем, как быстро пользователь найдёт нужные ему сведения. Это соображение послужило основанием введения в работе М. В. Козлова и В. А. Яцко «Метод оценки эффективности функционирования современных информационно-поисковых систем Интернета» [см.: 6] оценки качества систем по показателю глубины пользовательского поиска D, который определялся
как сумма номера первого пертинентного документа в выдаче поисковой системы и числа переходов со страницы на страницу внутри документа. Окончательная оценка эффективности вычислялась как сумма балов глубины V первых десяти ссылок в выдаче системы с учётом ряда условий поиска нужных сведений. На наш взгляд, этот метод имеет право на существование, но он излишне усложнён, а поставленный в работе эксперимент также осложнён формальными процедурами, не свойственными естественному поиску сведений.
Для учёта именно удовлетворённости пользователя работой системы мы предлагаем использовать показатель Д — достаточность поиска. Достаточность определяется как доля (выраженная в процентах) от того объёма сведений, который мы надеялись получить при обращении к системе. Таким образом, достаточность зависит не только от характеристик самой системы поиска, но также от представления клиента о своей информационной потребности. Поэтому может показаться, что этот критерий (в отличие от точности Т и полноты П) менее объективен. Однако нужно вспомнить, что и классические показатели Т и П определяются в зависимости от оценки клиентом полезности (пертинентности) того или иного документа. Во всех случаях оценка эффективности поиска информации зависит от степени психической удовлетворённости пользователя системы. В этом отношении вводимый критерий Д не имеет принципиальных отличий от критериев Т и П.
по примеру классического набора показателей мы будем рассматривать также суммарный показатель эффективности X = Т + Д.
Методика эксперимента. С целью исследования практической применимости критериев Т и Д для оценки эффективности поиска в Интернете в течение 2011—2013 годов был проведён эксперимент с участием в качестве информантов студентов разных специальностей Московского государственного университета культуры и искусств (МГУКИ), изучавших курсы «Информатика», «Введение в информатику» и «Новые информационные тех-
нологии в учебном процессе». Всем студентам предлагалась типовая домашняя контрольная работа «Исследование эффективности поиска в Интернете сведений по теме ...». Тема поиска у каждого была своя и назначалась по согласованию преподавателя со студентом из области основных понятий информатики с учётом основной специализации обучения студентов. По выбранной теме студент составлял простой словесный запрос к поисковым машинам Интернета. Запрос составлялся в обычной форме названия темы, например «форматы музыкальных электронных изданий», «Компьютерное распознавание изображений», «Релевантность информационного поиска» и т.п.
Запрос подавался для поиска в две поисковые машины по выбору студента (Яндекс и Рамблер, АльтаВиста и Гугл, Рамблер и Аль-таВиста и т.п.)1. Студент последовательно просматривал все подряд документы, выданные машинами на первых страницах выдачи, и выписывал адреса тех документов, которые, на его взгляд, содержат сведения, полезные при сдаче экзамена по заданной теме. Для каждой поисковой машины подсчитывалось число полезных документов в каждом из четырёх первых десятков выдач. Результаты подсчётов сводили в таблицу.
Эффективность поисковых машин характеризовалась векторами значений точности Т, достаточности Д и их суммы X, которые были получены в результате просмотра первых 10, 20, 30 и 40 ссылок, выданных при поиске. Такой метод оценки точности поиска был предложен в работе Н. Харина, И. Ашманова «Упрощённая методика сравнительной оценки технической эффективности поисковых машин Интернет» [см.: 8], но мы не отбрасываем ссылки, по которым текст документа не выдаётся, а считаем их непертинентными. Также непертинентными считаются повторные ссылки на «зеркальные» сайты.
Данные студентов обсуждались в ходе со-
1 В настоящей статье мы рассматриваем только результаты, полученные по системам Яндекс и Гугл. Статистика по другим
системам недостаточно представительна.
беседования с преподавателем. При этом студент делал доклад по существу найденных сведений, а в его письменном отчёте исправлялись арифметические и логические ошибки. Поскольку успеваемость студентов оценивалась по качеству проведённого эксперимента и полноте усвоенных сведений, следует считать, что полученные в экспериментах результаты соответствуют условиям поиска необходимых данных при реальной потребности в них.
В качестве примера рассмотрим результаты одного такого эксперимента, полученные в ответ на запрос «Реклама как носитель информации».
Векторы точности, достаточности и их суммы при просмотре 10, 20, 30 и 40 ссылок для Яндекса и Гугла имеют следующие значения (в процентах):
Яндекс: Т = <40, 35, 30, 25>, Д = <50, 55, 75, 90>, I = <90, 90, 105, 115>
Гугл: Т = <30, 25, 20, 15>, Д = <40, 45, 55, 55>, I = <70, 70, 75, 70>
Сравнение этих данных показывает, что поиск в системе Яндекс оказался более эффективен, поскольку она во всех случаях выдала больше полезных (пертинентных) ссылок и, кроме того, более полно и быстрее удовлетворила информационную потребность.
Обобщение результатов поиска2. Для статистического анализа эффективности систем при поиске по разным запросам были составлены сводные таблицы результатов, полученных студентами МГУКИ за различные годы. При этом были вычислены средние значения показателей эффективности по десяткам выдач и сделаны выводы по предлагаемым критериям о сравнительной эффективности поиска в Интернете с помощью систем Яндекс и Гугл. Тематика всех поисковых запросов относилась к области основ информатики.
Сводные таблицы результатов поиска приведены на специальной странице сайта [3]. В каждой таблице указаны результаты сту-
2 В обработке экспериментальных данных принимали участие студенты МГУКИ — Мария Баранова (Институт музыки МГУКИ), Полина Терехова и Арина Овечкина (факультет социально-культурной деятельности МГУКИ).
дентов одной учебной специальности, проводивших поиск в одно и то же время по запросам одинаковой направленности с помощью одной поисковой системы. В первой колонке таблиц указаны условные идентификаторы студентов, выступавших в качестве информантов в эксперименте. Во втором столбце указана формулировка запроса, по которому вёлся поиск. Далее в соответствующей строке приведены показатели точностиТ, достаточности Д и их суммы I, достигнутые при просмотре информантом 10, 20, 30 и 40 первых ссылок в выдаче поисковой системы на данный запрос. Две нижние строки таблиц содержат усреднённое значение показателей по всем информантам и среднее абсолютное отклонение частных значений показателя от среднего.
Две таблицы на сайте (таблицы П.1 для Яндекса и П.2 для Гугла) содержат данные поиска в 2011 году студентов IV курса Института музыки МГУКИ по специальностям духовых и ударных инструментов и народного пения3.
Аналогичные данные за 2013 год приведены в таблицах П.5 и П.6. Тематика поисков в этой группе информантов относилась к области музыкальной информатики.
Таблицы П.3 и П.4 содержат данные поиска в 2012 году студентов II курса факультета социально-культурной деятельности (СКД), обучающихся по специальности «Организация работы с молодёжью». В этой группе студентов тематика запросов носила общеинформационный характер, не имела какой-либо особой специфики, связанной со специальностью студентов.
Таблицы П.7 и П.8 содержат данные, полученные студентами-заочниками IV курса кафедры культурологии и музееведения МГУКИ. Тематика запросов была связана с информационными вопросами культурологии.
Усреднённые показатели эффективности поиска в целом согласуются с ожиданиями теории. Наиболее пертинентная информация
3 Данные по системе Яндекс за 2011 год заимствованы из работы [1].
(полезные ссылки) находится в начале выдачи; с увеличением полноты поиска (количества просмотренных ссылок) точность Т убывает, а степень удовлетворённости Д возрастает. Суммарный показатель эффективности X = Т + Д имеет тенденцию достигать определённого максимума на одной из начальных страниц выдачи и затем закономерно снижаться вслед за снижением точности Т и стабилизацией показателя достаточности Д поиска около 100%. Нарушение этой закономерности в данных группы культурологии объясняется недостаточным объёмом статистики (только шесть информантов).
Отклонение показателей эффективности в
частных поисках от средних значений весьма велико, что обусловлено, с одной стороны, особенностями алгоритмов поиска, основанных на сравнении ключевых слов, а с другой — различными подходами разных студентов к оценке полезности данных. Однако близость результатов, полученных независимо некоторыми информантами по сходным запросам о форматах звукозаписи, свидетельствует о достаточной объективности данных.
Эффективность Яндекса и Гугла по запросам музыкальной направленности за разные годы характеризуется следующими значениями векторов точности, достаточности и их суммы:
Яндекс
2011 год: Т = <42, 34, 30, 28>, Д = <56, 68, 72, 74>, X = <99, 104, 103, 103>;
2012 год: Т = <49, 41, 37, 30>, Д = <54, 69, 78, 84>, X = <103, 110, 115, 114>;
2013 год: Т = <46, 37.5, 35, 28.7>, Д = <66.4, 76.6, 79.8, 82.5>, X = <113.4, 120.6, 114.8, 111.3>; Среднее Т = <46.7, 37.5, 34, 28.9>, Д = <58.8, 71.2, 76.6, 80.2>, X = <105.1, 111.5, 110.9, 109.1> Гугл
2011 год: Т = <47.5, 37.5, 30.6, 24.8>, Д = <50, 59.8, 64.2, 76>, X = <97.5, 97.3, 94.8, 100.8>;
2012 год: Т = <51, 37.5, 32, 28>, Д = <43, 55, 64, 73>, X = <94, 92.5, 96, 101>;
2013 год: Т = <45, 35, 27.7, 25.7>, Д = <59.2, 75.3, 78.8, 81.6>, X = <104.8, 109.8, 106.6, 93.6>; Среднее Т = <47.8, 36.7, 30.1, 26.2>, Д = <50.7, 63.4, 69, 76.9>, X = <98.5, 100.1, 99.1, 103.1>
Различие усреднённых значений Т, Д, X, полученных независимо по запросам одинакового характера в разные годы, намного меньше среднего статистического отклонения результатов частных поисков. Это говорит о достаточной устойчивости данных, которая позволяет использовать эти величины в качестве корректных показателей эффективности систем. Поэтому мы можем вычислить «средние многолетние» показатели и сравнивать по ним эффективность систем для запросов заданного типа. И мы видим, что показатели точности Т у Яндекса и Гугла практически совпа-
дают, но наиболее существенный показатель — достаточность Д — при всех условиях поиска закономерно выше у Яндекса. Соответственно, у Яндекса выше и суммарный показатель X. Однако это соотношение поисковых систем сделано только для специфического материала запросов из области музыкальной информатики. Эффективность Яндекса и Гуг-ла по данным групп факультета социально-культурной деятельности (СКД) и кафедры культурологии и музееведения характеризуется следующими значениями векторов точности, достаточности и их суммы.
Группа СКД
Яндекс: Т = <40, 32.8, 29.4, 24.4>, Д = <54.4, 69.3, 81.1, 89.5>, X = <85, 102.1, 110.6, 113.9> Гугл: Т = <32, 26, 22.6, 20.3>, Д = <41, 57.5, 67.8, 73.8>, X = <73, 83.5, 90.4, 94.1>
Группа культурологии
Яндекс: Т = <45, 34.2, 30.8, 28.9>, Д = <67.5, 71.7, 76.7, 83.3>, X = <112.5, 105.9, 107.5, 112.2> Гугл: Т = <34.3, 25.7, 26.4, 24.9>, Д = <68.6, 70.7, 77.9, 87.1>, X = <102.9, 96.4, 104.3, 112>
Эти данные выявляют преимущество Яндекса не только по показателю достаточности Д, но также и по точности поиска Т, которая и у первой, и у второй группы студентов оказалась на 20—30% выше, чем у Гугла при всех значениях глубины просмотра выдач. Тем самым вывод, сделанный в работе «Эффективность поиска в Интернете учебного материала по музыкальной информатике» [см.: 1], о преимуществе Яндекса оказался подтверждён и усилен на расширенном статистическом материале.
Несмотря на близость показателей за разные годы, следует отметить тенденцию к повышению с течением времени у обеих систем показателя достаточности Д при сохранении точности Т на одном уровне. Этот эффект заслуживает дальнейшего исследования.
Проведённые данные позволяют также оценить наличие зависимости показателей эффективности от характера запросов и/ или от контингента информантов. Яндекс показал заметно меньшую точность при поиске в группе факультета социально-культурной деятельности (СКД), а в группе кафедры культурологии и музееведения точность оказалась на одном уровне с группой музыкантов. Однако по показателю достаточности сравнение неоднозначно; худшие результаты — у музыкантов; а лучшая достаточность (89,5%) — у группы СКД при глубоком поиске (40 просмотров). Группа СКД показала также наихудшую эффективность (и по точности, и по достаточности) при поиске через Гугл, в то время как показатели у групп музыкантов и культурологов сравнимы. Пониженная эффективность в группе СКД может быть связана с тем, что здесь проводился поиск по запросам, не связанным со специальностью студентов. В группах культурологов и музыкантов, наоборот, все формулировки содержали понятия, специфические для профессии, поэтому этим информантам было легче находить полезные сведения. Всё это подтверждает зависимость эффективности информационного поиска от особенностей тематики и личности информантов.
Что касается абсолютных значений показателей, то по таблицам видно, что для получения необходимых знаний изучение только десяти первых ссылок явно недостаточно, в то время как просмотр четырёх десятков ссылок обычно даёт вполне хороший результат. Другими словами, если руководствоваться балльной методикой оценки знаний студентов, принятой во МГУКИ, то, как правило, нельзя надеяться на положительную оценку знаний, полученных по материалам первого десятка ссылок. (При знании студентом менее 55% программы, выставляется оценка «неудовлетворительно».) Просмотр 30 выданных источников позволяет получить оценку «хорошо» (знание 70—84% материала). Но получить отличную оценку не позволяет даже изучение 40 ссылок в выдаче. При этом оказывается, что до 80% материала в выдаче не имеют отношения к делу. Таким образом, извлечение учебного материала из Интернета связано с отбором 5—10 содержательных источников из числа 50—100 ссылок, выдаваемых поисковыми машинами, что само по себе представляет определённые трудности, которые могут свести на нет все преимущества использования Интернета.
Итак, можно сделать следующие выводы:
1. Введённый показатель достаточности поиска Д позволяет оценить способность поисковых систем Интернета по выявлению необходимых для пользователей сведений. Эффективность поисковых систем может измеряться показателями точности Т, достаточности Д и их суммой I = Т + Д.
2. Сравнение показателя достаточности поиска систем Яндекс и Гугл на материале поиска учебной информации по основам информатики студентами гуманитарных специальностей МГУКИ показало преимущество системы Яндекс. При этом обе системы позволяют найти основные сведения, но не гарантируют получения исчерпывающих знаний. Этот результат интересно сравнить с данными работы М. В. Козлова и В. А. Яц-ко [см.: 6], в которой эффективность Гугла оказалась намного выше Яндекса при поиске
по запросам сходной тематики, но сформулированным на английском языке (данные 2006 года).
3. Отмечена тенденция повышения показателя Д и суммарной эффективности X систем Яндекс и Гугл за период с 2011 по 2013 год при сохранении точности Т на прежнем уровне.
4. Замечено влияние на показатели эффективности со стороны предметной направленности запросов или со стороны особенностей контингента информантов (студенты разных специальностей).
Природа двух последних эффектов подлежит дополнительному исследованию.
Примечания
1. Белоозеров В. Н. Эффективность поиска в интернете учебного материала по музыкальной информатике // Проблемы современного образования. 2014. № 3. с. 146—156.
2. Белоозеров В. Н. социальная теория информатики : курс лекций / Московский государственный университет культуры и искусств. москва, 2013.
3. Белоозеров В. Н. Приложение [Электронный ресурс]. Доступ http://www.informling.narod.ru/ Experiment/prilozhenie.doc
4. Гиляревский Р. с. основы информатики : курс лекций. Москва : Экзамен, 2004.
5. Ефимов А. Н, Шойхер М. В. интернет как информационный массив: Применимы ли общие информационные законы к интернету? // Научно-техническая информация. организация и методика информационной работы / Всероссийский институт научной и технической информации РАН. 1999. № 7. с. 34—38.
6. Козлов М. В., Яцко В. А. Метод оценки эффективности функционирования современных информационно-поисковых систем интернета [Электронный ресурс] // Диалог. Международная конференция по компьютерной лингвистике : [веб-сайт]. Электрон. текстовые дан. URL: http://www.dialog-21.ru/digests/ dialog2006/materials/html/Kozlov.htm (дата обращения: 13.05.2014).
7. Михайлов А. И, Чёрный А. И, Гиляревский Р. С. основы информатики. Москва : Наука, 1968. 757 с.
8. Харин Н, Ашманов И. Упрощённая методика сравнительной оценки технической эффективности поисковых машин интернет [Электронный ресурс] // Search Engines. Энциклопедия поисковых систем : [веб-сайт]. Электрон. текстовые дан. Москва, 2000. URL: http://www.searchengines.ru/articles/004508.html (дата обращения: 15.05.2014).
References
1. Beloozerov V. N. Effektivnost' poiska v Internete uchebnogo materiala po muzykal'noi informatike [Effectiveness of the Internet search for the educational material on musical information]. Problemy sovremennogo obrazovaniia [Problems of modern education]. 2014, No. 3, pp. 146—156.
2. Beloozerov V. N. Sotsial'naia teoriia informatiki [Social Theory of Information Science]. Moscow, Publishing house of Moscow State University of Culture and Arts, 2013.
3. Beloozerov V. N. Supplement. Available at: http//:informling.narod.ru/Experiment.doc.
4. Giliarevskii R. S. Osnovy Informatiki [Foundation of Information Science]. Moscow, Ekzamen Publ. [Exam Publ.], 2004.
5. Efimov A. N., Shoikher M. V. Internet kak informatsionnyi massiv: Primenimy li obshchie informatsionnye zakony k Internetu? [Internet as an information array: Whether general information laws are applicable to the Internet?]. Nauchno-tekhnicheskaia informatsiia. Seriia I [Scientific and Technical Information. Series I]. 1999, No. 7, pp. 34—38.
6. Kozlov M. V., Iatsko V. A. Metod otsenki effektivnosti funktsionirovaniia sovremennykh informatsionno-poiskovykh sistem Interneta [A metod for estimatig the efficiency of modern Internet information retrieval systems]. Dialog. Mezhdunarodnaia konferentsiia po kompiuternoi lingvistike [Dialogue. International Conferece on Computational Linguistics]. Available at: http://www.dialog-21.ru (accessed: 2014-05-13).
7. Mikhailov A. I., Chernyi A. I., Giliarevskii R. S. Osnovy informatiki [Foudations of Information Science]. Moscow, Nauka Publ. [Science Publ.], 1968.
8. Kharin N., Ashmanov I. Simplified method for comparative estimation of the Internet search engines efficiency. Search Engines. Encyclopedia search engines. Available at: http://www.searchengines.ru (accessed: 2014-05-15)
