CC BY
27
Литература
1. Новый подход к инженерному образованию: теория и практика открытого доступа к распределенным информационным и техническим ресурсам / Ю.В. Арбузов, В.Н. Леньшин, С.И. Маслов, А. А. Поляков, В.Г. Свиридов; Под ред. А.А. Полякова. - М.: Центр-Пресс, 2000. - 238 с.
2. Информатизация образования: направления, средства, технологии: Учеб. пособие / Под общ. ред. С.И. Маслова. - М.: Изд-во МЭИ, 2004. - 868 с.
3. Информатизация инженерного образования: Электронные образовательные ресурсы МЭИ / Под ред. С.И. Маслова. - М.: Совет МЭИ по дистанционному обучению, 2005 - 160 с.
4. Очков В.Ф. Mathcad Application Server: новые возможности в сфере открытого образования // Единая образовательная информационная среда. 2004. № 3 (электронный журнал).
5. Портативная учебная лаборатория «Основы электроники» / Ю.В. Арбузов, Э.Н. Воронков, С.И. Маслов и др. // Тезисы докладов научно-практической конференции «Человеческое измерение в информационном обществе». 29 октября - 1 ноября 2003 г., Москва, ВВЦ. - С 58-59.
НЕКОРРЕКТНОЕ ЗАИМСТВОВАНИЕ ТЕКСТОВ НА ЕСТЕСТВЕННОМ ЯЗЫКЕ КАК ПРОЯВЛЕНИЕ АКАДЕМИЧЕСКОЙ НЕДОБРОСОВЕСТНОСТИ
П.Ю. Ушков, асп. каф. МОиТП, программист Тел.: + 7(926)254-88-94, E-mail: [email protected] А.Н. Феданов, к.э.н., начальник отдела НОЦНИЧ Тел.: +7(495)248-29-26, E-mail: [email protected] Научно-Образовательный Центр НИЧ А.В. Хорошилов, к.э.н., проф., первый проректор Тел.: +7(495)442-85-33, E-mail: [email protected] Московский Государственный Университет Экономики, Статистики и Информатики
http://www.mesi.ru
This article covers one of the most topical issues in the modern-day educational process in Russia - unfair practices of students in the process of writing academic papers. Special attention is given to IT solutions used for plagiarism detection. The results of the development of the first Russian plagiarism detection system are presented.
растет, и каждые новые зачетная и экзаменационная сессии побивают предыдущий рекорд по частоте посещений таких сайтов. Например, в 2002 году на Яндексе [2] число запросов слова «реферат» за июнь составило 590 000, в то время как в 2004 году в период летней сессии академические работы искали в 2.5 раза чаще.
Таким образом, явление некорректных заимствований в образовательном процессе принимает массовый характер. Повсеместному несоблюдению академической добросовестности способствует широкое распространение компьютеров и интенсивное развитие информационно-коммуникационных технологий, что обусловлено:
•наличием свободного доступа к ресурсам Интернета;
•совершенствованием методов поиска информации;
• упрощением процедур обработки электронных документов (создание мощных текстовых процессоров, программ распознавания текстов и т.д.).
Введение
В настоящее время одной из наиболее острых проблем образовательного процесса в России является проблема нарушения академической этики. При выполнении индивидуальных заданий и итоговых работ многие учащиеся руководствуются принципом быстрого и простого заимствования текстов из многочисленных источников: Интернет, чужих рефератов, эссе, курсовых и дипломных проектов. Готовые работы покупаются или свободно загружаются учащимися с веб-сайтов банков рефератов, которые являются самыми популярными источниками заимствований. Результаты статистических исследований, приведенных в [1], указывают, что количество академических работ, содержащихся в данных Интернет-коллекциях, постоянно
Легкость составления академических работ без необходимости проведения самостоятельных исследований препятствует достижению главной цели учебного процесса, которая заключается в обеспечении высокого уровня остаточных знаний учащихся и навыков использования этих знаний в их практической деятельности [3]. Недобросовестное отношение к самостоятельному выполнению практических заданий отражается в отсутствии навыков анализа, обобщения и изложения информации в письменном виде, что, во-первых, препятствует подготовке в вузах высококвалифицированных специалистов, а, во-вторых, затрудняет процесс перехода к новой модели развития общества на основе знаний и высокоэффективных технологий.
Вследствие вышесказанного актуальным является создание эффективного информационного инструментария для контролирования результатов выполнения академических работ и, как следствие, расширения функций мониторинга учебного процесса. В настоящей работе особое внимание уделено международному опыту по реализации подобных систем, приведен краткий обзор наиболее известных продуктов, а также рассмотрены результаты исследований, проводимых в данной области в Научно-образовательном центре НИЧ МЭСИ.
Обзор средств выявления некорректных академических заимствований
В учебных заведениях США и Западной Европы практикуется жесткая политика в отношении академической недобросовестности. На протяжении уже десяти лет в университетах успешно используются так называемые системы выявления плагиата, представляющие собой коммерческие программно-технологические комплексы. Их стандартными функциональными возможностями являются:
• определение объема некорректных заимствований (цитирований чужих материалов без указания источников) в проверяемых текстах;
•указание источников заимствований (веб-ссылок или названий работ).
Программные средства выявления академического плагиата можно условно разде-
лить на следующие группы:
•автономные приложения (desktop applications), помогающие обнаружить списывания учащимися в пределах одного учебного заведения;
•Интернет-службы, обеспечивающие поиск заимствований во внешних источниках (веб-коллекциях академических работ, электронных периодических изданиях, новостных лентах и т.д.);
• аппаратно-технологические комплексы, сочетающие в себе функциональность средств предыдущих групп.
Далее приведен краткий обзор систем и служб автоматизированной проверки академических работ на наличие некорректных заимствований. Сравнительный анализ наиболее известных из них представлен в табл. 2.
TurnltIn
Самой популярной Интернет-службой выявления плагиата является коммерческая разработка американской компании iParadigms [4]. Система, получившая название TurnMn, проверяет документы на наличие в них некорректных заимствований из разнообразных текстов на естественном языке. Поисковая база данных TurnItIn включает:
- около 8 млрд веб-страниц;
- более 4,5 млрд рефератов и курсовых;
- десятки тысяч научных работ и аналитических статей из открытых и закрытых источников;
- все студенческие работы, когда-либо проходившие проверку.
Добавление новых файлов в базу данных производится автоматизированными роботами на постоянной основе (ежедневно около 40 млн страниц). В связи с необходимостью поиска заимствований в большом объеме информации время обработки запроса на проверку одной работы может составлять несколько дней. По окончании проверки пользователю предоставляется отчет оригинальности работы. Он служит подтверждением самостоятельности написания студентом работы или, в случае обнаружения плагиата, указывает процент его наличия в
документе и список использованных источников. Согласно данным статистики компании iParadigms, ежедневно заимствованный текст обнаруживается в одной трети автоматически проверяемых академических работ
[4].
Лицензией на TurnltIn владеют школы, колледжи, университеты более 50 стран мира, включая США и Великобританию. На сегодняшний день количество студентов, академические работы которых находятся под контролем системы выявления заимствований, достигло 9000000.
Помимо своего основного применения в образовательном процессе служба выявления плагиата получает распространение и в других сферах деятельности. В частности, TurnItIn задействована многочисленными издательствами, юридическими и информационно-аналитическими организациями. В 2004 году с локальной версией системы начал работать Совет безопасности ООН для выявления возможного плагиата в работах своих исследователей.
В настоящее время правомерность использования службы TurnItIn подвергается сомнению [5]. Как уже было замечено, система включает все проверяемые академические работы в свою базу данных, получая экономическую выгоду без выплаты компенсации авторам. Служба, предназначенная для выявления случаев присвоения авторства, сама становится инструментом нарушения прав интеллектуальной собственности. Некоторые западные университеты принципиально отказываются от использования разработанного в iParadigms инструментария, так как соблюдают права студентов на свои научные разработки. В таких учреждениях считается, что в образовательном процессе приоритет должен отдаваться «обучению», а не «уличению» («teaching, not catching»).
Тем не менее, в большинстве вузов одобряется использование службы TurnItIn, которая выступает в качестве помощника преподавателя по проверке академических работ, препятствуя сдаче студентами материалов, копируемых из Интернета [6]. Российские вузы лишены возможности использовать подобный инструментарий, так как система TurnItIn оперирует исключительно с электронными текстами, набранными латиницей.
EVE2
Коммерческое приложение EVE2 [7] представляет собой интерфейс к поисковой
машине Интернет и способно по эффективности составить конкуренцию службе Turnitin. В связи с тем, что скорость работы программного средства зависит от скорости соединения компьютера с Интернет, для удобства пользователей в настройках приложения доступен выбор уровня сканирования сети: быстрый, средний, тщательный. В соответствии с обзором [8] в EVE2 реализована возможность обработки документов разных форматов, в которых хранится значительная часть материала в Интернете: HTML, MS Word, ASCII.
CopyCatch
Приложение CopyCatch Gold разработано программистом британской фирмы CFL Software Д. Вулсом [9]. Поиск источников заимствований ведется лишь по базе данных учебного учреждения, в котором используется программа. В последней версии присутствует возможность ввода пользователем списка ссылок на Интернет-ресурсы, откуда мог быть скопирован материал. Также планируется разработка интерфейса к поисковой машине Google для упрощения поиска «сомнительных» текстовых фрагментов в Интернете. Контроль проходят лишь наборы слов, вызывающие подозрения, что значительно сокращает время поиска. Программа поддерживает многие популярные форматы, однако, обработка русскоязычных документов в формате MS Word ведется не корректно. Об этом свидетельствуют результаты испытаний демоверсии продукта, доступной для загрузки на официальной веб-странице [9].
WordCHECK
Данное автономное приложение (desktop application) предназначено для отслеживания списывания студентами друг у друга [10]. Все проверяемые документы загружаются в базу данных, где сравниваются для обнаружения копирования в пределах учебной группы. Строго говоря, система не рассчитана на выявление плагиата из внешних источников (Интернет), однако эту функцию можно настроить, если вручную включить в базу данных тексты из «коллекций рефератов» и другие подобные материалы.
WCopyFind
Программный продукт, разработанный профессором Л. Блумфилдом в университете штата Виргиния (США), является одним из самых ранних инструментов для обнаружения фактов списывания студентами [11]. WCopyFind доступен для бесплатного использования, обладает дружественным гра-
фическим интерфейсом и простой функциональностью. Тексты, загружаемые в локальную базу данных учебного заведения, сравниваются друг с другом и, по желанию, с отдельным архивом файлов с целью сопоставления фраз. Результаты представляются в формате HTML, общие для документов фразы связываются гиперссылками, чтобы указать первоисточник заимствованного текста. К серьезным недостаткам следует отнести отсутствие возможности поиска совпадений в Интернете. Тем не менее, инструмент очень удобен, действует достаточно быстро и выдает вполне понятные результаты.
Сравнительный Анализ Электронных Текстов (Украина)
Программно-технологический комплекс сравнительного анализа текстов был создан и апробирован на базе Национального Авиационного Университета Украины [12]. Разработчики объявили о готовой «системе, не имеющей аналогов на территории СНГ, которая осуществляет сравнительный анализ текстов, написанных украинским, русским, английским и французским языками, и при этом не реагирует на расхождение в порядках следования слов в предложениях и использования синонимов».
Сдаваемые студентами работы проверяются по локальной базе данных, накапливаемой на сервере учебного заведения. Работы иностранцев проверяются вначале также в локальной базе, а затем отсылаются на специально разработанный «многоязычный поисковый сервер в Интернет». Утверждается, что ядро программного обеспечения уже разработано, и его запуску препят-
ствует лишь необходимость приобретения дорогостоящего технического оснащения.
Судя по информации, представленной на официальном сайте [12], скорость проверки, обеспечиваемая программой, составляет 800 страниц (формата A4) в секунду (при неуказанной степени заполнения базы данных). Поддерживаемый формат файлов -ASCII. Уникальная особенность системы -возможность отслеживания и обнаружения заимствований из иностранных источников, т.е. «переводческого плагиата».
Разработчики проекта заявляют, что недостаточное финансирование и ряд прочих проблем препятствует повсеместному внедрению системы анализа электронных текстов в Украине. Авторам статьи не удалось обнаружить функционирующих экземпляров программно-технологического комплекса и технических отчетов о результатах его разработки, вследствие чего отсутствует возможность объективной оценки программного продукта, созданного в Украине.
В 2001 году по заказу Объединенного комитета по информационным системам (JISC) был проведен обзор систем выявления плагиата [13]. Их основные характеристики представлены в табл. 1. Приведенные в табл. 2 результаты наглядно свидетельствуют о преимуществах и недостатках использования каждого из рассмотренных инструментов. По окончании исследований комитет JISC, представляющий интересы всех вузов Великобритании, организовал на базе системы TurnItIn собственную службу выявления плагиата [14].
Таблица 1
Основные характеристики известных систем выявления плагиата
Система Тип системы Алгоритмы поиска заимствований в Интернет Объекты д етектир ов ан ия Сохранение документов в общей базе данный
Turnltln Интернет-служба Собственные Копирование из Интернет и списывание Да
EVE2 Приложение -интерфейс к поисковой машине Интернет Собственные Копирование из Интернет Нет
С ору Catch Автономное приложение Разработка интерфейса к поисковой машине Google™ Списывание Нет
WordCHECK Автономное приложение Отсутствуют .Списывание Нет
Таблица 2
Результаты испытаний известных систем выявления плагиата
Система Степень эффективности детектирования Ясность отчета Стоимость услуг для пользователя Общее впечатление / дружественность
Tumi tin Й"Й"ЙЙ-Й ■й^йг ЙЙ" йгййгй ЙГЙ^ГЙЙ-
EVE2 йтйтйгйг Й"Й"Й ■¿гйй-йй- ■йй-йнй
CopyCatch •frirtriri? Й"ЙЙ"ЙЙ" "¿ГЙ~Й"Й"Й ■Й-Й-Й-Й-Й
WordCEECK Й- Й- Й" Й-
Международный опыт разработки систем обнаружения некорректных заимствований подтверждает выполнимость задачи выявления академического плагиата и определения оригинальности текстов в сегодняшний век интенсивного развития информационных технологий. В России, где вебстраницы с «коллекциями рефератов» занимают одни из первых мест в образовательных разделах поисковых систем, назрела необходимость создания аналогичного информационного инструментария с учетом преимуществ вышеописанных программных средств. Система, ориентированная на проверку электронных текстов на русском языке, позволит эффективно противодействовать проявлениям плагиата академических работ в российских вузах.
Российская служба выявления некорректных академических заимствований
С 2005 года в Научно-образовательном центре НИЧ МЭСИ ведется разработка Интернет-службы проверки академических работ с целью обнаружения в них некорректных заимствований из различных источников. Исходя из международного опыта по созданию аналогичных информационно-технологических комплексов, функциональность новой системы должна обеспечивать:
1) эффективный поиск в академических работах заимствований из чужих текстов на естественном языке:
а. нечувствительность алгоритма к регистру букв, пунктуации, дополнительным пробелам и т.п.;
b. подавление шума - совпадение служебных частей речи, кратких слов не должно отслеживаться;
c. независимость алгоритма от расположения текста - добавление и удаление фраз не должно влиять на набор обнаруживаемых совпадений.
2) представление пользователю удобного отчета о проверке документа на наличие в нем плагиата:
a. с указанием степени авторства текста,
b. с перечислением списка использованных в работе материалов;
c. с выделением фрагментов текста, некорректно заимствованных из работ других авторов.
3) поддержку единой базы данных источников в актуальном состоянии за счет постоянной автоматизированной индексации веб-страниц или заполнения администратором.
4) обеспечение доступа к службе через Интранет / Интернет.
5) возможность проверки файлов разных форматов: HTML, ASCII, MS Word, PDF.
6) учет случаев используемых материалов, корректно оформленных в библиографии.
На данный момент в НОЦ НИЧ МЭСИ создан стабильно работающий прототип системы, включающий в себя ядро, серверную часть и клиента с дружественным интерфейсом. Реализована возможность обработки документов распространенных форматов и обнаружения в них некорректных
заимствований, а также вывод структурированного и наглядного отчета пользователю (рис.1).
В настоящее время осуществляется подготовка системы для эксплуатации в МЭСИ. Заключение
Развитие интеллектуального потенциала современного общества в решающей степени определяется качеством и содержанием предоставляемого в нем образования. В стремлении к максимальному развитию интеллекта молодых специалистов образовательные учреждения сталкиваются с одним из негативных последствий массовой коммуникации и глобализации общества. Некорректное понимание и использование потенциала общедоступных образовательных ресурсов и информационного взаимодействия приводит к неспособности обучающегося выполнять разнообразные виды самостоятельной деятельности по сбору, обработке учебной информации и, как следствие, осуществлению собственных научных изысканий.
В России так же, как в США и странах Европы, образовательный ресурс не избежал
студенческого увлечения заимствованием готовых академических работ. Однако, в отличие от России, в настоящее время на Западе особое внимание в образовательном процессе уделяется просветительскому аспекту в этом вопросе. Также на протяжении более десятка лет ведется разработка и улучшение инструментария, помогающего противодействовать массовому распространению плагиата в академической среде и, следовательно, пресекающего нарушения прав на интеллектуальную собственность. Учитывая мировой опыт в противодействии академической недобросовестности, решение данной проблемы современного образовательного процесса в России может быть достигнуто посредством:
1) активного внедрения технологий автоматизированной проверки рефератов, курсовых работ, дипломных проектов и научных диссертаций, что позволит обеспечить информационно-коммуникационную поддержку образовательного процесса вуза и способствовать повышению качества образовательных услуг вуза в целом;
Отчет о проверке академической добросовестности
Название проверенного документа Пример заимствованной pa60Tbi.rtf
Общий процент заимствований 7В %
Дата и время проверки 07.a2.2006 19:01:52
Бремя, затраченное на проверку 46,062 сек
Информация об обнаруженных заимствованиях Название документа Автор Источник Выделенр
История развития компьютера.г^зс Михайлова Татьяна (НижГУ, 2000) www.referat.su
Защита информации в Интернет,^ Махлин Денис (Технологический институт, 2001) www.aboutstudy.ru
История компьютеров.txt Неизвестен www.referat.su
Проверить новый документ
во второй половике so - к г.г. в нашей стране было выпущено еще S типов машин по вакуумно - ламповой технологии, из них наиболее удачней была ЭВМ и - 20, созданная под руководством С. А. Лебедева, который в 1954 г. возглавил ИТМ и Вт, Машина отличалась высокой производительностью ( 20 тыс, оп / с ), что било достигнуто использованием совершенной элементной базы и соответствующей функционально - структурной организации.
К 1989 году гипертекст представлял новую, многообещающую технологию, которая имела относительно большое число реализаций с одной стороны, а с другой стороны делались попытки построить формальные модели гипертекстовых систем, которые носили скорее описательный характер и были навеяны успехом реляционного подхода описания данный. Идея т. Бермерс-Ли заключалась в том, чтобы применить гипертекстовую модель к информационным ресурсам, распределенным в сети, и сделать это максимально простым способом. Он заложил три краеугольных камня системы из четырех существующих ныне, разработав: язык гипертекстовой разметки документов HTML (HyperText Markup lan-guage);
В то же время в Минске под руководством Г. П. Лопато и В. В. Пржиялковского начались работы по созданию первой машины известного в дальнейшем семейства " Минск - 1 ". Она выпускалась минским заводом вычислительных машин в различных модификациях : " Минск - 1 "J "
Минск - 11 ", " Минск - 12 ", " Минск - 14 ". Машина широко использовалась в вычислительных нентрдх нашей схдацц. Гпрлняя_
производительность машины составляла 2-3 ТЫС. ОП / С. [Заимствовано -г : История развития компьютера, doc [
При рассмотрении техники компьютеров первого поколения, необходимо особо остановиться на одном из устройств ввода - вывода. С начала появления первых компьютеров выявилось противоречие между высоким Быстродействием центральных устройств и низкой скоростью работы внешних устройств. Кроме того, выявилось несовершенство и неудобство этих устройств.
С момента разработки первой версии языка (HTML 1.0) прошло уже пять лет. За это время произошло довольно серьезное развитие языка. Почти вдвое увеличилось число элементов разметки, оформление документов все больше приближается к оформлению качественных печатных изданий, развиваются средства описания не текстовых информационны« ресурсов и способы взаимодействия с прикладным программным обеспечением. Совершенствуется механизм разработки типовых стилей. Фактически, в настоящее время HTML развивается в сторону создания стандартного языка разработки интерфейсов как локальных, тэк и распределенных систем.
Первым носителем данным в компьютерам как известно, была перфокарта. Затем появились перфорационные бумажные ленты или просто перфоленты. Они пришли из телеграфной техники после того, как в начале XI* в. отец и сын из Чикаго Чарлз и Говард Краму изобрели телетайп. Хотя, пока компьютер уступает человеку с точки зрения творческой деятельности, потому что мвшина не наделена пока такими качествами, которые смогли бы ей помочь создать что-нибудь новое, что не введено в её память самим человеком. Перфоленты стали заменять перфокарты в табуляторах, а затем в первых компьютерах - в релейных машинах Д Штибитцэ и Г. Айкена, в английских машинах 11 Колосс " из Блетчи - Парка и др.
Рис.1. Отчет о проверке академической работы
2) проведения в вузах ряда профилактических мероприятий, в которых внимание уделяется в первую очередь:
a. внесению в учебные планы краткого курса, в котором разъясняются принципы академической этики и необходимость их соблюдения;
b. на основе международной практики разработке дополнительных соглашений между учащимися и образовательными учреждениями, в которых регламентируются правила написания, сдачи и проверки академических работ, а также последствия некорректных заимствований.
Принятие дополнительных организационных мер в учебных заведениях в совокупности с включением инновационных решений контроля образовательного процесса позволит сократить количество нарушений академической
этики и, следовательно, противодействовать проявлениям недобросовестности, сказывающимся на уровне подготовке специалистов.
Разрабатываемая в МЭСИ система призвана решить проблему проверки академических работ на наличие в них некорректных заимствований из электронных источников. Она проста и легка в применении для всех участников образовательного процесса. Гарантированный контроль фактора заимствований в академических работах, обеспечиваемый данной системой, в совокупности с системами эффективного управления обучением способны открыть значительные перспективы для мониторинга электронных информационно-образовательных ресурсов и знаний.
Научно-практический журнал «Открытое образование».
В журнале публикуются статьи по проблемам внедрения ИКТ в образование:
- О стандартах в открытом образовании, сертификации программных продуктов, охране авторских прав, методическое обеспечение обучения в условиях внедрения новых образовательных технологий, вопросы контроля знаний в системе открытого образования, дидактика;
- Презентация электронных учебников, энциклопедий, баз знаний, курсов, лабораторных практикумов удалённого доступа, виртуальных лабораторий, систем тестирования знаний, образовательных порталов;
- Вопросы качества и эффективности процесса обучения;
- Средства обеспечения образовательного процесса: учет успеваемости, планирование обучения;
- Технические и программные средства автоматизации и моделирования лабораторных практикумов, разработки электронных учебников. Экспертные и поисковые системы в создании баз знаний, энциклопедий, образовательных структур;
- Интеграция науки и образования, прогнозы научных знаний. Образование и информационное общество. Применение высоких технологий в образовании (имитационное моделирование, искусственный интеллект, самообучающиеся системы и организации, генетические алгоритмы, философия);
- О распространении и продвижении образовательных технологий и услуг на образовательном рынке, экономические аспекты электронного образования, инновации и инновационная деятельность, интеграция с ЕС в образовательной сфере. Интеллектуальные ресурсы в экономике.
Журнал включен в перечень периодических научных изданий. Все статьи рецензируются с учетом требований ВАК, а именно, статья должна содержать решение задачи, имеющей существенное значение в области внедрения ИКТ в образование, научно обоснованные технические, экономические или технологические разработки, либо обобщенное изложение результатов проведенных автором исследований и разработок. Редакция оставляет за собой право отклонить статью как несоответствующей тематике и журнала уровню изложения материала.
Подробности на сайте журнала www.e-joe.ru.
Литература
1. Железнова М. Поколение Copy-Paste [Электронный ресурс] // Русский NEWSWEEK. - 2004. -№3. - Режим доступа: http://www.axelspringer.ru.
2. Информационно-поисковая система Яндекс http://www.yandex.ru.
3. Балабан В. Об остаточных знаниях студентов [Электронный ресурс] // Высшее образование в России. - 1996. - №4. - Режим доступа: http://informika.ru/text/magaz/higher/4_96/3raz-4.html.
4. Plagiarism prevention service Turnltln http://www.turnitin.com.
5. TurnItIn.com, a Pedagogic Placebo for Plagiarism. Technote, 6/13/01 -http://bedfordstmartins.com/technotes/techtiparchive/ttip060501 .htm.
6. Wendy Sutherland-Smith, Rodney Carr. Teacher evaluation of Turnitin Anti-Plagiarism Software (TAPS) and its impact upon teaching and learning at Deakin University, Faculty of Business and Law, December 2004.
7. Plagiarism detection system EVE2 http://www.canexus.com.
8. Renoir Gaither. Plagiarism Detection Services, Shapiro Undergraduate Library, University of Michigan, November 2004.
9. Collusion and plagiarism detection program http://www.copycatchgold.com.
10. WordCHECK keyword software http://www.wordchecksystems.com.
11. Plagiarism detection software WCopyfind http://plagiarism.phys.virginia.edu/Wsoftware.html.
12. Система сравнительного анализа электронных текстов http://antiplagiat.ho.com.ua/.
13. Joanna Bull, Carol Collins, Elisabeth Coughlin, Dale Sharp. Technical Review of Plagiarism Detection Software Report, prepared for the Joint Information System Committee, 2001.
14. Plagiarism prevention service TurnItIn UK http://www.submit.ac.uk.
