Научная статья на тему 'CHATGPT В ВЫСШЕМ ОБРАЗОВАНИИ И НАУКЕ: УГРОЗА ИЛИ ЦЕННЫЙ РЕСУРС?'

CHATGPT В ВЫСШЕМ ОБРАЗОВАНИИ И НАУКЕ: УГРОЗА ИЛИ ЦЕННЫЙ РЕСУРС? Текст научной статьи по специальности «СМИ (медиа) и массовые коммуникации»

CC BY
1930
484
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ / CHATGPT / ВЫСШЕЕ ОБРАЗОВАНИЕ / НАУКА

Аннотация научной статьи по СМИ (медиа) и массовым коммуникациям, автор научной работы — Ивахненко Евгений Николаевич, Никольский Владимир Святославович

Цель статьи обратить внимание авторов и читателей журнала на проблему использования искусственного интеллекта в высшем образовании и науке. Статья состоит из двух взаимосвязанных частей. В первой части авторы статьи обсуждают случай использования ChatGPT для написания выпускной квалификационной работы с точки зрения последствий для высшего образования. Во второй части авторы обращаются к реакции академического сообщества на появление генеративного искусственного интеллекта и рассматривают его недостатки и возможности для образования и науки. В заключение авторы приглашают читателей к академической дискуссии об искусственном интеллекте в высшем образовании и науке на страницах нашего журнала.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по СМИ (медиа) и массовым коммуникациям , автор научной работы — Ивахненко Евгений Николаевич, Никольский Владимир Святославович

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

CHATGPT IN HIGHER EDUCATION AND SCIENCE: A THREAT OR A VALUABLE RESOURCE?

The purpose of the article is to draw the attention of the authors and readers of the journal to the problem of using artificial intelligence in higher education and science. The article consists of two interrelated parts. In the first part, authors of the article discuss the case of using ChatGPT for graduate writing in terms of implications for higher education. In the second part, the authors turn to the reaction of the academic community to the emergence of generative artificial intelligence and consider its shortcomings and opportunities for education and science. In conclusion, authors of the present work invite readers to an academic discussion about artificial intelligence in higher education and science on the pages of our journal.

Текст научной работы на тему «CHATGPT В ВЫСШЕМ ОБРАЗОВАНИИ И НАУКЕ: УГРОЗА ИЛИ ЦЕННЫЙ РЕСУРС?»

Высшее образование в России Vysshee obrazovanie v Rossii = Higher Education in Russia

ISSN 0869-3617 (Print), ISSN 2072-0459 (Online) http://vovr.elpub.ru

ChatGPT в высшем образовании и науке: угроза или ценный ресурс?

Редакционная статья

DOI: 10.31992/0869-3617-2023-32-4-9-22

Ивахненко Евгений Николаевич - д-р филос. наук, проф., [email protected] Московский государственный университет им. М.В. Ломоносова, Москва, Россия Адрес: 119234, г. Москва, Ломоносовский просп., 27, корп. 4

Никольский Владимир Святославович - д-р филос. наук, проф., гл. редактор журнала «Высшее образование в России», SPIN-code: 7196-8065, ORCID: 0000-0002-4290-1443, [email protected]

Московский государственный политехнический университет, Москва, Россия Адрес: 107023, г. Москва, ул. Б. Семёновская, 38

Аннотация. Цель статьи обратить внимание авторов и читателей журнала на проблему использования искусственного интеллекта в высшем образовании и науке. Статья состоит из двух взаимосвязанных частей. В первой части авторы статьи обсуждают случай использования ChatGPT для написания выпускной квалификационной работы с точки зрения последствий для высшего образования. Во второй части авторы обращаются к реакции академического сообщества на появление генеративного искусственного интеллекта и рассматривают его недостатки и возможности для образования и науки. В заключение авторы приглашают читателей к академической дискуссии об искусственном интеллекте в высшем образовании и науке на страницах нашего журнала.

Ключевые слова: искусственный интеллект, ChatGPT, высшее образование, наука Для цитирования. Ивахненко Е.Н, Никольский В.С. ChatGPT в высшем образовании и науке: угроза или ценный ресурс? // Высшее образование в России. 2023. Т. 32. № 4. С. 9-22. DOI: 10.31992/0869-3617-2023-32-4-9-22

ChatGPT in Higher Education and Science: a Threat or a Valuable Resource?

Editorial

DOI: 10.31992/0869-3617-2023-32-4-9-22

Evgeniy N. Ivakhnenko - Dr. Sci. (Philosophy), Prof., [email protected]

Lomonosov Moscow State University, Moscow, Russia

Address: 27, Lomonosovsky ave., Moscow, 119991, Russian Federation

Контент доступен под лицензией Creative Commons Attribution 4.0 License. This work is licensed under a Creative Commons Attribution 4.0 License. © Ивахненко Е.Н., Никольский В.С., 2023.

И]

Vladimir S. Nikolskiy - Dr. Sci. (Philosophy), Prof., Chief Editor of the Journal of "Higher Education in Russia", SPIN-code: 7196-8065, ORCID: 0000-0002-4290-1443, [email protected]

Moscow State Polytechnic University, Moscow, Russia

Address: 38, B. Semenovskaya str., Moscow, 107023, Russian Federation

Abstract. The purpose of the article is to draw the attention of the authors and readers of the journal to the problem of using artificial intelligence in higher education and science. The article consists of two interrelated parts. In the first part, authors of the article discuss the case of using ChatGPT for graduate writing in terms of implications for higher education. In the second part, the authors turn to the reaction of the academic community to the emergence of generative artificial intelligence and consider its shortcomings and opportunities for education and science. In conclusion, authors of the present work invite readers to an academic discussion about artificial intelligence in higher education and science on the pages of our journal.

Keywords: artificial intelligence, ChatGPT, higher education, science

Cite as: Ivakhnenko, E.N., Nikolskiy, V.S. (2023). ChatGPT in Higher Education and Science: a Threat or a Valuable Resource? Vysshee obrazovanie v Rossii = Higher Education in Russia. Vol. 32, no. 4, pp. 9-22, doi: 10.31992/0869-3617-2023-32-4-9-22 (In Russ., abstract in Eng.).

«Мы не можем помыслить что-то, не помыслив это иначе. В противном случае, мы попугаи».

М.К. Мамардашвили

Введение

Вот уже несколько месяцев как в российских СМИ обсуждается скандал, разразившийся после публичного признания выпускника РГГУ в том, что он сгенерировал выпускную квалификационную работу (ВКР) с помощью чат-бота ChatGPT1. Общественность возмутил сам прецедент - в общей сложности потребовалось 38 часов, чтобы создать и в итоге успешно защитить ВКР с 82% оригинальности2. Опасения общественности, в первую очередь - вузовской, вполне понятны: велика вероятность, что на всех

1 GPT - Generative pre-training transformer. Авторегрессионная генеративная языковая модель на архитектуре трансформер. Алгоритм работает по принципу автодополнения: вы вводите начало текста или задаёте план работы, а программа генерирует его реализацию, привлекая большой массив данных.

2 Студент РГГУ защитил диплом, написанный

ChatGPT. URL: https://habr.eom/ru/news/t/

714216/ (дата обращения: 04.03.2023).

уровнях высшего образования преподаватели столкнутся с многократным повторением подобного скандального творчества. Но, похоже, этим дело не ограничивается.

Основной целью настоящей статьи можно считать попытку дать ответы на череду вопросов, возникающих в ходе размышлений по поводу произошедшего. С какой проблемой на самом деле мы столкнулись? Кроется ли за этим событием нечто большее? Если это так, то какие новые эпистемологические смыслы привносят в нашу жизнь подобные системы с искусственным интеллектом (ИИ)? И, наконец, следует ли считать нейросетевые порождения, такие, как ChatGPT, лишь однозначной причиной рисков и угроз? Может быть, таковые несут в себе новые положительные возможности и конкурентные преимущества, которые всегда находят (и найдут) тех, кто ими воспользуется? Последние два вопроса для разработчиков ИИ и программистов в целом являются риторическими. У них нет сомнений на этот счёт. Однако в нашем случае речь пойдёт не о технической стороне дела, а о том, что в контексте происходящих событий порождает эпистемологиче-

ский сдвиг - в представлениях о «знании как таковом». То есть о том, что меняется в смыслах, прежде привычно вкладываемых в такие понятия, как «знание», «познание», «обучение», «творчество» и т. п., применительно к ситуации с ChatGPT, как и к перспективе вмешательства систем с ИИ в образовательную деятельность в целом.

С какой проблемой на самом деле мы столкнулись?

Несколько слов о технической стороне дела. Речь идёт о чат-боте (ChatGPT), разработанном на основе третьего поколения алгоритма обработки естественного языка3. Известно, что на сентябрь 2020 г. это самая крупная и продвинутая языковая модель в мире, созданная на основе архитектуры глубоких нейронных сетей, которая, по заявлению разработчиков, может быть использована для решения «любых задач на английском языке»4. Любых - вряд ли, но без сомнения перечень применения нейросе-тей будет только возрастать.

Стоит обратить внимание на предысторию создания самообучающихся нейросете-вых языковых редакторов. В нашей стране с последствиями использования генераторов текстов впервые столкнулись 15-20 лет тому назад. Известный скандальный случай связан с «Корчевателем», наделавшим много шума в научном сообществе. История такова: текст, псевдо-статьи с заведомо бессмысленным содержанием, созданный в 2005 г. программой-генератором квазинаучных англоязычных текстов SCIgen\ после машин-

3 14 марта 2023 года вышла 4-я версия ChatGPT-4.

4 GPT-3. URL: https://ru.wikipedia.org/wiki/GPT-3 (дата обращения: 04.03.2023).

5 SCIgen - компьютерная программа, генерирующая случайный текст, напоминающий научную статью, содержащую иллюстрации, графики и примечания. Основное назначение: «автоматически генерировать тезисы для конференций, подозреваемых в низком цензе приёма». URL: https://ru.wikipedia.org/wiki/SCIgen (дата обращения: 04.03.2023).

ного перевода на русский язык в 2008 г. был принят к публикации в российском научном журнале из перечня ВАК6. После саморазоблачения инициаторов авантюры ответной мерой стало ужесточение требований к журналам данного уровня, а название «Корчеватель» стало нарицательным в научных кругах.

Спровоцированное Михаилом Гель-фандом обнаружение «ползучего безумия и халтуры» рассматривалось тогда преимущественно как кризис рецензирования отечественных научных изданий7. Способность распознавать белиберду и откровенную халтуру здесь была поставлена в зависимость от квалификации, ответственности, профессионализма конкретных рецензентов, которым поручено такую проверку осуществлять. Эта же сторона дела, судя по имеющейся информации, в наши дни поставлена во главу угла заинтересованными участниками обсуждения скандального признания выпускника РГГУ - от администрации вуза («ограничить доступ к ChatGPT в образовательных организациях» - ?!)8 до министра науки и высшего образования («менять подход к заданиям»

6 Сгенерированная программой SCIgen квазинаучная статья «Корчеватель: Алгоритм типичной унификации точек доступа и избыточности» (оригинальное название статьи «Rooter: A Methodology for the Typical Unification of Access Points and Redundancy») в 2008 году была переведена на русский язык с использованием машинного переводчика и принята к публикации в российском научном журнале «Журнал научных публикаций докторантов и аспирантов». URL: https:// ru.wikipedia.org/wiki/Корчеватель_(статья) (дата обращения: 04.03.2023).

7 Куприянов А. Афера Гельфанда, или Кризис российской системы peer-review. URL: https:// polit.ru/article/2008/10/02/kupr/ (дата обращения: 04.03.2023).

8 РГГУ предложил ограничить доступ к ChatGPT

в образовательных организациях. URL: https:// habr.com/ru/news/t/714226/ (дата обращения:

04.03.2023).

и «изменять подход к проверке знаний у студентов»)9.

В целом же набор мнений, высказанных о событии, оказался весьма противоречивым. Одни участники обсуждения требуют за аналогичное действие отчислять и лишать дипломов, другие отмечают творческий характер работы с нейросетью, третьи называют чат-бот «триггером, который может сдвинуть с места классическую модель образования», а «страны, которые смогут переосмыслить, принять это и использовать во благо, смогут получить существенные преимущества». Сам же ChatGPT на вопрос «какое негативное воздействие на обучение может оказывать ChatGPT?» дал такой ответ: «Хотя инструмент может дать быстрые и простые ответы на вопросы, он не развивает навыки критического мышления и решения проблем, которые необходимы для успеха в учёбе и на протяжении всей жизни»10.

Есть и те, кто всерьёз обеспокоен, что ChatGPT в перспективе «у многих людей отнимет работу», так или иначе связанную с коммуникацией. Например, чат-бот такого уровня уже сегодня может успешно осуществлять функцию новостной журналистики, а сценаристу современных телесериалов помочь придумать неожиданный поворот сюжета, который зритель «проглотит» как оригинальную авторскую задумку. Дело в том, что ChatGPT включает огромный массив данных, взятых из интернета, к тому же он «натаскан» на взаимодействии с человеком - на примерах реальных диалогов между людьми в обычных чатах. По сути была достигнута имитация диалога с компьютером, позволяющая с лёгкостью преодолевать тест Тьюринга. И хотя искусная имитация общения людей и имитация мен-тальности человека не одно и то же, с опре-

9 Фальков призвал не наказывать выпускников, написавших диплом с помощью нейросети ChatGPT. URL: https://tass.ru/ obschestvo/16990327 (дата обращения: 04.03.2023).

10 Там же.

делённой натяжкой можно констатировать, что создание чего-то подобного является, по Серлу, «слабой версией искусственного интеллекта», согласно которой «процессы в мозге (ментальные процессы) могут быть симулированы вычислительно»11.

Необходимо учесть, что общественность узнаёт об использовании чат-бота при написании дипломной работы только после публичного признания студента в Интернете12. Теперь представим: он никому не рассказывает о своём «эксперименте». Кто-то обнаружил бы подделку? Или вообще, стал бы рассуждать об оценке подобного действия? И потом, никто сегодня не может определить, сколько за прошедшее время защищено дипломов, написанных с участием ChatGPT. Вовсе не исключено и то, что ChatGPT в настоящий момент «трудится» вместе с соискателями над разделами кандидатских и (страшно подумать) докторских диссертаций. Ведь, как оказалось, антиплагиат можно легко преодолеть, заставив нейросеть (пере)генерировать практически любой текст, чтобы получить его «оригинальный» вариант. И не столь важно, стихотворение это, эссе или диссертация по социально-гуманитарной специальности.

Очевидно, что такие вновь открываемые возможности нейросетевых систем невозможно проигнорировать, применительно к обучению студентов и высшему образованию в целом.

Теперь обратим внимание на несколько аспектов работы студента, которые он изложил в ходе своего публичного саморазоблачения. Заметим, что практически на всех

11 Согласно Джону Серлу, сильной версией ИИ является «мнение о том, что обладать сознанием - это то же, что обладать программой». См. Серл Дж. Открывая сознание заново / Пер. с англ. А.Ф. Грязнова. М.: Идея-Пресс, 2002. С. 188.

12 Как я написал диплом с помощью ChatGPT и оказался в центре спора о нейросетях в образовании. URL: https://journal.tinkoff.ru/neuro-diploma/ (дата обращения: 04.03.2023).

этапах «эксперимента» (так, справедливо по мнению авторов, определил суть работы студента министр науки и высшего образования) реципрокно взаимодействуют три актора: студент, ChatGPT и научный руководитель. Здесь стоит привести несколько фрагментов из «Как я написал диплом с помощью ChatGPT...»13. Чтобы передать суть «конструирования ВКР», приведём фрагменты прямой речи из описания студентом своей работы. Выборочно их можно представить, предварительно разбив на подразделы и снабдив краткими комментариями.

Постановка задач, утверждение темы и плана ВКР

«Главная цель при этом - научиться формулировать задачи для ИИ и задавать правильные вопросы. Не столько важна готовая научная работа, сколько процесс познания нового инструмента».

«Сфокусировался на управленческих задачах, таких как описание рабочих процессов, указание должностных обязанностей сотрудников и возможности для улучшения компании».

«Проще было бы самому написать план (после неоднократных замечаний научного руководителя - авт.^, чем просить написать нейросеть. Поэтому дорабатывал его самостоятельно».«План был одобрен после того, как руководитель ВКР внесла окончательные правки».

Работа над теоретической частью ВКР «. начал запрашивать не весь текст сразу, а идти точечно по подтемам из плана, разделяя запросы к ChatGPT по тематикам... машинно-переведённые запросы на английском через «Яндекс-переводчик», где также потребовались правки с заменой терминов и слов, требующей минимального знания английского языка».

«Так как в методичке есть свои требования, пришлось передать их нейросети».

13 Как я написал диплом с помощью ChatGPT и оказался в центре спора о нейросетях в образовании. URL: https://joumal.tinkoff.ru/neuro-diploma/ (дата обращения: 04.03.2023).

Примечательна оценка ограничений возможностей чат-бота: «Расскажу, почему стоит перепроверять источники, на которые ссылается нейросеть. У ChatGPT и подобных ИИ есть особенность - её называют «галлюцинации». Нейросеть может и добывать реальную информацию, и выдумывать собственную: например, когда просишь её сочинить стих. И порой эти два сценария смешиваются. Тогда ChatGPT будет с полной уверенностью рассказывать несуществующие факты и ссылаться на ею же выдуманные источники».

«Текст вышел вразумительный: структура оформлена по пунктам запроса, есть вода в формулировках, но информация вполне адекватная. В принципе такой же черновик можно было бы написать и самому, но времени потребовалось бы больше».

«Так как текст был путаный, порой я его переписывал самостоятельно. Ещё дополнил примеры картинками из интернета с указанием источников - их тоже искал сам».

Не обошлось без переработки заимствования из работы другого выпускника: «Сначала прогонял текст в «Яндекс-переводчике», а затем просил нейросеть переписать работу: добавить или вырезать информацию, придерживаться стилистики. Результат уже дополнял сам... адаптировал текст под свою компанию, переписал с помощью нейросети и отредактировал».

Все разделы из теоретической части ВКР, по признанию студента, «всё равно пришлось редактировать самому: привести начало и конец каждого принципа к единой структуре, поменять формулировки на более органичные, поправить написание примеров из исследований».

«Затем оформил список литературы. -пришлось искать точные страницы исследований от ChatGPT - и завершил теоретическую главу».

Работа над практической частью ВКР

Здесь показательно такое признание: «Сила ChatGPT немного меркнет в практической части по сравнению с теорией. Ней-

росеть не может взять актуальные данные после 2021 г., а также экспертно проанализировать компанию. Никакого внутреннего понимания процессов у ИИ нет: в лучшем случае она разберёт компанию поверхностно, в худшем - всё выдумает. Поэтому у меня - сотрудника - попросту больше знаний и контекста для анализа «СМ Геймс», чем у нейросети ».

«Оформление, новую информацию, рисунки взял на себя, а замену цитат и написание новых частей оставил ChatGPT. На эти изменения ушло ещё шесть часов».

Самостоятельная работа потребовалась и на заключительном этапе, когда научный руководитель «посоветовала отшлифовать русский язык, добавить сноски для литературы, доработать теоретическую главу с практической, сделать заключение на основе введения, исправить минорные ошибки».

Наш «экспериментатор» завершает своё повествование напутствием: «ИИ не сделает за вас всё. Идеальная схема: доверять ChatGPT конкретные задачи, а затем дополнять и редактировать текст самостоятельно». Ключевое слово здесь - доверять. Напомним, что речь идёт о бакалаврской ВКР по направлению подготовки «Государственное и муниципальное управление».

Показательно, что уже на следующий день после признания только в «Твиттере» оказалось более полумиллиона просмотров, несколькими днями позже дискуссия вышла за его пределы и разошлась по другим соцсетям и электронным СМИ. Можно, конечно, вовсе не придавать значение дискуссиям, тут и там вспыхивающим вокруг скандального признания бывшего студента. Но, по всей видимости, эта проблема, которая коснулась высшего образования, не разрешится сама собой.

Любая инновация может быть использована как во благо, так и во вред. ChatGPT не исключение. В данном случае использование чат-бота и ОрепЛ1 первоначально было рассмотрено со стороны «вреда». Можно также усмотреть потенциальные опасности и угрозы, которые несёт в себе исполь-

зование языкового редактора/генератора, построенного на нейросетевом принципе. Это - не только фабрикация дипломных работ и диссертаций, но и целевое конструирование массированной дезинформации, спама, домогательств и много другого, что вовсе не назовёшь моральным или даже законным. К примеру, в перечень потенциальной вредоносности ChatGPT вполне может быть включён астротурфинг - интеграция поддельного общественного мнения14. В этом случае чат-бот уже третьего поколения (с марта 2023 г. - четвёртого) способен успешно выдать искусственную общественную поддержку за подлинную общественную инициативу и т. д. И в то же время, ней-росети успешно работают в качестве ускорителей поисковых решений, интеграторов и оптимизаторов мыслительных операций - в архитектуре, фармакологии, медицине, технике, в решении сложных когнитивных и инновационных задач и т. п.

Как известно, инновации мало кто любит и принимает с восторгом. Особенно, если за ними следуют неопределённости в сложившихся статус-кво - профессии, престижа, завоёванных позиций, образа жизни. К инновационным сдвигам с почтением относятся те, кто их создаёт или ими пользуется. Но они составляют меньшинство во всех обществах.

Здесь мы сталкиваемся с тем, что с некоторым приближением выражается понятиями и терминами, предложенными за последние три-четыре десятилетия исследователями и разных областей знания. Это - аффорданс (Гибсон)15 [1], ассамбляж (Деланда) [2] ... Все

14 Термин происходит от названия американской компании AstroTurf, производящей искусственное покрытие для стадионов, которое имитирует траву.

15 Термин «аффорданс» был предложен психологом Джеймсом Дж. Гибсоном в отношении животное - окружающая среда. В природе аффордансы - это то, что окружающая среда предлагает животному, то, чем она его обеспечивает и что даёт, вне зависимости от того, хорошо это или плохо.

эти понятия призваны схватить феномены, порождённые усложнением мира, в котором мы живём. В.И. Аршинов диагностировал появление подобных феноменов как порождение так называемых сложностностных проблем или, как их ещё называют, «кусачих» (wicked) проблем. В отличие от «приручённых» (tame), проблемы «кусачие» порождаются инновациями, естественными или искусственными. Те и другие - следствие рекурсивного взаимодействия гетерогенных сущностей, прежде как будто несовместимых. «Причём в свете этой конвергенции, - сообщают В. Аршинов и Я. Свирский, - ставится под сомнение справедливость фундаментальных дихотомий типа: «субъект-объект», «живое-неживое», «разум-материя» и т. д.» [3].

Схожие эффекты исследовал в своей работе Джонатан Зиттрейн. Саму способность в открытой архитектуре интернета «производить непредсказуемые изменения через нерегулируемые вклады от широкой и разнообразной аудитории» [4], он определил понятием генеративности. В наборе свойств интернет-генеративности Зиттерейн усматривает и то, как развитие технологий может формировать диапазон новых задач, переопределять цели исследования, изменять характер усилий для их решения, а вместо адаптивности систем конструировать их преадаптивность... То есть формы использования технологий такого уровня не могли быть предвидены и предсказаны, когда эти технологии разрабатывались. Ко всему прочему эти технологии мобильны, их можно применять, как оказалось, в технических и гуманитарных сферах. К тому же, они наиболее доступны и вплотную приближены к «продвинутому пользователю».

Таким образом, ChatGPT только одно из проявлений в широком спектре субъектно-технологических ассамбляжей, сложностно устроенных сетевых сборок с набором прежде непредсказуемых эффектов, неопределённостей, возможностей и рисков. Именно неопределённость последствий развития таких технологий обычно вызывает тревогу в

отношении будущего во всех его материальных проявлениях. В данном же случае, речь идёт только об одном аспекте ближайшего (или приближающегося) будущего - установлении авторства в случае упомянутого и подобного ему соработничества человека с системой, оперирующей метаданными Интернета. И если принять в расчёт вышеприведённое понимание происходящего, то вопрос о признании/непризнании авторства и, соответственно, заслуг в виде диплома вуза или учёной степени уже не кажется таким простым, чтобы на него можно было дать однозначный ответ.

Процесс создания интеллектуального продукта с помощью метаданных16 сегодня осуществляется не только людьми, но и людьми в сложных отношениях запутанности с нечеловеческими агентами, такими как поиск, использование и представление метаданных алгоритмами на онлайн-платфор-мах. По сути, результатом такой «когнитивной сборки» являются как предсказуемые, так и неожиданно возникающие эпистемологические эффекты. Как отмечает Ирис ван дер Туин, одной из причин проявления взрывных возможностей современного ме-диатехнологического ландшафта является соединение метаданных с живым банком памяти Интернета [5].

Вернёмся к скандалу с написанием и защитой дипломной работы в престижном вузе. Если ИИ признаётся носителем или аналогом персонализированного сознания, то его участие в написании курсовой, диплома или диссертации должно быть признано как несамостоятельность автора (в мягкой форме), или как его некорректное заимствование (в риторически смягчённой форме), или же плагиатом (в юридически жёсткой

16 Метаданные - это данные о других данных. Они активны в процессе познания посредством маркировки, категоризации и приори-тизации данных и используются при взаимодействии нечеловеческих агентов и людей через экраны ноутбуков, планшетов или мобильных телефонов.

форме). Правда в последнем случае нет никакой надежды на то, что разгневанный ChatGPT-соавтор направит иск в судебную инстанцию.

Прежде всего заметим, что работа компьютера - это обработка данных, иногда очень искусная. Говорить о генерации знаний или информации самим компьютером можно только в переносном смысле. Простой пример: программная система "сгенерировала" отчёт о продажах. На деле: данные были подставлены в шаблон вёрстки отчёта. В нашем случае более продвинутый пример: машина "сгенерировала" текст. На деле: комбинаторно отобраны слова и фразы, наиболее релевантные вопросу.

Поэтому, когда мы говорим «машинно-сгенерированные тексты», то речь идёт о метафорическом понимании этого словосочетания. Действительность смыслового наполнения текста проявляется «в голове» субъекта, либо участвующего в постановке задач нейросети, либо читателя. В данном случае - «студента-экспериментатора» и его научного руководителя.

Несомненно, правы и те, кто ставит вопрос о том, как повысить качество экспертизы. Одним из решений может стать машинное выявление таких «авторских текстов». Машинно сгенерирован, машинно и выявлен. Такое выявление вполне может заблокировать распространение подобных маргинальных экспериментов применительно к творческим текстам. Здесь также возможен и другой фильтр. Им может стать так называемый эффект «зловещей долины»17. Подразумевается, что вычислительное устройство, пусть и на нейросетевой платформе, действующее примерно как человек, со временем вызывает отторжение, неприязнь и

17 Эффект «зловещей долины» (яп. ^ÄttöJii «букими но тани», англ. uncanny valley) - явление, основанное на гипотезе, сформулированной японским учёным-робототехником и инженером Масахиро Мори. См.: URL: https:// ru.wikipedia.org/wiki/Зловещая_долина (дата обращения: 04.03.2023).

отвращение у людей, взаимодействующих с ним. Это может означать то, что люди могут просто не захотеть, чтобы рядом с ними сосуществовали подобные похожие, но пугающие «творческие» системы.

ChatGPT: возможности, ограничения и много вопросов

Смерть автора, о которой писал ещё Ро-лан Барт [6], видимо, наступила фактически. И если у французского структуралиста это означало призыв воспринимать текст сам по себе, вне анализа личности автора и его биографии, то теперь впору говорить о смерти автора в том смысле, что автором не является никто. Текст есть, а автора нет. Холден Торп в своей редакторской статье высказался довольно однозначно: «ChatGPT is fun, but not an author» [7] - ИИ не является автором. Впрочем, пока консенсус о том, считать ли ChatGPT автором или соавтором, не достигнут. Хотя уже сейчас есть несколько примеров публикаций, в которых ИИ выступает в качестве соавтора [8] и даже «собеседника» интервью [9].

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Очевидно, что ИИ изменил образовательную реальность практически так же, как её изменило появление Интернета и поисковых систем. «Мир науки и образования никогда не будет прежним». Эти слова часто приходилось слышать последние несколько лет, сначала во время и после пандемии, а теперь с появлением ChatGPT. И, конечно, так говорили каждый раз при появлении революционной технологии - от телевидения до массовых открытых онлайн-курсов.

Как же академическое сообщество восприняло ChatGPT? Мы уже видели выше, что для редактора Science ИИ не является автором ни в каком смысле. Однако в академической печати уже появился, хоть и не слишком обширный, массив публикаций, характеризующийся разнонаправленными суждениями от резко негативных [10] до сдержанно оптимистических. Ряд авторов если не с восторгом, то вполне позитивно

воспринимают использование ChatGPT в научных исследованиях.

Ниже перечислены некоторые возможности, которые видят исследователи [11].

- Анализ и интерпретация данных. ChatGPT может помочь исследователям проанализировать и интерпретировать большие объёмы данных.

- Научная коммуникация с широкой общественностью. ChatGPT может использоваться для изложения сложной научной информации доступным языком.

- Поддержка принятия решений. ChatGPT может предоставить лицам, принимающим решения, соответствующую информацию и рекомендации по решению различных проблем.

Вместе с тем, ChatGPT обладает целым рядом изъянов, которые ставят под сомнение саму возможность использования результатов его работы в сколько-нибудь серьёзных целях.

Ненадёжность данных. ChatGPT обучен на огромном массиве данных, которые сами по себе не проверены на достоверность и актуальность. Кроме этого, по некоторым направлениям науки ChatGPT безнадёжно устарел, поскольку был обучен на материалах 2021 г. ChatGPT наследует не только достижения человечества, но и его недостатки - субъективность, предвзятость, неточность и попросту ошибочность. Будучи обученным на текстах, написанных людьми, ChatGPT с неизбежностью воспроизводит человеческие изъяны. При этом ChatGPT «не знает» того контекста, в котором проводятся определённые исследования, поэтому его рекомендации могут оказаться нерелевантными данному контексту.

Ложный контент. К сожалению, ChatGPT не только опирается в своей работе на ненадёжные источники, но и способен создавать ложное содержание. Об этой его особенности писали некоторые исследователи [12-14], и мы, в свою очередь, также решили его проверить на включение в обзор литературы несуществующих публикаций. Для это-

го был сделан следующий запрос: «Напиши, пожалуйста, обзор научной литературы по использованию ChatGPT в высшем образовании». В ответ мы получили 5 тыс. знаков гладко написанного текста с несколькими ссылками на литературу. После несложной проверки выяснилось, что он «решил» сослаться на несуществующую публикацию в известном журнале. Его выдало то, что в названии «выдуманной» статьи якобы 2016 г. фигурировало название «ChatGPT». При этом мы использовали последнюю версию ChatGPT-4. Впрочем, эту особенность могут исправить в следующих поколениях. Для научных же журналов это означает необходимость тотальной проверки всех пунктов списка литературы, если они ещё этого не делали раньше.

Ограничения. Тот факт, что для работы ChatGPT требуются значительные вычислительные мощности, означает, что доступ к этому сервису в ближайшее время будет ограничен, например, доступом по подписке. Кроме того, что уже сейчас существует дискриминационное ограничение на доступ из некоторых стран. Это означает, как минимум, то, что ChatGPT не является ценностно нейтральным инструментом. А ограничение к его использованию в некоторых странах лишь подчёркивает политическую и нравственную нагруженность современных технологий. Были проведены исследования, которые показали, что ИИ не способен на глубокий аналитический текст [15]. Кроме этого, ИИ хуже работает, если речь идёт о языках, отличных от английского. Можно сказать, ChatGPT особенно силён в том, чтобы создавать обманчивое впечатление о своих возможностях.

Многие публикации ограничиваются рассмотрением негативных сторон влияния ChatGPT и недобросовестного использования ради недостойных целей. Не отвергая серьёзности таких проблем, мы предлагаем внимательно изучить достойные добропорядочных учёных способы взаимодействия с ИИ.

В некоторых научных дисциплинах передача рутинных операций искусственному интеллекту, сокращение в этой связи времени реализации исследований и подготовки публикации, позволит учёным сосредоточиться на самой научной работе. Однако кажущаяся скорость представления результатов работы ChatGPT нивелируется необходимостью проверки и обоснования того, что «написал» ИИ. Для серьёзной научной работы все данные, рекомендации и прочие результаты представленные ChatGPT требуют перепроверки, что может занять значительное время. Кроме этого, стиль ответов, если можно так выразиться, затрудняет их интерпретацию из-за отсутствия обоснования, доказательств, а часто и логики.

Впрочем, можно представить себе появление журналов, лояльно относящихся к использованию текстов, созданных ИИ. Порой приходится читать научные статьи, которые не блещут с точки зрения стиля, но представляют важные для науки новые данные. Следует ли запретить использование ChatGPT и подобных ему систем для написания таких статей? У нас нет однозначного ответа на этот вопрос.

Авторство. Является ли текст статьи, написанной при помощи ИИ, оригинальным текстом? Какая степень помощи допустима и допустима ли любая, даже малейшая помощь? В чём мы выиграем, если допустим ИИ к созданию научных публикаций? Эти вопросы требуют отдельной дискуссии. Пока не приняты специальные решения для определения авторства, требуется открытое заявление авторов об использовании систем ИИ. При этом использование ИИ вовсе не означает, что эта система обязательно была использована недобросовестно. ChatGPT, например, неплохо справляется с проверкой грамматики и орфографии и в целом с редактированием текста [16].

Высшее образование. Надежды на радикальные изменения в высшем образовании в связи с технологическими инновациями ча-

сто преувеличены. Учебная аудитория и то, что в ней происходит, не меняется столетиями. Но при этом именно сейчас важно вновь поставить вопросы о целях высшего образования и средствах их достижения. В этой связи встают онтологические, эпистемологические и аксиологические вопросы о том, что такое знание, образование, университет и каковы наши ценности и цели.

Что касается практики высшего образования, то преподавателям, вероятно, придётся усложнить задания таким образом, чтобы их было затруднительно выполнить с помощью ChatGPT. Но, кроме запретов и контроля, следует серьёзно задуматься о легитимном использовании ChatGPT в учебном процессе. Запретить искусственный интеллект невозможно, а системы прокторинга всегда будут отставать. Искусственный интеллект уже сейчас отлично обучает иностранным языкам, исправляет орфографию и пунктуацию, великолепно играет в шахматы и обучает этой древней игре. Вероятно, он поможет развить и исследовательские навыки [17] и оказать поддержку в медицинском образовании [18].

Очевидно, что у ChatGPT есть большой потенциал применения в образовании и науке. Его следует изучать для возможного ответственного внедрения [19], но говорить о готовом продукте, пригодном для широкого использования, ещё рано. И, конечно, ChatGPT следует рассматривать в контексте исследований искусственного интеллекта в образовании, которые ведутся последние годы.

Таким образом, в ближайшее время академическому сообществу придётся определить своё отношение к феномену ChatGPT в образовании и науке. В позитивном смысле следует, например, разработать конкретные методики взаимодействия с ИИ, алгоритмы, минимизирующие негативные результаты. ChatGPT - новое явление, которое требует эмпирического изучения возможностей и потенциальных проблем, которые он может вызвать.

Возможности для образования. Существуют ожидания того, что ИИ станет эффективным инструментом персонализации образования, индивидуальным помощником и навигатором. Впрочем, реальные результаты зависят не от наличия виртуального помощника, а от мотивации, настойчивости и труда самих обучающихся. Уже сейчас ChatGPT помогает быстрее погрузиться в новую область знаний. Даже короткий диалог с ним позволяет нащупать актуальные исследовательские вопросы, сформулировать свои первые гипотезы. ChatGPT можно назвать Википедией на новом технологическом уровне. А для преподавателей - это инструмент для подготовки к занятиям.

Если ChatGPT так хорош в написании эссе, то несложно предположить, что его можно использовать для оценивания таких работ. Это некоторая ближайшая перспектива, о которой следует задуматься и которую стоит методически проработать. Кроме оценки, эссе ИИ способен давать конструктивную обратную связь, указывая на ошибки, недочёты и возможности улучшения работы, что до сих пор мог делать только преподаватель. Но, как известно, детализированный анализ эссе требует значительных временных затрат и при росте числа обучающихся приводит к отказу преподавателя от использования эссе в качестве заданий. В этом случае искусственный интеллект, подобный ChatGPT, способен создать среду для самообучения и давать необходимую развивающую обратную связь, на которую у преподавателя нет свободного времени.

Таким образом, внедрение систем, таких как ChatGPT, может практически воплотить идею самообразования в течение всей жизни, предоставляя ценную обратную связь и открывая возможности для дальнейшего развития.

Здесь не будут обсуждаться варианты недобросовестного использования искусственного интеллекта. Академическому сообществу ещё только предстоит выработать согласованное отношение к тому, как право-

мерно применять ИИ, подобный ChatGPT. Существует несколько десятков программных продуктов на основе ИИ, помогающих работать с текстом, такие как, например, Grammarly и МОэ^Шж. По сути, ChatGPT предлагает схожий функционал. Он помогает грамотно изложить текст на английским языке. Можно сказать, что это хорошие новости для тех, кто готовит научные статьи для публикации в англоязычных журналах. ИИ в этом случае проверяет грамматику, но сам не создаёт наукоподобный текст.

В этом случае можно прогнозировать как упадок навыков письма, так и их развитие. И опять многое зависит от человека и его мотивации. Искусственные помощники могут показывать ошибки, предлагать варианты и тем самым помогать учиться, а могут и работать вместо человека, создавая тексты на основе вопросов и подсказок пользователей, замещая авторов.

Для преподавателей это означает, что такие привычные формы оценки способностей студентов как эссе или реферат теряют свой смысл, поскольку ChatGPT создаёт среднюю по качеству имитацию содержания на заданную тему. При этом такая имитация с лёгкостью преодолевает тесты на плагиат.

Некоторое время назад произошёл отход от практики оценки устных ответов обучающихся в пользу автоматизированной оценки письменных ответов в различных формах от выбора верного ответа до развёрнутого ответа или эссе. Можно отдельно обсуждать причины этого перехода, но очевидна актуальность возвращения к этой практике на новом методическом и технологическом уровне.

В этом смысле вполне понятно желание запретить использование ChatGPT в учебном процессе. Но такой исход лишь маскирует нежелание менять подходы к преподаванию и совершенствовать методики использования письменных работ. Закрытие доступа, запрет или, ещё хуже, замалчивание не приведут ни к решению проблем, ни к возможному развитию системы образования. В

сложившейся ситуации особенно важно научиться превращать проблемы в возможности и стараться адаптировать свою практику к изменениям.

Можно с уверенностью говорить о том, что, как некогда вычислительные способности компьютера стали неотъемлемой частью технических и естественных наук, так и системы анализа, оценки и генерации текста станут неотъемлемой составляющей образования на всех его уровнях.

Заключение

Крайне важно взвешенно оценить ситуацию и понять последствия появления ChatGPT для высшего образования и науки. Кроме угроз, которые, очевидно, возникают с появлением ChatGPT, необходимо открыто обсудить и появляющиеся возможности.

Мы убеждены, что широкое распространение технологий искусственного интеллекта неизбежно, и запреты здесь не только не способны что-то изменить, но, возможно, вредны. Важно при этом, чтобы академическое сообщество включилось в дискуссию о последствиях этой значимой технологии [12]. Нам многое надо обсудить, в том числе, следует договориться о том, как легитимно использовать системы искусственного интеллекта.

Нам довелось жить и трудиться в непростое время - на сломе технологий и мировоззрений. Впору вспомнить слова К.Д. Ушинского о том, что труд - это свободная деятельность, имеющая цель и согласованная с христианскими ценностями. Работа -удел механизмов, как сказали бы во времена Константина Дмитриевича, или роботов, как говорят в наши дни. Результат труда, в том числе и научный результат - это человеческий результат. И нельзя забывать, что ответственность за использование результатов работы искусственного интеллекта лежит на человеке. Несомненно и другое: совместная деятельность человека и искусственного интеллекта способна поднять качество работы на принципиально новый уровень.

Мы призываем академическое сообщество включиться в обсуждение широкого круга вопросов, связанных с использованием искусственного интеллекта в высшей школе, на страницах журнала «Высшее образование в России».

Литература

1. Гибсон Дж. Экологический подход к зрительному восприятию. М.: Прогресс, 1988. 464 с. ISBN: 5-01-001049-6.

2. Деланда М. Новая философия общества: Теория ассамбляжей и социальная сложность: пер. с англ. К.С. Майоровой. Пермь: Гиле-Пресс, 2018. 170 с.

3. Аршинов В.И., Свирский Я.И. Кое-что о сложностности // Морен Э. О сложностно-сти: пер. с англ. Я.И. Свирского. М.: Институт общегуманитарных исследований, 2019. С. 275.

4. Zittrain J. The Generative Internet // Harvard Law Review. Vol. 119. May 2006. P. 70. DOI: 10.1145/1435417.1435426

5. Van der Thin I. How Eva Louise Young (18611939) Found Me. On the Performance of Metadata in Knowledge Production // Situating Data. Inquiries in Algorithmic Culture. Amsterdam: Amsterdam University Press, 2020. P. 189-206. DOI: 10.5117/9789463722971

6. Барт Р. Избранные работы: Семиотика. Поэтика. М., 1994. С. 384-391.

7. Thorp H. ChatGPT is fun, but not an author // Science. Vol. 379. No. 6630. P. 313. DOI: 10.1126/ science.adg7879

8. Frye B.L. Should Using an AI Text Generator to Produce Academic Writing Be Plagiarism? (December 3, 2022) // Fordham Intellectual Property, Media & Entertainment Law Journal, Forthcoming. URL at SSRN: https://ssrn.com/ abstract=4292283 (дата обращения 04.03.2023).

9. King М. Cellular and Molecular Bioengineering, T. 16. No. 1. February 2023 (2023). P. 1-2. DOI: 10.1007/s12195-022-00754-8

10. HammadM. The Impact of Artificial Intelligence (AI) Programs on Writing Scientific Research // Annals of Biomedical Engineering. 2023. No. 51. P. 459-460. DOI: 10.1007/s10439-023-03140-1

11. Biswas S.S. Potential Use of Chat GPT in Global Warming // Annals of Biomedical Engineering. 2023. DOI: 10.1007/s10439-023-03171-8

12. Van Dis E, Bollen J., van Rooij R, Zuidema W, Bockting C. ChatGPT: five priorities for re-

search // Nature. 2023. No. 614. P. 224-22 6 DOI: 10.1038/d41586-023-00288-7

13. Chatterjee J., Dethlefs N. This new conversational AI model can be your friend, philosopher, and guide ... and even your worst enemy // Patterns. 2023. Vol. 4. No. 1. Article no. 100676. DOI: 10.1016/j.patter.2022.100676

14. Khalil M, Er E. Will ChatGPT get you caught? Rethinking of plagiarism detection. arXiv. 2023. DOI: 10.35542/osf.io/fnh48

15. Rudolph J., Tan S, Tan S. ChatGPT: Bullshit spewer or the end of traditional assessments in higher education? // Journal of Applied Learning & Teaching. 2023. Vol. 6. No. 1. DOI: 10.37074/jalt.2023.6.1.9

16. Atlas S. "ChatGPT for Higher Education and Professional Development: A Guide to Conversational AI.", 2023. URL: https://digitalcommons. uri.edu/cba_facpubs/548 (дата обращения 30.03.2023).

17. Kasneci E, Seller K, Kûchemann S, Bannert M., Dementieva D., Fischer F., et al. ChatGPT for Good? On Opportunities and Challenges of Large Language Models for Education. 2023, January 30. DOI: 10.35542/osf.io/5er8f

18. Kung T.H., Cheatham M, Medenilla A., Sillos C, De Leon L, Elepaco C, Madriaga M, Ag-gabao R, DiazCandido G., Maningo J., Tseng V. Performance of ChatGPT on USMLE: Potential for AI-assisted medical education using large language models. PLOS Digital Health. 2023. Vol. 2. No, 2. Article no. e0000198. DOI: 10.1371/journal. pdig.0000198

19. Halaweh M. ChatGPT in education: Strategies for responsible implementation. Contemporary-Educational Technology. 2023. Vol. 15. No. 2. Article no. ep421. DOI: 10.30935/cedtech/13036

Статья поступила в редакцию 04.03.2023 Принята к публикации 09.04.2023

References

1. Gibson, J. (1988). Ekologicheskij podhod k zritel'nomu vospriyatiyu [Ecological Approach to Visual Perception]. Moscow: Progress, 464 p. ISBN: 5-01-001049-6. (In Russ.).

2. DeLanda, M. (2018). Novaya filosofiya obshchestva: Teoriya assamblyazhej i social'naya slozhnost' [A New Philosophy of Society: Assemblage Theory and Social Complexity]. Perm': HylePress Publ, 170 p. (In Russ.).

3. Arshinov, V.I., Svirskij, Ya.I. (2019). Koe-chto o slozhnostnosti. Morin E. O Slozhnostnosti [On Complexity]. Moscow: Institut obshchegumanitarnyh issledovanij, 275 p. (In Russ.).

4. Zittrain, J. (2006). The Generative Internet. Harvard Law Review. Vol. 119, p. 70, doi: 10.1145/1435417.1435426

5. Van der Tuin, I. (2020). How Eva Louise Young (1861-1939) Found Me. On the Performance of Metadata in Knowledge Production. Situating Data. Inquiries in Algorithmic Culture. Amsterdam: Amsterdam University Press, pp. 189-206, doi: 10.5117/9789463722971

6. Bart, R. (1994). Izbrannye raboty: Semiotika. Poetika. Moscow, pp. 384-391. (In Russ.).

7. Thorp, H. (2023). ChatGPT is fun, but not an author. Science. Vol. 379, no. 6630, p. 313, doi: 10.1126/science.adg7879

8. Frye, B.L. (2022). Should Using an AI Text Generator to Produce Academic Writing Be Plagiarism? Fordham Intellectual Property, Media & Entertainment Law Journal, Forthcoming. Available at SSRN: https://ssrn.com/abstract=4292283 (accessed 04.03.2023).

9. King, M. (2023). A Conversation on Artificial Intelligence, Chatbots, and Plagiarism in Higher Education. Cellular and Molecular Bioengineering. Vol. 16, no. 1, pp. 1-2, doi: 10.1007/s12195-022-00754-8

10. Hammad, M. (2023). The Impact of Artificial Intelligence (AI) Programs on Writing Scientific Research. Annals of Biomedical Engineering. Vol. 51, pp. 459-460, doi: 10.1007/s10439-023-03140-1

11. Biswas, S.S. (2023). Potential Use of Chat GPT in Global Warming. Annals of Biomedical Engineering, doi: 10.1007/s10439-023-03171-8

12. Van Dis, E., Bollen, J., van Rooij, R., Zuidema, W., Bockting, C. (2023). ChatGPT: Five Priorities for Research. Nature. Vol. 614, pp. 224-226, doi: 10.1038/d41586-023-00288-7

13. Chatterjee, J., Dethlefs, N. (2023). This New Conversational AI Model Can Be Your Friend, Philosopher, and Guide ... and Even Your Worst Enemy.. Patterns, Vol. 4(1), 100676, doi: 10.1016/j. patter.2022.100676

14. Khalil, M., Er, E. (2023). Will ChatGPT Get You Caught? Rethinking of Plagiarism Detection. arXiv, doi: 10.35542/osf.io/fnh48

15. Rudolph J., Tan S., Tan S. (2023). ChatGPT: Bullshit spewer or the end of traditional assessments in higher education? Journal of Applied Learning & Teaching. Vol. 6, no.1, doi: 10.37074/ jalt.2023.6.1.9

16. Atlas, S. (2023). ChatGPT for Higher Education and Professional Development: A Guide to Conversational AI. Available at: https://digitalcommons.uri.edu/cba_facpubs/548 (accessed

17. Kasneci E., Sefiler K., Kuchemann S.. Bannert M., Dementieva D., Fischer F., et al. (2023). ChatGPT for Good? On Opportunities and Challenges of Large Language Models for Education, doi: 10.35542/osf.io/5er8f

18. Kung, T.H., Cheatham, M., Medenilla, A., Sillos, C., De Leon L., Elepaco, C., Madriaga, M., Ag-gabao, R., DiazCandido, G., Maningo, J., Tseng, V. (2023). Performance of ChatGPT on USMLE: Potential for AI-assisted medical education using large language models. PLOS Digital Health. Vol. 2, no. 2, article no. e0000198, doi: 10.137l/journal.pdig.0000198

19. Halaweh, M. (2023). ChatGPT in Education: Strategies for Responsible Implementation. Contemporary Educational Technology. Vol. 15, no. 2, article no. ep421, doi: 10.30935/ced-tech/13036

04.03.2023).

The paper was submitted 04.03.2023 Accepted for publication 09.04.2023

С

НАУЧНАЯ ЭЛЕКТРОННАЯ БИБЛИОТЕКА

Science Index РИНЦ-2021

LIBRARY.RU

социологические исследования Вопросы философии Вопросы образования Высшее образование в России Эпистемология и философия науки психологическая наука и образование образование и наука

Университетское управление: практика и анализ

Интеграция образования

ALMA MATER (Вестник высшей школы)

Высшее образование сегодня

педагогика

10,767 9,978 9,805 9,236 8,065 7,968 7,275 6,895 6,494 4,042 3,236 2,571

i Надоели баннеры? Вы всегда можете отключить рекламу.