CC BY
16
УДК 681.518.52:37(075)
Л.И. Магазинников, М.Ю. Шевелев, Ю.П. Шевелев
Компьютерное управление обучением: пределы возможностей
Показано, что компьютерное управление учебным процессом, основанное на принципе формализации, недостаточно эффективно по сравнению с традиционным «ручным». Повышение качества обучения возможно лишь путем усиления естественной системы компьютерными средствами.
Традиционная образовательная система давно достигла пределов в своем развитии и практически перестала совершенствоваться. Лишь с распространением в учебных заведениях современных компьютеров появились надежды на повышение качества образования за счет автоматизированного управления процессом обучения. При этом очень многие верят в безграничные возможности компьютера и считают, что компьютерное обучение действительно способно обеспечить более высокое качество образования по сравнению с традиционным «ручным*. Эта вера во всесильность компьютера получила широчайшее распространение на всех иерархических уровнях нашей образовательной системы. Например, согласно [1,2] для повышения качества обучения необходимо как можно быстрее внедрить в учебный процесс существующие электронные учебники. Из этого утверждения можно сделать очень оптимистичный вывод о том, что достаточно обычную книгу представить в компьютерном виде с системой гиперссылок, использованием мультимедийных средств и контролем на основе выборочного принципа — и проблема решена, высокое качество обучения гарантировано.
Однако опыт показывает, что таким простым способом проблему качества обучения не решить. Например, заочники и дистанционники, осваивавшие математику по электронным учебникам под компьютерным управлением, по уровню подготовки значительно уступают студентам очного обучения, хотя в соответствии с распространенным мнением о более высокой эффективности электронных учебников уровень подготовки дистанционников должен быть существенно выше по сравнению с очниками. В этом противоречии необходимо разобраться, т.е. выяснить, почему проблема компьютерного обучения до сих пор не потеряла своей остроты, и наметить пути реального повышения качества образования, причем в массовых масштабах, а не в отдельных частных случаях. Этим вопросам посвящена данная работа.
В монографии [3] сделана попытка выявить наиболее «узкие» места в компьютеризации образования. В ней показано, что при обучении чему угодно всегда имеют место две составляющие — предъявление информации и контроль (а также самоконтроль) ее усвоения. Первая из них — это та информация, которую учащийся должен усвоить. Обеспечивается оначучебни-ками, лекциями, фильмами, беседами и др. Эта составляющая при помощи компьютера реализуется вполне удовлетворительно, поскольку компьютер к задачам предъявления информации приспособлен гораздо лучше, чем к каким-либо другим задачам из образовательной области.
Но мало предъявить информацию, надо еще обеспечить ее усвоение. Сделать это может только сам учащийся, своими силами, напряжением своего интеллекта. Глубина изучаемой темы определяется вопросами, отвечать на которые учащийся может с различной степенью правильности. И здесь на первое место выдвигается вторая составляющая процесса обучения — проблема контроля: кто будет выслушивать ответы учащегося, оценивать их, указывать ему, на что надо обратить внимание, и в конечном счете определять, освоена тема или нет? Этот аспект является важнейшим, так как именно здесь решается вопрос о качестве обучения. При неудовлетворительном контроле обесценивается и первая составляющая. Как бы ярко ни была представлена учебная информация, какие бы мультимедийные средства ни применялись, при слабом контроле учащийся пассивен и, следовательно, информация усваивается им поверхностно, так как воспринимается без напряжения мысли. Например, основу комбинаторики составляют правила суммы и произведения и шесть формул: перестановки, размещения и сочетания с повторениями и без повторений. Вывод их прост, запоминаются они легко. Однако первая же задача на их применение, даже самая простая, обычно ставит студента в тупик. Это значит, что недостаточно знать формулы и правила, надо еще научиться их применять, для чего необходимо правильно ответить на ряд вопросов и решить определенное число тренировочных задач. Работать над ними учащийся должен совершенно
самостоятельно, только своими силами, т.е. без подсказок со стороны, поскольку для решения задач никакой новой информации не требуется. Все, что ему понадобится извне, — это один бит информации вида «правильно-неправильно» на каждый ответ.
Наилучшим является вариант, когда контроль осуществляется преподавателем. Но в условиях массового обучения это нереально, так как в каждый момент времени преподаватель может слушать только одного ученика. Очевидно, что именно здесь находится «узкое место» в обучении и именно здесь по-настоящему необходимы компьютерные средства, обеспечивающие смысловой анализ ответов на естественном языке. Следовательно, задача сводится к тому, чтобы разработать компьютерную программу, способную осмысливать воспринимаемую информацию подобно человеку. Но реально ли это?
Во-первых, прежде чем разрабатывать компьютерную программу, способную осознанно выявлять смысл сообщений, необходимо уточнить соответствующие понятия. В настоящее время определений таких понятий, как смысл, сознание, разум, мышление, понимание и др. существует много, но из-за недостаточной точности ни одно из них не может быть использовано для создания программы, способной оценивать ответы путем смыслового анализа их содержания. Во-вторых, если обратиться к теореме Курта Геделя о неполноте формальных систем, из которой следует невозможность полной формализации человеческого мышления, и сопоставить ее с тем фактом, что компьютерное моделирование осуществляется только на основе формального подхода, то уместно поставить вопрос о принципиальной разрешимости проблемы выявления смысла на основе алгоритмического принципа работы современного компьютера.
Таким образом, пока совершенно нет никаких оснований надеяться на то, что хотя бы в отдалений перспективе вопрос о компьютерном выявлении смысла, причем на уровне человека, обретет; черты реальности. Эта проблема имеет прямое отношение к качеству компьютерного обучения, однако ввиду ее невообразимой сложности и неясности вопроса о принципиальной алгоритмической разрешимости практического интереса не представляет. Следовательно, в настоящее время автоматизация контроля (и вообще обучения) возможна только на основе формализации, суть которой в том, что сравнение ответов с эталонами, хранящимися в компьютерной памяти, осуществляется не по смысловому содержанию, а только по форме их представления.
Но формализация ограничивает круг вопросов, оценку ответов к которым можно поручить компьютеру. Так как все идеи компьютерного обучения берут начало в традиционной системе, то чтобы ориентировочно оценить масштабы потерь, обусловленных формализацией, выясним, какие вопросы приводятся в традиционных учебниках и какой процент из них поддается компьютерному контролю.
Наиболее «выигрышными» с позиций автоматизации контроля являются дисциплины математического профиля. Поэтому для исследования были выбраны пособия по классической и дискретной математике. Сколько пособий необходимо изучить? В принципе, можно ограничиться каким-либо одним. Например, в [4] лишь 25 % всех вопросов не поддается формализации. Однако вывод о том, что при изучении математики сферу возможностей компьютерного контроля составляет 75 % всех возможных вопросов, будет неверным, так как в других пособиях этот процент является иным. Например, в [5] нет ни одного вопроса, поддающегося формализации. Очевидно, что надо взять достаточно большое число пособий, представить их как один большой учебник и его исследовать на возможность компьютеризации контроля. В связи с этим было исследовано 20 пособий [4-23]. В принципе, число их можно и увеличить, но для получения ориентировочных результатов, как показывают исследования, двадцати пособий вполне достаточно, поскольку с ростом их числа результаты исследований изменяются незначительно.
Анализ показал, что можно выделить восемь типов (групп) вопросов.
1. Вопросы с числовыми ответами в виде целых, дробных и комплексных чисел, а также других форм, например 0,31-10~26; зт2,2 = л; 7%/То и др. Всю группу таких вопросов условимся обозначать словом «Число».
2. Вопросы с ответами в виде наборов чисел. Эту группу в дальнейшем будем называть словом «Набор».
3. Вопросы с ответами в виде формул. Группу всех таких вопросов обозначим словом «Формула».
4. Существует большая группа вопросов, согласно условиям которых учащийся должен дать устный ответ: сформулировать и доказать теорему, обосновать решение, дать определение и т.д. Обозначим группу таких вопросов словом «Фраза».
Л.И. Магазинников, ММ. Шевелев, ЮЛ. Шевелев. Компьютерное управление обучением ... 137
5. Нередки вопросы, ответы к которым необходимо изображать на бумаге в виде рисунков, таблиц, графиков, эскизов, логических, электрических, структурных и других схем. Всю группу подобных вопросов условимся обозначать словом «Изображение».
6. Практически во всех учебниках встречаются вопросы типа «Верно ли, что?», «Возможно ли?», «Существует ли?» и т.д. Ответом в таких случаях является одно из слов: «Да» либо «Нет». Всю группу таких вопросов обозначим как «Да-нет».
7. Во многих учебниках иногда встречаются вопросы выборочного типа. Таким вопросам поставим в соответствие название «Выбор».
8. Существуют вопросы, ответом к которым является какой-либо знак сравнения. Например: «>», «= *, *~* и т.д. Все их объединим в группу под названием «Знак».
Результаты проведенных исследований представлены двумя таблицами (табл. 1 и 2). В первой из них для каждого пособия указано число вопросов, относящихся к восьми вышеперечисленным типам. В табл. 2 приведены те же сведения, но в процентном выражении. Например, в учебнике [4] всего содержится 3538 вопросов (см. табл. 1). Из них 33,8 % составляют вопросы с числовыми ответами, 6,8 % — вопросы в виде наборов чисел, 30,9 % — формулы и т.д. (см. табл. 2). В нижней строке табл. 2 показано среднее процентное содержание числа вопросов соответствующего типа для всех 20 пособий.
Таблица 1
Количественные характеристики учебных пособий по типам вопросов
Учебное Число Набор Фор- Фраза Изо- Да- Вы- Знак Всего
пособие мула бражение нет бор
[4] 1197 241 1093 516 264 100 19 108 3538
[5] 0 0 0 108 0 0 0 0 108
[6] 712 91 786 499 184 62 19 36 2389
[7] 217 121 77 691 254 119 86 2 1567
[8] 545 140 738 83 99 33 21 0 1659
[9] 189 41 221 53 26 12 10 0 552
[10] 326 83 424 53 40 29 28 0 983
[11] 46 33 219 58 1 26 8 4 395
[12] 168 0 727 33 6 63 7 1 1005
[13] 91 8 6 52 2 14 0 0 173
[14] 85 1 21 190 5 45 6 2 355
[15] 108 58 91 398 48 53 2 0 758
[16] 61 3 41 209 10 38 2 0 364
[17] 0 0 1 75 2 25 0 0 103
[18] 77 16 366 1337 107 288 15 11 4 2217
[19] 8 0 68 193 31 7 8 0 ч315 1008
[20] 4 0 0 644 74 222 64 0
[21] 6 12 25 85 4 17 11 1 161
[22] 0 0 2 118 0 0 0 0 120
[231 37 6 11 1395 5 153 90 1 1698
Всего 3877 855 4917 6790 1162 1306 396 166 19468
Например, из всех 19468 вопросов, содержащихся в 20 пособиях, 19,92 % составляют вопросы типа «Число»; 4,37 % — «Набор»; 25,26 — «Формула» и т.д.
Разделим все восемь типов вопросов на три группы и назовем их: «Для компьютера», «Неопределенность», «Не для компьютера». В первую группу войдут вопросы типов «Число», «Набор», «Выбор» и «Знак», что в сумме составляет 27 %.
В группу «Не для компьютера» входят вопросы типов «Фраза» и «Изображение». Сюда же необходимо включить и все вопросы типа «Да-нет», так как в традиционных учебниках они приводятся совсем не для того, чтобы учащийся давал на них односложные ответы «Да» или «Нет». Ни один преподаватель таким ответом не удовлетворится. На любой из ответов «Да» или «Нет» последует вопрос: «Почему?». Но тогда все подобные вопросы попадают в группу «Фраза», так как учащийся будет устно развивать свой ответ. В среднем группу «Не для компьютера» образует 48 % от числа тех вопросов, на которых строится контроль в естественных системах обучения.
Таблица 2
Процентное содержание типов вопросов в учебных пособиях
Учебное Число Набор Фор- Фраза Изо- Да- Вы- Знак
пособие мула бражение нет бор
[4] 33,8 6,8 30,9 14,6 7,46 2,8 0,5 3,05
[5] 0 0 0 100 0 0 0 0
[6] 29,8 3,8 33 20,9 7,7 2,3 0,8 1,5
[7] 13,8 7,72 4,9 44,1 16,2 7,6 5,49 0,13
18] 32,9 8,44 44,49 5 5,97 1,99 1,27 0
[9] 34,2 7,4 40 9,6 4,7 2,2 1,8 0
[10] 33,2 8,4 43,1 5,4 4,1 2,9 2,8 0
[11] 11,6 8,35 55,44 14,68 0,25 6,58 2 1
[12] 16,7 0 72,34 3,28 0,6 6,27 0,7 0,01
[13] 52,6 4,62 3,47 30,06 1,15 8,1 0 0
[14] 23,9 0,28 5,92 53,52 1,41 12,7 1,69 0,56
[15] 14,3 7,67 12 52,7 6,3 7 0,26 0
[16] 16,8 0,82 11,26 57,4 2,75 10,4 0,55 0
[17] 0 0 0,97 72,82 1,94 24,3 0 0
[18] 3,5 0,7 16,5 60,3 4,8 13 0,68 0,5
[19] 2,54 0 21,59 61,27 9,84 2,22 2,54 0
[20] \ 0,4 0 0 63,88 7,34 22 6,35 0
[21] 3,73 7,45 15,5 52,8 2,48 10,6 6,8 0,62
[22] 0 0 1,66 98,33 0 0 0 0
[231 2,18 0,35 0,65 82,16 0,29 9,01 5,3 0,06
В среднем 19,92 4,37 25,26 34,88 5,97 6,71 2 0,85
Группа «Неопределенность» состоит из вопросов только одного типа — «Формула», что составляет 25 % от общего числа вопросов. В названии этой группы отражен тот факт, что формулы в подавляющем большинстве случаев отличаются неоднозначностью их записи. С позиций компьютеризации контроля это создает далеко не всегда разрешимые трудности.
Таким образом, для учебных дисциплин математического профиля возможности компьютерного контроля в среднем ограничены 27 % от числа всех вопросов естественных систем. Совершенно не поддаются компьютерному контролю 48 %. Из оставшихся 25 % некоторые вопросы, в принципе, могут быть включены в сферу компьютерного контроля. Однако весь этот диапазон практически недостижим по таким причинам, как слишком высокая вероятность ошибок ввода при наборе ответов, представляемых в виде громоздких формул, трудности, связанные с разработкой программ для распознавания правильности неоднозначных ответов, неопределенность в выборе эталонов и др.
Из табл. 1 видно, что вопросы типа «Фраза» составляют самую многочисленную группу. Она является и самой распространенной, поскольку вопросы типа «Фраза» входят не только в пособия [4-23], но и вообще во все учебники для вузов, техникумов и средних общеобразовательных учебных заведений, причем не только старших классов, но и начальной школы, а также дошкольного образования. Дидактическое значение этих вопросов состоит в том, что, отвечая устно, учащийся тренирует способности излагать свои представления об изучаемом предмете. При этом он глубже осмысливает теоретические положения, обобщает и сводит в систему разрозненные факты, проводит параллели в рассуждениях, т.е. выполняет упражнения, благодаря которым развивается мышление и происходит становление образованного человека и будущего специалиста. Этой группе по дидактической значимости нет равных среди других из вышеуказанных восьми групп, т.е. из всех типов вопросов она имеет наибольшее обучающее значение.
Но все вопросы типа «Фраза» не поддаются формализации и, следовательно, недоступны компьютерному контролю. Это значит, что качество компьютерного управления процессом обучения не может быть выше естественного, осуществляемого «вручную». Компьютерное обучение является принципиально ограниченным, и никакие усилия, направленные на его совершенствование, к «ручному» обучению его не приблизят.
Что касается группы «Для компьютера», то в сфере автоматизации контроля в настоящее время она освоена лишь частично, преимущественно за счет вопросов типа «Выбор».
л.и. магазинников, м.лл шееелев, tu.il. шевелее. компьютерное управление ооучением ... и»
В естественных системах контроля вопросы группы «Выбор» составляют всего лишь 2 %, т.е. встречаются очень редко. Объяснить это можно только их крайне низким обучающим значением. Однако многие разработчики современных систем автоматизированного обучения именно выборочному принципу уделяют основное внимание и даже иногда говорят о нем как о научно обоснованном методе контроля [24], хотя, строго говоря, «научность» здесь ни при чем, выборочный метод привлекает только простотой его компьютерной реализации. Если бы удалось разработать программу, способную оценивать любые естественные ответы на уровне человеческого мышления, то выборочный метод сразу же потерял бы свое ведущее значение. Однако такой программы нет, поэтому приходится снижать требования к компьютерному контролю до уровня тестирования, на котором можно проверить наличие определенных знаний, но нельзя воспитать квалифицированного специалиста, способного самостоятельно решать неформализуемые творческие задачи.
Очевидно, что ни компьютерное, ни традиционное обучение в отдельности не могут повысить качество российского образования. Традиционная система массового обучения неэффективна из-за недостаточного количества времени, которое преподаватель в состоянии уделять индивидуально каждому учащемуся, чтобы выслушивать его ответы на неформализуемые вопросы и при необходимости вносить поправки и разъяснения. Если преподавателя полностью заменить компьютером, то учащийся вообще перестанет думать над неформализуемыми вопросами, так как со слепым и глухим компьютерным «преподавателем», полностью лишенным способностей к смысловому анализу информации, диалог на естественном языке невозможен. Компьютер не оценит мнение учащегося ни по какому вопросу, не выслушает ни формулировок, ни доказательств теорем, ни объяснений принципа работы схемы или устройства, не задаст наводящих вопросов, не внесет поправок, если в ответе учащегося содержатся отклонения от истины. Следовательно, дидактический эффект возможен только в случае объединения традиционного и компьютерного обучения, т.е. за счет усиления естественной системы компьютерными дидактическими средствами. В такой объединенной системе предъявление учебной информации и контроль ответов на простые вопросы полностью или частично может взять на себя компьютер. Тогда преподаватель, освобожденный от этих операций, получит дополнительное время на обсуждение индивидуально с каждым учащимся вопросов, не поддающихся формализации. Чем больше функций возьмет на себя компьютер, тем больше времени сможет уделить учащемуся преподаватель и тем совершеннее будет объединенная система обучения.
Работа ъ этом направлении ведется. Например, в [3] показано, что область естественных неоднозначных ответов, поддающихся формализации, может быть значительно расширена, если пожертвовать способностью компьютера сообщать правильные ответы. При этом обеспечивается массовость в области автоматизированного контроля за счет реализации распознающих алгоритмов не только программно, но и аппаратно, в виде специализированных устройств — «дидактических калькуляторов», по цене и удобствам в применении доступных всем слоям населения и всем категориям учащихся, начиная с дошкольных учреждений.
Выводы
1. Мнение о том, что компьютер способен более эффективно управлять познавательной деятельностью учащегося, является недостаточно обоснованным. Чтобы эффективно управлять, необходима оперативная и высококачественная обратная связь, т.е. нужна система контроля, позволяющая быстро оценивать, на каком уровне освоена учащимся изучаемая тема. Компьютер же обеспечивает лишь оперативность, но не качество контроля, так как неформализуемые вопросы, имеющие наибольшее дидактическое значение, ему принципиально недоступны.
2. Повышение качества обучения возможно только в объединенной системе, где учащийся работает под двойным управлением — компьютера и преподавателя.
3. Совершенствование образования возможно в основном за счет развития контролирующей составляющей системы компьютерного обучения.
Таким образом, компьютер обладает далеко не беспредельными возможностями в области управления процессом обучения. Он не в состоянии воспитать творческую личность и в образовательной системе может быть только подспорьем, помощником преподавателю, но не его эквивалентом.
Литература
1. Федеральная целевая программа «Развитие единой образовательной информационной среды на 2002-2006 годы (проект). - М. : Минобразования, 2004. - 35 с.
2. Демкин В.П. Паспорт федеральной целевой программы «Развитие единой образовательной информационной среды на 2001-2005 гг.» // Компьютерные технологии в образовании. - Томск : Томск, гос. ун-т систем управления и радиоэлектроники, 2001. - Вып. 1. -С. 4-9.
3. Шевелев М.Ю. Технические средства контроля знаний для систем автоматизированного обучения / М.Ю. Шевелев, Ю.П. Шевелев. - Томск : Ин-т оптики атмосферы СО РАН, 2006.
4. Колмогоров А.И. Алгебра и начала анализа : учеб. пособие для 9 и 10 кл. / А.И. Колмогоров, A.M. Абрамов, Б.Е. Вейц [и др.] - М. : Просвещение, 1985. - 336 с.
5. Переяслова Й.Г. Основы статистики / И.Г. Переяслова, Е.Б. Колбачев. - Ростов н/Д ; Феникс, 1999. - 320 с.
6. Колмогоров А.И. Алгебра и начала анализа : учеб. для 10-11 кл. сред. шк. / А.И. Колмогоров, A.M. Абрамов, Ю.П. Дудницын [и др.] - М. : Просвещение, 1990. - 320 с.
7. Виленкин H.H. Математика : учеб. пособие для студентов пед. институтов по специальности № 2121 / H.H. Виленкин, A.M. Пышкало, В.Б. Рождественская [и др.]. - М. : Просвещение, 1977. - 352 с.
8. Зайцев И.Л. Элементы высшей математики для техникумов / И.Л. Зайцев. - М. : Наука, 1974. - 416 с.
9. Маркович Э.С. Курс высшей математики с элементами теории вероятностей и математической Статистики / Э.С. Маркович. - М. : Высш, шк., 1972. - 480 с.
10. Баврцн И.И. Общий курс высшей математики / И.И. Баврин, В.Л. Матросов. - М. : Просвещение, 1995. - 464 с.
11. Чистяков В.П. Курс теории вероятностей / В.П. Чистяков. - М. : Наука, 1987. -240 с.
12. Вентцель Е.С. Теория вероятностей / Е.С. Вентцель, Л.А. Овчаров. - М. : Наука, 1969. - 366 с.
13. Колемаев В.А. Теория вероятностей и математическая статистика / В. А. Колемаев, В.Н. Калинина. - М. : ИНФРА-М, 1999. - 302 с. - (Серия «Высшее образование»).
14. Горбатов В.А. Дискретная математика / В.А. Горбатов, A.B. Горбатов, М.В. Горбатова. - М. : ООО «Издательство ACT»; ООО «Издательство Астрель», 2003. - 447 с.
15. Москинова Г.И. Дискретная математика. Математика для менеджера в примерах и упражнениях / Г.И. Москинова. - М. : Логос, 2003. - 240 с.
16. Нефедов В.Н. Курс дискретной математики / В.Н. Нефедов, В.А. Осипова - М. : МАИ, 1992. - 264 с.
17. Новиков Ф.А. Дискретная математика для программистов. - СПб. : Питер, 2003. -304 с.
18. Гаврилов Г.П. Сборник задач по дискретной математике / Г.П. Гаврилов, A.A. Сапо-женко - М. : Наука, 1977. - 368 с.
19. Гиндикин С.Г. Алгебра логики в задачах / С.Г. Гиндикин. - М. : Наука, 1972. -288 с.
20. Сборник упражнений по логике / под ред. A.C. Клевчени. - Минск : БГУ, 1997. -128 с.
21. Формальная логика. - Л. : Изд-во Ленинградского ун-та, 1977. - 357 с.
22. Ершов Ю.Л. Математическая логика / Ю.Л. Ершов, Е.А. Палютин. - М. : Наука, 1979. - 320 с.
23. Ляпин Е.С. Упражнения по теории групп / Е.С. Ляпин, А.Я. АЙзенштат, М.М. Ле-сохин. - М. : Наука, 1967. - 264 с.
24. Стась А.Н. Программно-инструментальный комплекс для автоматизированного контроля знаний : автореф. дис. ... канд. техн. наук. - Томск : ТГПУ, 2004. - 16 с.
Л.И. Магазинкиков, M JO. Шевелев:Ю.П. Шевелев. Компьютерное управление обучением ..
141
Магазишшков Леонид Иосифович
Канд. физ.-мат. наук, проф., зав. кафедрой высшей математики ТУ СУ Ра Тел.: 51 34 73
Шевелев Михаил Юрьевич
Канд. техн. наук, доцент кафедры промышленной электроники ТУСУРа Тел.: 41 39 46, доп. 236 (р.); 47 14 02 (д.), 8 913 889 25 36 (моб.) Эл. почта: simvol-ids@mail.ru
Шевелев Юрий Павлович
Канд. техн. наук, доцент, проф. кафедры высшей математики ТУСУРа Тел.: 51 34 73 (р.), 77 35 12 (д.), 8 913 847 04 47 (моб.) Эл. почта: simvol-jds@maiI.ru
L.I. Magazinnikov, M.Ju. Shevelev, Ju.P. Shevelev Computer management of training: limits of opportunities
The computer management of educational process based on a principle of formalization is shown, that, is insufficiently effective in comparison with traditional «manual». Improvement of quality of training is possible only by amplification of natural system by computer means.
