Научная статья на тему 'Из истории развития понятия "педагогический тест"'

Из истории развития понятия "педагогический тест" Текст научной статьи по специальности «Науки об образовании»

CC BY
872
135
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
ТЕСТ / ИСТОРИЯ РАЗВИТИЯ ПОНЯТИЯ / ИЗМЕРИТЕЛЬНЫЕ МАТЕРИАЛЫ / АМЕРИКАНСКИЕ И ОТЕЧЕСТВЕННЫЕ ИССЛЕДОВАНИЯ / НЕДОСТАТКИ И ВОЗМОЖНОСТИ ИХ УСТРАНЕНИЯ / РАЗРАБОТКА ТЕСТОВ / ОБРАБОТКА РЕЗУЛЬТАТОВ / ЗАРУБЕЖНЫЕ И ОТЕЧЕСТВЕННЫЕ ПОДХОДЫ К ПРОБЛЕМЕ В ОБЛАСТИ ПЕДАГОГИЧЕСКОГО ТЕСТИРОВАНИЯ / TEST / HISTORY OF CONCEPT DEVELOPMENT / MEASURING MATERIALS / AMERICAN AND DOMESTIC RESEARCH / SHORTCOMINGS AND POSSIBILITIES OF THEIR ELIMINATION / DEVELOPMENT OF TESTS / PROCESSING OF RESULTS / FOREIGN AND DOMESTIC APPROACHES TO THE PROBLEM IN PEDAGOGICAL TESTING

Аннотация научной статьи по наукам об образовании, автор научной работы — Сеногноева Наталия Анатольевна

В статье представлена историческая ретроспектива возникновения и развития понятия «тест». Автор анализирует тест как специфический феномен форм проверки психологических характеристик личности и определенного уровня освоения специальных знаний, а также умений и навыков. Исторический анализ становления содержательной сущности понятия автор проводит, исходя из формируемой в истории развития области психологических исследований потребности в изучении умственной одаренности детей. Далее автором показывается трансформация тенденций, определяющих ход развития понятия «тест», связанная с областью уже педагогических исследований востребованностью процедуры тестирования в рамках образовательного процесса. В статье раскрывается взаимосвязь тенденций исследования тестирования американскими и отечественными учеными; приводятся различные позиции, характеризующие данные исследования с точки зрения характеристик ка самого процесса, так и интерпретации, а также обработки результатов. Автор выделяет основные концепты практических исследований в области тестологии, подтверждая их примерами и теоретическими обоснованиями. В процессе аналитической исследовательской деятельности автор приходит к мнению о неоднозначности содержательного этимологического наполнения понятия «тест», опосредованной спецификой целей и задач разработчиков тестов и ученых, представляющих данную область научных исследований.

i Надоели баннеры? Вы всегда можете отключить рекламу.
iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

FROM THE HISTORY OF DEVELOPMENT OF THE CONCEPT OF THE "PEDAGOGICAL TEST"

The article presents a historical retrospective of the origin and development of the concept «test». The author analyzes the test as a specific phenomenon of the forms of checking the psychological characteristics of an individual and a certain level of development of special knowledge, as well as skills. The author conducts a historical analysis of the formation of the substantive essence of the concept, based on the need for studying the mental retardation of children formed in the history of the development of the field of psychological research. Further, the author shows the transformation of trends that determine the course of the development of the concept «test», which is related to the field of pedagogical research already in demand for the testing procedure within the educational process. The article reveals the interconnection of testing trends of American and domestic scientists; various positions are given that characterize the research data in terms of the characteristics of the process itself, as well as the interpretation, as well as the processing of the results. The author singles out the main concepts of practical research in the field of testology, confirming them with examples and theoretical justifications. In the process of analytical research activity, the author comes to the opinion of the ambiguity of the content etymological content of the concept of «test», mediated by the specifics of the goals and tasks of the test developers and scientists who represent this area of scientific research.

Текст научной работы на тему «Из истории развития понятия "педагогический тест"»

Senognoeva Nataliya Anatolyevna FROM THE HISTORY ...

pedagogical sciences

УДК 371.261

ИЗ ИСТОРИИ РАЗВИТИЯ ПОНЯТИЯ «ПЕДАГОГИЧЕСКИЙ ТЕСТ»

© 2018

Сеногноева Наталия Анатольевна, доктор педагогических наук, профессор кафедры профессиональной педагогики и психологии, доцент Российский государственный профессионально-педагогический университет (620012, Россия, Екатеринбург, улица Машиностроителей, 11, e-mail: sennataliya2005@yandex.ru)

Аннотация. В статье представлена историческая ретроспектива возникновения и развития понятия «тест». Автор анализирует тест как специфический феномен форм проверки психологических характеристик личности и определенного уровня освоения специальных знаний, а также умений и навыков. Исторический анализ становления содержательной сущности понятия автор проводит, исходя из формируемой в истории развития области психологических исследований потребности в изучении умственной одаренности детей. Далее автором показывается трансформация тенденций, определяющих ход развития понятия «тест», связанная с областью уже педагогических исследований востребованностью процедуры тестирования в рамках образовательного процесса. В статье раскрывается взаимосвязь тенденций исследования тестирования американскими и отечественными учеными; приводятся различные позиции, характеризующие данные исследования с точки зрения характеристик ка самого процесса, так и интерпретации, а также обработки результатов. Автор выделяет основные концепты практических исследований в области тестологии, подтверждая их примерами и теоретическими обоснованиями. В процессе аналитической исследовательской деятельности автор приходит к мнению о неоднозначности содержательного этимологического наполнения понятия «тест», опосредованной спецификой целей и задач разработчиков тестов и ученых, представляющих данную область научных исследований.

Ключевые слова: тест, история развития понятия, измерительные материалы, американские и отечественные исследования, недостатки и возможности их устранения, разработка тестов, обработка результатов, зарубежные и отечественные подходы к проблеме в области педагогического тестирования.

FROM THE HISTORY OF DEVELOPMENT OF THE CONCEPT OF THE «PEDAGOGICAL TEST»

© 2018

Senognoeva Nataliya Anatolyevna, doctor of pedagogical sciences, professor of the department of professional pedagogy and psychology, associate professor Russian State Vocational Pedagogical University (620012, Russia, Ekaterinburg, street Mashinostroitele, 11, e-mail: sennataliya2005@yandex.ru)

Abstract. The article presents a historical retrospective of the origin and development of the concept «test». The author analyzes the test as a specific phenomenon of the forms of checking the psychological characteristics of an individual and a certain level of development of special knowledge, as well as skills. The author conducts a historical analysis of the formation of the substantive essence of the concept, based on the need for studying the mental retardation of children formed in the history of the development of the field of psychological research. Further, the author shows the transformation of trends that determine the course of the development of the concept «test», which is related to the field of pedagogical research already in demand for the testing procedure within the educational process. The article reveals the interconnection of testing trends of American and domestic scientists; various positions are given that characterize the research data in terms of the characteristics of the process itself, as well as the interpretation, as well as the processing of the results. The author singles out the main concepts of practical research in the field of testology, confirming them with examples and theoretical justifications. In the process of analytical research activity, the author comes to the opinion of the ambiguity of the content etymological content of the concept of «test», mediated by the specifics of the goals and tasks of the test developers and scientists who represent this area of scientific research.

Keywords: test, history of concept development, measuring materials, American and domestic research, shortcomings and possibilities of their elimination, development of tests, processing of results, foreign and domestic approaches to the problem in pedagogical testing.

Постановка проблемы в общем виде и ее связь с важными научными и практическими задачами. Феномен теста как одной из специальных форм проверки восходит своим появлением к давности в более 100 лет. Области применения теста находились как в рамках психологических наук, так и в поле педагогики [1].

Формирование целей статьи. Возникновение и развитие в истории науки понятия «тест» стало целью нашего исследования.

Изложение основного материала исследования с полным обоснованием полученных научных результатов. Одним из первых, предложивших проведение испытаний с целью получения психологической характеристики человека, стал Ф. Гальтон, тем не менее, самого понятия «тест» в то время не употреблявший [2]. Помимо этого, Ф. Гальтон также не обозначал свои испытания в соответствии с тем специальным назначением теста, которое вошло в область литературы после опубликования Дж. Кеттелом в 1890 г. статьи по психологии. Необходимо отметить, что методика Дж. Кеттела была, в большей части, похожа на методику Ф. Гальтона. Однако Кеттел «пошел» дальше своего предшественника, избирая своим направлением выявление индивидуальных отличий между субъектами, и считал, что до-

статочно перспективным шагом в данном направлении может стать разработка серий умственных испытаний и измерений на большем количестве индивидуумов [3]. Так, в области психологических наук появился так называемый измерительный инструмент или, как обычно его называют, психологический тест. В связи с актуализацией данной тенденции становится важной проблема создания единицы измерения. В начале прошлого века французский психологи и врач А. Бине в сотрудничестве со своими коллегами разработал серийный набор психологических задач, служащих целям проверки и исследования, которые впоследствии этимологически идентифицировал с лексемой «тест». Основной функцией таких тестов становится выявление умственно отсталых детей, которые не должны быть допущенными к процессу обучения в обычных школах. Тесты должны были помогать решать данные задачи с достаточной степенью вероятности. Разрабатывая такие тесты (которые были направлены на исследование у детей высших функций - воображение, логическое мышление, память - А. Бине не прекращал своей деятельности над поиском единицы измерения. Завершилась эта работа введением в употребительное поле науки понятия «умственный возраст», что повлекло за собой создание метрической

296

Baltic Humanitarian Journal. 2018. Т. 7. № 3(24)

педагогические науки

Сеногноева Наталия Анатольевна ИЗ ИСТОРИИ РАЗВИТИЯ ПОНЯТИЯ ...

шкалы Бине и Симона, с помощью которой стало возможным установить, отстает ребенок в своем умственном развитии или опережает своих ровесников в данном отношении [4]. С той поры тесты зарекомендовали себя в психологической области как надежный измерительный инструмент и стали «проникать» в иные сферы научной деятельности, в частности, в область педагогики.

Методические изыскания Бине и Симона педагогика стала использовать в том же ракурсе - аналогично понятию «умственный возраст» вводится понятие «педагогический возраст» или «возраст достижений» и «предметный возраст».

Американские психологи Стэнфордского университета внесли в серию тестов Бине ряд принципиальных трансформаций. Так, В. Штерн, используя понятие «умственный возраст» в своих исследованиях, вводит в контекст научного замысла понятие «коэффициент интеллекта», который призван показывать относительное соответствие умственного и хронологического возрастов индивидуума. В широком смысле он нередко отождествлялся с интеллектом и считался неизменным в течение всей жизни человека. Это послужило одним из важных оснований для продуцирования острой критики в адрес использования тестов [5].

На рубеже XIX-XX вв. появляются так называемые групповые педагогические тесты, которые приобретают практическое использование их в педагогической деятельности. К таким тестам относят тест А. Отиса (The Otis Self Administration Test, выпущенный в 1918 г.), особенность которого состояла в том, что сам тест представлял из себя две части: первая, состоящая из 115-ти вопросов, была предназначена для измерения успешности в обучении, а вторая служила инструментом для измерения общей одаренности ребенка [6].

Позднее, большинство появившихся работ зарубежных авторов стали быть посвященными возникшим проблемам технической обработки результатов тестирования, их проверки на надежность, валидность, а также типологий тестов и тестовых заданий (А. Анастази, Л. Ф Бахман, А. С. Палмер, Дж. В. Кэррол и др.) [7].

Среди отечественных научных деятелей особое внимание психологическому тестированию уделял Г. И. Россолимо. Также определенный интерес с позиции развития новых форм процесса тестирования представляет «измерительная шкала ума» Болтунова, которая содержала в своей основе разработку Бине-Симона. Данная шкала была адаптирована П. П. Соколовым и использовалась для анализа умственного развития учащихся отечественных школ. Тем не менее, разработка новых форм тесто, к которым относились анализ и отбор частных задач, отождествлялось, скорее, не с теоретико-методологическими основаниями деятельности их авторов, а боле или менее случайным конструктивизмом авторов данных тестов [8].

Среди работ, которые были посвящены использованию тестов в психологической области более позднего времени, следует отметить работы М. С. Бернштейна, Ю. З. Гильбуха, К.М. Гуревича и др. [9].

Данные работы объединяло то, что разработка тестов осуществлялась уже с достаточно должной степенью надежности, что позволяло позиционировать их как вполне объективный инструментарий в отношении психических особенностей человека. К. М. Гуревич справедливо замечал шаткость представлений о тестах, опосредованных громоздкостью и временной емкостью, что, однако, так и не позволяло охватить ряда индивидуальных психических особенностей. Так, вне поля зрения и внимания оставались такие свойства личности, которые, к примеру, могли проявляться в совместной деятельности людей или в процессе общения.

Необходимо отметить, что первые тесты в поле отечественной педагогики стали появляться в начале 20-х гг. прошлого столетия. По словам А. М. Мандрыки, отечественные педагоги, не имевшие известий об амери-

канских тестах, также делали попытки объективного учета знаний, умений и навыков, которые, так или иначе, приближались к тестам.

В области образования тесты стали приобретать довольно большую популярность и использовались, в основном, в качестве одной из приемлемых форм контроля знаний, умений и навыков школьников. Так, в начале прошлого века центральной лабораторией Московского отделения народного образования под руководством Е. В. Гурьянова была развернута значительная работа по составлению и реализации тестов успеваемости. Основной же концепцией данных тестов стало выявление полноты и содержательности усвоенного учащимися материала.

Основу большинства составленных тестов составлял базис, регулируемый императивом формулирования тестового задания в виде традиционной задачи. Таким образом, испытуемые должны были самостоятельно формулировать ответ на поставленный вопрос.

Затем, немногим позже на базе Московского научно-исследовательского института была создана специальная тестовая комиссия, которая разрабатывала тесты, представляющие собой модификации зарубежных аналогов, но, тем не менее переработанные и адаптированные к особенностям отечественных школ. С помощью таких тестов шла проверка основ овладения чтением, правописанием, навыками счета и решения арифметических задач, а также уровень знаний по другим предметам и.

Известный педагогический деятель и психолог П. П. Блонский отмечал один из важнейших регулятивов в процессе использования тестов. К таким регулятивам он относил объективность. Отмечая это, ученый уделял достаточно серьезное внимание таким преимуществам тестовой формы контроля как возможность измерения уровня знаний, использование данной возможности в условиях массовых проверок и пр. По мнению ряда ученых, именно объективизация стала рассматриваться одной из наиболее веских причин появления тестовой формы проверки знаний, умений и навыков, что также важно в условиях массовости использования.

Однако, несмотря на преимущества тестирования, были замечены и его недостатки, среди которых:

- некритическое использование зарубежных тестов;

- недостаток соответствующей квалифицированной подготовки для создания тестов, а также в процессе их использования;

- недостаточная корректность формулировок многих тестовых вопросов и их альтернативных вариантов;

- использование в тестах большого количества вопросов, которые требовали развернутых, свободно-конструируемых ответов, что было неприемлем с точки зрения преимущественной быстроты получения результатов и т. п. [10].

Позднее, недостаток внимания к данным проблемам привел к тому, что выявленные погрешности не были учтены при работе с тестами на успеваемость. Это спровоцировало достаточно длительный (30-летний) перерыв в разработках тестовых материалом и т. п.

Анализ тестов, опубликованных в современное время Т. Н. Алешиной, а также подготовленных МИПКРО, SAT, показал, урегулировать возникшие 30 лет назад проблемы до конца не удалось.

Тем не менее, рассматривая историческую динамику развития процесса тестирования, необходимо отметить, что вопрос о целесообразности использования тестов в образовании вновь возник в 60-гг прошлого столетия, что было актуализировано такими учеными как В. П. Беспалько, С. И. Воскерчьян, К. А. Краснянская и др. [11-13].

Вопросы конструирования тестов стали подниматься в работах Т. А. Ильиной, Г. В. Ивановой, которые уделяли особое внимание описанию тестовой методики проверки знаний при программированном обучении, а так-

Senognoeva Nataliya Anatolyevna pedagogical

FROM THE HISTORY ... sciences

же в работах В. А. Коринской, Л. М. Паншечниковой, которые представили педагогике серьезный опыт создания объективных измерителей оценки знаний и умений учащихся [14; 15].

Как мы уже упоминали выше, внимание ряда ученых было привлечено к одному из важнейших методологических критериев - объективности. Измерение можно считать объективным, если в процессе него удается максимально исключить субъективное воздействие исследователей. Объективность проведения тестирования должна соотноситься с тем требованием, что все испытуемые должны быть подвергнуты одному и тому же испытанию в совершенно аналогичных условиях. Объективность же обработки результатов тестирования, в свою очередь, подразумевает единообразие в оценке выполнения как отдельно взятого тестового задания, так и всего теста в целом. Помимо этого, необходимо говорить еще и об объективности интерпретации результатов измерения, которая должна обеспечиваться установлением одних и тех же взаимосвязей. Это привело к тому, что на практике тесты сопровождаются инструкцией по их проведению, интерпретации результатов и оценке [16].

Одновременно с практическим разработками, относящимися к содержательному наполнению всевозможного тестового материала, стали появляться тенденции исследования теоретических оснований процессов, связанных с тестированием, содержанием тестов и иными вопросами. Это привело к появлению научного поля, связанного с различными вопросами тестологии.

При определении понятия «тест» применительно к различным учебным предметам, так же, как и в дидактике, авторы оперируют различными определениями данного понятия, которые соотносятся с формулируемыми ими целями и задачами.

Выводы исследования и перспективы дальнейших изысканий данного направления. Так, понятие тест (с англ. test - проба, испытание) в педагогическом словаре представлено как задание стандартной формы, целью которого усматривают выявление специфических знаний, умений, навыков или способностей, а также иных психологических характеристик личности [17; 18].

В настоящее время этимология понятия «тест» включает наличие самых разнообразных работ контролирующего характера.

Область дидактики апеллирует в понятии «тест» к более узкому его смыслу. Так, С. И. Воскерчьян считает, что понятие «тест» являет собой кратковременное по длительности, технически просто реализуемое испытание, которое проводится в равных для всех испытуемых условиях и имеет вид такого задания, решение которого поддается количественному учету и может выступать показателем развития к моменту испытания степени развитости определенной функции у конкретного испытуемого или, соответственно, уровня знаний, умений и навыков.

Ю. А. Белый, И. А. Раппопорт рекомендуют при конструировании тестовых заданий придерживаться специфики и логики той учебной дисциплины, по которой разрабатывается тест [19; 20].

Так, например, рассмотрим описание форм тестовых заданий для предмета «Геометрия». По определению В. П. Беспалько (характеризующему тест с позиций обучающей программы и наличия обратной связи, позволяющей судить о понимании и усвоении учебного материла) и конкретному приведенному примеру можно проследить достоинства и недостатки:

Так, ответ в задачах на проверку знания признаков подобия треугольников («Треугольники АВС и A^C подобны») может иметь только 3 возможные содержательные альтернативы:

- по двум углам;

- по двум сторонам и углу между ними;

- по терм сторонам. 298

Обязательное продуцирование четырех альтернатив в приведенном примере приводит к появлению искусственной формулировки - «треугольники не являются подобными». Избежать подобных недостатков можно путем сочетания в тесте различных форм заданий.

Таким образом, в условиях внедрения ФГОС нового поколения, организации обучения студентов в информационной образовательной среде, ориентированной на профессиональные стандарты [21], при работе с тестами, особое внимание следует уделять понятию «тест»: понятие «тест» включает в себя не всегда идентичное содержание. В связи с этим, необходимо отметить, что приемлемого для всех определения понятия «тест» пока до сих пор нет. Одни исследователи оперируют характерным для целей и зада их исследования определением, другие - вообще игнорируют этимологический фундамент лексемы, придерживаясь мнения о том, что понятие первично и неопределяемо.

Подводя итоги статьи, необходимо отметить, что педагогический тест с позиций формы предъявления заданий обладает следующими особенностями:

- тест располагает гораздо большим количеством заданий, чем традиционные формы предъявления, рассчитанные на такой же временной лимит;

- тест характеризуется наличием заданий специфической формы.

СПИСОК ЛИТЕРАТУРЫ:

1. Каплун, О. А. История возникновения и развития тестирования / О. А. Каплун // Ученые записки Орловского государственного университета. Серия: Гуманитарные и социальные науки. - 2008. - № 1. - С. 340-342.

2. Дуан, Ш. История современной психологии [Электронный ресурс] / Ш. Дуан. - Режим доступа: https://psy.wikireading.ru/1985

3. Юсупова, М. М. Проблема одаренности детей в истории педагогической мысли [Электронный ресурс] / М. М. Юсупова. - 2013. - Режим доступа: https:// nsportal.ru/vuz/pedagogicheskie-nauki/library/2013/01/18/ problema-odarennosti-detey-v-istorii-pedagogicheskoy

4. Бине, А. Развитиеинтеллектау детей [Электронный ресурс] / А. Бине, Т. Симон. - ер. д-ра С.И. Зандер; С предисл. прив. -доц. Моск. ун-та А. Н. Бернштейна. -Москва: Изд-во В. М. Саблин, 1911. - 162 с. - Режим доступа: http://нэб.рф/catalog/000199_000009_004222912/

5. Бирюкова, А. Интеллект как основа развития личности: понятия и определения интеллекта / А. Бирюкова // Аналитика культурологии. - 2009. - № 14. - С. 73-75.

6. Неверов, А. В. О тестировании как методе контроля знаний студентов / А. В. Неверов, А. И. Метельский, А. В. Равино // Высшее техническое образование. - 2014.

- № 8 (172). - С. 32-34.

7. Заруцкая, Е. В. Валидность устных тестов по иностранному языку / Е. В. Заруцкая // Вестник Санкт-Петербургского университета. Язык и литература. -2012. - № 3. - С. 78-82.

8. Погодин, Д. Г. И. Россолимо: врач, ученый, педагог / Д. Погодин // Высшее образование в России. - 2007.

- № 4. - С. 106-108.

9. Бернштейн, М. С. К методике составления и проверке тестов / М. С. Бернштейн // Вопросы психологии.

- 1968. - № 1. - С. 51-66.

10. Подопригора, Н. Б. Педагогическое тестирование в образовательном процессе: история и современность / Н. Б. Подопригора // Известия Южного федерального университета. Технические науки. - 2006. - № 13. - С. 34-37.

11. Беспалько, В. П. Слагаемые педагогической технологии / В. П. Беспалько. - М.: Педагогика, 1989. - 173 с.

12. Воскерчьян, С. И. Об использовании метода тестов при учете успеваемости школьников / С. И. Воскерчьян // Сов. педагогика. - 1963. - № 10. - С. 28-37.

13. Краснянская, К. А. Опыт проведения избирательных тестов к изучению знаний учащихся по математике

Baltic Humanitarian Journal. 2018. Т. 7. № 3(24)

педагогические науки

Сеногноева Наталия Анатольевна ИЗ ИСТОРИИ РАЗВИТИЯ ПОНЯТИЯ ...

/ К. А. Краснянская // Сов. педагогика. - 1965. - № 12. - С. 46-52.

14. Ильина, Т. А. Тестовая методика проверки знаний и программированное обучение / Т. А. Ильина // Сов. педагогика. - 1967. - № 2. - С. 122-135.

15. Третьякова, Т. В. Педагогические измерения, их роль в оценивании качества образования / Т. В. Третьякова // Вестник Северо-Восточного федерального университета им. М. К. Аммосова. - 2013. - № 4. - С. 116-120.

16. Третьякова, Т. В. Некоторые подходы к организации внутришкольной системы повышения качества обучения школьников / Т. В. Третьякова // Развитие тестовых технологий в России. Федеральный Центр тестирования «IX Всероссийская научно-методическая конференция». Тезисы докладов. - М., 2007. - С. 91-93.

17. Звонников, В. И., Челышкова М. Б. Зарубежный опыт создания систем оценки качества образования: Материалы межрег. сов. / В. И. Звонников, М. Б. Челышкова. - М., 2007. - С. 101-115.

18. Коджаспирова, Г. М. Педагогический словарь [Электронный ресурс] / Г. М. Коджаспирова, А. Ю. Коджаспиров. - Режим доступа: http://erusds.ru/ pedagogicheskij-slovar-2/.

19. Раппопорт, И. А. Тесты в обучении иностранным языкам в средней школе / И. А. Раппопорт, Р. Сельг, И. Соттер. - Таллин, 1987. - 350 с.

20. Белый, Ю. А. Тесты в преподавании математики / Ю. А. Белый, И. А. Раппопорт // Математика в школе. -1968. - № 4. - С. 27-30.

21. Сеногноева Н.А. Информационно-образовательная среда ВУЗа как необходимое условие реализации требований ФГОС // КАОТ. - 2018. - № 1 (26). - С. 7777.

Статья поступила в редакцию 21.07.2018

Статья принята к публикации 27.08.2018

i Надоели баннеры? Вы всегда можете отключить рекламу.