Научная статья на тему 'КОМБИНАЦИОННОСТЬ ОБРАБОТКИ ДАННЫХ ПЕДАГОГИЧЕСКОГО ИССЛЕДОВАНИЯ МАТЕМАТИЧЕСКИМИ И СТАТИСТИЧЕСКИМИ МЕТОДАМИ'

КОМБИНАЦИОННОСТЬ ОБРАБОТКИ ДАННЫХ ПЕДАГОГИЧЕСКОГО ИССЛЕДОВАНИЯ МАТЕМАТИЧЕСКИМИ И СТАТИСТИЧЕСКИМИ МЕТОДАМИ Текст научной статьи по специальности «Науки об образовании»

CC BY
162
35
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
ПСИХОЛОГО-ПЕДАГОГИЧЕСКОЕ ИССЛЕДОВАНИЕ / МАТЕМАТИЧЕСКИЕ МЕТОДЫ / ПЕДАГОГИЧЕСКИЕ ИЗМЕРЕНИЯ / PSYCHOLOGICAL AND PEDAGOGICAL RESEARCH / MATHEMATICAL METHODS OF PEDAGOGICAL MEASUREMENTS

Аннотация научной статьи по наукам об образовании, автор научной работы — Щагина Г. В.

Введение. В статье рассматриваются особенности и трудности использования математических и статистических методов обработки данных в психолого-педагогических исследованиях. Материалы и методы. Основным методом исследования явился анализ научной литературы, посвященной проблеме математической обработке научных данных. Результаты. На основе анализа научной литературы описывается зависимость между типом педагогического исследования и статистическими методами обработки научных данных. Обсуждение. Очень важным остаётся вопрос, на каком этапе педагогического исследования должен осуществляться выбор процедур и методов обработки данных? Мы пришли к выводу о том, что на этапе планирования эксперимента. Заключение. Современные математические и статистические методы, применяемые в исследовательской деятельности, позволяют с максимальной тщательностью планировать, обрабатывать, анализировать и интерпретировать результаты педагогических изысканий, но только сочетание количественных и качественных методов исследования обеспечит качественный подход для любого типа психолого-педагогического исследования. Основные положения: - выявлены фамилии ученых, которые предлагают пути практической реализации статистических методов в педагогике и психологии; - рассмотрена зависимость между типом педагогического исследования и статистическими методами обработки научных данных.

i Надоели баннеры? Вы всегда можете отключить рекламу.
iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

COMBINATION IN PROCESSING PEDAGOGICAL RESEARCH DATA USING MATHEMATICAL AND STATISTICAL METHODS

Introduction. The article discusses the features and difficulties of using mathematical and statistical methods of data processing in psychological and pedagogical research. Materials and methods. The main method of research was the analysis of scientific literature devoted to the problem of mathematical processing of scientific data. Results. The relationship based on the analysis of scientific literature between the type of pedagogical research and statistical methods of scientific data processing is described. Discussion. An important question remains - at what stage of pedagogical research should the choice of procedures and methods of data processing be made? We came to the conclusion that at the planning stage of the experiment. Conclusion. Modern mathematical and statistical methods used in research activities allow you to plan, process, analyze and interpret the results of pedagogical research with maximum care, but only a combination of quantitative and qualitative research methods will provide a qualitative approach for any type of psychological and pedagogical research. Highlights: Names of scientists who suggest ways of practical implementation of statistical methods in pedagogy and psychology are identified. The relationship between the type of pedagogical research and statistical methods of scientific data processing is considered.

Текст научной работы на тему «КОМБИНАЦИОННОСТЬ ОБРАБОТКИ ДАННЫХ ПЕДАГОГИЧЕСКОГО ИССЛЕДОВАНИЯ МАТЕМАТИЧЕСКИМИ И СТАТИСТИЧЕСКИМИ МЕТОДАМИ»

DOI 10.25588^Ри.2020.157.4.015

УДК 37.022 ББК 74.489

Г. В. Щагина ^

ORCID № 0000-0003-0063-4743 I

и

Кандидат педагогических наук, доцент кафедры подготовки педагогов §

а

профессионального обучения и предметных методик, Южно-Уральский

„ о

государственный гуманитарно-педагогический университет, §

г. Челябинск, Российская Федерация. В

E-mail: shgv@cspu.ru

вается зависимость между типом педагогического исследования и статистическими методами обработки научных данных.

Обсуждение. Очень важным остаётся вопрос, на каком этапе педагогического исследования должен осуществляться выбор процедур и методов обработки данных? Мы пришли к выводу о том,

о

Ö

КОМБИНАЦИОННОСТЬ ОБРАБОТКИ ДАННЫХ ПЕДАГОГИЧЕСКОГО ИССЛЕДОВАНИЯ МАТЕМАТИЧЕСКИМИ И СТАТИСТИЧЕСКИМИ МЕТОДАМИ а

ж ж

Аннотация х

Введение. В статье рассматриваются особенности и трудно- а

о

сти использования математических и статистических методов об- и

работки данных в психолого-педагогических исследованиях. |

Материалы и методы. Основным методом исследования ° явился анализ научной литературы, посвященной проблеме математической обработке научных данных.

к д

о §

8

что на этапе планирования эксперимента. с

Заключение. Современные математические и статистические методы, применяемые в исследовательской деятельности, позволяют с максимальной тщательностью планировать, обрабатывать, анализировать и интерпретировать результаты педагогических изысканий, но только сочетание количественных и качественных

методов исследования обеспечит качественный подход для любого д

а

типа психолого-педагогического исследования.

к

о S к д №

о *

к

Ключевые слова: психолого-педагогическое исследование; математические методы; педагогические измерения.

Основные положения:

- выявлены фамилии ученых, которые предлагают пути практической реализации статистических методов в педагогике и психологии;

- рассмотрена зависимость между типом педагогического исследования и статистическими методами обработки научных данных.

1 Введение (Introduction)

Во второй половине XX века в педагогической науке сформировалась область, предметом которой стало количественное исследование и моделирование. Стремительное развитие IT-технологий активизировало применение методов математической статистики при проведении, обработке и анализе результатов педагогического исследования. Однако следует понимать, что это только количественная оценка качеств изучаемых объектов и процессов, то есть данные методы не могут раскрыть сущность явления [1], объяснить возникающие зависимости между отдельными сторонами явления. Например, после анализа результатов исследования мы можем констатировать, что используемый метод воспитания более эффективен по отношению к ранее используемому, при этом анализ результатов не отвечает на вопрос, чем новый метод лучше.

Таким образом, статистические методы в психолого-педагогическом исследовании используются для количественной характеристики явлений. Качественный анализ позволит сделать выводы и заключения.

К разумному использованию математических методов в пе-

Q дагогическом исследовании призывали В. И. Загвязинский и М. П. ж

| Поташник в работе «Как учителю подготовить и провести экспе-^ римент». По их мнению, «...математический камуфляж только вуалирует, а порой искажает сущность, ибо нестрогость исходных по-

сылок при математической обработке только усиливает искажение результата».

2 Материалы и методы (Materials and methods)

Ряд ученых провели анализ ошибок в работах педагогов-исследователей. А. М. Новиков, проанализировавший 118 диссертаций, в работе «Педагогические диссертации: количество растет, а качество падает» пишет о недостаточном и необоснованном ис-

тистических средств; результаты, выданные компьютером, фетиши-руются и принимаются безоговорочно, даже в случае их противоре-

ча: и

о н

но

пользовании статистических методов в педагогических исследова- с

ниях, отмечает типичные ошибки в использовании статистических о

р

методов. ^

о

О непонимании сути статистических методов, применяемых в психолого-педагогических исследованиях, пишет Д. И. Фель- ^

ж

дштейн в статье «Психолого-педагогические диссертации: исследования в системе организации современных научных знаний». Он от-

х а

л ^

а

мечает, что «расчеты зачастую выполняются механически по о

к

заученным схемам с использованием ограниченного репертуара ста- 2

о §

о о

к

о

чия здравому смыслу. Удивительно легко осуществляется и О

№ а

ж к

авторская интерпретация методов и подбора методик без какой-либо психометрической проверки собственных данных».

Отмечает недостатки в использовании методов математической статистики Н. Г. Гуртовая в диссертационной работе «Роль и

к

место математической статистики в педагогических исследованиях» О — «экспериментальная слепота, состоящая в слабой прогнозируе- К мости результатов опытных разработок, их уместности, обоснован- О ности, глубине и эффективности воздействия».

В ряде диссертационных исследований (Азевич А. И., Алексеева С. И., Гасанбекова Е. М., Салманова Д. А., Старикова Л. Д. и др.) проведен анализ применения математических методов в бакалаврских и магистерских выпускных квалификационных работах на примере направления подготовки «Педагогическое образование». Проведенные анализы свидетельствуют о том, что студенты и магист-

к

с

т и ч е с к и

о

д

а

а н и

г

I

сц

ранты недостаточно владеют методами описательной статистики, приёмами использования статистических критериев.

Произведенный анализ проблем применения методов математической статистики в педагогических исследованиях позволяет сделать выводы.

Использование в психолого-педагогической науке и практике количественных методов вызывает ряд затруднений:

- большой сложностью педагогических процессов;

- неразработанностью и порой отсутствием адекватных методов и средств количественной оценки психолого-педагогических параметров;

- неподготовленностью студентов, магистрантов, диссертантов педагогического вуза, в частности, гуманитарных направлений обучения, использовать методы математической и статистической обработки научных данных.

Причины последнего затруднения заключаются в следующем: во-первых, в учебном плане программы бакалавриата нет дисциплины, включающей изучение методов математической статистики. Общий курс математики и информатики также не содержит вопросов, посвященных статистической обработке данных; во-вторых, не всегда студенты и магистранты могут найти инструкции, наглядные примеры и рекомендации по статистической обработке данных.

Все это свидетельствует об актуальности выбранной темы и, возможно, переосмысления содержания дисциплины «Математические и статистические методы обработки научных данных» программы подготовки магистров по направлению «Психолого-педагогическое образование (Психология и педагогика образования личности)».

При рассмотрении сущности и возможностей применения методов математической статистики обработки информации, полученной в результате педагогического исследования, мы опираемся на ученых, разрабатывающих методологические основы педагоги-

^ ки (В. Е. Гмурман, В. И. Загвязинский, В. С. Ильин, В. В. Краевс-

кий, Д. А. Новиков, М. Н. Скаткин, Г. И. Щукина), которые установили новую тенденцию использования методов математической статистики в педагогических исследованиях.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Теоретические основы использования статистических методов в педагогике и психологии раскрыты в работах Е. Ю. Артемьевой,

и

С. И. Архангельского, В. Н. Дружинина, А. Б. Ительсона, Е. Ю. Мар- а

-к и

о н н о

с

тынова, Е. А. Михайлычева, А. И. Орлова, Дж. Гласса и Дж. Стенли. Авторы описывают назначение конкретного статистического метода и возможности его применения в психолого-педагогическом ис-

о

о р

следовании, определяют роль статистических методов в педагогике а

о

и психологии с позиций философского мировоззрения, приводят статистические формулы и законы. да

Пути практической реализации статистических методов в педагогике и психологии, а также допускаемые ошибки исследователей представлены в трудах В. С. Аванесова, И. П. Ашмарина, М. Н. Грабарь, К. А. Краснянской, А. Н. Кутейникова, Э. Лемана, О. В. Мити-ной, А. Д. Наследова, Д. А. Новикова, Е. В. Сидоренко. В большинстве работ методики использования статистических методов описаны без применения информационных технологий.

Вопросам использования некоторых статистических методов в педагогическом исследовании посвящены диссертационные исследования Ю. И. Богатыревой, И. В. Гапоненко, Н. Г. Гуртовой, О. М. Киселевой, Л. В. Чуйко. В диссертационных исследованиях И. Р. Луговской, П. Н. Чепелева под определённый вид исследования подобраны методики использования конкретных математических методов [2].

Рядом ученых разработаны методики статистической обработки данных педагогического эксперимента (Е. Г. Булатова, В. П. Давыдов, Л. Б. Ительсон, Ю. З. Кушнер, А. А. Кыверялг, Б. Е. Стари-ченко и др.).

Анализ литературы по проблеме использования статистических методов в педагогических исследованиях обозначил следующие недостатки:

247

а н и

г

f

ttj

- методика применения математических и статистических приемов описана с позиции возможностей математики, а не с позиции задач педагогического исследования;

- описание методики использования одного статистического метода предлагается в узком аспекте;

- сложное для восприятия педагога-гуманитария описание возможностей информационных технологий при использовании математических и статистических методов.

Таким образом, наличие такого рода литературы не обеспечивает достаточно грамотного использования статистических методов в педагогических исследованиях. Практика показывает, что в основном применение статистических методов идет по «образцу», по типу сходных исследований.

Но при всех указанных недостатках, речь не идет о необходимости организовывать фундаментальное обучение математическим методам будущих специалистов в области педагогики и психологии. В этом случае, важна адресная помощь, поддержка и сопровождение.

3 Результаты (Results)

Рассмотрим несколько методических рекомендаций по использованию математических и статистических методов обработки научных данных.

От типа педагогического исследования зависит возможность использования статистических методов.

Наличие разнообразных подходов к классификации педагогических исследований привело к выявлению следующих типов: по направленности исследований (Г. И. Александров, В. В. Краевский, И. А. Макаровская,

А. М. Новиков и др.); по типу связи науки с практикой (В. М. Полонский и др.); по методу изучения проблемы (А. М. Арсень-ев и др.).

Мы придерживаемся классификации С. В. Сильченковой,

^ которая представлена в диссертационном исследовании «Информа-

ционно-педагогическое сопровождение использования статистических методов

в педагогических исследованиях». Согласно этой классификации - условно педагогические исследования делят на два типа:

- технологическое (хронолого-количественное исследование);

- гуманитарное (исследование ценностей и культурных феноменов педагогики).

Сильченкова С. В. устанавливает следующую зависимость между типом педагогического исследования и статистическими методами обработки научных данных (Таблица 1).

Таблица 2 — Использование статистических методов в зависимости от типа педагогического исследования Table 2 — The use of statistical methods depending on the type of pedagogical research

Тип Пример Задача Применяемый

педагогического предмета педагогического ст атистический

исследования исследования исследования метод

Технологический Успеваемость, Исследование за- Корреляционный

количество висимостей одного анализ

пропущенных явления от другого

занятий, Исследование Статистические

количество сходства и разли- критерии про-

ошибок чия в выборках по верки гипотез о

какому-либо при- сходстве выбо-

знаку рок

Исследование ди- Относительные

намики и тенден- показатели ди-

ции развития яв- намики (темп

ления роста)

Составление Кластерный ана-

группировок и лиз, дискрими-

классификаций нантный анализ

Гуманитарный Эмоции, чув- Исследование за- В качестве выяв-

ства объекта, висимостей одно- ления ассоциа-

творческие го явления от дру- ций

Г

Ж

ж a к к о ж ж о о

о р

a

о

к

а

a

ж ж

о* X ж №

а

a

§

о

§

к

Л

о §

§ о к

о £

а о

в a

ж к

So

а S

a a

S к

Л

о

к

к

к

о

к

о

S к

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Л

о §

к

к №

S о

а

a

работы, черты гого

характера объ- Исследование Статистические

екта, готов- сходства и разли- критерии про-

ность к како- чия в выборках по верки гипотез о

му-либо виду какому-либо при- сходстве выборок

деятельности знаку

Исследование ди-

намики и тенден-

ции развития яв-

ления

Составление Кластерный ана-

группировок и лиз (не всегда

классификаций эффективен)

Как видно из таблицы, в педагогических исследованиях использование статистических методов довольно ограничено, это связано с невозможностью непосредственного измерения многих педагогических явлений. Если в точных науках измерение сводится к сравнению данной величины с эталоном, то для психолого-педагогических параметров (признаки, качества, свойства, факторы) таких эталонов нет.

Современный период использования статистических методов в педагогике характеризуется как информационный. Сегодня практически никто не использует ручной труд для обработки данных эксперимента. Разработано разнообразное программное обеспечение (например, программы «Statistica», «SPSS»), которое может использовать как специалист в области информационных технологий, так и исследователь с более низким уровнем владения компьютером.

В различных сферах деятельности (в том числе, образовательной) используется табличный процессор MS Excel. Вычислительных возможностей этой программы и включенного набора инструментов бывает достаточно для решения большинства стандартных задач статистической обработки, например, первичных данных исследования. Программа включает в себя надстройку «Пакет анализа», в которую входит инструмент «Описательная статистика».

Описательная статистика позволяет вычислить основные числовые характеристики выборки (среднее арифметическое, моду, медиану, размах вариации, дисперсию, среднее квадратичное отклонение, стандартную ошибку), некоторые числовые характеристики кривой распределения (коэффициент асимметрии, эксцесс). Задавая уровень

надежности, вычисляют предельную ошибку выборки по t-критерию |

Стьюдента с учетом объема выборки, то есть величину доверительно- §

ж

го интервала или ошибку средней арифметической величины [3; 4]. о

ч

4 Обсуждение (Discussion)

Очень важным остаётся вопрос, на каком этапе педагогического исследования должен осуществляться выбор процедур и мето-

g

дов обработки данных? i

т-. ж

В литературе, посвященной применению методов математи- g

ческой статистики, чаще всего можно встретить рекомендации, в s

|

§

о

§

g

ч

s

о §

г о

г

и

о р

а

О

которых отбор методов осуществляют на этапе естественного или формирующего эксперимента (исследователь уже получил данные)

[5; 6].

Е. В. Сидоренко в книге «Методы математической обработки к в психологии», приводит алгоритм 1 — «Принятие решения о задаче

и методе обработки на стадии, когда данные уже получены», и алгоритм 2 — «Принятия решения о задаче и методе обработки на стадии планирования исследования».

Таким образом, мы пришли к выводу: вопрос применения математических и статистических методов обработки данных должен решаться на стадии планирования эксперимента, так как если выбор методов проводится на стадии, когда получены данные, то получается, что мы подбираем методы для того, чтобы как-то использовать уже имеющуюся информацию, то есть главным становится возможность или невозможность применения того или иного метода, а не стремление получить необходимые для исследования факты.

5 Заключение (Conclusion)

Современные математические и статистические методы, применяемые в исследовательской деятельности, позволяют с мак-

симальной тщательностью планировать, обрабатывать, анализировать и интерпретировать результаты педагогических изысканий. В результате полученных знаний становится возможным сформулировать законы и принципы развития изучаемой педагогической среды, разработать теоретические положения, характеризующие и адекватно отражающие фактический материал, диагностировать конкретные проблемные ситуации, проверять гипотетические предположения.

Наибольшая практическая значимость статистических методов, на наш взгляд, заключается в наглядности результатов исследования, в выявлении зависимостей и связей, обобщении информации. Опрос магистрантов профессионально-педагогического института ЮУрГГПУ показал: респонденты считают достаточным использование в педагогических исследованиях средних и относительных величин, классификации и группировки данных педагогических исследований, методов исследования зависимостей, программ обработки статистической информации. Данные математические и статистические методы действительно являются наиболее часто используемыми в педагогических исследованиях.

Подводя итог обзору научной литературы по данной проблематике, считаем важным отметить, что только сочетание количественных и качественных методов исследования обеспечит качественный подход для любого типа психолого-педагогического исследования.

Библиографический список

1. Симакова А. В. Применение математической статистики в педагогических исследованиях // Академия педагогических идей Новация. 2019. № 6. С. 17-20.

2. Батова М. М., Катина В. М., Шевченко О. К. Практический подход к обработке и анализу данных педагогического научного исследования на основе статистических непараметрических методов // Мир образования — образование

| в мире. 2017. № 3 (67). С. 149-157.

^ 3. Азевич А. И., Алексеева С. И. Педагогический эксперимент и средства

сц описательной статистики // Вестник РУДН. 2016. № 2. С. 57-63. (Информатиза-^ ция образования).

4. Салманова Д. А., Гасанбекова Е. М. Математические методы обработки результатов педагогического исследования // Мир науки, культуры, образования. 2016. № 2 (57). С. 90-93.

5. Гончарова В. А., Иванова Ю. А. Выпускная квалификационная работа как модель междисциплинарного измерения высшего гуманитарного образования // Филологические науки. Вопросы теории и практики. В 3-х ч. Тамбов : Издательство «Грамота». 2017. № 6 (72). Ч. 3. С. 191-194.

6. Активные и интерактивные методы обучения в естественноматемати-ческом образовании : коллективная монография / А. В. Гилева [и др.] ; сост. Л. Г. Шестакова, Д. В. Юшкова. Соликамск : Соликамский государственный педагогический институт. 2018. - 54 с. - ISBN 978-5-91252-091-4.

G. V. Shchagina

ORCID № 0000-0003-0063-4743 О

о

Candidate of Pedagogic Sciences, ^

Associate Professor at the Department of Training of Teachers of Vocational |

Training and Subject Techniques, South-Ural state Humanities-Pedagogical |'

University, Chelyabinsk, Russia. s

E-mail: shgv@cspu.ru 0

c s

COMBINATION IN PROCESSING |

g

PEDAGOGICAL RESEARCH DATA USING £

fib

MATHEMATICAL AND STATISTICAL METHODS

culties of using mathematical and statistical methods of data processing in psychological and pedagogical research.

t

Abstract ü

Introduction. The article discusses the features and diffi- g

a &

Materials and methods. The main method of research was §

Jo

the analysis of scientific literature devoted to the problem of ^ mathematical processing of scientific data. ^

Results. The relationship based on the analysis of scientific literature between the type of pedagogical research and statistical methods of scientific data processing is described. ^

&

о a

Discussion. An important question remains - at what stage of pedagogical research should the choice of procedures and methods of data processing be made? We came to the conclusion that at the planning stage of the experiment. ^

a

R

I

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

13

ej

Conclusion. Modern mathematical and statistical methods used in research activities allow you to plan, process, analyze and interpret the results of pedagogical research with maximum care, but only a combination of quantitative and qualitative research methods will provide a qualitative approach for any type of psychological and pedagogical research.

Keywords: Psychological and pedagogical research; Mathematical methods of pedagogical measurements.

Highlights:

Names of scientists who suggest ways of practical implementation of statistical methods in pedagogy and psychology are identified.

The relationship between the type of pedagogical research and statistical methods of scientific data processing is considered.

References

1. Simakova A.V. (2019), Primenenie matematicheskoj statistiki v pedagogicheskih issledovaniyah [Application of mathematical statistics in pedagogical research]. Akademiya pedagogicheskih idej Novaciya, № 6. 1720. (In Russian).

2. Batova M.M., Katina V.M. & Shevchenko O.K. (2017), Praktich-eskij podhod k obrabotke i analizu dannyh pedagogicheskogo nauchnogo is-sledovaniya na osnove statisticheskih neparametricheskih metodov [Practical approach to the processing and analysis of pedagogical research data based on statistical nonparametric methods]. Mir obrazovaniya — obrazovanie v mire, № 3 (67), 149-157. (In Russian).

3. Azevich A.I. & Alekseeva S.I. (2016), Pedagogicheskij eksperi-ment i sredstva opisatel'noj statistiki [Pedagogical experiment and the means of descriptive statistics]. Vestnik Rossijskogo universiteta druzhby narodov. Seriya: Informatizaciya obrazovaniya, № 2, 57-63. (In Russian).

4. Salmanova D.A. & Gasanbekova Ye.M. (2016), Matematicheskie metody obrabotki rezul'tatov pedagogicheskogo issledovaniya [Mathematical methods of processing the results of pedagogical research]. Mir nauki, kul'tury, obrazovaniya, № 2 (57), 90-93. (In Russian).

5. Goncharova V.A. & Ivanova Yu.A. (2017), Vypusknaya kvalif-ikacionnaya rabota kak model' mezhdisciplinarnogo izmereniya vysshego gumanitarnogo obrazovaniya [Final qualification work as a model of the interdisciplinary dimension of higher education in the Humanities]. Filolog-

icheskie nauki. Voprosy teorii i praktiki. Tambov: Izdatel'stvo Gramota, № 6 (72), 3, 191-194. (In Russian).

6. Gileva A.V., Gilev YA.YU., Rikhter T.V., Senchuk Ye.G., Testov V.A., Compilers: Shestakova L.G. & Yushkova D.V. (2018), Aktivnye i inter-aktivnye metody obucheniya v estestvenno-matematicheskom obrazovanii [Active and interactive teaching methods in natural and mathematical education]. Kollektivnaya monografiya, Solikamskij gosudarstvennyj pedagog-icheskij institut, Solikamsk, 54 p. ISBN 978-5-91252-091-4 (In Russian).

9

s a i

o'

n n

3

c №

i Надоели баннеры? Вы всегда можете отключить рекламу.