CC BY
108
№ 1 (33), 2015 Технические науки. Информатика, вычислительная техника
УДК 004.05, 378.146
В. В. Угаров, Ю. В. Цыганова, А. И. Афанасова
МЕТОД ОЦЕНКИ КАЧЕСТВА АКАДЕМИЧЕСКИХ ПРОГРАММНЫХ ПРОДУКТОВ В ПРОЕКТНО-ОРИЕНТИРОВАННОМ ОБУЧЕНИИ1
Аннотация.
Актуальность и цели. Внедрение новых методик в сфере инженерного образования направлено в основном на повышение качества обучения. Важнейшей проблемой при этом является оценка эффективности внедряемой методики, определяемая в ходе педагогического эксперимента на основе экспертных заключений. Цель данной работы заключается в описании метода оценки качества академических программных продуктов (т.е. программ, разработанных студентами в процессе обучения), а также в выявлении влияния изменения методики обучения при прочих равных условиях на качество академических программных продуктов.
Материалы и методы. В работе использованы методы статистического и дисперсионного анализа и технологии разработки программного обеспечения.
Результаты. Предложен способ оценки эффективности обучения, основанный на определении качества конечного продукта учебной деятельности студентов, оценка которого выполняется компьютерной программой без участия экспертной группы.
Выводы. В результате экспериментальных исследований показано, что выборочные совокупности параметров качества подчиняются нормальному закону распределения. На основе результатов дисперсионного анализа показано, что влияние внешнего фактора на учебный процесс статистически значимо, и это приводит к изменению параметров качества академических продуктов, в частности, параметра совершенства Hq. С помощью методов дисперсионного анализа показана эффективность процесса управления качеством академических программных продуктов в условиях проектно-ориентированного обучения.
Ключевые слова: проектно-ориентированный подход в обучении, академические программные продукты, профессиональные программные продукты, оценки качества программных продуктов, обучение информационным и вычислительным технологиям.
V. V. Ugarov, Yu. V. Tsyganova, A. I. Afanasova
METHOD OF QUALITY ESTIMATION OF ACADEMIC SOFTWARE THROUGH PROJECT-ORIENTED LEARNING
Abstract.
Background. Implementation of new methods in the field of engineering education is aimed mainly at improving the quality of education. The major problem is to assess the effectiveness of the implemented methods defined in the pedagogical experiment based on the expert opinion. The aim of the present work is to describe the method of estimating the quality of academic software (computer programs devel-
1 Работа поддержана Грантом Российского Фонда фундаментальных исследований (проект № 14-07-00665).
Engineering sciences. Computer science, computer engineering and control
19
Известия высших учебных заведений. Поволжский регион
oped by students in the learning process), as well as to identify the impact of changes in the training technique on the quality of academic software.
Materials and methods. The authors used the methods of statistical and variance analysis and software engineering.
Results. The work suggests a method of evaluation of the effectiveness of training, based on the definition of the quality of the final product of student learning activities, estimation thereof is performed by a computer program without the expert group participation.
Conclusions. As a result, the experimental research has shown that the sample set of quality parameters obey the normal distribution law. Based on the ANOVA results it is demonstrated that the effect of external factors on the learning process is significant, leading to a change of quality parameters of academic software, in particular, the perfection parameter Hq. Using the methods of the analysis of variance the authors showed the effectiveness of the quality management process of academic software through the project-oriented learning.
Key words: project-oriented learning (POL), academic software, professional software, quality estimates of academic software, information and computational skills development.
Введение
В современном образовании в сфере преподавания инженерных дисциплин основной проблемой является повышение качества подготовки специалистов. Современные предприятия, выпускающие все более сложные изделия, для их производства требуют от сферы образования значительного повышения уровня подготовки высококвалифицированных специалистов. Однако сегодня в высшей школе существует ряд проблем, которые необходимо решить, чтобы привести качество подготовки к современным требованиям.
1. Анализ существующих проблем
Проблема 1. Мотивация студентов к обучению. Во-первых, отметим существующую сейчас довольно низкую мотивацию студентов к обучению. Этому способствует большое количество причин, рассмотрение которых выходит за рамки данной статьи.
Отметим, что только небольшая часть студентов имеет мотивацию к обучению, обусловленную реальным интересом к изучаемому предмету.
Это относится в первую очередь к дисциплинам, при изучении которых у студентов развиваются творческие способности, появляется широта взгляда на общие свойства предмета, не ограниченная решением простых задач. К ним относятся как методы проектирования в инженерной среде, в том числе и дисциплина «Программирование», так и методы анализа технических проблем.
Повышение мотивации к изучению дисциплин по инженерным специальностям во многом определяется практической направленностью обучения. Одним из современных подходов в образовании является методика проектноориентированного обучения [1]. В рамках этой методики во время изучения определенных разделов учебной дисциплины студентам предлагается не выполнение отдельных, мало связанных между собой заданий, а выполнение, пусть небольшого, но законченного проекта.
Во время работы над проектом студент или небольшая группа студентов под руководством преподавателя разрабатывает, проектирует и реали-
20
University proceedings. Volga region
№ 1 (33), 2015 Технические науки. Информатика, вычислительная техника
зует задание, получая при этом некоторый законченный продукт. Это может быть как опытное изделие, электронное устройство, а в области информационных дисциплин - программа, написанная на выбранном языке программирования.
В своей работе [2] Дж. К. Джонс привел некоторые рекомендации преподавателям, применяющих проектно-ориентированный подход:
• Дайте возможность самим студентам, а не преподавателям выявить проблему и цель.
• Разработайте такие задачи, в которых это возможно и поощряется.
• Не следует критиковать результаты, можно подвергать сомнению сам процесс.
• Предусматривайте разработку проектов как на ближайший период, так и более отдаленную перспективу.
• Покажите, как Вы сами проектируете.
• Продемонстрируйте новые методы не в качестве эксперта, а в качестве обучающегося.
• Предложите студентам отложить работу, которая их не привлекает, и учите их быть готовыми, чтобы начать все заново.
Совместная проектная деятельность позволяет развивать творческое начало в деятельности студента. Поэтому ожидается, что проектный метод в обучении как возможность организации учебного процесса в результате активной деятельности позволит развивать способности, применять знания, навыки и умения для решения практических, жизненно важных задач.
Заметим, что в работе [3] Е. С. Полат отмечает, что проектное обучение развивает:
1) исследовательские умения, т.е. способность анализировать проблемную ситуацию, работать с литературными источниками, выявлять проблемы, проводить наблюдение практических ситуаций, строить гипотезы, делать выводы;
2) умение работать в команде, осознавать значимость коллективной работы для получения результата, роли сотрудничества, взаимопомощи;
3) коммуникативные умения, связанные с умением формулировать и высказывать свою точку зрения, выслушивать и понимать другие соображения, критически подходить к своим и чужим мнениям, чтобы в итоге найти решение проблемы.
Проблема 2. Связь учебных заданий с производством. Вторая проблема при реализации проектно-ориентированного обучения состоит в том, что учебные проекты, предлагаемые в образовательном процессе, зачастую далеки от тематики проектов, которыми занимаются профессиональные инженеры в рамках производственной деятельности.
Как пишут в своей работе [4] М. Фитцпатрик и А. Ледецки, «...в университетах содержание курсов информационных дисциплин диктовалось потребностями крупных софтверных фирм. Однако инженеры и программисты подходят к освоению методов программирования с разными целями. В то время как инженеры создают программы в основном для собственного использования, программисты создают программы для использования непрограммистами».
Engineering sciences. Computer science, computer engineering and control
21
Известия высших учебных заведений. Поволжский регион
К этому следует добавить, что проекты по дисциплине «Программирование», реализуемые в учебном процессе, серьезно отличаются от профессионального проектирования программного обеспечения. Это обусловлено тем, что профессиональные продукты предназначены для вывода на рынок, и это обстоятельство создает сильную обратную связь по качеству продукта и по его соответствию требованиям потребителей. В то же время проекты, выполняемые в учебном процессе, не имеют непосредственного контакта с рынком (связь очень слабая). Такие программы, созданные студентами во время учебных занятий, мы называем академическими программными продуктами (АПП). Жизненный цикл АПП заканчивается на этапе аттестации, отсутствуют этапы эксплуатации и сопровождения, очень мала доля тестирования. Поэтому при разработке тематики проектов для обучения необходимо иметь в виду их практическую значимость. Этапы разработки в большей степени должны следовать современным технологиям разработки проектов.
Проблема 3. Оценка качества получаемых проектных решений. Еще одной проблемой при внедрении проектно-ориентированного подхода является адекватная оценка качества получаемых в результате проектных решений. Как правило, оценка качества АПП при традиционном подходе выполняется экспертами, в качестве которых выступают преподаватели той или иной дисциплины. Недостатком такой оценки является очень высокая трудоемкость при анализе учебного программного продукта.
Свои представления к знаниям, навыкам и умениям студентов преподаватели вырабатывали на протяжении длительного времени, опираясь на свой опыт, знания и представления. Несмотря на их высокий уровень квалификации, отметим, что эти требования, существующие на интуитивном уровне, очень индивидуальны. В результате высокий разброс требований в вузе к навыкам и знаниям студентов приводит к тому, что придя на производство, они сталкиваются с серьезным расхождением представлений о процессе проектирования в учебном заведении и на производстве. Это неизбежно приводит к необходимости переучиваться и изменять сложившийся стереотип. Это второй недостаток экспертной оценки.
Академический программный продукт в виде файла с размещенным в нем текстом программы на языке высокого уровня как конечный продукт реализации проекта обладает определенными отличиями по сравнению с другими формами отчетности.
Во-первых, это продукт изначально представлен в электронном виде и готов к обработке на компьютере. Во-вторых, его логическая структура с точки зрения грамматики и синтаксиса не имеет ошибок, которые на этапе отладки обнаруживаются компилятором. В-третьих, его работоспособность и соответствие учебному заданию доказаны экспертом, в роли которого выступает преподаватель, а в рамках проектно-ориентированного обучения экспертами выступают все члены группы, реализующие данный проект.
Поэтому АПП может быть использован для оценки качества проекта, а тем самым в некоторой степени и оценки качества учебного процесса. Причем оценка может быть получена в автоматическом режиме, независимом от экспертов. Такой подход позволяет обрабатывать значительные объемы академических программных продуктов, давать независимую оценку, выполнять сравнительный анализ групп студентов.
22
University proceedings. Volga region
№ 1 (33), 2015 Технические науки. Информатика, вычислительная техника
2. Метод оценки качества академических программных продуктов и опыт реализации проектно-ориентированного обучения
Для повышения качества обучения в сфере инженерных дисциплин, в частности преподавания технологий программирования, в учебном процессе Ульяновского государственного университета впервые в период с 2004 по 2005 г. была использована методика проектно-ориентированного обучения. До этого в преподавании этих дисциплин применялась традиционная методика обучения.
Целью исследования, проведенного в УлГУ, явилось определение эффекта от применения методики проектно-ориентированного обучения.
Для этого была выдвинута гипотеза о том, что использование методики проектно-ориентированного обучения улучшит качество создаваемых студентами учебных программ, приблизит их к уровню программ, создаваемых программистами-профессионалами. Косвенно это будет свидетельствовать и о повышении уровня обучения по соответствующим дисциплинам.
Эффект определялся на основе показателей качества академических программных продуктов в зависимости от методики обучения.
Для решения поставленной задачи был разработан план исследований, включающий теоретическое обоснование, экспериментальную часть и обработку полученных данных. В план включались следующие пункты:
1. В период 1999-2003 учебные годы при обучении программированию применялась традиционная методика. Использовалась система индивидуальных заданий, разбор элементов программирования на семинарских занятиях. Начиная с 2004-2005 учебного года использовался проектно-ориентированное подход к обучению. Задания формировались в виде проектов на разработку программ, в которых участвовали группы от двух до четырех человек, проводилось обсуждение проектов на семинарских и на лабораторных занятиях, на которых разрабатывались и обсуждались пути решения возникающих проблем. За весь период исследования учебный план, тематика лекционного курса, интегрированная среда разработки оставались неизменными. Естественно, менялся только состав студентов. Однако в связи с тем, что исследования проводились статистическими методами, было принято, что вариации параметров студентов незначительны в силу их большого количества.
2. Полученные в результате тексты учебных программ за эти годы сохранялись в файловой базе данных. Затем тексты программ были отобраны по следующим критериям:
• Все АПП были разделены по тематическому признаку, что позволило выполнить обработку близких по алгоритму программ.
• Текст программы должен без ошибок компилироваться соответствующим транслятором.
• Полученный после компиляции исполняемый файл должен в полной мере соответствовать учебному заданию.
• Текст программы должен соответствовать некоторым ограничениям, специфичным для данной дисциплины.
Всего было отобрано 1504 текста АПП.
3. В основе экспериментальной обработки был использован дисперсионный анализ с симметричным планом типа 2к. В качестве внешнего фактора
Engineering sciences. Computer science, computer engineering and control
23
Известия высших учебных заведений. Поволжский регион
был выбран фактор изменения подхода к преподаванию с традиционного на проектно-ориентированный.
4. В качестве параметра качества АПП выбран критерий совершенства логической структуры текста программного продукта - Hq, предложенный М. Холстедом в работе [5]. Этот параметр определяет функциональность и эффективность программного продукта. Для вычисления этого параметра и дальнейшей обработки данных был разработан программный комплекс «Halstead-1.7».
5. Чтобы использовать для обработки данных статистические методы, необходимо определить вид распределения экспериментальных данных. Для этого была выдвинута гипотеза о нормальном распределении данных. Для проверки был использован критерий Пирсона. На уровне значимости 0,05 было определено, что для всех выборок по тематическому признаку имеется подтверждение гипотезы о нормальном распределении.
6. Основная часть экспериментальной обработки заключалась в вычислении критерия Hq для АПП студентов разных лет обучения.
В качестве примера приведем результаты обработки данных за 19992005 гг. (табл. 1.) Академические программные продукты были разработаны на языке Паскаль.
Таблица 1
Результаты вычисления параметра Hq по годам обучения за 1999-2005 гг.
Наименование Размер выборки Параметр совершенства Hq
АПП 1999-2000 гг. 463 0,7448
АПП 2002-2003 гг. 264 0,7349
АПП 2003-2004 гг. 265 0,7940
АПП 2004-2005 г. 512 0,8280
АПП учащихся 66 0,9397
Профессиональный программный продукт от фирмы Borland за 2003 г. 55 0,9427
Из работы М. Холстеда [5] известно, что значения критерия Hq приближается к единице по мере повышения качества программного текста. Среднее значение параметра Hq было подсчитано за 1999-2003 гг. и за 2004/2005 учебный год. Затем в результате однофакторного дисперсионного анализа была проверена гипотеза о влиянии внешнего фактора (изменение методики обучения) на критерий качества Hq.
В результате вычислений было определено, что на уровне значимости 0,05 имеем дисперсионное отношение, равное F = 6,5929. В то же время критическое значение (на уровне 0,05, количество степеней свободы 44) равно F0 051/44 = 4,06 . Поскольку F = 6,5929 > F0 051/44 = 4,06 , заключаем,
что различие средних значимо и выдвинутая ранее гипотеза о статистически незначимом влиянии внешнего фактора на параметр качества отвергается.
Поэтому принимается альтернативная гипотеза о том, что влияние внешнего фактора на параметр качества для АПП значимо, а следовательно, доказывается эффект управления качеством при изменении методики обучения.
24
University proceedings. Volga region
№ 1 (33), 2015 Технические науки. Информатика, вычислительная техника
3. Программный комплекс Halstead-1.7
Каждый академический программный продукт создается в рамках учебного процесса. Он представляет собой реализацию программного проекта в виде исходного текста программы и исполняемого файла этой программы. Исполняемый файл создается в процессе компиляции текста программы, а следовательно, проходит этап тестирования компилятором. Во время этого этапа неоднократно выявляются и исправляются все замеченные компилятором ошибки. Поэтому можно считать, что этот текст является свободным от ошибок, связанных с языком программирования.
Далее академический программный продукт проходит экспертизу преподавателем или комиссией, которые определяют соответствие функционирования программы установленному заданию. В результате можно считать, что программный продукт не содержит логических ошибок как в алгоритме, так и в исполняемом файле.
Среди многих существующих количественных параметров качества для академических программных продуктов наиболее важными являются: Hq -критерий совершенства по Холстеду; Vt - объем программы; Lp - уровень программы. Как известно, параметры программных текстов Hq, Vt, Lp определяются на основе как T|i и П2 - объема словарей операторов и операндов, так и N1 и N2 - количества вхождений операторов и операндов в текст программы.
Параметр Hq является важным для оценки качества академических программных продуктов, поскольку на начальном этапе создания программ особое внимание уделяется правильному, оптимальному построению алгоритма и реализации его на языке программирования. Параметр Hq влияет на такие свойства программы, как функциональность, эффективность, сопровождаемость.
Для автоматического определения количественных характеристик качества программных продуктов, как академических, так и профессиональных, авторами разработан специализированный программный комплекс.
Разработанный программный комплекс Halstead-1.7 представляет собой совокупность программных модулей, предназначенных для автоматического определения параметров качества программных продуктов. Базовый модуль комплекса предназначен для вычисления количественных параметров качества программных продуктов. Другие модули предназначены для выполнения вспомогательных операций. Комплекс реализован на инструментальной платформе Delphi-7.0.
Данный программный комплекс по своему назначению относится в большей степени к программам, предназначенным для выполнения вычислительных процессов во время проведения научных исследований. Поэтому главной отличительной особенностью комплекса является высокая вариантность конфигурации программы, обусловленная требованием частой изменчивости текста программы во время проведения научных исследований. Необходимость частого изменения текста программ обработки данных обусловлена также итерационным характером научного исследования. Для минимизации количества ошибок в программный код комплекса заранее, еще на
Engineering sciences. Computer science, computer engineering and control
25
Известия высших учебных заведений. Поволжский регион
стадии проектирования, заложены средства, позволяющие добавлять новые модули с минимальным изменением основного текста программ.
В среде Delphi версии 7.0 фирмы Borland Inc реализована основная часть комплекса. В комплекс входят, кроме основного, дополнительные модули. Так, модуль статистики вычисляет статистические характеристики выборочных значений из генеральной совокупности случайных величин. Этот модуль реализован в среде Visual Basic for Application пакета MS Office 2003.
Базовый модуль состоит из нескольких процедур. Наиболее важными из них являются процедура лексического анализа и процедура синтаксического анализа. Основные отличительные особенности программного комплекса:
1. Созданный программный комплекс Halstead-1.7 предназначен для определения количественных критериев качества программных продуктов.
2. Обработка данных выполняется на основе методов математической статистики.
3. Исходными данными являются тексты академических программных продуктов, т.е. полученных в результате учебного процесса.
4. Программный комплекс построен по цепочечной схеме, позволяющей без дополнительных исправлений других модулей вводить новые модули или модифицировать существующие.
5. Для передачи данных от одного модуля к другому используются внешние файлы, что позволяет выполнять обработку разными модулями независимо друг от друга.
6. Файл результатов представлен в формате, позволяющем импортировать данные в среду MS Excel®.
7. Программный комплекс спроектирован с возможностью дальнейшего развития. Направления и методы этого развития будут определяться, исходя из дальнейших исследований по оценке качества академических программных продуктов.
Заключение
Цель представленной работы заключалась в описании метода выявления влияния изменения методики обучения при прочих равных условиях на качество академического программного продукта. Оно было выполнено для одного критерия качества [6]. Аналогичные исследования по разработанной методике будут выполнены для других критериев качества.
В результате экспериментальных исследований было показано, что выборочные совокупности параметров качества подчиняются нормальному закону распределения. На основе результатов дисперсионного анализа доказано, что влияние внешнего фактора на учебный процесс статистически значимо, это приводит к изменению параметров качества академических продуктов, в частности, параметра совершенства Hq. Методами дисперсионного анализа показана эффективность процесса управления качеством академических программных продуктов в условиях проектно-ориентированного обучения.
Начиная с 2006 г. в Ульяновском государственном университете на факультете математики и информационных технологий авторами успешно применяется проектно-ориентированный подход к обучению в преподавании таких
26
University proceedings. Volga region
№ 1 (33), 2015 Технические науки. Информатика, вычислительная техника
дисциплин, как «Технология программирования», «Языки программирования и методы трансляции», «Методы вычислений» и «Численные методы».
К настоящему времени создана большая база данных АПП, реализованных на языках высокого уровня Delphi, C++, MatLab. Авторами проводятся дальнейшие исследования применения проектно-ориентированного подхода в обучении [7-9]. В настоящее программный комплекс Halstead-1.7 расширяется для автоматической оценки качества АПП, реализованных на различных языках программирования высокого уровня.
Список литературы
1. Semoushin, I. V. Computational and Soft Skills Development through the Project Based Learning / I. V. Semoushin, J. V. Tsyganova, V. V. Ugarov // ICCS 2003, Lecture Notes in Computer Science (St. Petersburg, Russia, June 2-4, 2003). - St. Petersburg, 2003. - Vol. 2658. - P. 1098-1106.
2. Джонс, Дж. К. Методы проектирования : пер. с англ. / Дж. К. Джонс. -2-е изд., доп. - М. : Мир, 1986.
3. Полат, Е. С. Как рождается проект / Е. С. Полат. - М., 1995.
4. Teaching Computer Programming to First-Year Engineering Students with MATLAB and an eBook. - URL: http://www.mathworks.com/company/newsletters/articles/ teaching-computer-programming-to-first-year-engineering-students-with-matlab-and-an-ebook.html?reload=true&s_v1=61114113_1-BW600W
5. Холстед, М. Х. Начала науки о программах / М. Х. Холстед ; пер. с англ.
В. М. Юфы. - М. : Финансы и статистика, 1981. - 128 с.
6. Угаров, В. В. Исследование академических программных продуктов / В. В. Угаров // Математическое моделирование физических, экономических, технических, социальных систем и процессов : VI Междунар. конф. (19 октября 2005 г., г. Ульяновск) / под ред. Ю. В. Полянскова. - Ульяновск : УлГУ, 2005. - С. 126-128.
7. Семушин, И. В. Модификация поведения студента и преподавателя инженерных дисциплин / И. В. Семушин, В. В. Угаров // Московское научное обозрение, ИНГН. - 2013. - № 9 (37). - С. 3-8.
8. Опыт проектно-ориентированного обучения в университетах Ульяновска / И. В. Семушин, В. В. Угаров, Ю. В. Цыганова, А. И. Афанасова, И. Н. Куличенко // Перспективные информационные технологии (ПИТ 2014) : тр. Междунар. науч.-техн. конф. / под. ред. С. А. Прохорова. - Самара : Изд-во Самар. науч. центра РАН, 2014. - С. 436-438.
9. Афанасова, А. И. Вычислительные методы алгебры с использованием MATLAB / А. И. Афанасова // Перспективные информационные технологии (ПИТ 2014) : тр. Междунар. науч.-техн. конф. / под. ред. С. А. Прохорова. - Самара : Изд-во Самар. науч. центра РАН, 2014. - С. 396-397.
References
1. Semoushin I. V., Tsyganova J. V., Ugarov V. V. ICCS 2003, Lecture Notes in Computer Science (St. Petersburg, Russia, June 2-4, 2003). Saint-Petersburg, 2003, vol. 2658, pp. 1098-1106.
2. Dzhons Dzh. K. Metody proektirovaniya: per. s angl. [Design methods: translation from English]. Moscow: Mir, 1986.
3. Polat E. S. Kakrozhdaetsyaproekt [How to create a project]. Moscow, 1995.
4. Teaching Computer Programming to First-Year Engineering Students with MATLAB and an eBook. Available at: http://www.mathworks.com/company/newsletters/articles/ teaching-computer-programming-to-first-year-engineering-students-with-matlab-and-an-ebook.html?reload=true&s v1=61114113 1-BW600W
Engineering sciences. Computer science, computer engineering and control
27
Известия высших учебных заведений. Поволжский регион
5. Kholsted M. Kh. Nachala nauki o programmakh: per. s angl. [Fundamentals of program science: translation from English]. Moscow: Finansy i statistika, 1981, 128 p.
6. Ugarov V. V. Matematicheskoe modelirovanie fizicheskikh, ekonomicheskikh, tekhnich-eskikh, sotsial’nykh sistem i protsessov: VI Mezhdunar. konf. (19 oktyabrya 2005 g., g. Ulyanovsk) [Mathematical modelling of physical, economic, engineering, social systems and processes: VI International conference (19 October 2005, Ulyanovsk)]. Ulyanovsk: UlGU, 2005, pp. 126-128.
7. Semushin I. V., Ugarov V. V. Moskovskoe nauchnoe obozrenie, INGN [Moscow scientific review, INGN]. 2013, no. 9 (37), pp. 3-8.
8. Semushin I. V., Ugarov V. V., Tsyganova Yu. V., Afanasova A. I., Kulichenko I. N. Perspektivnye informatsionnye tekhnologii (PIT 2014): tr. Mezhdunar. nauch.-tekhn. konf [Prospective information technology (PIT 2014): proceedings of the International scientific and engineering conference]. Samara: Izd-vo Samar. nauch. tsentra RAN, 2014, pp. 436-438.
9. Afanasova A. I. Perspektivnye informatsionnye tekhnologii (PIT 2014): tr. Mezhdunar. nauch.-tekhn. konf [Prospective information technology (PIT 2014): proceedings of the International scientific and engineering conference]. Samara: Izd-vo Samar. nauch. tsentra RAN, 2014, pp. 396-397.
Угаров Владимир Васильевич
кандидат технических наук, доцент, кафедра информационных технологий, Ульяновский государственный университет (Россия, г. Ульяновск, ул. Льва Толстого, 42)
E-mail: u197@mail.ru
Цыганова Юлия Владимировна
кандидат физико-математических наук, доцент, кафедра информационных технологий, Ульяновский государственный университет (Россия, г. Ульяновск, ул. Льва Толстого, 42)
E-mail: jvt.ulsu@gmail.com
Афанасова Анастасия Игоревна аспирант, Ульяновский государственный университет (Россия, г. Ульяновск, ул. Льва Толстого, 42)
E-mail: nastyaafanasova@yandex.ru
Ugarov Vladimir Vasil'evich Candidate of engineering sciences, associate professor, sub-department of information technologies, Ulyanovsk State University (42 Lva Tolstogo street, Ulyanovsk, Russia)
Tsyganova Yuliya Vladimirovna Candidate of physical and mathematical sciences, associate professor, sub-department of information technologies, Ulyanovsk State University (42 Lva Tolstogo street, Ulyanovsk, Russia)
Afanasova Anastasiya Igorevna
Postgraduate student, Ulyanovsk State University (42 Lva Tolstogo street, Ulyanovsk, Russia)
УДК 004.05, 378.146.
Угаров, В. В.
Метод оценки качества академических программных продуктов в проектно-ориентированном обучении / В. В. Угаров, Ю. В. Цыганова, А. И. Афанасова // Известия высших учебных заведений. Поволжский регион. Технические науки. - 2015. - № 1 (33). - С. 19-28.
28
University proceedings. Volga region
