Научная статья на тему 'Квалиметрия образования как научно-практическое направление в педагогике'

Квалиметрия образования как научно-практическое направление в педагогике Текст научной статьи по специальности «Науки об образовании»

CC BY
3546
560
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
КВАЛИМЕТРИЯ ОБРАЗОВАНИЯ / СИНТЕТИЧЕСКАЯ ПАРАДИГМА КВАЛИМЕТРИИ ОБРАЗОВАНИЯ / СИНТЕТИЧЕСКОЕ МОДЕЛИРОВАНИЕ ПОКАЗАТЕЛЕЙ КАЧЕСТВА / КВАЛИМЕТРИЯ ЛИЧНОСТНЫХ УЧЕБНЫХ ДОСТИЖЕНИЙ / ИНТЕГРАЛЬНЫЙ МОНИТОРИНГ ЛИЧНОСТНЫХ УЧЕБНЫХ ДОСТИЖЕНИЙ / THE QUALIMETRY OF EDUCATION / SYNTHETIC PARADIGM OF THE QUALIMETRY OF EDUCATION / SYNTHETIC MODELING OF QUALITY / THE QUALIMETRY OF PERSONAL ACADEMIC ACHIEVEMENTS / INTEGRATED MONITORING OF PERSONAL ACADEMIC ACHIEVEMENTS

Аннотация научной статьи по наукам об образовании, автор научной работы — Бенькович Татьяна Марковна, Чепуренко Галина Павловна

В данной статье речь идет о том, что значимость квалиметрии образования как научно-практического направления в педагогике подтверждается актуальностью стоящих перед нею задач, в том числе обусловленных необходимостью развития квалиметрии личностных учебных достижений учащихся, квалиметрических технологий образования, обеспечивающих качество количественных измерений результатов обучения.

i Надоели баннеры? Вы всегда можете отключить рекламу.
iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

Qualimetry education as scientific and practical direction in pedagogy

The article explains the importance of the qualimetry of education as the theoretic and practical concept in pedagogics. Its importance is confirmed by the relevance of facing problems, including those that are caused by the necessity to develop the qualimetry of personal academic achievements of students, qualimetric technologies of education that ensure the quality of the quantitative estimation of educational results.

Текст научной работы на тему «Квалиметрия образования как научно-практическое направление в педагогике»

УДК 371.314.6

Т.М. Бенькович, Г.П. Чепуренко

Квалиметрия образования как научно-практическое направление в педагогике

В данной статье речь идет о том, что значимость квалиметрии образования как научно-практического направления в педагогике подтверждается актуальностью стоящих перед нею задач, в том числе обусловленных необходимостью развития квалиметрии личностных учебных достижений учащихся, квалиметрических технологий образования, обеспечивающих качество количественных измерений результатов обучения.

The article explains the importance of the qualimetry of education as the theoretic and practical concept in pedagogics. Its importance is confirmed by the relevance of facing problems, including those that are caused by the necessity to develop the qualimetry of personal academic achievements of students, qualimetric technologies of education that ensure the quality of the quantitative estimation of educational results.

Ключевые слова: квалиметрия образования, синтетическая парадигма квалимет-рии образования, синтетическое моделирование показателей качества, квалиметрия личностных учебных достижений, интегральный мониторинг личностных учебных достижений.

Key words: the qualimetry of education, synthetic paradigm of the qualimetry of education, synthetic modeling of quality, the qualimetry of personal academic achievements, integrated monitoring of personal academic achievements.

«Актуальность квалиметрии не будет утрачена ни сейчас, ни завтра, ни третьего дня, - до тех пор, пока человечество не станет совершенным...»

Бруно Беттельхейм

«...для того, чтобы управлять каким-либо процессом, надо, прежде всего, уметь измерять его параметры»

А.В. Гличев

Научный интерес к квалиметрии образования с точки зрения взаимодействия, взаимосочетания и взаимопрониковения полисистемностей человека (как принципа и объекта исследования), человековедения и образованиеведения (эдукологии) обусловлен синтезом методологической организации квалиметрии человека и квалиметрии образования, в свою очередь интегрирующей квалиметрию человека, квалиметрию зна-

© Бенькович Т.М., Чепуренко Г.П., 2012

ния и квалиметрию деятельности. Синтезирующие основы методологической организации квалиметрии человека и квалиметрии образования находят отражение в работах известных квалиметрологов (В. П. Казначеев, Э.М. Калицкий, Ю.В. Сергиевская, В.В. Соляник, А.И. Субетто, Л.А. Зеленов, А.М. Пищик, и другие) и в обобщенном виде отображаются на схеме, предложенной А.И. Субетто.

Синтетическая квалиметрия

I I

Специальные квалиметрии Предметные квалиметрии

I I

^ Квалиметрия ^ Квалиметрия

образования человека

I

Квалиметрия деятельности

По утверждению А.И. Субетто, «Квалиметрия образования является синтетической квалиметрией образования, в которой происходит отражение методологической организации синтетической квалиметрии на всех трех уровнях: общая квалиметрия, специальные квалиметрии и их проблемно ориентированные комплексы - экспертная, индексная, таксономическая, вероятностно-статистические квалиметрии, квалиметри-ческая теория эффективности, тестовая квалиметрия, рефлексивная квалиметрия, цикловая квалиметрия и другие; предметные квалиметрии

- квалиметрия труда и работы, квалиметрия управления, квалиметрия проектирования, квалиметрия научно-технического прогресса и др.». Таким образом, синтетическая квалиметрия образования может рассматриваться как научно-практическое направление в педагогике, синтезирующее общую квалиметрию, специальные и предметные квалиметрии, изучающие и реализующие методы количественной оценки качества образования. Научное обоснование квалиметрии образования как научнопрактического направления в педагогике прежде всего обусловлено рассмотрением квалиметрии как самостоятельной научной дисциплины с точки зрения истории возникновения и становления науки в культурноисторическом и системно-формируемом контексте.

Квалиметрия как наука об измерении и оценке качества «...о количественном измерении качества продукции, труда и работ» (А.И. Субетто) институционизировалась в 1968 г. История возникновения науки начинается с определения термина «квалиметрия», который был

I

Общая квалиметрия

I

Квалиметрия

знания

предложен в 1968 г. группой советских научных работников (экономистов и инженеров) во главе с Г.Г. Азгальдовым, выявивших методологическую общность способов количественного оценивания качества совершенно разных объектов и осознающих необходимость теоретического обобщения этих способов в рамках самостоятельной научной дисциплины. В программной статье «Квалиметрия - наука об измерении качества продукции», опубликованной в журнале «Стандарты и качество» в 1968 г. (авт. Г.Г. Азгальдов, А.В. Гличев и др.), называют основные факторы зарождения квалиметрии во второй половине XX в. Это, во-первых, появление в экономически развитых странах многочисленных эмпирических методик количественной оценки качества и, во-вторых, необходимость их теоретического обоснования и повышения точности и надежности. В 1973 г. в книге «О квалиметрии» авторы Г.Г. Азгальдов и Э.П. Райхман пишут о том, что «... в настоящее время формируется отрасль исследовательской деятельности, имеющая широкое практическое приложение к самым разнообразным продуктам труда. Эта отрасль имеет свой специфический объект исследования (общие принципы и методы оценки качества), свой специфический предмет исследования (совокупность свойств продуктов человеческого труда), свой специфический математический аппарат, свои специфические проблемы.». В научной статье «Applied Qualimetry: Its Origins, Errors and Misconceptions» (русский вариант названия - «Прикладная квалиметрия: генезис, ошибки и заблуждения»), за авторством Г.Г. Азгальдова и А.В. Костина, опубликованной в журнале «Benchmarking: an International Journal» в 2011 г., авторы пишут о том, что «. на Западе существуют альтернативные названия научных дисциплин, изучающих тот же круг вопросов, что и ква-лиметрия - технометрия, системный анализ, анализ иерархий, теория решений, бенчмаркинг. Дальнейшие перспективы квалиметрии состоят в развитии и синтезе с аналогичными западными дисциплинами».

Исследование данной проблематики с точки зрения развития и синтеза квалиметрии и бенчмаркинга, одной из перечисленых в статье научных дисциплин, подтверждает мнение авторов о дальнейших перспективах квалиметрии и обусловлено самим определением бенчмаркетинга. Термин «бенчмаркинг» появился в 1972 г. в Институте стратегического планирования Кембриджа (США), примерно в одно и то же время, как и термин «квалиметрия». Сегодня существуют различные определения понятия «бенчмаркинг». По определению руководителя Глобальной сети бенчмаркинга (Global Benchmarking Network) Роберта К. Кэмпа «Бен-

чмаркинг - это постоянный процесс изучения и оценки товаров, услуг и опыта производства самых серьезных конкурентов либо тех компаний, которые являются признанными лидерами в своих областях». Б. Андерсен определяет бенчмаркинг, как «постоянное измерение и сравнение отдельно взятого бизнеспроцесса с эталонным процессом ведущей организации для сбора информации, которая поможет рассматриваемому предприятию определить цель своего совершенствования и провести мероприятия по улучшению работы».

В России отдельные положения и аспекты бенчмаркинга начали пропагандироваться с 1996 г. в работах Г.Л. Багнева, А.К. Казанцева, И.А. Аренкова. В последние годы по данной проблеме стали публиковаться переводы трудов зарубежных ученых и практиков, появляются оригинальные разработки российских исследователей, например, маркетинговые проекты таких ведущих компаний, как РНК «Лукойл», РАО «ЕЭС России», Газпром, АвтоЗИЛ. Таким образом, использование системы бенчмаркинга в российской экономике позволяет за счет оценки передового опыта ведущих фирм и компаний совершенствовать собственные характеристики, внедрять инновационные технологии, создавать ценности в работе с клиентами, повышать культуру предпринимательства. В такой же степени целесообразно изучение и применение практикоориентированного опыта других, аналогичных квалиметрии западных научных дисциплин, объединяемых общностью задач по установлению критериев для оценивания качества информации, предметов и процессов в целях повышения эффективности управления качеством производимых товаров и услуг.

Этимология термина «квалиметрия» в буквальном смысле означает «измерение качества», что обусловливает научно-практическое применение методологического аппарата квалиметрии и смежных дисциплин в различных отраслях производственной и непроизводственной сфер экономики. Заимствованные от латинского и греческого языков корни «квали» (от лат. quolis) и «метрио» (от гр. metron) в свое время были заимствованы языками ряда стран мира: в английском - quality (кволити), немецком - qualitat (квалитет), французском - qualite (калите), голландском - kwaliteit (квалитайт), испанском - cualidad (квалидад), итальянском — qualita (квалита). Несколько лет, прошедшие с момента выдвижения термина «квалиметрия», подтвердили его правильность и предпочтительность. Собственно об этом пишут в книге «О квалиметрии» авторы Г.Г. Азгальдов и Э.П. Райхман: «В Советском Союзе на страницах

журнала “Стандарты и качество” была проведена специальная дискуссия, большинство участников которой одобрило термин “квалиметрия”. Этот термин начал применяться в научно-технических публикациях в СССР, Болгарии, Польше, Чехословакии. Статья, в которой предлагался этот термин, была перепечатана и в органе Европейской организации по контролю качества (ЕОКК) журнале “Quality”. В 1971 г. в Москве была проведена XV конференция ЕОКК “К высшему качеству — через стандарт”. Все это свидетельствует о том, что термин “квалиметрия” прочно вошел в международный научно-технический словарь».

Таким образом, с точки зрения международного научного сотрудничества в сфере измерения различных параметров предметов и процессов название науки «квалиметрия» воспринимается вполне определенно и означает, как уже упоминалось ранее «измерение (мера) качества».

Теоретико-методологическое обоснование и практическая значимость квалиметрии как науки об измерении и оценке качества предметов и процессов находит отражение в работах ученых (Г. Г. Азгальдов, А. В. Гличев, Е. Г. Нахапетян Э. П. Райхман, А.И. Суббето, Я. Б. Шор),

внесших большой вклад в развитие квалиметрии на раннем этапе ее развития. В начале 70-х годов А.И. Суббето впервые в теории квалиметрии ввек понятие меры качества, как части математического формализма теории качества на базе математической интерпретации качества с использованием математической теории динамических систем.

Мерой качества (или числовым представлением) R и его элементов r (t) называется их отображение на множество действительных чисел R1:

и: R ^ R1 или r (t) ^ Ri (1)

Аналогично определяется мера (числовое представление) факторов:

Z : V ^ R или U (t) ^ Ri (2)

Таким образом, меры - это функционалы качества или функционалы факторов. Отображение и, как и Z, может быть композицией нескольких отображений:

0 0 0 /о\

U = U••• и и (3)

или

и(г (t)) = Un Cu(M(r (t)))...) (4).

В частном случае и = Е, т. е. u(r (t)) = r (t)».

Исходя из этого, понятие «меры качества» по утверждению А.И. Суббето «позволили расширить понятие «предмета квалиметрии

как науки» и выдвинуть к концу 70-х годов новую парадигму квалиметрии

- синтетическую, охватывающую все виды измерений качества в разных предметных областях. Такая широкая постановка синтеза обусловлена как статусом самой категории качества, так и расширением приложений квалиметрии (педагогическая, географическая, эргономическая квалиметрии, квалиметрия НИОКР и т. п.)...».

Таким образом, в общенаучном понимании синтетическая парадигма квалиметрии имеет широкое распространение в различных сферах деятельности человека, где в оценке свойств или параметров предметов и процессов применима мера качества. Вместе с тем закономерно подчеркнуть, что синтетическая парадигма квалиметрии прежде всего предопределяется синтетической структурой науки о качестве - квалитоло-гии, синтезирующей в категорию единства и неразрывной целостности теорию качества, квалиметрию, метрологию и теорию управления качеством. Синтетическая парадигма квалиметрии в понимании «широкой постановки синтеза» обусловлена как статусом категории качества, так и аспектами категории качества: структурностью, динамичностью, определенностью, упорядоченностью, которые в соответствии с основными положениями системологической теории определяют системный подход -и к оценке, и к анализу, и к управлению. Синтетическая парадигма квалиметрии также обусловлена единством и неразрывной целостностью, т. е., синтетичностью показателей качества, к которым в соответствии с ГОСТ - 15467 - 79 «Качество продукции. Термины» относятся единичные, базовые, относительные и комплексные показатели. Единичный показатель качества - показатель, относящийся только к одному из свойств объекта (например, коэффициент нелинейных искажений характеризует линейность; вероятность безотказной работы - безотказность; средний срок хранения - сохраняемость и т.д.). Базовый показатель -показатель качества объекта, принятый за эталон при сравнительных оценках качества. Базовые показатели также могут быть единичными и комплексными. Относительный показатель качества - отношение показателя качества оцениваемого объекта к базовому показателю качества, выраженное в относительных единицах. Комплексный показатель качества - показатель качества объекта, относящийся к нескольким его свойствам.

Приведенные обоснования синтетической парадигмы квалиметрии, основанной на синтетическом моделировании показателей качества, уточняют общенаучные представления о синтезирующих основах мето-

дологической организации квалиметрии, отражая сущность системного подхода как научного принципа и метода квалиметрии образования, направленного на повышение качества комплексных измерений предмета исследования.

В книге «О квалиметрии» авторы Г. Г. Азгальдов и Э.П. Райхман пишут о том, что благодаря междисциплинарному характеру квалиметрии «.ее методы будут применяться во всех отраслях технических, естественных и гуманитарных наук», и это обусловлено прежде всего тем, что «. в каждой из этих групп наук используется категория качество».

Междисциплинарный характер квалиметрии в сфере гуманитарных наук, прежде всего, интерполируется в квалиметрии человека и образования. В контексте синтетической парадигмы квалиметрии образования под руководством А.И. Субетто во второй половине XX столетия проводится девять симпозиумов в разрезе данной тематики. Обобщенный анализ представленных докладов позволяет констатировать приоритетную направленность специализации исследований ученых в области квалиметрии образования. В этой связи десятый симпозиум, состоявшийся в 2002 г., по инициативе Г. А. Селезневой конкретизируется по названию «Квалиметрия в образовании: методология и практика» и сущности предмета исследования науки.

В качестве основных итогов работы десяти симпозиумов и последующих за ними научных изысканий в направлении развития квали-метрии человека и образования А.И Субетто называются следующие:

• создана квалиметрия человека и образования как отдельная науч-

ная отрасль синтетической квалиметрии;

• получили развитие новые направления тестовой квалиметрии: тес-

товые

методы на основе логико-категориальных тезаурусов и матричных тестов (Л. В. Макарова, А. А. Макаров, С. А. Маркелов), теория проектирования на основе экспертно-аналитических методов композиционных тестов (А. А. Захаров) и др.;

• проанализированы пути решения проблемы измеримости образова-

тельных стандартов, создания квалиметрии стандартов и норм в сфере образования.

На основании изложенного можно заключить, что квалиметрия образования структурируется как интегральная составляющая квалиметрии человека. По утверждению А.И. Субетто, в системе науки положение квалиметрии образования структурно определяется как отдель-

65

ная научная отрасль синтетической квалиметрии человека и образования. Разделяя позицию А.И. Субетто по ключевому вопросу о научном статусе квалиметрии образования в контексте с утверждением о том, что «человек есть мера всех вещей», нельзя не согласиться с тем, что в квалиметрии образования человек становится и объектом, и предметом исследования. В связи с этим развитие квалиметрии личностных учебных достижений как одного из проблемно-ориентированных комплексов специальной квалиметрии (схема синтетической квалиметрии А.И. Субетто) приобретает все большее значение с точки зрения развития самой науки, а также потребностей современной школы в квали-метрических технологиях образования. Все более очевидным становится процесс математизации образования, определяющий направленность технологического вектора развития современной системы управления образованием. Все это подтверждает актуальность квалиметрии, а также ее производных на уровне квалиметрических технологий, квалиметрического мониторинга, квалиметрической культуры, квалиметрической компетенции, в том числе информационной, и вместе с тем актуализирует постановку проблемы подготовки специалистов и повышения квалификации по основам квалиметрии образования.

Анализ работ ученых квалиметрологов в сфере образования показывает широкий спектр проблематики научных исследований касаемо области измерения на уровне предмета, систем и методов количественных измерений качества получаемых в обучении результатов. Обобщение проблематики исследований позволяет выявить тематическую направленность работ ученых в области квалиметрии образования:

• основы общей квалиметрии (А.К. Кулакова, Е.И. Нестерова, А.И. Субетто, А.В. Титов, Р.М. Хвастунова, Б.С. Шорникова и др.);

• математические основы квалиметрии (А.И. Субетто и А.В. Титов и др.);

• вероятностно-статистическая квалиметрия в области педагогических измерений (Ю.К. Чернова, В.В. Щипанов и др.);

• основы тестовой квалиметрии в образовании (Г.В. Горская, Н.А. Егоров, А.А. Маслак, Н.Д. Овчиннников, Е.Г. Полуаршинова, А.О. Татур, Н.А. Чебанова и В.И. Чебанов, И.Е. Чернозубов и др.);

• методы рефлексивной квалиметрии на основе «техники репертуарных решеток Дж. Келли» с вычислением 3-х коэффициентов в статистической модели самооценки: «коэффициента когнитивной

сложности», «коэффициента целостности», «коэффициента само-принятия» (Г.Д. Давыдова, И.Н. Семенов);

• квалиметрический мониторинг образования (А.А. Аветисов, Т.М. Бенькович, Ю. А. Волков, С. И. Григорьев, Т. П. Зырянов, И.А. Зимняя, В.А. Кальней, М. Ф. Королев, С. М. Королев, А. А. Макаров, Л. В. Макарова, Д.Ш. Матрос, А.Н. Майоров, Н.Н. Мельникова, Е. А. Музыченко, В.П. Панасюк, Д.М. Полев, Н. В. Романькова, Н. А. Селезнева, А. И. Субетто, С.Е. Шишов и др.);

• квалиметрия федеральной системы образования, стандарты нового поколения и рынок (В. И. Байденко, Г.С. Ковалева, Г.Л. Копоте-ва, И.М. Логвинова, А. И. Субетто, Л.Н. Феденко, М. Б. Челышкова и др.).

Проведенная аналитика тематической направленности развития ква-лиметрии образования подтверждает актуальность и значимость проводимых исследований, обуславливая квалиметрию образования как важнейшее научно-практическое направление в педагогике. Возрастающий интерес ученых к квалиметрии как науке об измерении и оценке качества в полисистемности человека и образования, безусловно, связан с актуальностью решаемых задач. Среди актуальных задач развития квалиметрии А.И. Субетто на период с 2002 по 2012 г. определяет следующие:

• создание энциклопедии квалиметрии человека и образования;

• дальнейшее осмысление и развитие системы законов и принципов квалиметрии человека и образования;

• разработка философских основ квалиметрии человека и образования;

• институционализация квалиметрии воспитания (и воспитательных систем);

• создание антропотипологии человека как основы развития квалиметрии человека;

• создание Российской ассоциации специалистов по квалиметрии человека и образования;

• усиление работ по квалиметрии науки в высшей школе России;

• усиление работ по квалиметрии образовательных технологий;

• разработка программ квалиметрического всеобуча;

• разработка квалиметрии самих систем управления качеством в вузах и школах, включая арбитражные схемы разрешения «оценочных споров (конфликтов)», если это связано с экономическими штрафными функциями;

• разработку Кодекса чести экспертов, специалистов по оцениванию качества во всех организациях, как профессионального кодекса;

• дальнейшее развитие системы мониторинга качества образования как важнейшей базы Национальной системы оценки качества образования (НСОКО);

• создание идеологии методологии квалиметрии стандартов и норм в образовании.

Системный анализ задач развития квалиметрии по А.И. Субетто подтверждает вывод об актуальности и значимости квалиметрии как научно-практического направления в педагогике. Вместе с тем, исходя из концептуального развития квалиметрии образования как синтетической квалиметрии, обусловленной синтезом методологической организации квалиметрии человека и квалиметрии образования, интегрирующей квалиметрию человека, квалиметрию знания и квалиметрию деятельности, спектр перечисленных задач следует расширить направлением квалиметрии личностных учебных достижений. Прежде всего это обусловлено синтетической парадигмой квалиметрии образования, сублимируемой с антропоцентрической концепцией развития современного образования, реализация которой в том числе возможна при условии обеспечения качества количественных измерений личностных учебных достижений, интерполируемых в интегральную меру «качество образования». В связи с этим интегральный мониторинг личностных учебных достижений может рассматриваться в качестве научно обусловленной и практико-ориентированной квалиметрической технологии образования, что в целом характеризует квалиметрию образования как научно-практическое направление в педагогике.

Список литературы

1. Азгальдов Г. Г. Теория и практика оценки качества товаров. - М.: Экономика, 1982.

2. Азгальдов Г. Г., Райхман Э. П. О квалиметрии. - М.: Изд-во стандартов, 1973. - 172 с.

3. Гличев А. В., Рабинович Г. О., Примаков М. И. и др. Прикладные вопросы квалиметрии. - М.: Изд-во стандартов, 1983.

4. Бенькович Т.М. Мониторин эффективности обучения // Школьные технологии. -2002. - № 4.

5. Бенькович Т.М. Инновационные подходы в оценке результатов обучения школьников: материалы городской науч.-практ. конф. Седьмые Герценовские чтения - СПб.: Астерион, 2008.

6. Квалиметрия человека и образования: Методология и практика. Проблемы измеримости образовательных стандартов и квалиметрического мониторинга образования. Седьмой симпозиум. Кн. вторая. Ч. IV. Качество, содержание и технологии образования: тез. докл. / под науч. ред. Н. А. Селезневой. - М.: Исслед. центр проблем качества подготовки специалистов, 1999.

7. Кальней В.А., Шишов С.Е. Технология мониторинга качества обучения в системе «учитель-ученик». - М.: Пед. о-во России, 1999.

8. Матрос Д.Ш., Полев Д.М., Мельникова Н.Н. Управление качеством образования на основе новых информационных технологий образовательного мониторинга. - М.: Пед. о-во России, 1999. - № 2.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

9. Субетто А. И., Селезнева Н.А. Квалиметрия человека и образования: методология и практика. Сборник научных статей. Части I и II. - М.: Исслед. центр проблем качества подготовки специалистов, 1994.

10. Андерсен Б. Бизнеспроцессы. Инструменты совершенствования / пер. с англ. / науч. ред. Ю.П. Адлер. - М.: Стандарты и качество, 2003.

11. Robert C. Camp. Benchmarking: The Search for Industry, Best Practices that Lead to Superior Performance. - ASQC Quality Press, 1989.

Интернет-ресурсы

1.Васильев В.Н., Тягунова Т.Н. Основы квалитологии и квалиметрии // АСТ-ЦЕНТР. - 2007.

2. Ковальчук О. В. Квалиметрия как теоретическая база оценки качества // Открытая библиотека научных сборников. - 2012.

i Надоели баннеры? Вы всегда можете отключить рекламу.