Проект підвищення ефективності контролю рівня знань студентів вищих навчальних закладів Текст научной статьи по специальности «Науки об образовании»

Посилання на статтю_

Польшаков В.1. Проект пiдвищення ефективностi контролю рiвня знань студентiв вищих навчальних закладiв/ В.1. Польшаков, В.£. Косой// Управлшня проектами та розвиток виробництва: Зб.наук.пр. - Луганськ: вид-во СНУ iM. В.Даля, 2004. - № 1(9). - C.72-79.

УДК 371.26

В.1. Польшаков, В.С. Косой

ПРОЕКТ П1ДВИЩЕННЯ ЕФЕКТИВНОСТ1 КОНТРОЛЮ Р1ВНЯ ЗНАНЬ СТУДЕНТ1В ВИЩИХ НАВЧАЛЬНИХ ЗАКЛАД1В

Розглядаеться питания про пщвищення ефективностi процесу оцЫювання рiвня знань студентiв i3 застосуванням методики адаптивного тестування. Рис.3, табл. 3, дж. 8.

Ключовi слова: рiвень знань, контроль знань, тест, фактори тестування, адаптивний мехаызм тестування.

В.И. Польшаков, В.Е. Косой

ПРОЕКТ ПОВЫШЕНИЯ ЭФФЕКТИВНОСТИ КОНТРОЛЯ УРОВНЯ ЗНАНИЙ СТУДЕНТОВ ВЫСШИХ УЧЕБНЫХ ЗАВЕДЕНИЙ

Рассмотрен вопрос о системе контроля уровня знаний студентов посредством тестирования. Изложена методика адаптивного тестирования. Проведено математическое моделирование прохождения теста. Определена целесообразность дальнейшей разработки вопроса адаптивного тестирования и его активного применения в системе высшего образования Украины. Рис. 3, табл. 3, ист. 8.

V.I. Pol'shakov, V.Y. Kosoy

PROJECT ON EFFECTIVENESS IMPROVEMENT OF THE STUDENTS' KNOWLEDGE CONTROL IN HIGHER EDUCATION INSTITUTIONS

Subject matter related to the system of students' knowledge control by means of testing is considered. The adaptive testing technique is outlined, and the mathematical test modeling is carried out. The practicability for further development of adaptive testing and its active use in higher education system of Ukraine is suggested.

Постановка проблеми у загальному вигляд'1 та i'i зв'язок з важливими науковими чи практичними завданнями. Реформування освгги в УкраТ'ш пов'язане з вир^енням багатьох проблем. Розвинуте сусптьство повинно забезпечувати учням, студентам та Тх батькам можливють об'ективно визначати рiвень навченосп з рiзних предме^в i мати ч™ орiентири щодо подальшоТ навчальноТ дiяльностi, тому в навчальному процеа обов'язковою е наявнють контрольно-оцшюючого етапу. Систематичний контроль - це умова руху вперед у навчанш, тому що студент може мати уявлення про те, що вш знае, що ним досягнуто, на що варто звернути увагу в подальшш роботк

"Управлшня проектами та розвиток виробництва", 2004, № 1(9)

1

Про ефективнють будь-якоТ дiяльностi свiдчить и результат. Результатом навчальноТ дiяльностi е засвоення знань, умiнь, навичок, розвиток особистост студента.

Важливим компонентом процесу навчання е перевiрка знань i вмiнь учнiв, студентiв, слухачiв курав пiдвищення квалiфiкацiТ. Цiй проблемi завжди придiлялося чимало уваги з боку педагопв, дидактiв, учених-методистiв, викладачiв, учителiв. Значний внесок у дослiдження проблеми контролю знань зробили учет В.О. Онищук, Н.М. Буринська, О.С. Котлярова, Р.Ф. Кривошапова, О.Ф. Силютша, Н.Ф. Тализша та iншi. Головною метою педагопчних дослiджень у цьому напрямi е розробка об'ективних систем оцшювання навчальноТ дiяльностi [7].

Аналiз останнiх дослiджень i публiкацiй, в яких започатковано вирiшення дано)' проблеми / на як спираеться автор. Tермiн "контроль" розглядаеться в рiзних аспектах. Так, у дослщженнях В.О. Онищука контроль означае виявлення, встановлення, оцшювання знань студенев, визначення об'ему, рiвня i якостi засвоення навчального матерiалу, виявлення успiхiв, прогалин в знаннях, навичках, умшнях.

О.С. Котлярова вважае, що облк i контроль знань студенев повиннi показати кожному студенту, де i якi у нього е прогалини, що вш засвоТв добре, а також, якi вимоги ставить до нього викладач [7].

В.Л. Рисс проблему контролю вбачае в знаходженн об'ективного шляху сшввщношення досягнутих студентом результат iз запланованими цтями навчання [8].

Деякi дослщники О.Ф. Силютiна, Р.Ф. Кривошапова вкладають iнший змiст у термiн "контроль", приписуючи йому значення функцiТ; при цьому етап процесу навчання е ноаем ^еТ' функци, визначаеться термшом "перевiрка". Автори вказують на рiзну кiлькiсть функцiй перевiрки [7].

Серед загальнодидактичних дослiджень видiляють групу роб^, де спецiально розглядають такi питання контролю знань: використання техшчних засобiв та програмованого контролю, методика складання контрольних роб^, орiентованих на використання ЕОМ; статистичн методи обробки результат контролю; тестова методика контролю; критери оцiнки знань студентiв, якiсна та ктькпсна характеристика знань; функци контролю.

Видтення невирiшених ранiше частин загально)' проблеми, котрим присвячуеться означена стаття. В даний час в системi осв^и йде процес пошуку нових технологш i методик. Одним з нововведень у цш галузi е використання тестових методик.

Потрiбно вiдзначити, що в нашiй кра'Тш тестовi методики почали використовуватися набагато шзшше, нiж за рубежем. Але, незважаючи на це, тести одержують усе бтьше визнання.

Використання нових шформацшних технологiй у галузi осв^и (зокрема, комп'ютерiв i комп'ютерних мереж) привело до необхщносп пошуку нових методик оцшки знань. Використання теспв е тут найбiльш перспективним напрямком, тому що тести добре пщходять для машинноТ обробки, що дозволяе автоматизувати процес обробки результат i скоротити тимчасовi витрати при перевiрцi рiшень. Але тести можуть використовуватися не ттьки при перевiрцi знань. 1снують рiзнi види тестiв: вступш, навчальнi, контрольнi, тематичнi i т.д. Тому, використовуючи визначен методики, тести можна застосовувати на рiзних етапах осв^нього процесу [1].

В даний час викладачами активно використовуються таю традицшш методи оцшки знань, як залки, юпити, колоквiуми, самостiйнi й контрольн роботи, що завершують кожний iз пройдених роздiлiв або тем. Такий пщхщ вимагае iстотних

2

"Управлшня проектами та розвиток виробництва", 2004, № 1(9)

витрат часу, i не завжди дае адекватну оцiнку знань, тому що вона залежить вщ досвiду викладача i принципiв, якими вiн керуеться при виставлянн оцiнок, а також вщ таких об'ективних факторiв, як неможливють придiлити всiм студентам достатньо часу, недосконалють самих тестiв i т.д. [2].

Виходом з ^еТ ситуаци може стати застосування систем тестування на базi сучасних комп'ютерних технологiй.

Формалiзованого пiдходу до створення сценарш тестiв, що дають можливють одержати повну iнтегральну оцiнку, не юнуе i, як правило, ця робота зводиться до добору деякоТ сукупност питань з набором фксованих вiдповiдей. Якють тесту визначаеться пщбором питань i, вiдповiдно, об'ективнiсть оцшки, отриманоТ при використаннi такого тесту, багато в чому залежить вщ досвщу викладача, що складав сценарш тестування. Крiм того, слiд зазначити високу трудомюткють цiеТ роботи. Таким чином, розробка методики складання комплексних теспв для одержання всебiчноТ оцшки знань учшв е актуальним завданням.

При створенн тестiв вважаеться перспективним застосування методики оптимального планування експерименту, що одержав поширення в рiзних галузях науки i технiки, i такий, що мае добре опрацьований i перевiрений математичний апарат. Такий пщхщ дозволяе без втрати iнформативностi експерименту (оцшки) значно скоротити ктькють дослав (питань) за рахунок Тх бтьш ефективного планування. Застосування тестiв, розроблених з використанням згаданоТ вище методики, дозволяе проводити контроль знань одночасно за дектькома пройденими темами без збтьшення загальноТ кiлькостi питань. Недолгом даноТ методики е те, що отримана на ТТ основi оцiнка показуе рiвень засвоення учнем матерiалу, але не дозволяе локалiзувати слабко засвоений матерiал, якщо такий юнуе.

Формулювання цлей статт'1 (постановка завдання). Цтями даноТ стагп е пщвищення ефективностi оцiнювання студентiв ВНЗ в умовах розбудови шституту вищоТ осв^и в УкраТ'ж, а завданням е розробка методики тестування, що дае не ттьки оцшку, але i якiсну характеристику знань того, кого тестують. Для вирiшення цього завдання доцтьно використовувати логiку, закладену в принцип роботи експертних систем, що також часто називають системами штучного штелекту [3].

Викладення основного матер'тлу досл'дження з повним обфунтуванням отриманих наукових результат¡в. При оцшц знань, побудованоТ за принципом експертноТ системи, проводиться опитування того, кого навчають, так, що кожне наступне запитання залежить вщ вщпов^д на попередш. Такий метод оцшки знань е методом адаптивно)'д'агностики i може бути використаний при розробц дiагностуючих комплексних тестiв. Вони мають бiльш високу ефективнiсть контролю в порiвняннi з iснуючими в даний час за рахунок значного скорочення числа запитань. Це дозволяе знизити стомлюванють i скоротити час тестування без зниження ефективност [4, 5].

Завдання оцшки знань студенев на основi комп'ютерних систем тестування е одним з важливих питань, що виникае в системi осв^и. Широко вiдомi два завдання, виршення яких необхiднi при перевiрцi знань студента. Основним заданням екзаменатора е «витягти» максимум знань, вщомих студенту. Основним завданням того, кого екзаменують, е показ максимуму своТх знань. Очевидно, ц^ екзаменатора i випробуваного досить подiбнi. Проте, у результат тестування досягти цiх цiлей вдаеться не завжди, що е причиною занижених i завищених оцшок. Для запоб^ання i зменшення погрiшностi оцшки знань розроблено комбшований спосiб адаптивного тестування з використанням елеменлв нечпкоТ' логiки [6].

"Управлшня проектами та розвиток виробництва", 2004, № 1(9)

3

Розглянемо наступну модель. Нехай поточний рейтинг студента в процес проходження тесту оцшюеться за 100-бальною шкалою у вщсотках. Сто вщсотш означае «абсолютне», iдеальне знання цього предмета.

Будемо вважати, що студент пройшов тест, якщо одержав будь-яку позитивну оцшку, крiм «незадовiльно».

Експерту з дисциплши необхiдно розробити вiдповiдний набiр питань для кожного рiвня. Складнiсть цих питань повинна вщповщати рiзному рiвню пiдготовки студентiв. Припустимо, ми маемо 4 рiвнi складностi питань: рiвень початкiвця, середнiй рiвень складностi, рiвень пщвищеноТ' складностi, рiвень експерта (табл.1). Ц рiвнi складностi будуть змшюватися в залежностi вiд успiху тестованого. Зi зменшенням правильних вiдповiдей буде знижуватися i рiвень складностi запитань. I навпаки, якщо студент вщповщае устшно, то складнiсть запитань зростае.

Уведемо також неч^ку характеристику «правильность вщповд на запитання. Ця величина визначае, як усшшно студент вiдповiв на поточне запитання - правильно, помилково, неправильно.

Таблиця 1

PiBHi складност запитань i правильностi вщповщей

PiBeHb складност питання Коефiцieнт вимiру Правильнють вщповвд Бал

Початк1вець 0,25 Неправильно 0,00

Середн1й 0,50 Помилково 0,50

Складний 0,75 Правильно 1,00

Експерт 1,00

KpiM того, дозволяеться студенту використовувати пiд час вiдповiдi пiдказки системи, але за кожну пщказку будемо зшмати деякий бал чи знижувати характеристику правильность вiдповiдi.

Одним з важливих факторiв у процесi тестування е час, що даеться на вщповщь. За наявност надлишкового часу, у студента з'являеться можливють скористатися додатковими джерелами, а це в свою чергу дае погршнють в оцшц дшсних знань студента. Тому уведемо величину «штервал часу» для кожного запитання, що означае, сктьки часу даеться студенту, щоб вщповюти на конкретне запитання. При перебтьшенш зазначеного часу, характеристика "правильнють вщповщГ повинна знижуватися, тому що це можна розглядати як використання студентом пщказки.

Щоразу, коли задаеться запитання, на пiдставi описано!' моделi вщбуваеться «прогнозування» найбiльш ймовiрноï вiдповiдi студента i вщповщно вибираеться запитання необхщного рiвня. В мiру збiльшення правильних вщповщей збтьшуеться i рiвень складност запитань, що задаються, i навпаки. У результат загальна (пiдсумкова) оцшка залежить вiд таких факторiв:

- пропорцшноТ кiлькостi запитань рiзноï складносп;

- поточного рейтингу тестованого;

- правильност вiдповiдi на запитання;

- часу вщпов^ф на запитання;

- використання пщказки;

- додаткових або уточнюючих запитань.

Вщмшною рисою системи е ïï iнтелектуальнiсть, що виражаеться в моделюванн роботи екзаменатора у випадку невпевненост в знаннях студента. Наприклад, тестування може бути прервано, коли тестований вийшов на

4

"Управлшня проектами та розвиток виробництва", 2004, № 1(9)

стабтьну оцшку, а також можуть 6ути зaдaиi дeякi додaтковi запитанння для yточнeння piвия знань cтyдeитa.

Maтeмaтичнa модeль aдaптивиоï cиcтeми тecтyвaиия виглядae так:

F(x) =f (X1,X2,X3,X4,X5 ...Xn), (1)

дe X1 - поточний peйтииг пpоxоджeиия тecтy; X2- правильнють вiдповiдi; X3 -cклaдиicть запитання; X4 - час, витpaчeиий на вщповщь; Х5 - використання пщказки cиcтeми; Xn - врахування додаткових фaктоpiв пpоxоджeиия тecтy.

В мaтeмaтичнiй модeлi додатково розраховуються пpомiжиi коeфiцieнти, потpiбиi для моиiтоpиигy дииaмiки пpоxоджeння тecтy. Вони також враховують склады взaeмозв'язки мiж пapaмeтpaми cиcтeми. Так, К1 вpaxовye витpaчeиий cтyдeитом час на вщповщь. К2 визиaчae вплив фaктоpiв cклaдиоcтi запитання, витpaчeиого часу на вщповщь та правильнють дано!' вщпов^д на остаточний бал, що отpимye cтyдeит за кожну вщповщь. Спiвiдношeння для К2 вcтaиовлeиi eмпipично. Mодeль складання тecтy иaвeдeио в таблиц 2.

к i = tn-tr,

tn

(2)

дe tn - норма часу на окpeмe запитання, ce^ tr - час, який витpaчeно на вiдповiдь,ceк.

кг = kl * ((2-Hard\-2*(Correctness - 0.75)), (3)

дe Hard - складнють запитання, Correctness - правильнють вщповщк

Peйтииг визиaчaeтьcя вiдиошeииям отриманоТ' суми бaлiв за попepeдиi вщпов^д до кiлькоcтi пpойдeииx запитань.

"Управлшня пpоeктaми та розвиток виробництва", 2004, № 1(9)

б

Таблиця 2

Модель складання тесту

№ запитання Поточний рейтинг Скпаднють запитання Правильнють вщпов^ (Correctness) Час вщпов^ сек Норма часу на вщповщь сек см 'ч * т * § О Ч х "во дь 5 ь 5 .У «1 аи * % р П Скорегований бал =Бал*К2

1 1,000 1,00 1,0 50 60 0,167 0,083 1,000 1,083

2 0,750 1,00 0,5 80 60 -0,333 -0,500 0,500 0,250

3 0,500 0,75 0,0 30 60 0,500 1,375 0,000 0,000

4 0,625 0,50 1,0 30 60 0,500 0,500 0,500 0,750

5 0,700 0,50 1,0 25 60 0,583 0,583 0,500 0,792

6 0,750 0,75 1,0 22 60 0,633 0,475 0,750 1,106

7 0,643 0,75 0,0 45 60 0,250 0,688 0,000 0,000

8 0,688 0,25 1,0 13 60 0,783 0,979 0,250 0,495

9 0,667 0,25 0,5 60 60 0,000 0,000 0,125 0,125

10 0,700 0,25 1,0 35 60 0,417 0,521 0,250 0,380

11 0,727 0,50 1,0 39 60 0,350 0,350 0,500 0,675

12 0,750 0,50 1,0 74 60 -0,233 -0,233 0,500 0,383

13 0,769 0,75 1,0 66 60 -0,100 -0,075 0,750 0,694

14 0,714 0,75 0,0 15 60 0,750 2,063 0,000 0,000

15 0,733 0,50 1,0 95 60 -0,583 -0,583 0,500 0,208

16 0,750 0,50 1,0 34 60 0,433 0,433 0,500 0,717

17 0,765 0,75 1,0 55 60 0,083 0,063 0,750 0,797

18 0,778 0,75 1,0 46 60 0,233 0,175 0,750 0,881

19 0,737 0,75 0,0 80 60 -0,333 -0,917 0,000 0,000

20 0,700 0,75 0,0 61 60 -0,017 -0,046 0,000 0,000

21 0,714 0,75 1,0 69 60 -0,150 -0,113 0,750 0,666

22 0,727 0,75 1,0 48 60 0,200 0,150 0,750 0,863

23 0,739 0,75 1,0 42 60 0,300 0,225 0,750 0,919

24 0,750 0,75 1,0 33 60 0,450 0,338 0,750 1,003

25 0,760 0,75 1,0 100 60 -0,667 -0,500 0,750 0,375

Сума стовбця 16,25 19,00 1247 1500 11,875 13,161

Середнш показник 0,650 М 0,760 0,4750 0,5265 Ф)

Реакц1я знань 83% (^

Отриман додатковi результати А, В, С (табл.2) допоможуть нам бiльш правильно i детально трактувати результат складання тесту. Так, середнiй показник складност запитань пройденого тесту А свщчить про те, що своТми вщповщями студент вийшов лише на низький рiвень складностi (задовiльний рiвень складност при дiючiй системi оцiнювання знань). Наступний середнш

6

"Управлшня проектами та розвиток виробництва", 2004, № 1(9)

показник правильное^ вщповдей В cвiдчить про тe, що взaгaлi cтyдeитом дат вщповд на запитання на piвнi "добpe" в дiючiй cиcтeмi оцшювання знань. Tpeтiй iифоpмaцiйиий показник С - peaкцiя знань випробуваного покaзye, иacкiльки швидко y поpiвияииi з нормою часу на кожнe запитання були дaиi вiдповiдi. 1ншими словами, насктьки добpe вивчeний i запам'ятований диcциплiнapний мaтepiaл i як cтyдeн оpieнтyeтьcя в зaвдaннi. Показник D peзyльтaт тecтy, що доpiвнюe 52.65 бала. Якщо використати iнтepвaли пepeводy бaлiв в оцiнкy (0-70 - "нeзaдовiльно", 70-80 - "задовтьно", 80-90 - "добpe", 90-100 - "вщмшно"), то cтae зpозyмiлим, що тecт cклaдeно на "нeзaдовiльно". Для поpiвняння, якщо б була використана традицшна cиcтeмa пiдpaxyнкy пpaвильноcтi вiдповiдeй при складанш тecтiв, то тecт було б cклaдeно на 76 бaлiв (показник В), що, звicно, зacлyговye на оцiнкy "зaдовiльно". Адаптована система бiльш aдeквaтно оцiнюe i виявляe нaявнi дiйcнi знання cтyдeнтa. До того ж e можливicть вce бiльшого включeння додаткових iнфоpмaтивниx показчиш, якi б допомагали дeтaльнiшe виявити piвeнь знань i оцiнити його cпpaвeдливо.

Таблиця 3

Умови адаптаци складностi запитань тестовой системи

(iитepвaли ветaиовлeиi eмпipичио)

Рейтинг, % Складнiсть запитання, коефiцiент

0-69 0,2б

70-74 0,б0

7б-82 0,7б

83-100 1,00

На пiдcтaвi отримано'|' модeлi i вiдповiдно до табличних даних можуть бути побyдовaнi графки, що вказують на тaкi зaлeжноcтi:

- «правильнють» вiдповiдeй cтyдeнтa на запитання тecтy;

- змiнa piвнiв cклaдноcтi запитань, що задаються, y пpоцeci тecтyвaння (рис.1);

- поточний peйтинг cтyдeнтa, отриманий пiд час тecтyвaння (рис. 2). Mexaнiзм нeчiткоï оцiнки знань пiдтpимyeтьcя в cиcтeмi за допомогою:

- yвeдeння eкcпepтом (виклaдaчeм) запитань iз чотирма piвнями cклaдноcтi;

- пpопозицieю дeкiлькоx ^e мeнш б) вapiaнтiв вiдповiдeй i оцшки кожноï вiдповiдi;

- yвeдeння можливих пiдкaзок до запитання i зaлeжноcтi змiни оцiнки за вщповщь на запитання вiд ïxнього використання;

- Увeдeння лiмiтy часу, нeобxiдного для вiдповiдi на дaнe запитання. Також на бaзi eлeктpонниx комплeкciв нeобxiдною e потpeбa cтвоpeння

вipтyaльноï iнфpacтpyктypи (порталу) для зaбeзпeчeння eфeктивного використання pозглянyтоï адаптивной' тecтовоï системи (рис. 3).

"Упpaвлiиия пpоeктaми та розвиток виробництва", 2004, № 1(9)

7

1,00 -| 0,75 -0,50 -0,25 -0,00

\

IV

V

т

1 3 5 7 9 11 13 15 17 19 21 23 25

Рис. 1. Зм1на рюшв складност1 запитань

Рис. 2. Поточний рейтинг студента, отриманий пщ час тестування

Висновки з даного досл'1дження i перспективи подальших розв'док у даному напрямку. Гумашза^я та демократиза^я навчання, формування особистостi як найвищоТ соцiальноТ цiнностi посилюють роль контрольно-оцiнюваного компонента системи вищоТ освiти, ставлять зростаючi вимоги до оргашзаци та методики перевiрки навчальних досягнень студенев.

Основне завдання полягае у тому, щоб на кожному етап навчання виявити досягнутий рiвень засвоення студентами базових знань з освоених предмелв та об'ективно оцшити Тх. Педагогiчна практика доводить, що контроль за чотирибальною шкалою е шдиферентно-вщсталим i мало сприяе вихованню у студенев таких рис особистосп, як самостiйнiсть та вiдповiдальнiсть за результати навчальноТ працi.

В умовах розбудови нацюнальноТ' системи вищоТ осв^и зростае актуальнiсть контролю знань особистосл методом тестування. Перспективним вважаеться створення i впровадження адаптивних систем тестування i створення на Тх основi глобально! для УкраТни шформацшно-тестовоТ' системи оцшки рiвня знань.

8

"Управлшня проектами та розвиток виробництва", 2004, № 1(9)

Адмшктращя навчального процесу

1нформащйно-контрольний портал

Модуль адмшктрування

- Електронний деканат

- Електронна кафедра

- Репстра^я

- Електронна дошка рейтингу студенев

Модуль контролю знань

- Вступне тестування

- Поточний контроль

- Пщсумков атеста^я

Модуль технолопчноТ п1дтримки

- E-mail

- Web-Chat

- Форуми

- Теле- i вщеоконференци

- Безпека

Викладач1

В1ртуальн1 групи

Рис. 3. Структурна схема Ыформацмно-контрольного порталу

Л1ТЕРАТУРА

1. Конструирование и использование психологических и дидактических тестов / Учебное пособие, Калуга, 1991.

2. Макарова Н.В., Макаров В.М. Новая концепция проектирования компьютерных тестов контроля знаний студентов.// Известия Санкт-Петербургского университета экономики и финансов. - 1996, С. 133-145.

3. Ермаков С.М., Жиглявский А.А. Математическая теория оптимального эксперимента. М.: Наука, 1987.

4. Джонсон Н., Лион Ф. Статистика и планирование эксперимента в технике и науке. Пер. с англ. - М.: Мир, 1981.

5. Петрушин В.А. Экспертно-обучающие системы. Киев: Наукова Думка, 1992.

6. Попов Д.И., к.т.н., доцент, зав. отд. «Интеллектуальные системы в дистанционном образовании» http://www.tsure.ru.

7. Юзбашева Г.С. Тематичний контроль знань учыв з хiмií в умовах рейтингово оцЫювання. Дис...пед.наук:13.00.02. - Кшв, 2001.

8. Рысс В.Л. Контроль знаний учащихся. - М.: Педагогика, 1992. - С. 80.

Стаття надмшла до редакцп 21.01.2004 р.

"Управлшня проектами та розвиток виробництва", 2004, № 1(9)

9