Формализованная модель и методика многокритериальной оценки эффективности инновационной деятельности научных организаций Текст научной статьи по специальности «Экономика и бизнес»

ФОРМАЛИЗОВАННАЯ МОДЕЛЬ И МЕТОДИКА МНОГОКРИТЕРИАЛЬНОЙ ОЦЕНКИ ЭФФЕКТИВНОСТИ ИННОВАЦИОННОЙ ДЕЯТЕЛЬНОСТИ НАУЧНЫХ ОРГАНИЗАЦИЙ

Ларин Сергей Николаевич

ст. науч. сотр., канд. техн. Наук ФГБУНЦентрального экономикоматематического института, г. Москва E-mail: sergey77707@rambler.ru Лазарева Лариса Юрьевна главный специалист, канд. техн. наук АНО ВПО Институт международного

учета и управления, г. Москва E-mail: lazarlu@rambler.ru Островский Сергей Михайлович главный специалист ФГБУ Российского гуманитарного научного фонда,

г. Москва E-mail: ostrov@rfh.ru

FORMALIZED MODEL AND PROCEDURE OF MULTICRITERION EVALUATION OF EFFICIENCY OF SCIENTIFIC ORGANIZATIONS’

INNOVATION ACTIVITY

Sergey Larin

Senior Research Assistant, Candidate of Engineering Sciences of Central Economics

and Mathematics Institute, Moscow Larisa Lazareva

Chief Specialist, Candidate of Engineering Sciences of Institute of International

Accounting and Management, Moscow

Sergey Ostrovsky

Chief Specialist of Russian Foundation of Humanities, Moscow АННОТАЦИЯ

Разработан новый подход к оценке эффективности инновационной деятельности научных организаций. На основе использования методов формализации, математического моделирования, экспертных оценок и ранжирования разработаны формализованная модель взаимодействия участников инновационной деятельности и методика многокритериальной оценки ее эффективности. Полученные результаты могут использоваться для оценки эффективности научных исследований.

ABSTRACT

There is a new approach for assessment of efficiency of scientific organizations’ innovation activity being developed. On the basis of formalization techniques,

mathematical modeling, expert analysis and ranking there isachieved the formalized model of cooperation of innovation activity participants as well as

the procedure of multicriterion evaluation of given innovation activity efficiency. Obtained results could be used for assessment of research efficiency.

Ключевые слова: инновационная деятельность; научные организации; системный подход; методы формализации; многокритериальная модель; оценка эффективности.

Keywords: innovation activity; scientific organizations; systematic approach; formalization techniques; multicriterion model; assessment of efficiency.

Для масштабной технологической модернизации отечественной экономики требуется радикальное повышение эффективности инновационной деятельности научных организаций и концентрация научного потенциала на приоритетных направлениях научно-технического развития, а так же формирование инструментов и механизмов взаимодействия всех участников инновационной деятельности [3, c. 72]. В целях решения этой задачи государственных расходы на научные исследования в последние годы постоянно нарастают (см. табл. 1 [10]). Однако, несмотря на это, одной из проявившихся в последнее время проблем модернизации страны стал дефицит готовых к коммерциализации инновационных проектов, способных обеспечить прорыв в одном из перспективных направлений научно-технологического развития.

Указанные обстоятельства предопределяют необходимость разработки новых методов формализации и экономико-математических моделей для анализа и оценки эффективности инновационной деятельности научных организаций с использованием современных инструментальных средств. Это позволит повысить оперативность и качество управленческих решений в сфере научных исследований, эффективность инновационной деятельности научных организаций, а так же будет способствовать развитию их инновационного

потенциала и его воплощению в конкретные результаты научно-технической деятельности (РНТД).

Таблица 1.

Расходы федерального бюджета на НИОКР в России_________________

Годы

2000 2005 2007 2008 2009 2010

Расходы, всего:

в млн. руб. 17396,4 76909,3 132703,4 162115,9 219057,6 237656,6

в том числе:

фундаментальные исследования 8219,3 32025,1 54769,4 69735,8 83198,1 82173,8

прикладные научные исследования 9177,1 44884,2 77934,0 92380,1 135859,5 155482,8

в процентах:

к расходам федерального бюджета 1,69 2,19 2,22 2,14 2,27 2,35

к валовому внутреннему продукту 0,24 0,36 0,40 0,39 0,56 0,53

Сегодня в мировой экономике накоплен значительный опыт в сфере управления научными исследованиями и реализации их результатов в процессе инновационной деятельности. В странах ЕС приоритетными задачами являются развитие в регионах наукоемких производств и инновационное расширение сферы услуг. Для анализа инновационной деятельности и разработки стратегий привлечения инвестиционных ресурсов для проведения научных исследований и опытно-конструкторских разработок (НИОКР) зарубежные исследователи (Р. Винтер, Н. Галлини, М. Катц, Д. Сен, Я. Тауман, и др.) широко используют экономико-математические методы и динамические некооперативные игровые модели в классе ситуаций равновесий Нэша и Штакельберга [9, а 147].

Однако, эти модели оказались очень чувствительными к исходным положениям выбираемых стратегий и принятых в них ограничениям. Поэтому большинство из них не позволяет разработать даже относительно оптимальных решений. Кроме того, процессы взаимодействия участников инновационной

деятельности пока еще слабо формализованы, что не позволяет использовать для ее моделирования современный математический инструментарий. Это подтверждается следующими фактами:

• менее 1 % работ, в которых использовались математические методы и модели согласования интересов (теория игр, теория оптимизации, теория активных систем и др.) или затрагивались вопросы моделирования инновационной деятельности;

• математические и инструментальные методы анализа использовались менее чем в 0,5 % исследований, связанных с инновационной деятельностью;

• число публикаций, в которых представлены математические модели для управления инновационной деятельностью, ничтожно мало в общей массе исследований по проблемам развития экономики знаний [6].

Вышесказанное свидетельствует об актуальности для отечественной экономики решения задачи по развитию методологии и разработке новых математических моделей, методик и инструментальных средств для многокритериальной оценки эффективности и поддержки принятия решений по управлению инновационной деятельностью научных организаций.

Необходимым этапом разработки новых и применения существующих математических методов и инструментальных средств для моделирования инновационной деятельности научных организаций является проведение функционального анализа ее предметной области. Для этого необходимо формализовать процессы и результаты теоретических и прикладных научных исследований, а так же процессы взаимодействия участников инновационной деятельности. Использование математического аппарата для решения этих задач возможно при условии «перевода» неструктурированного или слабо структурированного процесса научных исследований, которым по своей сути является инновационная деятельность, на такой уровень ее формализации, который позволит разрабатывать экономико-математические модели.

Выступая в качестве объекта управления, инновационная деятельность характеризуется совокупностью латентных (внешне не проявляющихся)

переменных, которые не только не могут быть непосредственно измерены, но и не поддаются управляющим воздействиям. Основные причины этого: обособленность науки от производства, наличие существенного периода времени между получением и практическим использованием результатов научной деятельности, отсутствие унифицированного подхода к формализации научной продукции по видам, формам ее реализации и фактического учета.

Для моделирования инновационной деятельности научных организаций необходимо перейти от латентных переменных к их эквивалентам — агрегированным переменным, которые достаточно легко наблюдать и измерять. Условие управляемости инновационной деятельностью научных организаций по наблюдаемым переменным можно представить в следующем виде:

*,/Р(хь ■■■’ Хк) ^ хкХ ..., уп{хь хк)1

Ц1р(хь ..., хк) > 0 дар[у1(х1, хк), ., Уп(хь х^] > 0 (1),

где: хгеХг, /=1,..., к — латентные переменные, характеризующие способности и поведение субъекта инноваций;

у](хь, хк)еУ],у=1,., п — наблюдаемые (агрегированные) переменные;

/р(хь, хк), /р[Уь(хь, хк), ..., Уп(хь, хк)] — функции, определяющие

целевой результат инновационной деятельности в латентных и наблюдаемых переменных соответственно;

4Р(хь, хк), дар[уь(хь, хк), ., уп(хь, хк)] — имеющиеся ограничения на

значения, принимаемые латентными и наблюдаемыми переменными соответственно.

В зависимости от затрат, реакции рынка, действий конкурентов и политики, проводимой государством в части поддержки инновационной деятельности научных организаций ее экономический результат будет определяться полученной прибылью (Р).

Основой формирования модели инновационной деятельности научных

организаций будет формализация ее основных составляющих. Выполним ее следующим образом:

2г = 21(1Р1.1, 1Я1.1, 21.1) — объем накопленных знаний в момент времени ?, с учетом предыдущих периодов;

1Рг = 1Рг(ШРг_ь 2г_ь Л) — инновации, находящиеся в стадии разработки (проектирования) в момент времени

Л — параметр, учитывающий неопределенность процессов инновационной деятельности в части разработки новых продуктов и технологий;

1Яг = 1Я1(Я1Я1.1, 1Р1.1, /л) — инновации, находящиеся в стадии вывода на рынок;

/л — возмущения, отражающие неопределенность реакции рынка на технологические инновации;

Я1Рг = ШР^РО, 1Р1.1) — ресурсы, выделяемые на разработку инноваций;

Я1Я1 = Я1Я1(РО1, 1Р, 1Я1.1) — ресурсы, выделяемые на вывод инноваций на рынок;

Д = Д(/Яг, М, Съ а) — доход от инновационной деятельности;

Ыи С — операторы, характеризующие соответственно реакцию рынка и действия конкурентов на инновации;

а — параметр, учитывающий неопределенность ориентации рынка в конкретный момент времени;

Рг = Р{(Ог, £г) — прибыль, полученная от инновационной деятельности;

— параметры, характеризующие политику государства в отношении стимулирования развития инновационной деятельности;

РВг = РО{(Р{, РО1.1, и) — фонд развития инновационной деятельности, основным источником образования которого является накопленная прибыль за прошедшие периоды, объем которой определяется с учетом ставки дисконтирования и>0 [5].

На основании проведенной формализации основных составляющих инновационной деятельности научной организации представим ее экономикоматематическую модель в следующем виде:

RIPt = {ajDP, x (i+a2)IPt.1, DPt >0}, 0 <RIPt <DP;

RIPt = {0, DPt <0}, 0 <RIPt <DPt; (2)

IPt(RIPt, Z) = (1 - A) x (biRIP-i + b2Z-i),

где: A - случайная величина, принимающая значения в пределах[0, 1] с равной вероятностью;

RIRt = {diDPt x (1+ d2IPt+d3IRt-i), DPt >0}, 0 <RIRt < DP-RIP;

RIRt = {0, DPt <0}, 0 <RIRt <DPt-RIPt; (3)

IRt(RIt, Z) = (1 - u) x [qiRIt-i(1 + q2IP-i)],

где: ju — случайная величина, принимающая значения в пределах [0, 1] с равной вероятностью;

Zt(IPt-i, IRt-i, Zt-i) = wiIPt-i+W2IRt-i+w3Zt-i;

Dt = (i- a) {mIRt, mIRt <M(i-c)} (4)

Dt = (i-a){M(i -c), mIRt >Mt(i -c)}

где: a — случайная величина, принимающая значения в пределах [0, 1] с равной вероятностью;

Pt = (i - q) x (Dt - RIPt - RIRt), PDt = (Pt + PD-i): (i+u). (5)

Поскольку параметры модели X, ^, a являются случайными величинами, то в общем случае допустимо принять их распределение в соответствии с равномерным законом. При дальнейших исследованиях это предположение может уточняться в зависимости от конкретных направлений инновационной деятельности.

Таким образом, нами разработана многокритериальная математическая

модель инновационной деятельности научных организаций (2—5) [4, 5].

Интенсивность инновационной деятельности научных организаций определяют параметры модели а1, а2, d1, d2, d3 > 0. Малые значения этих параметров соответствуют незначительной инновационной активности, а увеличение значений этих параметров свидетельствует об активном развитии инновационной деятельности. Неотрицательные значения параметров Ь1, Ь2, д1, д2, характеризуют эффективность инновационной деятельности, а так

же эффекты, вызванные процессами накопления и устаревания знаний. Ожидаемую реакцию рынка на инновации характеризует параметр т>0. Устанавливаемое государством значение ставки налога на прибыль эквивалентно значениям параметра д>0. Конкурентная среда характеризуется параметром с, который может варьироваться в пределах от 0 до 1. При с = 0 конкуренция отсутствует, а при с = 1 уровень конкуренции максимальный. Параметр М1=рМ{-1 — характеризует уровень текущего потенциала рынка для вывода и реализации инноваций. Параметр р определяет тенденции развития рыночной ситуации под воздействием инновационных продуктов и технологий. При (р>0) рынок имеет тенденцию к повышению, а при (р<0), наоборот, к понижению [5].

Задачи, решаемые в сфере управления инновационной деятельностью научных организаций, сложны и разнообразны. Их объединяет то, что в качестве исходных данных используется различное количество оцениваемых критериальных показателей, которые характеризируются структурируемой совокупностью разнородных признаков. Многочисленность критериальных показателей неизбежно приводит к проявлению неопределенности субъективной, нечеткой природы, которая не может быть описана в привычном вероятностном смысле. На этом основании можно сделать вывод, что модель (2—5) обладает рядом специфических особенностей, а именно:

• она является многокритериальной;

• критерии и показатели в большинстве случаев носят качественный характер;

• критерии и показатели неравнозначны между собой;

• в процессе оценки критериев и показателей необходимо учитывать мнение различных экспертов;

• оценочные критерии и показатели, характеризирующие исследуемый объект, имеют выраженную иерархическую структуру, когда отдельные критерии верхнего уровня агрегируются на основе частных критериев нижнего уровня и т. д.

Указанные особенности предопределяют необходимость решения многокритериальной модели (2—5) в нечеткой среде и требуют выбора адекватных подходов для оценки эффективности на основе ранжирования оцениваемых объектов, позволяющих учесть нечеткость, качественный характер показателей и лингвистические неопределенности, связанные с формализацией экспертных знаний об инновационной деятельности научных организаций. В этих условиях достаточно эффективным будет применение аппарата нечеткой математики.

Разработка методики многокритериальной оценки эффективности инновационной деятельности научных организаций предполагает наличие следующих элементов: множества альтернатив; множества критериев и

частных показателей для характеристики альтернатив; нормированных шкал для формализации критериев и частных показателей; группы экспертов для выявления коэффициентов относительной важности критериев и частных показателей; согласованной оценки критериев и частных показателей; выбор правил для многокритериальной оценки и ранжирования альтернатив.

Предлагаемый подход к оценке эффективности инновационной деятельности научных организаций базируется на методах принятия решений на основе нечеткой реляционной модели представления знаний [1]. Ее использование позволяет свести процесс принятия решений к задаче выбора наилучшей альтернативы среди возможных, что, в свою очередь, дает возможность проводить ранжирование альтернатив по обобщенному критерию.

Согласно нечеткой реляционной модели представления знаний, если X =

(х1, х2, ..., хп} = {хі, і=1,п} — множество альтернатив, которые подлежат оценке и ранжированию, а К = (к1, к2, ..., кт} = {к-, -=1,т} — множество критериев для их характеристики, то степень соответствия альтернативы хі критерию к-представляется функцией принадлежности Чк-(х) [0,1], т.е. Чк-(хі) : X хК

[0,1] [8].

Пусть в нашем случае в качестве альтернатив инновационной деятельности научных организаций рассматриваются варианты Х= (х1, х2, ..., хп} = {хі, і=1,п }, каждый из которых характеризируется множеством

неравнозначных критериев К = (к1, к2, ..., кт} = {к-, -=1,т}. При этом, каждый критерий К, входящий в множество критериев К, в свою очередь, характеризуется подмножеством частных критериев, т.е. К = (к-1, к-2, ..., к-Т} = {к)ъ ї=1,Т}, причем элементы этих подмножеств также неравнозначны.

Нашей целью является получение по результатам оценки эффективности инновационной деятельности научной организации систематизированного списка ее вариантов, ранжированного от худшего к лучшему: Х: К Х, где Х

— систематизированный список вариантов многокритериальной оценки эффективности инновационной деятельности научной организации.

Для решения задачи будем считать, что

{—хі), —хі), ..., (Рщ(х)}= {(Ркц(хі), t=1,T,j=1,m} (6)

функции принадлежности альтернативы хі частным критериям

Ць kj2, ..., Цт и {Щь Щ2, ■■■, ЩТ} = {щ- , =1,Т} (7)

коэффициенты относительной важности этих частных критериев. При этом для всех частных критериев к-1, к-2, ..., к-Т, характеризирующих критерий К-,

Т

удовлетворяется условие = 1.

г=1

Само решение задачи сводится к выполнению следующих шагов [8]:

1. С помощью агрегирования критериев и частных показателей нижнего уровня оценивается каждый критерий верхнего уровня [12], т. е. на основе (6) и (7) построением свертки частных критериев ку1, ку2, куТопределяется функция

принадлежности альтернативы х обобщенному критерию Ку, {=1,т} (см.

Т

табл. 2): рф^ = (х,.).

г=1

Таблица 2.

Определение функции принадлежности альтернатив xl {l=1,n} критериям .______________,______________Kj {i=1,m}______________________________

Альтер- нативы к

Ki Km

k11 kiT KMi KMT

X X1 Pkii(xi) PkiT(Xi) PkMi(Xi) PkMT(Xi)

Xi Pkii(Xi) PkiT(Xi) PkMi(Xi) PkMT(Xi)

xn pki i (xn) pkiT(xn) pkMi (xn) pkMT(xn)

Pki(Xi), {i=i,n} PkM(Xi), {i=i,n}

Таблица 3.

Определение функции принадлежности альтернатив Хі {=1,п} обобщенному критерию K на основе функции принадлежности __________________альтернатив критериям__________________

Альтер- нативы K

Ki Kj Km

X xi PKi(xi) PKj(Xi) Pkm(xi)

Xi pKi(xi) PKj(xi) pKM(xi)

xn pKi (xn) pKj(xn) pKM(xn)

Pk(xі), i=i,n

2. Выбирается альтернатива, у которой степень принадлежности обобщенному критерию K будет максимальной: p(x*) = max {pK(xi), i=1,n}, где n — число альтернатив. Выбранная альтернатива является «наилучшей» и

будет занимать первую позицию в ранжированном списке альтернатив инновационной деятельности научной организации (см. табл. 4).

Таблица 4.

_______Ранжированный список альтернатив от худшего к лучшему__________

Альтернативы К

X * X (Ркі(хі)

XI (ркі(хі)

хр рК1(хп)

Очевидно, что альтернатива с самой низкой оценкой будет занимать последнюю позицию в списке альтернатив, ранжированном от лучшего к худшему. Для такой альтернативы X е Х (р(хр) степень принадлежности обобщенному критерию будет минимальной: (р(хр) = тт {(рк(х), 1=1,Ы}.

Для оценки и ранжирования альтернатив на основе предложенного метода необходимо определить коэффициенты относительной важности критериев, характеризующих альтернативы, и их частные показатели, а так же функцию принадлежности альтернатив частным показателям, т. е. степень удовлетворения альтернатив частным показателям.

Для определения коэффициентов относительной важности критериев и их частных показателей может быть использован метод экспертной оценки, например, по 10-балльной системе [2], или метод попарного сравнения одновременно рассматриваемых критериев [10].

Для определения функции принадлежности альтернатив частным показателям реализуется математическая формализация частных показателей. Необходимость оперирования с информацией как количественной, так и качественной природы обусловила использование для формализации частных показателей элементов теории нечетких множеств. Такой подход позволяет снять неопределенность и работать с неполной и неточной информацией как качественного, так и количественного характера. По сути человек при восприятии информации не пользуется конкретными числами, а переводит их в

понятия значений лингвистической переменной. Использование нечетких словесных понятий (мало, много, значительно, несколько, большинство и т. д.), которыми оперирует человек, дает возможность ввести в рассмотрение качественные описания и учесть неопределенность решаемой задачи, достигнуть полного описания тех факторов, которые не поддаются точному количественному описанию. При этом значение лингвистической переменной описывается функцией принадлежности, которая индивидуальна для каждого отдельного человека.

Для определения степени удовлетворения альтернатив частным показателям, т.е. функций принадлежности альтернативы х частным критериям к]1, к]2, к]Т , где К] = { к]1, к]2, к]Т} = {к]Ъ 1=1,Т}, каждому элементу

подмножества критериев К] присваиваются качественные градации, соответствующие принятым лингвистическим оценкам и определяются их нечеткие соответствия.

Затем члены экспертной группы для каждой градации определяют значения индивидуальных нечетких оценок из соответствующей области определения, входящей в интервал [0,1]. Объединение индивидуальных оценок отдельных экспертов в единую коллективную оценку определяет окончательную нечеткую оценку градаций. Обычно в качестве правила объединения принимают пересечение нечетких подмножеств, служащих индивидуальными оценками отдельных экспертов. Полученное нечеткое множество выражает количественную оценку изучаемого варианта оценки эффективности инновационной деятельности научной организации [12]. При этом объединение индивидуальных экспертных оценок в коллективную производится не по правилу пересечения нечетких множеств (выбирается минимальная из оценок) или по правилу их объединения (выбирается максимальная из оценок), а представляет собой некоторую новую операцию над такими множествами, а именно их согласованный выбор [7]. Согласно такому подходу итоговую индивидуальную оценку выбирает специальный «наиболее квалифицированный» эксперт. Очевидно, что такой эксперт в

каждой точке области всех полученных альтернатив выберет в качестве меры принадлежности точки коллективной оценки ту из высказанных экспертами мер ее принадлежности индивидуальным оценкам, которая в общем случае равно удалена от крайних оценок и занимает некоторое «среднее» положение.

В результате проведенных исследований предложены новый подход, математический инструментарий и модель инновационной деятельности научных организаций в условиях рыночной конкуренции, а так же методика многокритериальной оценки ее эффективности. Выполнена формализация основных составляющих инновационной деятельности научных организаций с учетом параметров воздействия внутренней и внешней среды, особенностей накопления и устаревания знаний, вариантов использования новых технологий, стимулирования государством повышения активности инновационной деятельности научных организаций. Предложенные для многокритериальной оценки эффективности инновационной деятельности модель и методика могут использоваться научными организациями при наличии системы критериальных показателей оценки и определении их весовых значений с использованием соответствующих методов.

Исследование выполнено при финансовой поддержке Российского фонда фундаментальных исследований, проект № 12-06-00237а.

Список литературы:

1. Аббасов А.М., Мамедова М.Г. Методы организации баз знаний с нечеткой реляционной структурой. — Баку: Элм, 1997. — 256 с.

2. Варфоломеев В.И., Воробьев С.Н. Принятие управленческих решений. — М.: Кудиц-образ, 2001. — 288 с.

3. Инновационное развитие: экономика, интеллектуальные ресурсы,

управление знаниями. / Под ред. Б.З. Мильнера. — М.: ИНФРА-М, 2009.

— 624 с.

4. Ларин С.Н., Жилякова Е.В. Моделирование взаимодействия участников

инновационной деятельности. // Экономический анализ: теория и

практика, 2013, № 11 (314). С. 52—58.

5. Ларин С.Н., Жилякова Е.В. Формализация составляющих инновационной деятельности и разработка обобщенной модели взаимодействия ее участников. // Материалы VIII Международной научно-практической конференции «Стратегические вопросы мировой науки — 2013» (07— 15.02.2013). — Przemysl, Польша: Sp. z o.o. «Nauka I studia».

6. Ларин С.Н., Жилякова Е.В. Организационные структуры и интеграционные формы науки и бизнеса как фактор стимулирования инновационной деятельности на региональном уровне. // Национальные интересы: приоритеты и безопасность, 2012, № 19 (160). С. 17—28.

7. Левин В.И. Новое обобщение операции над нечеткими множествами // Известия Академии Наук. Теория и системы управления. — 2001. — № 1.

— С. 143—146.

8. Мамедова М.Г., Джабраилова З.Г. Методы и процедуры принятия решений, получения и анализа экспертных знаний в системе оценки кадрового потенциала НИУ. // Вестник компьютерных и информационных технологий. — 2007. — № 11. — С. 42—47.

9. Оценка эффективности научной, научно-технической и инновационной деятельности. / Под ред. Шайбаковой Л.Ф., Рожковой М.А. — Екатеринбург: УрГЭУ, 2007. — 384 с.

10. Россия в цифрах. 2012: Краткий статистический сборник. / Росстат — M., 2012. — 573 с.

11. Ротштейн А.П., Штовба С.Д. Нечеткий многокритериальный анализ вариантов с применением парных сравнений. // Известия Академии Наук. Теория и системы управления. — 2001. — № 3. — С. 150—154.

12. Севестьянов П.В., Дымова Л.Г., Каптур М.А., Зенькова А.В. Методика многокритериальной иерархической оценки качества в условиях неопределенности // Информационные технологии. — 2001. — № 9. — С. 10—13.

13. Bellman R., Zadeh L.A. Decision — makingin fuzzy invironment. //

Mamgement Science. — 197Q. — Vol. 17. — P. 141—164.