CC BY
48Ю.П. Адлер «ОЦИФРОВАННЫЙ» УЧЕНЫЙ
Иные, по живому следу, Пройдут твой путь за пядью пядь, Но пораженья от победы Ты сам не должен отличать.
Борис Пастернак
Ключевые слова: цитирование; его возможности и ограничения; ранжировки; рейтинги.
Keywords: citation; its possibilities and restrictions; ranking; rationg;
Аннотация: В статье обсуждается проблема оценивания работы ученого и аргументируется точка зрения, согласно которой такая оценка для отдельного ученого не только не имеет смысла и некорректна, но еще и научно несостоятельна.
Abstract: This paper deals with the estimation of scientific work and discusses the point of view that it is not only nonsense for a single person but not correct from the scientific position.
Время от времени люди придумывают что-нибудь интересное и полезное. Так, собственно, и происходит движение вперед. Но обязательно находятся другие люди, которые стараются обратить достижения во вред. Может быть, самый яркий пример недавнего времени - компьютерные вирусы. Причем, конечно, это всегда делается из самых добрых побуждений. Именно это случилось и с прекрасной идеей, о которой я попытаюсь рассказать в этой работе.
В 1962 г., когда я писал свою кандидатскую работу, мой учитель, руководитель диссертации и начальник в ГИРЕДМЕТе,
куда я поступил на работу по окончании института в сентябре 1960 г., В.В. Налимов как-то сказал мне, что Ю. Гарфилд из США придумал новый метод поиска литературы с помощью изучения пристатейных ссылок и что уже на следующий год начнет выходить специальный указатель ссылок. Это было очень кстати: работа над обзором литературы продвигалась гораздо медленнее, чем хотелось. Оказалось, что В.В. Налимов переписывался с Ю. Гарфил-дом, и тот стал присылать нам квартальные выпуски Индекса. Он назывался Science Citation Index (SCI) - «Индекс научных цитат». Его издавал специально созданный в Филадельфии Ю. Гарфилдом Институт научной и технической информации.
Работа с Индексом открывала совершенно новые возможности. Как раз в это время начала выходить трехтомная монография Б.М. Кедрова «Классификация наук» [13]. В ней содержалась интересная идея: поставить в центр всех наук психологию, поскольку она присутствует с неизбежностью в науках о природе (естествознании), науках об обществе и в науках о мышлении (философии), но мне это не подходило. Я занимался «планированием экспериментов», а оно пыталось «засунуть свой нос» всюду. Приходилось искать работы во всех разделах «Десятичного классификатора», который использовался в больших библиотеках, но и это не помогало. А вот Индекс - совсем другое дело. Если вы можете составить список ведущих специалистов по интересующему вас вопросу, то достаточно найти в Индексе те работы, в которых они цитировались, и вы сразу становитесь счастливым обладателем богатого улова работ, большинство из которых будет вам интересно. Более того, если в этом улове попадутся фамилии других исследователей, которые часто встречаются, значит, в начальный момент вы знали не всех лидеров. Их надо добавить в исходный список и повторить поиск. Конечно, вылавливается не все, где-то около 90%. Но это же грандиозный результат. И он получается в счита-ные минуты. Несомненно, Индекс - прорывная идея, в чем я убедился впервые в 1963-1964 гг. и много раз убеждался на протяжении своей жизни.
Мой интерес к Индексу концентрировался, прежде всего, вокруг планирования эксперимента. Вот примеры: [1], [2]. Отмечу еще работу Ю.В. Грановского [7], выполненную в том же «незримом коллективе». Нет смысла цитировать в этой работе все наши многочисленные публикации, которые касались библиографий и обзоров по планированию эксперимента и, в частности, публикаций журнала «Заводская лаборатория». Оставим это для другого
раза. Но стоит отметить, что со временем совершенствовались сами методики поиска библиографической информации. Так, в 2013 г. в Университете Мейдзи в Японии была защищена диссертация, автор которой использовала интересный, новый для меня прием [25]. Автор имела дело с материалом, методом и измерительной системой. Она провела поиск с помощью Индекса в трех направлениях. В каждом из них обнаружились тысячи работ, так что их прямой анализ был невозможен. Но найдя пересечение трех массивов, автор обнаружила всего 19 работ, входящих в каждый из трех массивов. Именно на этом множестве она и сделала обзор для своего исследования.
Есть и еще одно ощущение, которое породила работа с Индексом. Стало понятно, что у публикации в принципе нет срока давности. Она может сколь угодно долго дожидаться своего «звездного часа», того момента, когда она будет процитирована. Гомер или Данте, Аристотель или Ньютон не спеша ждут своего часа, момента, когда они снова становятся участниками теперь уже нашей текущей жизни. И не важно, цитировал ли их кто-нибудь еще. Вот здесь-то и осуществляется связь времен. Шекспир ошибался. Она не может прерваться, пока существует цитирование. Как говорил Гарфилд, «цитирование служит валютой, которой исследователь выплачивает долги предшественникам» [5].
Когда стало ясно, что Индекс - дело стоящее, естественно, возник интерес к его автору, происхождению и предтечам. Первая публикация об Индексе появилась в 1955 г. [26]. Поводом для размышлений об Индексе послужили работы Д. Прайса [18], который описал механизм стремительного роста знаний, выражаемых в публикациях. Он показал, что последние 300 лет (до середины XX в.) число публикаций неуклонно росло с удвоением примерно каждые 10-15 лет. Причем ни войны, ни революции не оказывали на этот процесс существенного влияния. Сначала рост слегка замедлялся (до 6% от ожидаемой экспоненты), но затем он неизменно возвращался к прежней скорости, задаваемой той же экспонентой. Как показал В.В. Налимов [15], экстраполяция этого закона ведет к абсурду, а это значит, что должен измениться сам закон. Вряд ли человечество может себе позволить снижение скорости прироста знаний, поэтому должны появиться компенсаторные механизмы, призванные ослабить роль снижения скорости роста числа публикаций. Но проблема поиска библиографической информации не станет от этого более простой.
С расширением использования индекса стал актуальным вопрос о том, как рост числа публикаций связан с ростом объема знаний. Конечно, это не одно и то же. Есть масса самых разных примеров. Так, например, в 1923 г. У. Шухарт в США опубликовал пионерную работу, в которой была предложена контрольная карта, получившая позже его имя. Она вызвала мощный поток публикаций (порядка 5 тыс. за 90 лет), многие авторы которых ошибочно поняли мысль У. Шухарта. Несли ли эти работы меньше информации, чем начальная работа, которая их породила? Это вопрос не к Индексу. Индекс, собственно, исходит из того, что, начитавшись слабых и ошибочных работ, вы, возможно, найдете, наконец, время, чтобы написать шедевр, который откроет глаза заблуждавшимся авторам или их последователям.
Литература об Индексе, его развитии и модификациях весьма обширна. Сошлемся лишь на первую в мире монографию [16] по наукометрии, давшую имя новому научному направлению, - на книгу [20] и на только что вышедшую монографию [4]. Это избавит меня от необходимости пересказывать то, что уже прекрасно изложено.
Создание Индекса и его дальнейшее совершенствование открывают широкие возможности его использования. Индекс содержит все данные, нужные для анализа информационных потоков. Грех этим не воспользоваться. Раньше эту функцию выполняли аналитические обзоры, которые не утратили своего значения еще и сегодня. Но с ними связаны неизбежный субъективизм и естественная ограниченность знаний исследователя или команды исследователей. Теперь же можно надеяться, что появится инструмент анализа, лишенный этих недостатков. Тем более что стремительно набирает силу новое научное направление, получившее название «Большие данные» [3]. Оно явно собирается «впитать в себя» наукометрические аналитические инструменты, чтобы включить их в более широкий контекст. Во всяком случае ясно, что с появлением Индекса возможности анализа информационных потоков обрели опору, позволяющую с оптимизмом смотреть в будущее. Такие важные направления исследований, как история науки, социология науки, психология творчества и др., могут теперь опереться на твердые количественные результаты.
Еще одно важное направление - подготовка информации для принятия решений. Здесь мы покидаем чисто научную почву и переходим на гораздо более зыбкую почву менеджмента. Решения принимаются, как известно, для того чтобы претворять их в жизнь.
Значит, надо организовать работу людей, наладить их взаимодействие. Для этого и государство, и владельцы бизнесов нанимают специальных людей, которых на современном жаргоне называют менеджерами. Считается, что этих людей специально обучают, готовят к такой сложной деятельности. И так происходит уже не одно столетие. Все было бы хорошо, если бы не одно неприятное обстоятельство. Дело в том, что время от времени внезапно меняются правила, которым должны следовать менеджеры. Это называется «научно-технической революцией» или сменой хозяйственных укладов. В принципе ясно, что у этого явления есть определенные побудительные мотивы. Кое-что о них мы знаем. Это, например, следствие того, что принято называть «научно-техническим прогрессом». Кроме того, со временем меняются предпочтения потребителей, что тоже сдвигает сложившуюся парадигму. Все перемены накапливаются исподволь, незаметно и случаются вдруг. Так случилось, что мы оказались в начале очередного перехода к новой парадигме.
Мне понадобилось это отклонение от темы, чтобы сказать, что правила менеджмента изменились радикально. Это относится и к правилам принятия решений. Изменились одновременно и отношения между людьми в организациях. Поэтому приходится продолжать это описание. В классическом менеджменте сложилась такая схема: босс дает задание (уж он-то знает, что надо сделать!) и сообщает о размерах материального вознаграждения в случае успеха, а также о наказании в случае неудачи. Это называется «мотивацией». А в народе говорят: «Метод кнута и пряника». Этот метод служил менеджерам верой и правдой много веков. Трудно поверить, что он перестанет эффективно работать в скором будущем, но все указывает на то, что его дни сочтены. Почему? Потому, что в прошлом задачи сотрудников имели по преимуществу алгоритмическую природу и обычно были связаны с использованием физической силы. Выяснилось [17], что если работа имеет именно такой характер, если о вознаграждении стороны договорились заранее и если начальство не вмешивается в саму «технологию работы», то размер материального вознаграждения может влиять на эффективность и качество результатов. В силу естественного прогресса доля таких работ быстро сокращается, а для некоторых видов деятельности она просто равна нулю. Прежде всего, это утверждение верно для ученых. В таком случае босс уже не знает ни что надо делать, ни тем более как. В лучшем случае он видит контуры желанного результата, и только.
Значит, если внешняя мотивация и играет какую-то роль, то это роль второстепенная. Остается обратиться к мотивации внутренней, которая много веков назад была вытеснена, поскольку считалось, что проще заставлять людей работать, пользуясь безвыходностью их положения. И это работало. Очередная смена парадигм приготовила нам сюрприз. Теперь заставлять и принуждать бессмысленно, приходится договариваться («Согласие есть продукт при полном непротивлении сторон», - говорили Ильф и Петров в «Двенадцати стульях»). Неудивительно, что появились серьезные исследования, стремящиеся выявить возможности и условия существования в новой ситуации. Одно из ключевых исследований осуществил Михай Чиксентмихайи [21; 22; 24], создавший концепцию «потока». Он создал свою идею, наблюдая за детскими играми. Когда ребенок увлечен своей игрой, он не реагирует ни на какие предложения, даже самые соблазнительные: поесть что-нибудь вкусненькое или пойти погулять. Это погруженное состояние Михай назвал «состоянием потока». Оказалось, что именно в таком состоянии человек наиболее продуктивен, здесь у него максимальный КПД. Осталось приладить поток к работе организации. Понятно, что в таком случае задачей менеджмента становится создание таких условий на рабочих местах, которые способствовали бы погружению сотрудников в состояние потока. Позже обнаружилось, что практически аналогичные результаты достигаются в некоторых восточных практиках медитации [11]. Но это ничего не меняет, разве что расширяет наши возможности за счет техник групповой медитации. Вот где Восток встречается с Западом.
В названии книги Далай-Ламы [11] использовано слово «счастье». Это не случайно. Достойная работа должна доставлять удовольствие и приносить радость. К этой мысли пришел и Э. Деминг [8], двигаясь с другой стороны, изучая менеджмент качества. Он любил говорить, что счастливый сотрудник - самый выгодный для всех заинтересованных сторон: он работает лучше всех, создает проблем меньше всех, расходует ресурсы аккуратно, ищет возможности для улучшения постоянно. Можно ли обеспечить это с помощью кнута и пряника?
Важный вклад в развитие представлений о том, как строить отношения с людьми в любой организации, внес Т. Голви [6]. Он ввел представление о вмешательстве. Получается, что у любой работы есть три обязательных компонента. Это результат, обучение и удовольствие (радость). Если отсутствует любой из этих компонен-
тов, то работа превращается в тяжелую обузу, от которой хочется избавиться как можно скорее. Как же возникает результат работы?
Результат = потенциал - вмешательство.
Эту формулу можно считать важным открытием. Понятно, что потенциал у каждого свой. Он зависит от многих обстоятельств. Вот если бы не вмешательство! Приказы, проверки, систематический контроль - все это примеры вмешательства. Вопреки распространенному мнению они, оказывается, не помогают выполнению работы, а существенно мешают ее успеху. Вмешательство подрывает доверие, провоцирует страхи, более того, оно неизбежно вызывает сопротивление. Вот что говорит Т. Голви: «Человеческому существу свойственно сопротивление вторжению в его пределы, и если сопротивление не выражено непосредственно, оно будет проявляться косвенно. Как бы то ни было, сопротивление разрушительно действует на желаемый результат» [6, с. 33]. Для менеджмента из этого следуют многочисленные выводы.
Как же надо действовать менеджеру, чтобы учесть все, что я перечислил выше? На этот вопрос прекрасно отвечает книга Д. Майрика [14]. В ней изложены пять простых принципов лидерства (принципов построения отношений между руководством и сотрудниками).
- Дай им почувствовать, что ты им признателен.
- Смотри на их потенциал, а не на их недостатки.
- Руководи через авторитет, а не через власть.
- Полюби их первым.
- Дай им почувствовать, что они - часть чего-то особенного.
В русском переводе этой книги термин «лидерство» заменен
термином «руководство», что существенно искажает смысл. Дело в том, что в новом стиле менеджмента нет места «руководителям», «боссам» и прочим начальникам, а есть только лидеры.
Я надеюсь, что теперь понятно, что стремление «руководить» ученым или командой ученых - это атавизм, не имеющий в новых обстоятельствах смысла. Также бессмысленно и «управлять» ученым, используя Индекс, и ранжировать людей и организации. Это я попытаюсь сейчас показать.
Требования, которые предъявляют человеку на работе, конечно, влияют на его поведение. Особенно важную роль играют цели. И с ними царит полная неразбериха. Э. Деминг говорил: «У организации должна быть всегда одна и та же единственная
цель - непрерывное совершенствование всех аспектов данного бизнеса» [9, с. 47]. Этот принцип он называл «принципом постоянства цели». В обыденном сознании рисуется иная картина. Мы видим множество целей, например, перевыполнить план на 5% или открыть элементарную частицу еще в текущем квартале. Большинство таких целей произвольны. Достижение некоторого уровня цитируемости работ некоторого исследователя - прекрасный пример именно произвольной цели. У таких целей много признаков. Один из характерных: нельзя рассматривать в качестве цели то, что не зависит от исполнителя. Можно ли, например, планировать в следующем квартале продать на 20% больше товаров, чем в текущем? Это же абсурд. Но можно обучить продавцов быть более вежливыми с покупателями, думать об их удобствах и т.п. Это, вероятно, приведет к росту продаж, но никто не знает, на сколько процентов. Есть много причин, по которым возникают произвольные цели. Главная - владельцы и высшие менеджеры, которые часто подменяют цели бизнеса целями менеджмента. Дж. Седдон [19] называл такую ситуацию «менеджерской фабрикой». Ясно, что это прямая дорога к банкротству. А менеджменту это часто оказывается выгодным: это дает иллюзию управления, т. е. на самом деле вмешательства, которое, как мы знаем, существенно затрудняет получение результатов.
Таким образом, произвольные цели, как правило, оказываются ложными. Конечно, они могут и не быть ложными, если, например, это требования контракта, который вы подписали с клиентом и, следовательно, обязались выполнить. Тогда каждое конкретное требование этого договора мы должны воспринимать со всей серьезностью.
Кроме того, обычно цели формулируются количественно. Даже международный стандарт в области менеджмента качества ИСО 9000 прямо рекомендует именно количественные показатели. В этом нет ничего плохого, пока измерения результатов не используются для оценивания людей. Как только измерения используются для «управления» людьми, с ними происходит удивительная метаморфоза. Об этом замечательно написал Х. Зиберт [12]. Он рассказал, как много лет назад в Индии выдалось очень жаркое лето, что привело к стремительному размножению кобр. Кобра обычно не нападает на человека, но если человек наступает на нее в траве, она, естественно, обороняется, и ее укус смертелен. Сыворотку надо ввести в течение двух часов. И это не только технически сложно, но еще и дорого. Пылая любовью к вверенному ему народу Индии,
наместник британской королевы распорядился приносить ему шкуры убитых кобр, за которые он был готов щедро платить. Казалось бы, замечательный приказ, проникнутый человеколюбивыми идеями. Однако индийские чиновники, которым было поручено выполнять приказ, рассудили иначе. Ловить кобр - сложное и опасное дело. Специалистов мало, результат заранее неизвестен. Гораздо проще организовать фермы по выращиванию кобр и приносить боссу столько шкур, сколько нужно для безбедной жизни себе и своим близким. Конечно, мы должны с негодованием отвергнуть действия этих безответственных индийских чиновников. Но автор неожиданно обращает наше внимание на то, что это вообще типичная реакция любого нормального человека на ситуацию такого рода. Людям свойственно модифицировать внешние требования так, чтобы им было по возможности максимально удобно и выгодно и чтобы в конечном счете минимизировались их усилия при условии, что боссу будет трудно, да и недосуг разбираться по существу. Для босса это эпизод, а для подчиненных -вопрос жизни и смерти, поэтому нет сомнений в том, кто победит.
Уже давно был открыт закон, который получил имя Гуд-харта [8]. Вот его формулировка в Википедии: закон (принцип) Гудхарта заключается в том, что когда социальный или экономический показатель (КР1) становится целью для проведения социальной или экономической политики, он перестает быть достойным доверия показателем. Таким образом, процесс оценки качества эффективности менеджмента, измеряя такие показатели, может дать ложную (неверную) оценку. Суть в том, что измерение системы обычно нарушает ее. Чем более точно измерение и чем короче для него временной отрезок, тем более неопределенным становится результат.
Этот закон - социологический аналог принципа неопределенности Гейзенберга в квантовой механике. Его создатель - Чарльз Гудхарт, бывший сотрудник Банка Англии и заслуженный профессор Лондонской школы экономики и политических наук. Впервые закон был открыт Гудхартом в 1975 г. и завоевал популярность в связи с попыткой Маргарет Тэтчер провести денежную политику на основе целевых задач для широких и узких денег. Тесно связанные с этим законом идеи часто встречаются под разными названиями, например: закон Кэмпбелла (1976) и критика Лукаса (1976).
Стоит отметить, что в настоящее время Ключевые показатели результатов (КР1) широко распространены во всем мире, и
особенно в нашей стране. Между тем и «эффект кобры», и закон Гудхарта пока еще никто не отменил. Измерение системы меняет систему не только в квантовой механике. Значит, менеджеры будут систематически ошибаться. Как долго? Увы, все сказанное выше целиком и полностью относится к науке, к научным исследованиям, к управлению наукой.
Конечно, оценивание отдельного ученого с помощью Индекса невозможно еще и просто потому, что любой показатель ци-тируемости - это случайная величина, с которой неизбежно связана неопределенность. Одна реализация такой случайной величины не значит ничего, пока нет связанной с ней оценки неопределенности. Поэтому важно при интерпретации использовать подход, известный как «статистическое мышление» [27]. Иначе никакие сравнения просто невозможны. Важно подчеркнуть еще раз, что само по себе измерение совершенно не возбраняется. Камнем преткновения оказывается лишь использование результатов измерения.
С отдельным ученым, мне кажется, все ясно: надо отказаться от нелепых попыток его оценивать с помощью Индекса и заменить такую оценку лидерством руководителей, созданием атмосферы доверия, регулированием материальных отношений, которые не должны быть связаны с оценками результатов деятельности, тем более краткосрочными. Понятно, что любому конкретному ученому трудно отказаться от того, чтобы заглянуть в подходящую поисковую систему и посмотреть, как же цитируются его работы. Пожалуйста. Это не возбраняется. Напротив, как говорил неоднократно В. В. Налимов, таким образом он получит обратную связь и сможет вступить в диалог с активными читателями. Такой анализ может служить основой для самооценки, но только не оценки, имеющей карьерные, имиджевые или материальные последствия. Но Индекс еще используется для построения разного рода ранжировок и рейтингов. И это заслуживает отдельного рассмотрения. Начнем с ранжировок. Обычно под ранжировкой понимают упорядочение некоторого множества объектов по уровням некоторого признака. Это широко распространенная деятельность, не вызывающая сомнений. Такое положение сохраняется до тех пор, пока результаты не используются для принятия управленческих решений, например для распределения каких-либо благ. Если признак, по которому ведется ранжирование, имеет некоторую естественную метрику, то в результатах ранжирования никакой естественной метрики нет. Они оказываются представленными в шкале порядка, где не определено «расстояние» между объектами. Другими словами, мы не
можем корректно ответить на простые вопросы типа: есть ли статистически значимые различия между первым и вторым объектами в ранжированном ряду, или мы не можем их отличить?
Причины такого положения дел связаны с тем, что сами ранжировки возникают в результате тех или иных вариантов парных сравнений [10]. Если мы понимаем ситуацию, можно по крайней мере ее учитывать. Бездумное ранжирование - опасное заблуждение.
Что же касается рейтингов, которыми в последнее время особенно увлекаются высшие учебные заведения повсюду в мире, здесь положение гораздо хуже, поскольку мы тут сталкиваемся с многомерной ситуацией. Попыткам решить эту проблему посвящены многие тома и тьма статей. Но пока вопрос не решен. К проблеме выбора метрики окончательного рейтинга здесь добавляются еще две, гораздо более сложные проблемы. Это проблема согласования метрик разных показателей, которая далеко не тривиальна, и проблема выбора механизма свертки. Речь в данном случае идет о выборе вида формулы, в которую мы могли бы подставить значения всех частных показателей, чтобы получить обобщенный единый параметр. Вот пример исследования и сравнения двух популярных методов построения обобщенного критерия - функции желательности Харрингтона и функции потерь по Тагути [23]. Эта работа показала, что разные механизмы свертки приводят к различным результатам. В итоге такого рода процедуры легко поддаются манипулированию, особенно если от результата зависят значительные блага. На самом деле, манипулируя шкалами и методами свертки, можно на любом множестве объектов получить любой рейтинг. Так что это просто шарлатанство, прикрытое «научными» соображениями. И снова: строить рейтинги и их анализировать -увлекательное занятие. В голову могут прийти замечательные идеи. Только не стоит использовать результаты для принятия решений, затрагивающих интересы людей или организаций.
Автор выражает признательность В. Л. Шперу и Ю.В. Грановскому за полезные дискуссии.
Литература
1. Адлер Ю.П., Грановский Ю.В., Мульченко З.М. Статистический анализ публикаций по планированию эксперимента // Новые идеи в планировании эксперимента / Под ред. В.В. Налимова. - М.: Наука, 1969. - С. 315-334.
2. Адлер Ю.П., Грановский Ю.В. «Возраст зрелости»: 50 лет методологии и практике планирования эксперимента в России. - М.: Издательский дом МИСИС, 2015. - 180 с. - (В печати).
3. Адлер Ю.П., Черных Е.А. «Хорошо бы, хорошо бы нам кита поймать большого», или кому и зачем нужны «Большие данные» («Big Data»). - М.: МИСИС, 2015. - 58 с. (в печати).
4. Акоев М.А., Маркусова В.А., Москалева О.В., Писляков В.В. Руководство по наукометрии: Индикаторы развития науки и технологии. - Екатеринбург: ИПИ УрУФ, 2015. - 250 с.
5. Гарфилд Ю. Можно ли выявлять и оценивать научные достижения и научную продуктивность? // Вестник АН СССР. - М., 1982. - № 7. - С. 42-50.
6. Голви Т. Работа как внутренняя игра: Фокус, обучение, удовольствие и мобильность на рабочем месте / Пер. с англ. - М.: Альпина Бизнес Букс, 2005. - 253 с.
7. Грановский Ю.В. Наукометрический анализ информационных потоков в химии. -М.: Наука, 1980. - 141 с.
8. Закон Гудхарта // Википедия. - Режим доступа: https://ru.wikipedia.org/wiki/ %C7%E0%EA%EE%ED_%C3%F3%E4%F5%E0%F0%F2%E0
9. Деминг Э. Выход из кризиса: Новая парадигма управления людьми, системами и процессами / Пер. с англ.; Науч. ред. Ю. Рубаник, Ю. Адлер, В. Шпер. - М.: Альпина Бизнес Букс, 2007. - 370 с.
10. Дэвид Г. Метод парных сравнений / Пер. с англ. Н. Космарской и Д. Шмер-линга; Под ред. Ю.П. Адлера. - М.: Статистика, 1978. - 175 с.
11. Его Святейшество Далай-Лама, Катлер Г. Искусство быть счастливым на работе / Пер с англ. - М.: София, 2007. - 256 с.
12. Зиберт Х. Эффект кобры. Как можно избежать заблуждений в экономической политике / Пер. с нем. под ред. П.И. Гребенникова. - СПб.: Издательство СПб Гос. Университета экономики и финансов, 2003. - 244 с.
13. Кедров Б.М. Классификация наук: В 3-х томах. - М.: Изд. ВПШ и АОН при ЦК КПСС, 1961. - Т. 1. - 472 с.
14. Майрик Дж. Кораблестроитель: Пять древних принципов руководства / Пер. с англ. - Ростов-на-Дону: Феникс, 2006. - 96 с.
15. Налимов В.В. Диагноз прогнозу // Знание - сила. - М., 1972. - № 11. - С. 26-27.
16. Налимов В.В., Мульченко З.М. Наукометрия. - М.: Наука, 1969. - 192 с.
17. Пинк Д. Драйв: Что на самом деле нас мотивирует / Пер. с англ. - М.: Альпина Паблишер, 2013. - 274 с.
18. Прайс Д. Малая наука, большая наука // Наука о науке: Сб. статей / Пер. с англ. Под общ. ред. и с пред. В.Н. Столетова. - М.: Прогресс, 1966. - С. 281-384.
19. Седдон Дж. Свобода от приказов и контроля. Путь к эффективному бизнесу / Пер. с англ. А. Л. Раскина; Под науч. ред. Ю.П. Адлера. - М.: РИА Стандарты и качество, 2009. - 232 с.
20. Хайтун С. Д. Наукометрия. Состояние и перспективы. - М.: Наука, 1983. - 344 с.
21. Чиксентмихайи М. Поток. Психология оптимального переживания / Пер. с англ. -М.: Альпина нон-фикшн, 2012. - 461 с.
22. Чиксентмихайи М. В поисках потока. Психология включенности в повседневность / Пер. с англ. - М.: Альпина нон-фикшн, 2012. - 194 с.
23. Adler Y., Stasova G. Comparison between the Desirability function by E.C. Harrington and the Loss function by Genichi Taguchi: 10 th ANQ congress proceedings. - Hong Kong, 2012. - P. 977-983.
24. Csikszentmihalyi M. Good business. Leadership, flow, and the making of meaning. -L.: Penguin Books, 2003. - 244 p.
25. Dolah R.B. On the development of measurement system using robust design engineering based on peel strength measurement. - Tokyo: University Meidji, 2013. - 166 p.
26. Garfield E. Citation indexes for science: A new dimension through association of ideas // Science. - Wash., 1955. - Vol. 122, N 3159. - P. 108-111.
27. Hoerl R.W., Snee R.D. Statistical thinking: Improving business performance. -Duxbury: Thomson Learning, 2002. - 526 p.
