CC BY
47
УДК 001.8 + 37.01 ББК Ю25 + 430в 04
ОБУЧЕНИЕ ИСКУССТВУ ОБРАБОТКИ ИНФОРМАЦИИ ОБ АНАЛИЗИРУЕМОМ ОБЪЕКТЕ НА ОСНОВЕ РАСКРЫТИЯ
ЕГО ОСОБЕННОСТЕЙ
С. Е. Раменский, Г. П. Раменская,
В. С. Раменская
Ключевые слова: обучение; имидж; самоорганизация; системный подход; информативность характеристик; моделирование; интуиция; искусство; статистические методы; теория распознавания образов; кластерный анализ.
Резюме: а статье говорится о статистических методах проведения глубокого анализа материала, который должен проводиться на основе представлений исследователя об определяющих с точки зрения поставленной задачи характеристик изучаемого явления или процесса. Конструирование в сознании аналитика образа предмета исследования обычно происходит с использованием метода аналогий, выработанные гипотезы впоследствии проверяются с помощью средств математики. Во время проведения математической обработки возникает эмерджентная система «модель - исследуемый материал». Совпадение предположений, свойств математической модели, природы изучаемых с ее помощью данных, закономерностей развития модели с тенденциями изменений реальных объектов приводит к большой надежности прогноза, к увеличению горизонта прогнозирования.
... Мастера тоже ободряют:
- В аккурат-де по чертежу. Придраться не к чему. Чисто сработано. Лучше не сделать, да и скоро ...
Данилушко слушал-слушал, да и говорит:
- То и горе, что похаять нечем. Гладко да ровно, узор чистый, резьба по чертежу, а красота где? ... А где, спрашиваю, красота камня? Тут прожилка прошла, а ты на ней дырки сверлишь, да цветочки режешь. На что они тут? Порча ведь это камня. А камень-то какой! Первый камень! Понимаете, первый!
П. П. Бажов «Малахитовая шкатулка» [1, с. 71]
«Мы статистику уже знаем, мы ее проходили в компьютерном варианте», - такое заявление, почти слоган, неоднократно слышал один из авторов этой статьи в начале проведения занятий у будущих магистров V курса. Стандартные расчеты, которые имеют в виду студенты, часто выполняются в условиях производства, и было бы нелепо отрицать необходимость применения компьютера в случаях вульгарной обработки материала методами, требующими больших вычислений.
Допустим (хотя это не столь очевидно), что прошедшие обучение с помощью компьютера знают предположения, использованные при создании той или иной статистической модели, и, как следствие, особенности ее применения. Повторяющаяся в режиме мониторинга обработка данных может быть оправдана, если получаемые результаты удлиняют соответствующий времен-
ной ряд, из сравнения уровней которого получают дополнительную информацию, в том числе прогноз.
Однако без должного внимания или в силу привычки можно не увидеть появление нового качества в величинах признака и по этой причине сделать неверные выводы. Сомнения в правильности подхода возникают, если исследователь еще до начала обработки принципиально новых данных знает, какие статистические методы, в каком порядке будет в дальнейшем применять для решения поставленной задачи, и не отступает, если не меняется задача, от намеченного плана.
В определенной степени такой упрощенный, «априорный» подход обусловлен особенностями традиционного обучения в высшей школе. Поиск наилучшего способа описания исследуемого явления или процесса путем творческого перебора вариантов обычно не описывается в литературе. История получения, оценки информации, как правило, не освещается или рассматривается обобщенно, отдельно от основного курса как история парадигмы в вводной части учебника или в специальных курсах, таких, как «История экономических учений». У студентов создается впечатление, что модели, образы возникают сразу в завершенном виде. Разовые попытки конструирования эффективной, готовой к использованию модели закономерно заканчиваются неудачей, что обескураживает начинающих и часто сводит на нет желание применять методы моделирования.
Если преподаватель читает около двух десятков математических дисциплин, имеет минимум времени работы со слушателями в аудитории («в рамках учебного плана»), то он естественно будет стремиться научить студентов применять хотя бы обычные методы статистики. Особенно в жесткий цейтнот он попадает, преподавая заочникам или студентам, проходящим сокращенное обучение. Учебники, учебные пособия, методические разработки также не учат «прислушиваться к материалу». Это приводит к массовой подготовке специалистов, сути которой соответствует лозунг: «Дешевле, быстрее, проще, с удовлетворительным качеством». Авторы данной публикации считают, что при обучении студентов старших курсов, будущих магистров (а значит, и научных работников) необходимо менять подобную установку.
В качестве одного из последних методов систематизированного свертывания информации можно рассмотреть разработку сбалансированной системы показателей. М. Г. Браун, автор монографии, посвященной описанию этого метода, анализирует работу компании, сотрудники которой создавали специальные программы обучения для корпоративных клиентов. Фирма установила норму, согласно которой каждый работник должен был написать 10 страниц в день. Норма обычно выполнялась. Но не было способа объективно оценить качество текста, в том числе его простоту, доступность, корректность. «Качество написания инструкций - это нечто, подлежащее субъективной оценке» [5, с. 36].
Аналогично специалист по статистическим методам обработки данных на простейший вопрос, например такой: «Как оценить достоверность существования связи между признаками?» - может ответить: «В общем случае не знаю», - и вызывать тем самым недоумение. Ведь, кроме обычных критериев, описанных в учебниках, можно использовать оригинальные, вплоть до основанных на пространственной неоднородности процесса, или, по образному
выражению Я. Чернихова, на «пространстве времени»1 (более подробно
см. [21]). Принципиально важно, что подбор статистических методов определяется особенностями анализируемого материала, которые выявляются в процессе самой обработки. Это более глубокий статистический анализ, в основе которого лежит восприятие, «раскрытие души» материала. По нашему мнению, это то, чем в идеале должны заниматься научные работники, в том числе будущие магистры, на поисковом этапе обработки данных, когда предстоит выяснить, какие явления, процессы отражаются в них.
Таким образом, наиболее приемлемой является схема «мягких систем»: возможно несколько решений, но выбор только некоторых из них наиболее эффективен. Авторы считают, что во время проведения математической обработки при активном использовании особенностей данных можно говорить о системе «модель - исследуемый материал» и об эмерджентности этой системы. Эмерджентность состоит в том, что система имеет дополнительные свойства, которые отсутствуют у отдельных ее частей. Логично предположить, что чем больше эмерджентность, тем выше организованность системы.
В случае достаточно большого совпадения предположений, свойств математической модели и природы изучаемых с ее помощью данных закономерности функционирования, развития модели могут совпадать с тенденциями изменения реальных объектов, что приводит к большой надежности прогноза, увеличению горизонта прогнозирования. Аналогично может возникать резонанс между развитием нематериальных, но реальных систем (например, имиджа) и материальных феноменов (например, поведением социума). Таким образом, можно говорить о «самореализации прогноза» с обеспечением последнему дополнительной силы.
С позиций теории и практики перспективен поиск общих закономерностей для описания систем разной природы. «Системные законы проявляются в виде аналогий... т. е. законов, представляющихся формально идентичными, но относящимися к совершенно разным явлениям» [3, с. 52]. Именно аналогии (в меньшей степени, гомологии) обеспечивают большие перспективы применения системного анализа. Используя тезис о существовании общих закономерностей, можно формулировать гипотезы, предполагать возможность применения закономерностей, которые должны быть затем проверены.
Гр. Бейтсон писал «о смутном мистическом чувстве», которое состоит в том, что «следует искать один и тот же вид процессов во всех областях естественных феноменов». Более корректно эту мистическую веру он выразил следующим образом: «Типы ментальных операций, полезные при анализе обычной области, могут быть в разной степени полезны и при анализе другой; скорее структура (эйдос) науки, нежели структура природы, является той же самой во всех областях» [2, с. 106].
Японский архитектор Седзе Ушии считает, что «природа бывает внешняя и внутренняя. Внешняя - это то, что вокруг. Внутренняя - это человек. Задача архитектора их соединить» [19, с. 39]. В объединении внешнего и внутреннего мира человека большую роль играет подсознание.
1 Яков Чернихов (1889-1951) - русский архитектор. Выражение использовано им в кн.: «Основы современной архитектуры» (1929-1930) // Я. Чернихов, 2005.
Специалисты по паблик рилейшинз считают, что поступки людей на 3/4 обусловлены действием подсознания и только на 1/4 - сознанием. Как писал Г. Гегель, «инстинкт разума дает почувствовать, что то или иное эмпирически найденное определение имеет свое основание во внутренней природе или роде данного предмета, и он в дальнейшем опирается на это определение» (цитата по [11, с. 164]). По нашему мнению, целенаправленные действия по усилению влияния подсознания оказываются эффективными не только для архитекторов или РЯ- специалистов, но и для представителей всех других творческих профессий, в том числе для преподавателей и научных работников [22].
Имиджмейкер Г. Г. Почепцов связь между реальным событием и его отражением в индивидуальном и массовом сознаниях рассматривает как соотношения трех образований, каждое из которых находится на своей плоскости - одной из трех параллельных [20].
На первой плоскости расположены феномены «реального мира», сведения о которых воспринимаются отдельными людьми.
Вторую плоскость занимает «мир информации». На этой плоскости отражаются события и процессы действительности в индивидуальном сознании каждого человека. Важная роль в передаче сведений индивидуальному сознанию и закреплению их принадлежит СМИ.
На третьей плоскости, в «мире символического», располагаются результаты взаимодействия сознаний отдельных индивидов, в том числе общественное сознание и корпоративная культура. Особое внимание заслуживают образы (имиджи), которые взаимообусловлены и влияют друг на друга. Каждый образ имеет свою историю.
По сравнению с информационным миром в мире символическом используются более простые признаки и сведения. Здесь нельзя применить логику строгих научных рассуждений, она является чужеродной для работы с образами. На третьей плоскости задействована наиболее древняя часть центральной нервной системы человека - подсознание.
Вероятно, для реальных, но нематериальных систем, таких, как теоретические конструкции, можно выделить отдельную часть третьей плоскости.
Объекты каждой плоскости, как правило, взаимосвязаны с явлениями и процессами других плоскостей. В частности, события в «мире символического» оказывают сильное влияние на индивидуальное сознание и феномены реального мира. Символы (образы, имиджи) в значительной мере определяют наше поведение, когда мы выступаем как индивиды и как члены определенного социума, как производители и как потребители определенных видов товаров и услуг, как учителя и обучающиеся.
«Мы живем в мире, наполненном символами. Мы боремся за символы, умираем за них» [20, с. 16]. С точки зрения коммерческой деятельности, как считает специалист по рекламе А. Амлинский, «весь мир торгует смыслами, а не вещами» [12, с. 43].
Согласно Р. Шеннону, под моделью «реальной системы» можно понимать «представление группы объектов или идей в некоторой форме, отличной от их реального воплощения» [27, с. 12]. Таким образом, термин «реальный» используется этим автором как «существующий или способный принять одну из форм существования». Следовательно, системы, созданные еще только на бумаге или
находящиеся в стадии планирования, можно моделировать так же, как действующие системы. Ю. М. Плотинский считает, что после построения когнитивной, а затем и содержательной моделей возможно создание формальной модели (математической или компьютерной) [18]. При описании явлений и процессов в формальных математических методах используют статистику и такие понятия, как параметры, генеральная совокупность, выборка и т. д.
В качестве обобщения всех трех категорий можно применять термин «имитационные модели». Как пишет Р. Шеннон, «имитационное моделирование есть процесс конструирования модели реальной системы и постановки экспериментов на этой модели с целью либо понять поведение системы, либо оценить (в рамках ограничений, накладываемых некоторым критерием или совокупностью критериев) различные стратегии, обеспечивающие функционирование данной системы» [27, с. 12].
На каждом этапе моделирования, кроме осознанного научного подхода, в большей или меньшей степени участвуют подсознательные процессы, что позволяет говорить об искусстве обработки данных. «Искусство моделирования состоит в способности анализировать проблему, выделять из нее путем абстракции ее существенные черты, выбирать и должным образом модифицировать основные предположения, характеризующие систему, а затем обрабатывать и совершенствовать модель до тех пор, пока она не станет давать полезные для практики результаты» [27, с. 34].
Примем, что система - «саморазвивающаяся и саморегулирующаяся определенным образом упорядоченная материально-энергетическая совокупность, существующая и управляемая как относительно устойчивое единое целое за счет взаимодействия, распределения и перераспределения имеющихся, поступающих извне и продуцируемых этой совокупностью веществ, энергии, информации и обеспечивающая преобладание внутренних связей (в том числе, перемещений вещества, энергии и передачи информации) над внешними» [23, с. 475].
При рассмотрении нематериальных («предлагаемых», по терминологии Р. Шеннона [27, с. 7]) систем под системой будем понимать «объединение элементов, действующих как единое целое» [15, с. 24].
«Приступая к изготовлению какой-то вещи, человек имел в своем сознании ее мысленную модель или наглядный реальный образец, которому следовал. Но в силу самых разных причин (степень совершенства производственных навыков, качество материала, сложность технологии и т. д.) каждый новый предмет хотя бы в каких-то незначительных деталях не мог не отличаться от предыдущего [13, с. 146-147].
Как правило, считают, что любая система может быть описана набором взаимосвязанных признаков. Между некоторыми параметрами существуют сравнительно сильные и устойчивые связи, которые определяют структуру системы. Из значений анализируемых параметров получают информацию о явлении или процессе. Чтобы быть усвоенной, информация должна войти в систему уже существующих сведений, что сопровождается изменением связей между характеристиками феноменов индивидуального или общественного сознания - «активных элементов», «актеров» системы (по терминологии П. Чек-ленда). В качестве названных элементов выступают индивиды или группы
людей, которые решают собственные задачи, имеют разные потребности и установки. Соответствующие «мягкие» системы плохо формализуемы и слабо структурированы. С точки зрения сторонников такого подхода, не бывает правильных либо неправильных точек зрения - следует различать полезные и не очень полезные. Оценка пользы происходит субъективно с использованием прошлого опыта и системы ценностей эксперта. Решения вырабатываются для конечного интервала времени, после чего они должны быть пересмотрены с учетом новых обстоятельств. «Актеры» по-разному представляют себе возможности решения стоящей перед системой проблемы, а трансформация критериев и ограничений требует согласия всех заинтересованных сторон. Приходится учитывать разнообразные точки зрения. Компромисс достигается путем активного проведения переговоров. Для достижения взаимопонимания большое значение имеют специальные методы перехода «на вторую позицию», на точку зрения оппонента [18; 15].
При переходе сведений с одной плоскости на другую происходит самоорганизация, в значительной степени - свертывание информации, что в ряде случаев приводит к образованию образов (например, имиджей).
В качестве первой стадии истории имиджа можно выделить этап его комплектации под влиянием профессиональных действий РЯ-специалистов или «неосознанных», неформализованных информационных процессов в общественном сознании. Необходимо, чтобы все основные части системы были представлены с должной полнотой. В это время создается «материя» системы, появляется ее структура, которая оказывает большое влияние на протекающие процессы. Возникает эффект самоорганизации системы.
Г. Г. Почепцов пишет, что непродуманные, случайные импровизации при создании имиджа (образа) недопустимы [20]. Имиджмейкер при построении имиджа, например, политика должен активно заполнить нужной информацией следующие характеристики: прошлое человека, его семья, спорт, домашние животные, хобби, слабости. В противном случае электорат сам наполнит пустующие ячейки информацией, которая может оказаться вредной для формируемого образа. Имидж создает не любая информация. По крайней мере, новое не должно противоречить уже известному. Неприятие нового может носить как пассивный, так и активный характер. Так, Г. Г. Почепцов отмечает, что в течение первого периода пребывания Б. Н. Ельцина в Москве уже сформировавшийся образ Бориса Николаевича буквально «сжигал» негативные сведения о нем, которые давали средства массовой информации.
Образ начинает играть роль символа, часто активно влияющего на окружающую действительность. Таким образом, можно допустить, что с какого-то момента возникающий (формируемый) имидж активно включает в себя одну информацию, отвергая другую: возникает эффект самоорганизации.
У. Р. Эшби под самоорганизацией системы в первом и «неоспоримом» значении понимает появление связей между ранее независимыми, отделенными друг от друга частями [28, с. 327-328]. Заметим, что в случае независимости состояния одних частей они не влияют на характеристики других составляющих.
Под влиянием имиджмейкеров и самопроизвольных процессов происходит удивительное явление: образ начинает жить собственной «жизнью», срав-
нительно независимой от событий реального мира, это свидетельствует о «рождении» имиджа (в данном случае более корректно, наверное, вместо слова «жизнь» употребить термин «жизнеподобие»).
Вторая стадия истории становления системы - ее развитие под воздействием внешних сил при взаимодействии между ее подсистемами.
Например, Г. Паск считал, что самоорганизация системы происходит в основном под воздействием ее внутренних сил, обусловлена ее структурой [17]. Н. Н. Моисеев особое внимание уделяет роли окружающей среды «рынка» в процессе самоорганизации хозяйствующих объектов [14, с. 125-136]. Во время научного поиска аналитик перебирает различные варианты, модели, производя их селекцию. В качестве внешней силы отбора выступают интеллект, креативность человека. Классический пример описания подобного процесса при расшифровке ДНК дан в книге Д. Д. Уотсона [26].
При переходе с нижней плоскости на верхнюю происходит частичная потеря информации, ее стирание. Аналогичные потери наблюдается при моделировании явления или процесса. Можно предположить, что индивидуальное или общественное сознание выбирает при этом информативные параметры ( признаки).
Признак можно рассматривать в качестве информативного (валидного), если из его значений или величины статистик (параметров, определенных на основании выборки) можно извлечь полезные сведения об интересующем нас явлении или процессе. Информативность признака не может быть абстрактной, это всегда информативность о чем-то (см., например, [4; 7; 8]). На степень информативности влияет характер решаемых задач. Из приведенного выше определения также следует, что валидность оценивается с учетом уже имеющейся у воспринимающего объекта информации. Данное определение соответствует критериальной валидности, которая показывает насколько хорошо результаты измерения соотносятся с величинами другого показателя, называемого критерием. Как правило, именно критерий представляет практический интерес, но по каким-либо причинам не может быть замерен, по крайней мере, сейчас.
В качестве принципиально важного можно рассматривать тезис Р. Шеннона: чем лучше мы представляем себе суть изучаемого явления или процесса, тем меньше признаков нам надо для его описания, тем проще используемая модель и тем меньше ошибок возникает при ее использовании [27]. Из сказанного вытекаетет необходимость применения эффективной системы признаков для диагностики состояния объекта и управления важным для нас процессом.
Процессы, которые лежат в основе функциональных связей, реализуются через соответствующие организационные формы, но также верно и обратное утверждение: организационные формы определяют процесс. Так, течение реки формирует берега, но и берега направляют ход воды [2, с. 115]. Взаимодействие процесса и формы можно представить в виде ручейка, который рождается в весеннем сугробе. Эту слабую выраженность, а потому скрытность возникающего необходимо учитывать при создании критериев, которые определяют генеральную совокупность для статистического исследования. «. Новое - это всегда редкость. И чтобы найти его, пощупать и описать, надо ногами потопать и мозгами пошевелить» [9, с. 13]. Принципиально важна не-
устойчивость изучаемых процессов (проявление тенденции к хаосу), к примеру, в экономике. Т. Гурова пишет: «Все экономические системы большую часть времени находятся в неравновесном состоянии. Это означает, что меняются закономерности, согласно которым они меняются. Наш главный принцип заключается в четком выделении интересующего нас участка и поиске тех законов/ связей, которые определяют развитие системы именно на этом участке. Вам нужно искать ключ, доминанту, тот самый важный фактор, который «играет» сегодня» [10, с. 22].
Обучение распознающего устройства, например человека, можно рассматривать как приобретение им сведений, которые позволяют решить задачу классификации объектов, каждый из которых обычно описывается при помощи большого количества признаков. Постановка этой задачи зависит от того, имеется ли «учитель» - эксперт или группа экспертов, которые могут разнести уже имеющийся материал (объекты классификации) в группы А либо Б (например, высококачественного либо некачественные изделия). Таким образом, создаются «обучающие» группы, для которых находятся критериальные границы. Если такого «учителя» нет, то из имеющегося материала приходится самостоятельно выбирать объекты, относящиеся к А и Б согласно формулируемым критериям. При этом некоторые объекты (иногда их большинство) попадают в третий класс - «неопределенные» состояния: не А, не Б - своего рода «болото» (для мастеров, например, каменных изделий - «ширпотреб»). В результате для каждого нового объекта распознавания при помощи соответствующего математического аппарата определяют его принадлежность к одному из трех классов.
В случае малого количества объектов в группе А (наличие одного или нескольких эталонов) естественно применение кластерного анализа. С помощью применения алгоритмов, в частности мер сходства, образуются «кластеры», или группы «очень похожих объектов» [16].
В качестве эпиграфа данной статьи не случайно выбран отрывок из знаменитого сказа П. П. Бажова. В истории Данилы-мастера эталоном искусства обработки материала служит образ «каменного цветка». Этот образ жил в фольклоре мастеровых горного Урала, не обладая четкими характеристиками. Абсолютные качества эталона не имели принципиального значения: основное было в пропорциях, соотношениях, связях между характеристиками.
Кластерный анализ базируется на оценке «расстояния» между изготовляемым (имеющимся) изделием и желаемым эталоном при помощи подсознательно существующей меры. Свидетельством (сигналом) достижения идеала служит то, что изделие начинает жить своей жизнью (появляется особая эмерджентность).
У Бажова читаем: «.От здешних [змеек, которых обычные мастера делали - С. Р.], говорю, на отличку. Любой мастер увидит, сразу узнает - не здешняя работа. У наших змейка, сколь чисто не вытачат, каменная, а тут -как есть живая. Хребтик черненький, глазки. Того и гляди - клюнет. Им ведь что! Они цветок каменный видали, красоту поняли.» [1, с. 71].
Пытаясь конкретизировать эталон, Данило-мастер старается использовать аналоги, которые существуют в природе: «.Данилушко остановится где
на полосе либо на полянке в лесу и стоит, смотрит. А то опять ходит по полосам да разглядывает траву-то, как ищет что» [1, с. 69].
После выбора подходящего прообраза должна происходить его конкретизация, комплектация, конструирование, исходя из подсознательного чувства соответствия и связей между характеристиками. Такой процесс был осознан и описан М. Трингом и Э. Лейтуэйтом в «принципах изобретения» следующим образом: «После того как вам в голову придет стоящая идея, пользуйтесь методом последовательных приближений. Не следует конкретизировать идею больше, чем это нужно для того, чтобы перейти к следующему этапу работы. Именно таким путем идет, например, художник-пейзажист: прежде чем положить на холст краски, он делает грубый набросок. Детали вырисовываются лишь в третьем приближении» [25, с. 90-91].
Таким образом, можно предположить, что в процессе формирования происходит постепенная конкретизация нематериальной системы (образа, проекта и т. п.) путем заполнения в достаточной степени всех необходимых ее информационных ячеек.
В качестве обобщения этой закономерности можно рассматривать тенденцию «всего сущего к усложнению организации и дифференциации функций и подсистем». Усложнение, которое продолжается после создания системы, во время ее развития, в конечном счете, приводит к гибели системы [24, с. 50].
Как известно, у Бажова поиск идеи каменного цветка, а в какой-то степени и сам образ, активно воздействовал на поведение мастера, подчинил его себе. Нужный результат не был достигнут, и, отчаявшись, Данило ушел на учебу «в гору», к Хозяйке Медной горы. Используя термин синергетики, можно сказать, что система в данном случае прошла точку бифуркации, после чего потеряла «память о прошлом». Любое случайное, сравнительно небольшое воздействие способно определить траекторию дальнейшего развития объекта. Прогноз при этом становится принципиально невозможным.
По крайней мере, по полученному результату, подход к анализу особенностей материала, который пытался реализовать Данило-мастер, близок к сути высказываний, сформулированных осенью 2006 г. министром образования и науки РФ А. Фурсенко: «Я считаю, что русские люди не являются людьми жестких схем и стандартов. Мы склонны к инновационности, мы готовы к новым подходам, мы любим пробовать и творить. Это конкурентное преимущество нации, и образование здесь не исключение». В российском образовании «всегда было достаточно много всего «лишнего». И это сильное преимущество, потому что избыточность обеспечивает образовательное разнообразие, вариативность и возможность маневра» [6, с. 15].
Хочется верить, что в новых образовательных стандартах будет предусмотрена возможность обучения творчеству, а также выработки поливари-антных решений в рамках изучаемой дисциплины.
Литература
1. Бажов П. П. Сказы. - М.: Советская Россия, 1980. - 136 с.
2. Бейтсон Г. Экология разума: Избранные статьи по антропологии, психиатрии и эпистемологии. - М.: Смысл, 2000. - 476 с.
3. Берталанфи Л. фон. История и статус общей теории систем // Системные исследования. - М., 1973. - 230 с.
4. Бечтолд Х. П. Отбор: Экспериментальная психология. - М.: Иностранная литература, 1963.
5. Браун М. Г. Сбалансированная система показателей: На маршруте внедрения. - М.: Альпина Бизнес Букс, 2005. - 226 с.
6. Галушкина М. Высшая образовательная политика // Эксперт. -2006. - 4-10 сентября. - № 32(526). - С. 74-81.
7. Гуревич К. М. О валидности лабораторных проб силы и баланса нервных процессов: Типологические особенности высшей нервной деятельности человека. Т. 4. - М.: Просвещение, 1965.
8. Гуревич К. М. Профессиональная пригодность и основные свойства нервной системы. - М.: Наука, 1970.
9. Гурова Т. Не верьте закрытым глазам // Эксперт. - 2004. -№ 4(405). - С. 13.
10. Гурова Т. У нас есть аргументы // Эксперт. - 2006. - № 12(506). - С. 22.
11. Кондаков Н. И. Логический словарь-справочник. - М., 1975. - 572 с.
12. Котин М. «Что-то с мозгами не то» // Секрет фирмы. - 2006. -№ 28(163). - С. 41-45.
13. Мартынов А. И., Шер Я. А. Методы археологического исследования: Учеб. пособие. - 2-е изд., испр. и доп. - М.: Высшая школа, 2002. - 240 с.
14. Моисеев Н. Н. Как далеко до завтрашнего дня. Свободные размышления. 1917-1993. (Приложение: Воспоминания о Н. Н. Моисееве). - М.,
2002.- С. 172-182.
15. О’Коннор Дж., Мак-Дермотт Я. Искусство системного мышления. Творческий подход к решению проблем и его основные стратегии / Пер. с англ. - Киев: София, 2001.
16. Олендедерфер М. С., Блэшфилд Р. К. Кластерный анализ // Факторный, дискриминантный и кластерный анализ. - М.: Финансы и статистика, 1989.- С. 139-215.
17. Паск Г. Модель эволюции // Принципы самоорганизации / Пер. с англ. - М,: Мир, 1966. - С. 284-306.
18. Плотинский Ю. М. Модели социальных процессов: Учеб. пособие для вузов. - Изд. 2-е., перераб. и доп. - М.: Логос, 2001. - 296 с.
19. Попова Ю. Японский бог // Эксперт - Вещь. - 2003. - № 9(42). - С. 38-42.
20. Почепцов Г. Г. Профессия: имиджмейкер. - 2-е изд., испр. и доп. -Киев, 1998. - 256 с.
21. Раменский С. Е., Раменская Г. П., Раменская В. С. Происхождение самоорганизующихся систем и их роль в управлении социально-экономическими процессами // Креативный менеджмент - стратегия управления и образования XXI века: Сб. материалов Российской научно-практической конференции / Уральский гуманитарный институт. - Екатеринбург, 2004. - С. 25-40.
22. Раменский С. Е., Раменская Г. П., Раменская В. С. Системный анализ дидактического опыта высшей школы. - Екатеринбург: Изд-во Рос. гос. проф.-пед. ун-та, 2005. - 105 с.
23. Реймерс Н. Ф. Природопользование: Словарь-справочник - М., 1990. -
637 с.
24. Реймерс Н. Ф. Экология (теории, законы, правила, принципы и гипотезы). - М., 1994. - 367 с.
25. Тринг М., Лейтуэйт Э. Как изобретать?/ Пер. с англ. Под ред. В. В. Патрикеева. - М.: Мир, 1980. - 272 с.
26. Уотсон Д. Двойная спираль. Воспоминания об открытии структуры ДНК. - М.: Мир, 1969.
27. Шеннон Р. Имитационное моделирование систем - искусство и наука. - М.: Мир, 1978. - 420 с.
28. Эшби У. Р. Принципы самоорганизации // Принципы самоорганизации / Пер с англ. - М.: Мир, 1966. - С. 314-343.
29. Sokal R., Sneath P. Principles of Numerical Taxonomy. - San Francisco: W. H. Freeman, 1963.
