Елена Александровна Володарская
доктор психологических наук, доцент, ведущий научный сотрудник Центра истории организации науки и науковедения Института истории естествознания и техники им. С. И. Вавилова РАН Москва, Россия e-mail: eavolod@gmail.сom
УДК: 001, 316.6
DOI: 10.24411/2079-0910-2019-12007
Динамика критериев оценки результативности научных исследований
В статье обсуждаются вопросы критериев оценки результативности научных, в частности диссертационных, исследований. Динамизм современной социальной ситуации, возникновение новых требований к качеству научных исследований и подготовки специалистов высшей квалификации влекут за собой необходимость уточнения критериев оценки вклада диссертанта в науку.
В центре интереса автора находятся нормативно-правовые документы, в которых зафиксированы правила и стандарты присуждения ученых степеней. В статье показано, что сегодня необходимо вернуться к обсуждению единой сбалансированной системы показателей количественной и качественной оценки полученных результатов деятельности или степени достижения диссертантом поставленных цели и задач.
Ключевые слова: критерии оценки, научная результативность, количественные и качественные показатели, нормативная база.
Введение
Усложнение предметного поля и междисциплинарного характера проводимых исследований, активное развитие новой научной парадигмы (в частности, в современной психологии), определяемой как парадигма социального контекста и социальных изменений, предполагают перенос фокуса внимания науковедов на макроуровень исследуемых научных проблем [Андреева, 2002]. Специфика порождения нового научного знания в условиях быстро трансформирующихся социальных условий ставит задачу усиления рефлексии внутренней логики творческого поиска.
Одним из важнейших теоретико-методологических вопросов науковедческо-го осмысления современной психологической науки является вопрос о критериях и способах оценки научной результативности. Данная тема является, во-первых, традиционной для любой сферы жизнедеятельности личности и группы. Во-вторых, она с необходимостью предполагает анализ динамики сформированных критериев исходя из перемен в тенденциях развития научного знания, например технологи-зации, инновационности, усложнения исследовательского объекта и способов его изучения. В-третьих, меняется система взаимоотношений науки и различных групп общества, усиливается практический запрос к результатам научных исследований и разработок. Наука как феномен культуры общества имеет свой собственный понятийный аппарат, категориальные схемы и объяснительные принципы, общие
для конкретной дисциплины и соответствующие определенному уровню развития научного знания. Но именно будучи частью общественной жизни, ее неотъемлемым компонентом, наука, как любое другое социальное явление, выступает объектом восприятия, формирования мнения, отношения к себе. В связи с этим для того чтобы оставаться эффективным компонентом социальной реальности, успешно подтверждать собственную социальную значимость и релевантность, психология должна гибко реагировать на запрос времени, внося дополнения в сформированную систему представлений о критериях эффективности.
Обсуждение параметров оценки результативности очень важно и с воспитательной точки зрения. Ведь наука помимо когнитивной функции наращивания нового научного знания выполняет воспитательную задачу, вовлекая новые поколения исследователей в творческую активность, в частности, через систему подготовки в аспирантуре и докторантуре.
Актуальность уточнения критериев оценки результативности научных исследований в целом и диссертационных работ в частности была отмечена в выступлении Президента РФ на заседании Совета по науке и образованию 27 ноября 2018 г. В. В. Путин подчеркнул необходимость «выстроить на всех этапах исследования прозрачную и объективную экспертизу результатов, сформировать понятные критерии их оценки. Более прозрачным, публичным должен стать процесс присвоения ученых степеней и званий» [Заседание Совета, 2018].
Выстраивание четкой системы показателей оценки достижений молодого ученого сможет способствовать его более продуктивному вхождению в профессиональное научное сообщество, решению кадровой проблемы современной отечественной науки, сохранению ее традиций и поддержанию преемственности в формировании и трансляции научного знания.
Цель данной статьи состоит в анализе современных вызовов, связанных с необходимостью пересмотра, дополнения, уточнения сложившейся системы оценки результатов диссертационных работ.
Вопрос о выработке критериев оценки результатов научной деятельности обсуждался в науковедческой литературе, в частности, под углом зрения анализа восприятия научного открытия [Научное открытие, 1971; Погребысский, 1971] либо оценки научно-исследовательской программы научного коллектива [Иванов, 1982], качества научно-технической продукции [Кугель, 2005; Лансков, Шевченко, 1995]. Под понятием качества научного продукта следует понимать «систему параметров (показателей), важных с точки зрения потребителя этого продукта» [Татаринов, 1995]. Выделяют внутреннюю эффективность научной деятельности, связанную с эффективностью результатов научной деятельности внутри самой науки, и внешнюю эффективность, охватывающую все аспекты использования научных результатов вне науки [Яхиел, 1985].
В науковедении речь идет о таких параметрах научного результата, как продуктивность, результативность, полезность, ценность научно-технической продукции. Под продуктивностью понимается количество научной продукции, произведенной ученым, а под результативностью — способность ученого производить научную продукцию определенного качества. Полезность и ценность научной продукции рассматривается в зависимости от степени соответствия качества научной продукции потребностям общества в новом знании. Наряду с параметром новизны научного результата выделяют его объективность, беспристрастность, важность научного
открытия как в теоретическом плане для развития науки, так и для его практического использования, говорят о теоретической и практической важности, значимости научного результата, а также о характеристиках его перспективности, актуальности и оригинальности [Белкин, Емельянов, Иванов, 1987; Микулинский, Ярошевский, 1971; Сойфер, 1971].
Не существует единого перечня индикаторов восприятия и оценки результатов научной деятельности, что ведет к необходимости методологической разработки оценки науки как компонента ее имиджа. В содержательном аспекте исследовательской деятельности можно выделить характеристику производства нового знания и воспитания молодого поколения ученых, а также новые элементы — например, слияние фундаментальной науки с бизнесом на базе наукоемкого производства или сближение академической и вузовской науки, а также появление новых форм общения ученых с использованием возможностей Интернета. На специфику оценки науки влияет ее дисциплинарная организация, так как научные дисциплины вызывают разные социальные представления в обществе \Affergan, Borutti, 2003; Reid, Skyabina, 2002; Venturini, 2004].
Важно, что имидж качества научной деятельности, формируемый у представителей разных социальных групп, строится в соответствии с принципом неодинаковой значимости параметров оценки науки. Так, для профессиональных исследователей базовым структурным элементом выступает содержание исследовательской деятельности. А для внешних по отношению к производству научного знания групп, например органов государственной власти, бизнеса, пользователей наукоемкого продукта, акцент переносится на оценку условий осуществления исследовательской деятельности, на социальный статус ученого, практическую ценность, экономическую целесообразность науки.
Помимо вариативности критериев оценки эффективности научного результата с точки зрения разных целевых аудиторий необходимо обратить внимание на динамику показателей научной продуктивности, характерных для профессионального научного сообщества в целом. Диссертационное исследование выступает научно-квалификационной работой. В связи с этим важно выделить показатели, ориентируясь на которые можно вынести суждение о соответствии. Причем структурирование квалификационных критериев осложняется их неоднозначностью и наличием разных систем координат при их выделении. В категориальную сетку оценки нового научного результата, полученного в диссертационном исследовании, входит палитра законодательно утвержденных оснований.
Прежде всего, это критерии, предложенные Высшей аттестационной комиссии и законодательно сформулированные в «Положении о присуждении ученых степеней», утвержденном постановлением Правительства РФ № 842 от 24.09.2013 [Положение о присуждении, 2013]. Напомним эти критерии. Во-первых, для кандидатских диссертаций — это «решение научной задачи, имеющей значение для развития соответствующей отрасли знания, либо изложение новых научно обоснованных технических, технологических или иных решений и разработок, имеющих существенное значение для развития страны» [там же, с. 4]. Для диссертаций на соискание степени доктора наук разработанные теоретические положения предполагают «научное достижение, либо решение научной проблемы, имеющей важное политическое, социально-экономическое, культурное или хозяйственное значение, либо изложение новых научно обоснованных технических, технологических или
иных решений, внедрение которых вносит значительный вклад в развитие страны» [там же, с. 4].
Во-вторых, в качестве квалификационных критериев оценки диссертационной работы ВАК использует показатели самостоятельности, внутреннего единства выполненного исследования, а также наличие «новых научных результатов и положений, свидетельствующих о личном вкладе автора диссертации в науку» [там же, с. 4].
Иными словами, первостепенными критериями оценки качества научного знания выступает его теоретическая новизна исходя из внутренней логики развития науки и прикладная значимость по отношению к практическому запросу более широкого социального круга заинтересованных в использовании нового знания лиц.
Еще одним нормативным актом, описывающим критерии научной продуктивности диссертационного исследования, является Постановление Правительства РФ от 22 января 2013 г. № 23 «О Правилах разработки и утверждения профессиональных стандартов» [Постановление Правительства РФ, 2013]. На его основании были разработаны и утверждены уровни квалификации работников в зависимости от их соответствия умениям, знаниям, уровню квалификации, полномочий и ответственности личности сотрудника [Приказ Минтруда России, 2013].
Выделенные уровни квалификации, включающие в себя показатели и пути достижения каждого из девяти уровней, необходимы для стандартизации описания трудовых функций, требований к образованию и обучению работников. Программы подготовки научно-педагогических кадров в аспирантуре отражают высшие (8 и 9) уровни квалификации специалиста. Обратим внимание на перечень показателей этих уровней подготовки, которые выступают в данной системе критериями оценки результативности научного работника. В качестве полномочий ответственности рассматриваются навыки стратегического управления крупными подразделениями и организациями. В качестве основных умений перечислены новые методы и технологии для развития области профессиональной деятельности. Характер необходимых знаний конкретизируется в понимании методологии, ее междисциплинарного и межпредметного характера, информационной базы развития профессиональной сферы.
В настоящее время ряд федеральных государственных университетов получил право самостоятельно присуждать ученые степени кандидата и доктора наук на основании решения диссертационного совета по результату публичной защиты соискателя ученой степени, утверждаемому приказом ректора по предоставлению Аттестационной комиссии МГУ [Положение о присуждении, 2018]. Согласно этому документу критерии, которым должны отвечать диссертации на соискание ученых степеней, почти идентичны требованиям «Положения о присуждении ученых степеней» ВАК. Отличие состоит в требованиях к изложению основных научных результатов диссертации, которые «должны быть опубликованы в рецензируемых научных изданиях, индексируемых в базах данных Web of Science, Scopus, RSCI и в изданиях из перечня, рекомендованных Минобрнауки РФ, по соответствующим специальностям и отраслям наук на основании решения Ученого совета МГУ по представлению Ученых советов структурных подразделений».
Обратимся далее к опыту Российской академии наук, системообразующими критериями оценки научной продуктивности исследовательских организаций которой являются наукометрические данные относительно публикационной активности работника, ежегодно определяемые Федеральной системой мониторинга
результативности деятельности научных организаций2. В данной системе оценки результативности основным показателем является количество публикаций сотрудника, ранжируемое по значимости издания. Прежде всего, это общий объем публикаций организации за год, индексируемых в системах WoS, Scopus. РИНЦ, Google Scholar, ERIH и специализированных информационно-аналитических системах, и показатель на одного исследователя.
В качестве дополнительных критериев помимо публикационной активности предложены показатели развития кадрового потенциала организации, интеграции в мировое научное пространство и ресурсного обеспечения деятельности научной организации. Несмотря на то что Федеральное агентство научных организаций было упразднено, предложенные критерии остаются в силе и выступают основой для итогового отнесения научной организации в одну из трех категорий результативности исследовательской деятельности.
Безусловно, данные количественные показатели научной продуктивности не могут не учитываться при подготовке научно-педагогических кадров в аспирантуре, что находит свое отражение в нормативных документах ВАК или университетов, получивших право самостоятельно присуждать ученые степени, у которых фиксируется необходимое число публикаций как условия допущения до защиты диссертации на диссертационном совете.
Запрос на уточнение критериев научной результативности, принципов подготовки и оценки диссертационных работ отражается также в формируемой в России Национальной системе квалификаций, направленной на систематизацию необходимых компетенций, которыми должны владеть выпускники разного уровня под-готовки3. В рамках этой общей системы ведется работа по разработке Единой отраслевой рамки квалификаций в сфере исследований, разработок и образования, включая подготовку научных кадров. В основу данной модели квалификаций положен принцип создания шкалы сквозных исследовательских компетенций для всех уровней образования [Караваева, 2017]. Среди видов деятельности, относительно которых разрабатывается перечень необходимых компетенций выпускника, определены научно-исследовательская, научно-техническая, инновационная, научно-просветительская, научно-экспертная и педагогическая (преподавательская) деятельность [Караваева, Воробьева, 2018].
Заключение
Таким образом, современная социальная ситуация, связанная с изменчивостью, динамичностью информационных, коммуникативных потоков, предполагает важность уточнения базовых критериев оценки теоретической и практической значимости нового научного результата, фиксируемого в диссертационной работе.
Наблюдается разноплановость, отсутствие единства в описании содержательной наполненности параметров научного вклада (что оценивать?) и исчисляемых показателей выраженности признака (как оценивать?).
2 www.sciencemon.ru (дата обращения: 14.09.2018).
3 https://nark.ru/ (дата обращения: 17.10.2018).
В различных нормативных документах, касающихся функционирования науки и образования, описываются как критерии публикационной активности соискателя, так и перечень квалификационных требований, компетенций, которыми должен владеть выпускник программы подготовки в аспирантуре и докторантуре.
Данная ситуация свидетельствует о необходимости возвращения к методологической рефлексии критериев результативности, в частности диссертационного исследования, и перевода этих качественных характеристик в количественные в новых условиях функционирования профессионального научного сообщества и системы взаимоотношений науки и общества.
Учет новых вызовов и запросов к качеству подготовки в аспирантуре и докторантуре исследователей высшей квалификации, пересмотр существующих и доказавших свою важность критериев оценки научного результата будет способствовать определенной унификации и сравнимости разных показателей диссертационной работы, соответствующих специфике области анализа и типу исследования.
Подобная когнитивная работа поможет сформировать новую единую систему оценки результативности с учетом сложившихся социальных запросов, что даст возможность сохранить единую линию в развитии научного знания и воспитания молодых поколений исследователей, подтвердить социальную ответственность профессиональной деятельности научного сообщества в качественно других условиях функционирования.
Литература и источники
Андреева Г. М. Трудности социального познания: «образ мира» или реальный мир? // Социальная психология в современном мире / ред. Г. М. Андреева, А. И. Донцов. М.: Аспект ПРЕСС, 2002. С. 182-203.
Белкин П. Г., Емельянов Е. Н., Иванов М. А. Социальная психология научного коллектива. М.: Наука. 1987. 214 с.
Заседание Совета по науке и образованию от 28.11.2018. URL: http://www.ras.ru/news/ shownews.aspx?id=8c2f8c2e-788e-4538-868c-4e65344a0792 (дата обращения: 04.12.2018).
Иванов М. А. Научно-исследовательская программа как фактор регуляции межличностных отношений в первичном научном коллективе: автореф. дис. ... канд. психол. наук. М., 1982. 22 с.
Караваева Е. В. Квалификации высшего образования и профессиональные квалификации: «сопряжение с напряжением» // Высшее образование в России. 2017. № 12. С. 5-12.
Караваева Е. В., Воробьева О. В., Тышкевич В. П. О разработке модели формирования исследовательских компетенций выпускников программ высшего образования // Высшее образование в России. 2018. № 4. С. 33-47.
Кугель С. А. Эволюция форм оценки деятельности ученых // Материалы годичной научной конференции ИИЕТ РАН. М.: Диполь, 2005. С. 147-149.
Лансков А. В., Шевченко С. Ю. Полезность, ценность и качество научно-технической продукции // Социальная динамика современной науки / ред. В. Ж. Келле. М.: Наука, 1995. С. 106-117.
Микулинский С. Р., Ярошевский М. Г. Восприятие открытия как науковедческая проблема // Научное открытие и его восприятие / ред. Д. М. Гвишиани. М.: Наука, 1971. С. 5-20.
Научное открытие и его восприятие / ред. Д. М. Гвишиани. М.: Наука, 1971. 311 с.
Погребысский И. Б. Об оценке научных открытий // Научное открытие и его восприятие / ред. Д. М. Гвишиани. М.: Наука, 1971. С. 63-67.
Положение о присуждении ученых степеней, утвержденное постановлением Правительства РФ № 842 от 24.09.2013. URL: http://www.consultant.ru/document/ (дата обращения: 15.10.2018).
Положение о присуждении ученых степеней в Московском государственном университете имени М. В. Ломоносова, утвержденное Ректором Московского государственного университета имени М. В. Ломоносова В. А. Садовничим 23 марта 2018 г. URL: https://www.msu. ru/science/dissert/pol-uchstep.pdf (дата обращения: 14.09.2018).
Постановление Правительства РФ от 22 января 2013 г. № 23 «О Правилах разработки и утверждения профессиональных стандартов». URL: http://base.garant.ru/ (дата обращения: 23.09.2018).
Приказ Минтруда России № 148н от 12 апреля 2013 г. «Об утверждении уровней квалификации в целях разработки проектов профессиональных стандартов». URL: https:// rosmintrud.ru/docs/ (дата обращения: 10.11.2018).
Сойфер В. Н. Об общих условиях своевременной оценки научного открытия // Научное открытие и его восприятие / ред. Д. М. Гвишиани. М.: Наука, 1971. С. 88—94.
Татаринов Ю. Б. Проблемы оценки результатов научной деятельности // Социальная динамика современной науки / ред. В. Ж. Келле. М.: Наука, 1995. С. 71—105.
Яхиел Н. Социология и социальная практика. М.: Наука, 1985. 275 с.
Affergan Fr., Borutti S. Figures de l'humain. Les representations de l'anthropologie. Paris: Editions de l'Ecole des hautes Etudes en Sciences Sociales. 2003. 249 p.
Reid N., Skryabina E. A. Attitudes towards Physics // Research in Science and Technological Education. 2002. № 20. Р. 67-81.
Venturini P. Attitudes des élèves envers les sciences: le point des recherches // Revue française de pédagogie. 2004. № 149. Р. 97-123.
Dynamics of the Criteria for Assessing the Research Performance
Elena A. Volodaaskayä
S. I. Vavilov Institute for the History of Science and Technology, Russian Academy of Sciences,
Moscow, Russia e-mail: eavolod@gmail.com
The paper discusses the criteria for evaluating the scientific performance, in particular, dissertation. The dynamism of the modern social situation, the emergence of new requirements for the quality of scientific research and the training of highly qualified specialists entails the need to clarify the criteria for evaluating the contribution of the dissertation to science.
The author focuses on the official documents, which contain the rules and standards for the award of academic degrees. The article shows that it is necessary today to return to the discussion of a unified and balanced system of indicators of quantitative and qualitative assessment of the results of activity showing to which extent author archieves the goal and objectives.
Keywords: evaluation criteria, scientific performance, quantitative and qualitative indicators, regulatory framework.
References
Andreeva, G.M. (2002). Trudnosti sotsial'nogo poznaniya: «obraz mira» ili real'nyy mir? [Difficulties of social cognition: "image of the world" or the real world?], Sotsial'naya psikhologiya v sovre-
mennom mire [Social psychology in the modern world], red. G.M Andreeva, A. I. Dontsov, Moskva: Aspect PRESS, pp. 182-203 (in Russian).
Belkin, P.G., Yemel'yanov, Ye.N., Ivanov, M.A. (1987). Sotsial'naya psikhologiya nauchnogo kollektiva [Social psychology of the scientific team], Moskva: Nauka, 214 p. (in Russian).
Zasedaniye Soveta po nauke i obrazovaniyu (28.11.2018) [Meeting of the Council for Science and Education], Available at: http://www.ras.ru/news/shownews.aspx?id=8c2f8c2e-788e-4538-868c-4e65344a0792 (date accessed: 04.12.2018) (in Russian).
Ivanov, M.A. (1982). Nauchno-issledovatel'skaya programma kak faktor regulyatsii mezhli-chnostnykh otnosheniy v pervichnom nauchnom kollektive [Research program as a factor in the regulation of interpersonal relations in the primary research team]: avtoref. dis. ... kand. psikhol. nauk, Moskva, 22 s. (in Russian).
Karavayeva, Ye.V. (2017). Kvalifikatsii vysshego obrazovaniya i professional'nyye kvalifikatsii: «sopryazheniye s napryazheniyem» [Higher education qualifications and vocational qualifications: "mate with stress"], Vyssheye obrazovaniye vRossii, no 12, pp. 5-12 (in Russian).
Karavayeva, Ye.V., Vorob'yeva, O.V., Tyshkevich, V.P. (2018). O razrabotke modeli formirovaniya issledovatel'skikh kompetentsiy vypusknikov programm vysshego obrazovaniya [On the development of a model for the formation of research competencies of graduates of higher education programs.], Vyssheye obrazovaniye v Rossii, no 4, pp. 33-47 (in Russian).
Kugel', S.A. (2005). Evolyutsiya form otsenki deyatel'nosti uchenykh [The evolution of forms for evaluating the activities of scientists], Materialy godichnoy nauchnoy konferentsii IIYET RAN [Materials of one-year scientific conference], Moskva: Dipol', pp. 147-149 (in Russian).
Lanskov, A.V., Shevchenko, S. Yu. (1995). Poleznost', tsennost' i kachestvo nauchno-tekhniches-koy produktsii [The usefulness, value and quality of scientific and technical products], Sotsial'naya dinamika sovremennoy nauki [Social dynamics of modern science], red. V. Z. Kelle, Moskva, Nauka, pp. 106-117 (in Russian).
Mikulinskiy, S.R., Yaroshevskiy, M.G. (1971). Vospriyatiye otkrytiya kak naukovedcheskaya problema [The perception of discovery as a scientific problem], Nauchnoye otkrytiye i yego vospriyatiye [Scientific discovery and its perception], red. D. M. Gvishiani, Moskva: Nauka, pp. 5-20 (in Russian).
Nauchnoye otkrytiye i yego vospriyatiye [Scientific discovery and its perception] (1971), red. D. M. Gvishiani, Moskva: Nauka, 311 p. (in Russian).
O pravilakh razrabotki i utverzhdeniya professional'nykh standartov: Postanovleniye Pravitel'stva RF ot 22 yanvarya 2013 g. № 23 [On the Rules for the Development and Approval of Professional Standards: Decree of the Government of the Russian Federation of January 22, 2013, no 23]. Available at: http://base.garant.ru/ (date accessed: 23.09.2018) (in Russian).
Ob utverzhdenii urovney kvalifikatsii v tselyakh razrabotki proyektov professional'nykh standartov: Prikaz Mintruda Rossii № 148n ot 12 aprelya 2013 g. [On the approval of qualification levels for the development of draft professional standards: Order of the Ministry of Labor of Russia no 148n dated April 12, 2013]. Available at: https://rosmintrud.ru/docs/ (date accessed: 10.11.2018) (in Russian).
Pogrebysskiy, I.B. (1971). Ob otsenke nauchnykh otkrytiy [On the evaluation of scientific discoveries], Nauchnoye otkrytiye i yego vospriyatiye [Scientific discovery and its perception], red. D. M. Gvishiani, Moskva: Nauka, pp. 63-67 (in Russian).
Polozheniye o prisuzhdenii uchenykh stepeney, utverzhdennoye postanovleniyem Pravitel'stva RF № 842, 24 sentyabrya 2013 [Regulations on the award of academic degrees, approved by the Government of the Russian Federation, no 842, September 24, 2013]. Available at: http://www.consultant. ru/document/ (date accessed: 15.10.2018) (in Russian).
Polozheniye o prisuzhdenii uchenykh stepeney v Moskovskom gosudarstvennom universitete imeni M. V. Lomonosova, utverzhdennoye Rektorom Moskovskogo gosudarstvennogo universiteta imeni M. V. Lomonosova V. A. Sadovnichim 23 marta 2018 g. [Regulations on the award of scientific degrees at Moscow State University named after MV Lomonosov, approved by the Rector of Moscow State University named after M. V. Lomonosov V. A. Sadovnichy March 23, 2018]. Available at: https://www.msu.ru/science/dissert/pol-uchstep.pdf (date accessed: 14.09.2018) (in Russian).
Soyfer, V.N. (1971). Ob obshchikh usloviyakh svoyevremennoy otsenki nauchnogo otkrytiya [On the general conditions for the timely evaluation of scientific discoveries], Nauchnoye otkrytiye i yego vospriyatiye [Scientific discovery and its perception], red. D. M. Gvishiani, Moskva: Nauka, pp. 88-94 (in Russian).
Tatarinov, Yu.B. (1995). Problemy otsenki rezul'tatov nauchnoy deyatel'nosti [Problems of evaluating the results of scientific activity], Sotsial'naya dinamika sovremennoy nauki [Social dynamics of modern science], red. V. Zh. Kelle, Moskva: Nauka, pp. 71-105 (in Russian).
Yakhiyel, N. (1985). Sotsiologiya i sotsial'naya praktika [Sociology and social practice], Moskva: Nauka, 275 p. (in Russian).
Affergan, Fr., Borutti, S. (2003). Figures de l'humain. Les représentations de l'anthropologie. Paris: Editions de l'Ecole des hautes Etudes en Sciences Sociales, 249 p.
Reid, N., Skryabina, E.A. (2002). Attitudes towards Physics, in: Research in Science and Technological Education, no 20, pp. 67-81.
Venturini, P. (2004). Attitudes des eleves envers les sciences: le point des recherches, Revue Françaises de Pédagogie, no 149, pp. 97-123.