CC BY
56
УДК 004.81
ПРОЕКТИРОВАНИЕ ИНДИКАТОРОВ МОНИТОРИНГА В СФЕРЕ НАУКИ: ТЕОРЕТИЧЕСКИЕ ОСНОВАНИЯ И МОДЕЛИ *
1 2 И.М. Зацман , П.С. Бунтман
1 Институт проблем информатики РАН, г. Москва, Россия IZatsman@yandex.ru
2Независимый учёный, г. Москва, Россия pbuntman@gmail. com
Аннотация
Рассматривается семиотический подход к описанию итераций проектирования новых индикаторов мониторинга, включая верифицируемые его варианты, и генерации новых экспертных знаний в процессе проектирования. Для описания итераций проектирования и динамики процессов генерации используется пространство Фреге. Результаты каждой итерации проектирования индикаторов фиксируются в базе экспертных знаний, названной проективным словарем, который является компонентом системы мониторинга и оценивания программно-целевой деятельности. С помощью этого словаря могут быть реализованы две основные функции системы мониторинга. При формировании индикаторов он позволяет экспертам описывать каждую итерацию процесса их проектировании, представлять результаты формирования различных вариантов индикаторов в графической форме, сравнивать и оценивать эти варианты. При использовании сформированных и утверждённых индикаторов словарь обеспечивает возможность верификации их значений с учётом динамики пополнения информационных ресурсов системы.
Ключевые слова: база экспертных знаний, генерация знаний, представление знаний, верифицируемый мониторинг, оценивание программной деятельности в сфере науки, семиотический подход.
Введение
В настоящее время в Институте проблем информатики Российской академии наук (ИПИ РАН) проводятся исследования процессов генерации экспертных знаний в разных предметных областях (ПрО), в частности, при проектировании новых индикаторов для мониторинга в сфере науки и при пополнении и детализации двуязычных контрастивных грамматик [1,2]. В отличие от проектируемых физических артефактов, для формируемых экспертами индикаторов как цифровых объектов, часто допускающих многозначную интерпретацию, трудно предложить объективные критерии их работоспособности, результативности и эффективности. Поэтому для проектируемых индикаторов вместо объективных критериев используются, как правило, субъективные оценки самих экспертов-проектировщиков и/или внешних экспертов, не участвующих в проектировании. При этом требуется согласование личностных оценок в группе экспертов.
В теоретических разделах статьи представлен семиотический подход к исследованию процессов генерации и согласования экспертных знаний при проектировании новых индикаторов. В прикладных ее разделах рассматривается база экспертных знаний для поддержки процесса проектирования индикаторов мониторинга и оценивания программно-целевой деятельности в сфере науки, названная проективным словарем [3, 4].
* Публикация подготовлена в ИПИ РАН в рамках поддержанного РГНФ научного проекта № 12-02-00407.
Этот словарь был создан для формирования и применения новых индикаторов в четырех вариантах методологии мониторинга и оценивания:
1) стационарный вариант методологии без функции верификации вычисленных значений индикаторов, как правило, усредняющий значения на заданном интервале времени;
2) нестационарный вариант методологии без верификации;
3) стационарный вариант методологии с верификацией;
4) нестационарный вариант методологии с верификацией.
Категоризация вариантов методологии определяется двумя следующими признаками:
■ стационарное оценивание программно-целевой деятельности или нестационарное (при нестационарном оценивании отображается динамика изменения вычисленных значений индикаторов в дискретных точках заданного интервала времени);
■ верифицируемое оценивание программно-целевой деятельности или оценивание без верификации значений индикаторов.
В первом и третьем вариантах методологии проективный словарь требуется только для формирования новых индикаторов, а во втором и четвертом вариантах он может использоваться для формирования новых и применения утверждённых индикаторов.
Первый вариант методологии является одним из наиболее проработанных с теоретической и прикладной точек зрения. С его помощью вычисляются, например, индикаторы взаимосвязей областей знаний и критических технологий для проектов РФФИ, руководители которых выявили и зафиксировали эти взаимосвязи в отчётных формах по своим проектам на моменты времени их завершения.
Второй вариант также хорошо проработан и реализован во многих организациях, например, в Институте научной информации компании Томсон-Рейтер (система Web of Science), издательстве Elsevier (система Scopus), ООО «НЭБ» (система Science Index).
Каждый из последних двух вариантов методологии с верификацией является актуальной и во многом ещё нерешённой задачей, если учитывать несколько аспектов понятия верифицируемости мониторинга и оценивания. Чтобы проиллюстрировать многоаспектность этого понятия, отметим лишь два основных.
Первый аспект представлен принципом «сохранения истории» обработки той исходной информации, которая использовалась при вычислении значений индикаторов. Суть этого принципа заключается в том, что на каждом очередном этапе процесса обработки исходной информации, на котором целью является вычисление значений некоторого индикатора, фиксируются и запоминаются:
■ результаты обработки информационных ресурсов, включая вычисленные значения самих индикаторов и промежуточные данные вычислений;
■ все те исходные информационные ресурсы, которые использовались на этапах обработки с целью вычисления значений индикаторов, и связи полученных значений именно с этими информационными ресурсами;
■ используемые версии программ вычисления значений индикаторов и связи полученных значений именно с этими программами.
Второй аспект представлен принципом «верификации по дополнительным источникам информации». Его суть заключается в том, что на стадии планирования программно-целевой деятельности выясняются возможности использования дополнительных и независимых источников информации, которые могут быть использованы для верификации значений индикаторов, вычисленных на основе результатов обработки информационных ресурсов, собираемых и обрабатываемых в процессе программно-целевой деятельности. Однако этот принцип реализуем лишь в тех случаях, когда есть эти дополнительные и независимые источники информации.
Проективный словарь был создан в рамках работ по Программе фундаментальных научных исследований Российской академии наук (ПФНИ РАН). ПФНИ РАН представляет собой инструмент программно-целевого управления в сфере фундаментальных научных исследований. Первоначально проективный словарь был разработан в ИПИ РАН в интересах создания новых программно-ориентированных индикаторов как компонент экспериментальной системы мониторинга и оценивания программно-целевой деятельности. При формировании индикаторов верифицируемого мониторинга он позволяет экспертам описывать каждую итерацию их проектировании, представлять результаты формирования различных вариантов индикаторов в графической форме, сравнивать и оценивать эти варианты [1, 3, 4].
Опыт его применения показал, что этот словарь может выполнять еще одну функцию в системе мониторинга: обеспечивать верификацию значений индикаторов в процессе оценивания программно-целевой деятельности для нестационарного варианта методологии мониторинга.
В процессе разработки проективного словаря были использованы две семиотические модели для описания итераций проектирования индикаторов и процессов генерации личностных и коллективных (согласованных) экспертных знаний в процессе проектирования:
■ модель, описывающая состояние процесса проектирования индикаторов в некоторый момент времени, называемая моделью фиксированного состояния [5];
■ модель для идентификации динамики процесса проектирования индикаторов, называемая нестационарной моделью [6].
Разработанный проективный словарь дает возможность экспертам фиксировать в нем, во-первых, их личностные знания в процессе интроспекции ментальных результатов проектирования, во-вторых, коллективные знания в процессе согласования личностных знаний между экспертами. С помощью словаря, в результате итерационного описания личностных и коллективных экспертных знаний, в компьютерной форме фиксируется динамика их формирования.
Процессы генерации новых концептов как ментальных единиц экспертных знаний об индикаторах по сравнению с процессами представления уже сформированных и общедоступных знаний не связаны с текстами как источниками экспертных знаний, так как концепты новых индикаторов еще не нашли свое отражение в существующих текстах. Источниками новых концептов являются объекты интерпретации, каждый из которых есть состояние денотата, являющегося совокупностью версии компьютерной программы вычисления значений нового индикатора, использованных при вычислении данных и самих вычисленных значений индикаторов.
Следовательно, до начала первой итерации формирования новых концептов экспертных знаний должен быть разработан предварительный вариант программы и отобраны некоторые исходные данные. Это условие говорит о том, что у экспертов уже должны быть некоторые предварительные знания о целевом назначении проектируемого индикатора, которые требуется модифицировать и/или детализировать в процессе проектирования, а затем согласовать в группе экспертов. Использование денотатов, являющихся артефактами цифровой природы, как источников экспертных знаний об индикаторах является основным отличием рассматриваемых процессов генерации новых знаний от процессов представления уже сформированных и устоявшихся знаний. Ниже приведены краткие сведения о процессе проектирования новых индикаторов мониторинга и оценивания:
■ эксперты изучают в последовательные моменты времени некоторые объекты интерпретации, которые есть состояния денотата, являющегося совокупностью
программы вычисления значений индикатора, использованных при вычислении данных и самих вычисленных значений индикаторов;
■ эксперты выполняют персональную семантическую интерпретацию этих объектов (результаты их интерпретации могут отличаться от эксперта к эксперту) и интроспекцию результатов пополнения и/или изменения своих персональных (личностных) знаний;
■ эксперты фиксируют результаты интерпретации в проективном словаре (персональная семантическая интерпретация этих объектов описывается на каждой итерации в виде записей-дескрипторов словаря);
■ эксперты сравнивают свои записи в словаре, описывающие их персональные семантические представления об одном и том же объекте интерпретации, после чего они пытаются сформулировать согласованное семантическое представление (в случае, если у экспертов есть разные варианты интерпретации, и они смогли их согласовать).
Отметим, что на каждой итерации эксперты интерпретируют состояние денотата индикатора в некоторый момент времени, анализируя программу вычисления его значений, использованные при вычислении данные и сами вычисленные значения. При этом денотат может изменяться во времени, так как между итерациями проектирования экспертами-проектировщиками могут вноситься изменения в программу и/или данные, что, как правило, приводит к изменению вычисленных значений проектируемых индикаторов.
Для описания семиотического подхода к моделированию процесса проектирования и формирования экспертных знаний необходимо предварительно определить систему терминов. В статье даётся описание предлагаемого подхода, который включает систему терминов, две семиотических модели, семиотическое пространство Фреге и концепцию проективного словаря. Для демонстрации реализуемости семиотического подхода приводится описание результатов эксперимента по моделированию итераций формирования экспертных знаний в процессе проектирования новых индикаторов.
1 Система терминов
Задача создания чётких дефиниций используемых терминов является актуальной и для описания моделей формирования экспертных знаний, и для информатики в целом. Причина в том, что в информатике (да и в других отраслях науки) каждое из слов «знания», «данные» и «информация» имеет несколько разных значений [7-9].
Главной целью этого раздела является краткое описание основных терминов, которые будут обозначать основные понятия в моделях процессов формирования экспертных знаний. Эти термины были определены в работах [5, 10]; для построения этих определений использовались результаты работ [11, 12].
Ниже представлены основные термины для описания моделей процессов формирования экспертных знаний, относящиеся к трём средам ПрО информатики как информационно-компьютерной науки [13-15], названия которых указаны в скобках после определения каждого термина (см. также рисунок 1):
■ знание - результаты познавательной и креативной деятельности человека, носителем которых может быть только человек и в которых могут быть выделены отдельные «кванты» знаний (ментальная среда);
■ концепты - «кванты» знаний, которые могут быть выражены в рамках некоторого естественного языка, а в общем случае, в рамках знаковой системы; все концепты делятся на личностные, коллективные (здесь - согласованные группой экспертов), и конвенциональные (ментальная среда);
■ знаковая информация - результаты процесса представления концептов человеком-генератором этих результатов в отчуждённых формах в рамках некоторой семиотической знаковой системы, которые являются сенсорно воспринимаемыми другими участниками коммуникаций и содержательно интерпретируются ими в рамках этой знаковой системы (социально-коммуникационная среда);
■ коды - компьютерные эквиваленты двоичных цифр (или их последовательностей), которые могут представлять собой намагниченность или ее отсутствие, наличие электрического тока или его отсутствие, способность к отражению света или ее отсутствие [12] (цифровая среда, электрическая и/или оптическая).
Рисунок 1 - Три среды предметной области информатики как информационно-компьютерной науки
В статье определены три категории кодов и ряд терминов, которые относятся к границам между вышеуказанными средами (ментальной, социально-коммуникационной и цифровой). Дефиниции строятся таким образом, чтобы из них всегда была понятна та среда или граница, к которой принадлежат обозначаемые объекты или сущности. Например, термины «знание» и «концепты» по определению относятся только к ментальной среде, «знаковая информация» - к социально-коммуникационной среде, а «коды» - к цифровой среде. Термин «знак» в семиотическом понимании [11], который будет использован в дальнейшем при описании моделей, относится как двуединая по своей природе сущность к границе между ментальной и социально-коммуникационной средами.
Обычно при обозначении концептов знаний используются имена или слова, применяя некоторый естественный язык или семиотическую знаковую систему. В парадигме трёх упомянутых сред язык как система вербальных знаков относится к границе между ментальной и социально-коммуникационной средами. На рисунке 1 показан один знак, объединяющий концепт с его именем, т. е. он есть двуединая по своей природе сущность.
Вторая граница находится между социально-коммуникационной и цифровой средами. Эта граница отделяет имена и любые другие слова от соответствующих им компьютерных кодов. При описании информатики как информационно-компьютерной науки не удалось найти устоявшегося термина, обозначающего двуединую сущность, объединяющую имя или любое другое слово как носитель смысла с компьютерным кодом (так же как знак объединяет концепт и его имя). Скорее всего, у этого понятия ещё нет устоявшегося обозначения1. Поэтому в работе [16] оно было обозначено новым термином «формокод». В терминах трёх упоминавшихся сред формокоды принадлежат границе между социально-коммуникационной и цифровой средами. На рисунке 2 формокод изображён именно на этой границе.
Рисунок 2 - Три среды предметной области информатики и три границы между ними
Существует третья граница между ментальной и цифровой средами. Эта граница отделяет концепты как ментальные единицы знаний человека от их компьютерного представления. Скорее всего, и эта двуединая сущность, объединяющая концепт с его компьютерным кодом, также не имеет устоявшегося обозначения. Поэтому в работе [16] это понятие было обозначено термином «семокод». Граница между этими средами изображена на рисунке 2 в виде двойной линии.
Таким образом, определена система терминов, которые будут использоваться далее для описания моделей формирования экспертных знаний в процессе проектирования новых индикаторов группой экспертов.
1 Понятие таблицы кодирования здесь не может быть использовано, т. к. в этой таблице кодируемые символы, в общем случае, не являются носителями смысла, а играют только смыслоразличительную роль.
2 Две модели формирования экспертных знаний
Идея создания модели фиксированного состояния и нестационарной модели появилась в ходе изучения спиральной модели процесса генерации знаний, предложенной Икуджиро Нонака [17-19], и креативного пространства, описанного Вержбицким и Накамори [20, 21]. Эти семиотические модели (фиксированного состояния и нестационарная) основаны на семиотическом треугольнике Фреге, который в данном частном случае состоит из 3 вершин: концепта, имени и денотата индикатора.
В терминах семиотики для каждого состояния проектируемого индикатора в некоторый момент времени эти три вершины соответственно являются: значением знака (здесь концептом индикатора), формой знака (именем индикатора) и денотатом знака (здесь совокупностью версии компьютерной программы вычисления значений индикатора, использованных программой данных и самих вычисленных значений индикатора в этот момент времени). Будем использовать три среды ПрО информатики (рисунки 1 и 2) для описания семиотических моделей. На рисунке 3, изображающем семиотическую модель фиксированного состояния, цифровая среда условно разделена на две части. Верхняя ее часть включает денотаты индикаторов. Нижняя часть содержит компьютерные коды трёх разных категорий: для денотатов (объектные коды), концептов (семантические коды) и их имен (информационные коды). По определению, три компьютерных кода трёх разных категорий образуют цифровой семиотический треугольник [5, 6].
Рисунок 3 - Семиотическая модель фиксированного состояния процесса формирования экспертных знаний
при проектировании индикаторов
Построение этого треугольника является начальным этапом описания модели фиксированного состояния и нестационарной модели. По определению из работы [5] первая семиотическая модель фиксирует состояние процесса формирования экспертных знаний в момент времени, соответствующий окончанию некоторой итерации процесса проектирования, и состоит из (см. рисунок 3):
■ трёх сред ПрО информатики: ментальной, социально-коммуникационной и цифровой;
■ треугольника Фреге, включающего денотат, концепт и имя формируемого индикатора в этот момент времени;
■ цифрового семиотического треугольника, включающего компьютерные коды денотата, концепта и имени формируемого индикатора в этот же момент времени.
Согласно модели фиксированного состояния, три вершины треугольника Фреге кодируются тремя компьютерными кодами разных категорий, которые записываются в проективный словарь в конце каждой итерации:
■ семантический код для концепта индикатора;
■ информационный код для его имени, если оно создано экспертом (в противном случае этот код равен нулю);
■ объектный код для его денотата.
Таким образом, после завершения каждой итерации, в проективном словаре по некоторому заданному алгоритму генерируются три компьютерных кода. Главная идея компьютерного кодирования с одновременным использованием кодов трёх категорий заключается в том, чтобы каждый проектируемый индикатор анализировался и описывался экспертом на каждой итерации с трёх точек зрения:
■ как концепт нового индикатора;
■ как итерационно уточняемое имя индикатора;
■ как состояние денотата индикатора, которое может меняться между итерациями.
Если на некоторой итерации в проектировании участвовал один эксперт, то в проективном словаре создается только одна запись с результатами личностной семантической интерпретации и только три кода, а если несколько экспертов, то для каждого эксперта - одна запись и три кода. До начала согласования мнений экспертов о некотором индикаторе в конце итераций концепты, имена и денотаты кодируются как личностные с указанием идентификаторов соответствующих экспертов, их создавших.
Кроме итераций проектирования, существует отдельный вид итераций для согласования личностных концептов, имён и денотатов проектируемых индикаторов. На этих итерациях эксперты пытаются согласовать между собой свои личностные интерпретации и сформировать коллективные концепты и имена. Если это удается им сделать, то в проективном словаре создается ещё одна запись с результатами коллективной семантической интерпретации и ещё три кода с указанием идентификаторов всех экспертов, которые приняли участие в процессе согласования и выработали единую позицию. Проектирование и согласование могут быть совмещены в рамках одной комплексной итерации.
Важно отметить, что перед любой итерацией проектирования индикатора или комплексной итерацией, совмещающей проектирование и согласование, денотат может меняться экспертом. Каждый эксперт-проектировщик может менять свой вариант программы и данных до начала итерации, а затем вычислить значениями индикатора и интерпретировать их вместе с программой и данными. Поэтому эксперты могут зафиксировать в проективном словаре несколько вариантов программы вычисления значений индикатора, используемых при вычислении данных и полученных значений индикаторов, а также соответствующие им результаты семантической интерпретации в виде своих дефиниций индикатора, их
тематических рубрик в классификаторе индикаторов и их имен (которые факультативны в начале проектирования индикаторов).
Генерация компьютерных кодов трёх категорий даёт возможность зафиксировать в проективном словаре (а затем отслеживать) следующие ситуации, список которых не претендует на полноту:
■ состояние денотата (программа и данные) не изменилось между итерациями, при этом эксперт всё равно изменил свою семантическую интерпретацию, выразив это в новой дефиниции индикатора и/или в тематических рубриках, но не изменил имя индикатора;
■ состояние денотата индикатора не изменилось между итерациями, эксперт изменил имя индикатора, но не изменил семантическую интерпретацию этого состояния денотата;
■ состояние денотата не изменилось между итерациями, эксперт изменил свою семантическую интерпретацию, выразив это в дефиниции индикатора и/или в тематических рубриках, и имя индикатора;
■ изменились только исходные данные в состоянии денотата между итерациями, эксперт изменил свою семантическую интерпретацию, выразив это в дефиниции индикатора и/или в тематических рубриках;
■ изменились только исходные данные между итерациями, эксперт изменил только имя индикатора;
■ изменились только исходные данные между итерациями, при этом эксперт изменил свою семантическую интерпретацию, выразив это в дефиниции индикатора и/или в тематических рубриках, а также имя индикатора.
Регистрация подобных ситуаций помогает восстановить ретроспективно все итерации проектирования индикаторов и их результаты.
Вторая, нестационарная, модель предназначена для идентификации динамики процесса проектирования индикаторов. В процессе проектирования концепты индикаторов, их имена и денотаты могут изменяться экспертами в широком диапазоне с целью согласования личностных концептов и имён индикаторов. По определению [6], нестационарная модель процесса проектирования одного индикатора одним экспертом состоит из (см. рисунок 4):
■ трёх сред ПрО информатики: ментальной, социально-коммуникационной и цифровой;
■ треугольников Фреге, построенных в моменты времени окончания итераций г = 1,2, ...;
■ цифровых семиотических треугольников, построенных в эти же моменты времени . Аналогично можно определить модели для случая одного индикатора, проектируемого
коллективом экспертов, пример которого рассматривается далее в статье, и случая нескольких индикаторов, проектируемых коллективно.
Нестационарная модель базируется на модели фиксированного состояния. На рисунке 4 представлены две итерации проектирования нового индикатора, первая из которых изображена в левой части этого рисунка. До начала первой итерации формируется денотат индикатора, интерпретируемый экспертом. В результате интерпретации может быть получен концепт и дано имя индикатору. Эта итерация завершается в момент времени t1 генерацией цифрового семиотического треугольника, состоящего из трёх компьютерных кодов: семантического, информационного и объектного.
Вторая итерация проектирования нового индикатора изображена в правой части рисунка 4. В этом примере между первой и второй итерациями денотат был изменён и затем заново интерпретирован экспертом. В процессе интерпретации концепт и имя индикатора были изменены тем же экспертом. Эта итерация завершается в момент времени ^ генерацией второго цифрового семиотического треугольника.
Используя нестационарную модель, в работе [6] было определено пространство Фреге как 4-мерное множество точек {Д объектный код семантический код
информационный код (и) при г = 1,2, ... }, сгенерированных в процессе проектирования одного индикатора одним экспертом. Аналогично можно определить пространство Фреге для случая одного индикатора, проектируемого коллективом экспертов, и для случая нескольких индикаторов, проектируемых коллективно.
Рисунок 4 - Нестационарная семиотическая модель для двух итераций процесса проектирования
одного индикатора одним экспертом
Пространство Фреге имеет три оси координат: семантическую, информационную и объектную, а так же четвертую - ось времени, содержащую дискретный набор точек окончания итераций проектирования, согласования или комплексных итераций (на рисунке 5 ось времени не показана). По определению пространство Фреге даёт возможность представить графически динамику процесса проектирования, используя последовательности значений семантических, информационных и объектных кодов в дискретные моменты времени их генерации.
Важно отметить, что вид дискретных траекторий точек будет определяться алгоритмами назначения семантических, информационных и объектных кодов. Можно ли выбирать эти алгоритмы таким образом, чтобы задать некоторую метрику в пространстве Фреге? В настоящее время этот вопрос является открытым. Пока этот вопрос находится в стадии изучения, термин «пространство Фреге» определён только как семиотическое понятие, но не математическое. Использование термина «семиотическое пространство Фреге» для 4-мерного множества точек подчеркивает это различие лексически.
Таким образом, нестационарная модель описывает все итерации процесса проектирования и согласования индикатора как дискретную траекторию в моменты времени (и, г = 1,2,...), где и - это время завершения 1-й итерации. При этом если проективный словарь
фиксирует эволюцию смыслового содержания (семантику) проектируемых индикаторов, то семиотическое пространство Фреге служит для количественного описания итераций проектирования.
Рисунок 5 - Две точки в семиотическом пространстве Фреге, в котором ось времени в явном виде не показана, но переход от первого момента времени и ко второму ^ условно передан стрелкой
3 Проективный словарь
Пользователями проективного словаря могут быть только те эксперты-проектировщики и/или внешние эксперты, которые включены в группу по разработке новых индикаторов. Каждый индикатор разрабатывается на основе интерпретации его изменяемых денотатов, как правило, группой экспертов, хотя возможны случаи индивидуального проектирования. Поэтому словарь может поддерживать индивидуальный и коллективный режимы работы. Эксперты могут обращаться к существующим записям проективного словаря, называемых дескрипторами. Словарь является компонентом компьютерной системы мониторинга и оценивания программно-целевой деятельности и позволяет получать информацию о любом зафиксированном состоянии каждого из разрабатываемых индикаторов.
Помимо проективного словаря, который регулярно пополняется дескрипторами новых индикаторов (обозначены литерами и и V на рисунке 6), система включает семантический словарь [22], содержащий уже разработанные, согласованные и утвержденные индикаторы (обозначены литерами X и У).
На рисунке 6 показаны семантический и проективный словари системы мониторинга и оценивания, поддерживающей только стационарные варианты методологии мониторинга и оценивания.
Рисунок 6 - Семантический и проективный словари системы мониторинга и оценивания
В проективном словаре фиксируются следующие события в процессе разработки:
■ создание дескриптора для фиксированного состояния любого разрабатываемого индикатора (с указанием одного его автора при личностной интерпретации или нескольких авторов при согласованной интерпретации) с фиксацией момента времени окончания итерации;
■ логическая модификация существующего дескриптора, включая изменение ссылок между дескрипторами словаря, что означает автоматическое создание нового дескриптора, так как физическая их модификация запрещена;
■ изменение ссылок на компьютерные программы, которые вычисляют значения индикатора, и/или ссылок на его исходные данные с указанием времени окончания их модификации, что возможно только между итерациями.
По своей сути проективный словарь является темпоральной базой экспертных знаний. Каждый его дескриптор содержит момент времени окончания итерации, дефиницию индикатора, его рубрики и имя (если присвоены), три компьютерных кода, ссылки на другие дескрипторы, а так же ссылки на исходные данные, использованные при расчёте значений индикатора (см. ссылки в двух дескрипторах на информационные ресурсы в и1 и ип на рисунке 6), и на компьютерные программы, которые вычисляют значения индикатора (см. ссылки на программные ресурсы в и1 и
Как было отмечено, помимо проективного словаря, регулярно пополняемого дескрипторами новых индикаторов, содержимое которых «привязано» к определённым моментам времени, система мониторинга и оценивания программно-целевой деятельности включает семантический словарь, который включает уже разработанные, согласованные и утверждённые индикаторы, т. е. неизменяемые.
Иначе говоря, проективный словарь содержит всю историю изменений денотатов, концептов и имён проектируемых индикаторов, а семантический словарь описывает только неизменяемые индикаторы, которые уже согласованы экспертами и утверждены лицами, принимающими решения. Каждый проектируемый индикатор потенциально может быть перенесён в семантический словарь. Для этого эксперты должны прийти к согласию по поводу его денотата, концепта и имени (что не всегда получается), после чего он должен быть утверждён вместе с нормативным документом, определяющим порядок его использования.
В рассмотренной архитектуре системы мониторинга и оценивания поддерживаются только стационарные варианты методологии мониторинга и оценивания. В этой архитектуре системы семантический словарь не является темпоральным, что не даёт возможность восстановить всю историю и динамику вычисления значений утверждённых индикаторов. Для поддержки нестационарных вариантов методологии мониторинга и оценивания необходима темпоральная версия семантического словаря, которая с функциональной точки зрения будет идентична проективному словарю, но регламент её использования будет отличаться кардинально.
Во-первых, при использовании утверждённых индикаторов любые изменения алгоритма вычисления значений индикаторов допускаются только в форме создания новой версии программы, которая должна пройти процедуру её утверждения лицами, принимающими решения, т. е. экспертные изменения алгоритма вычислений не разрешаются.
Во-вторых, информационные ресурсы, используемые программами вычисления значений утверждённых индикаторов, могут только пополняться, но не могут изменяться по их содержанию, так как это может привести к изменению смысла используемого индикатора (см. в следующем разделе описание четвёртой итерации проектирования индикатора, на которой эксперты принимают решение учитывать только те статьи, которые опубликованы в журналах из перечня ВАК, что меняет смысл проектируемого ими индикатора). Следовательно, только при перечисленных ограничениях проективный словарь может быть использован для поддержки нестационарных вариантов методологии мониторинга и оценивания программно-целевой деятельности. В этом случае, с функциональной точки зрения, он по своей сути будет выполнять функции темпоральной версии семантического словаря.
В заключение отметим, что для проективного словаря нет операций физического удаления или изменения дескрипторов. Любое логическое их выполнение приводит к созданию нового дескриптора с сохранением старого. При этом новые дескрипторы помечаются как «наследники» существующих. В проективном словаре такое «наследование» может быть множественным, потому что новый дескриптор может быть описан как «наследник» нескольких уже существующих с помощью ссылок между дескрипторами [1].
4 Пример проектирования индикатора
В ИПИ РАН был проведён эксперимент, в рамках которого были разработаны варианты индикатора, который характеризует распределение возраста авторов статей. Использовался массив публикаций с результатами проектов 2007-2008 годах подпрограммы «Фундаментальные исследования - медицине», являющейся частью ПФНИ РАН. Одной из задач подпрограммы является привлечение молодых исследователей к участию в её проектах. Эта подпрограмма включала 130 проектов в 2007 году и 146 - в 2008. Общее число участников составило 1334 в 2007 и 1504 в 2008 годах. Один из утверждённых индикаторов подпрограммы характеризует долю её участников в возрасте до 39 лет. Однако этот
индикатор не давал информации об их результативности, так как среди утверждённых индикаторов подпрограммы отсутствовали показатели распределения по возрастным группам авторов публикаций с результатами проектов подпрограммы. Поэтому, было предложено разработать новый индикатор, описывающий возрастное распределение публикаций (ВРП - это рубрика классификатора индикаторов, а не его имя) по 14 возрастным группам (20 - 24, 25 - 29 и так далее до 85 - 89 лет).
В текстовой форме опишем первые пять итераций, из которых для трёх представлены вычисленные значения индикаторов на рисунке 7 в графической форме (для одной комплексной итерации и двух итераций проектирования). В разработке нового индикатора принимали участие три эксперта-проектировщика, обозначенных литерами А, В, С и два внешних эксперта: Б и Е.
Первый вариант инднкатора
20 30 40 50 60 70 80 20 30 40 50 60 70 80 20 30 40 50 60 70 80 лет 24 34 44 54 64 74 84 24 34 44 54 64 74 84 24 34 44 54 64 74 84 года
Первая итерация Третья итерация Четвертая итерация
Рисунок 7 - Результаты вычислений двух вариантов индикатора на первой, третьей и четвертой итерациях
Первая итерация (комплексная). Эксперт А вычисляет значения первого варианта индикатора и формирует дескриптор, используя программу и данные его денотата, созданные до начала этой итерации при следующих условиях:
1) для вычисления значений этого варианта индикатора используются статьи участников проектов, напечатанные в любых журналах и сборниках (независимо от их рейтинга);
2) возрастная группа каждого соавтора статьи получает за эту статью 1 балл;
3) отсутствует нормализация относительно численности возрастных групп.
В это же время эксперты В и С формируют второй дескриптор совместно и согласованно, вычисляя значения второго варианта индикатора, используя программу и данные его
денотата, созданные до начала этой итерации при тех же первом и третьем условиях, но второе из трёх вышеперечисленных условий отличается, а именно: возрастная группа каждого соавтора получает 1/Ы балла за статью, у которой N соавторов.
Таким образом, на первой итерации строятся два дескриптора проективного словаря и генерируются два цифровых семиотических треугольника.
Вторая итерация (согласования). Эксперт С решает изменить свою точку зрения и принять точку зрения эксперта А. Иначе говоря, эксперт С на второй итерации отказывает в согласовании второму варианту индикатора, так как считает правильным добавлять всем соавторам по одному баллу, и согласовывает первый вариант индикатора. Первый вариант, спроектированный экспертом А становится согласованным (коллективным), а второй -авторским (личностным) эксперта В. Эти варианты индикатора идентичны вариантам первой итерации, но они отличаются уровнем согласованности. Иначе говоря, имеющиеся концепты, имена и денотатов на второй итерации не изменялись, а поменялись только уровни их согласованности экспертами. Поэтому на рисунке 7 эта итерация не показана.
Третья итерация (проектирования). Эксперты А, В и С принимают решения учесть численности возрастных групп при вычислении значений своих вариантов индикатора, что до начала итерации находит отражение в изменении соответствующих алгоритмов программ вычисления их значений с целью нормализации. Строятся ещё два дескриптора проективного словаря и генерируются два цифровых семиотических треугольника. При этом эксперты связывают новые дескрипторы с теми, которые изменили степень согласованности на второй итерации, отношениями наследования.
Четвертая итерация (проектирования). Эксперты А, В и С принимают решение учитывать только те статьи, которые опубликованы в журналах из перечня ВАК. Строятся ещё два дескриптора проективного словаря и генерируются два цифровых семиотических треугольника. На этой итерации эксперты связывают новые дескрипторы с теми, которые были построены на третьей итерации, отношениями наследования.
Пятая итерация (согласования). Варианты индикатора на этой итерации идентичны вариантам четвёртой итерации, но они отличаются уровнями согласованности, так как точки зрения экспертов изменяются следующим образом. Эксперт С отказывается от согласия на первый вариант эксперта А, он не даёт своего согласия на второй вариант эксперта В, но он может предложить новый вариант на одной из следующих итераций. При этом вариант эксперта В приобретает двух новых сторонников - внешних экспертов Б и Е, что приводит к изменению уровня его согласованности. На рисунке 7 эта итерация не показана, т.к. варианты индикатора на этой итерации идентичны вариантам предыдущей итерации.
В течение первых пяти рассмотренных итераций изменение уровней согласованности первого и второго вариантов представим в графической форме в виде двух дискретных функций Рсссг ^г) на рисунке 8. Значения каждой из этих двух функций в момент времени окончания итерации ^ равно числу экспертов, согласовавших тот или иной вариант проектируемого индикатора в момент времени Ц.
Заключение
Предложенный семиотический подход к моделированию итераций формирования и согласования экспертных знаний в процессе проектирования новых индикаторов базируется только на субъективной интроспекции экспертов. Возникают закономерные вопросы. Почему не рассматривалась возможность дополнительного использования объективных нейроданных о функционировании мозга в процессе генерации и согласования новых знаний экспертами? Почему не использовались данные количественных измерений мозговой
деятельности экспертов (например, методом функциональной магнитно-резонансной томографии - Functional Magnetic Resonance Imaging, FMRI) для сопоставления с результатами процессов их личностного субъективного мышления?
Fcoor(ti)
А
0
f ЭкспертыЛ I B,D и E J
4
Т\ /
Эксперт A
^Эксперт Ю ^Эксперт Ю ^Эксперт B
Эксперт A
tl
t2
t3
t4
t5
ti
Рисунок 8 - Изменение уровней согласованности двух вариантов проектируемого индикатора
в течение первых пяти итераций;
(треугольники с вершиной, направленной вниз, обозначают точки со значениями функции ¥соог (Ц для первого варианта, а вершиной вверх - точки со значениями функции ¥соог(^ для второго варианта)
В настоящее время действительно есть возможность наблюдать одновременно и данные измерений, и результаты субъективного мышления, но из первых трудно выделить именно те нейроданные, которые соответствуют личностным концептам экспертов, чтобы провести такое сопоставление. Кроме того, есть гипотеза и подтверждающие её экспериментальные данные, что у экспертов существенная часть нейроинформации, соответствующей устоявшимся концептам экспертных знаний, носит структурный характер, скорее всего, на уровне связей между нейронами долговременной памяти, что не фиксируется FMRI и другими современными методами. Однако, стремительное развитие когнитивной нейронауки и её инструментальных средств позволяет надеяться, что в обозримом будущем станет возможным соотнести структурную нейроинформацию и количественные нейроданные измерений мозговой деятельности с устоявшимися и новыми концептами экспертных знаний с отражением динамики их формирования в процессе проектирования [23-26].
Отметим, что в будущем для описания соответствия нейроинформации и нейроданных с концептами с использованием методов информатики понадобится ещё одна среда, которая в работах [14, 15] была условно обозначена как нейросреда.
В нашем исследовании было достаточно трёх сред: ментальной, социально-коммуникационной и цифровой; трёх видов двуединых по своей природе сущностей: знака,
3
2
1
формокода и семокода; трёх категорий компьютерных кодов: для денотатов (объектный код), концептов (семантический код) и имени (информационный код) (см. рисунки 2 и 3).
В будущем ПрО информатики как информационно-компьютерной науки необходимо будет расширить за счёт нейросреды и определить ещё три вида двуединых по своей природе сущностей на границах следующих сред: ментальной и нейросреды; социально-коммуникационной и нейросреды; цифровой и нейросреды.
Расширение ПрО информатики даст возможность определить ещё одну категорию компьютерных кодов для представления нейроинформации в цифровой среде, которые условно назовём нейрокодами, и построить цифровой семиотический тетраэдр с кодами четырёх разных категорий в развитие цифрового семиотического треугольника.
Предложенная в работах [14, 15] парадигма расширяемой ПрО информатики, с одной стороны, даёт возможность более точно определить место информатики в современном процессе конвергенции отраслей науки [27], с другой стороны, поможет предвидеть появление новых поколений информационно-коммуникационных и конвергентных технологий для поддержки процессов проектирования, генерации и согласования новых экспертных знаний.
Список источников
[1] Зацман, И.М. Моделирование процессов формирования экспертных знаний для мониторинга программно-целевой деятельности / И.М. Зацман, А.А. Дурново // Информатика и ее применения. - 2011. - 5(4). -С. 84-98.
[2] Zatsman, I. Conceptual Framework for Development of Computer Technology Supporting Cross-Linguistic Knowledge Discovery. / I. Zatsman, N. Buntman, M. Kruzhkov, V. Nuriev, Anna A. Zalizniak // In the 15th European Conference on Knowledge Management Proceedings: Vol. 3. Reading: Academic Publishing International Limited, 2014. - P. 1063-1071.
[3] Zatsman, I. Incompleteness problem for indicators system of research program / I. Zatsman, A. Durnovo // In Abstracts book of the 11th International Conference on Science and Technology Indicators. Leiden: Universiteit Leiden, 2010. - P. 309-311.
[4] Zatsman, I. Proactive Dictionary of Evaluation System as a Tool for S&T Indicator Development /1. Zatsman, A. Durnovo // In É. Archambault, Y. Gingras, & V. Larivière (Eds.), Proceedings of 17th International Conference on Science and Technology Indicators: Vol. 2, 2012, Montréal: Science-Metrix and OST. - P. 905-906. http://2012.sticonference.org/Proceedings/vol2/Zatsman_Proactive_905.pdf.
[5] Зацман, И.М. Семиотическая модель взаимосвязей концептов, информационных объектов и компьютерных кодов / И.М. Зацман // Информатика и ее применение. - 2009. - 3(2). - С. 65-81.
[6] Зацман, И.М. Нестационарная семиотическая модель компьютерного кодирования концептов, информационных объектов и денотатов / И.М. Зацман // Информатика и ее применение. - 2009. - 3(4). -С. 87-101.
[7] Боргест, Н.М. Ключевые термины онтологии проектирования: обзор, анализ, обобщения / Н.М. Боргест // Онтология проектирования. - 2013. - №3(9). - С. 9-31.
[8] Bryant, A. Cognitive Informatics, Distributed Representation and Embodiment / A. Bryant // Brain and Mind. -2003. -4(2). - Р. 215-228.
[9] Зацман, И.М. Предпосылки и факторы конвергенции информационной и компьютерной наук / И.М. Зацман, О.С. Кожунова // Информатика и ее применения. - 2008. - 2(1). - С. 77-98.
[10] Зацман, И.М. Построение системы терминов информационно-компьютерной науки: проблемно-ориентированный подход / И.М. Зацман // Теория и практика общественной научной информации: Сб. науч. тр. Вып. 21. М.: ИНИОН РАН, 2013. - С. 120-159.
[11] Eco, U. A Theory of Semiotics / U. Eco. - Bloomington: Indiana University Press. 1976. - 59 p.
[12] McArthur, D. Information, its forms and functions: The elements of semiology / D. McArthur - Lewinton: The Edwin Mellen Press, Ltd., 1997. - 228 p.
[13] Gorn, S. Informatics (computer and information science): its ideology, methodology, and sociology / S. Gorn // In: The studies of information: Interdisciplinary messages / Ed. by F. Machlup and U. Mansfield. New York: Wiley, 1983. - Р. 121-140.
[14] Зацман, И.М. Информационно-компьютерная наука: предпосылки становления / И.М. Зацман // НТИ. Серия 1. - 2013. - (7). - С. 1-12.
[15] Зацман, И.М. Информационно-компьютерная наука: технологические предпосылки становления / И.М. Зацман // Информационные технологии. - 2014. - (3). - С. 3-12.
[16] Зацман, И.М. Концептуальный поиск и качество информации/И.М. Зацман. - М.: Наука, 2003. - 272 с.
[17] Nonaka, I. The knowledge-creating company / I. Nonaka // Harvard Business Review. - 1991. - 69(6). -Р. 96-104.
[18] Nonaka, I. The Knowledge-Creating Company /1. Nonaka, H. Takeuchi. - New York: Oxford University Press. 1995.-284 p.
[19] Knowledge emergence /1. Nonaka, T. Nishiguchi, (Eds). - New York: Oxford University Press. 2001.
[20] Wierzbicki, A. Basic dimensions of creative space / A. Wierzbicki, Y. Nakamori // In A. Wierzbicki & Y. Nakamori (Eds.). Creative Space: Models of Creative Processes for Knowledge Civilization Age. - Heidelberg: Springer. 2006. - P. 59-90.
[21] Wierzbicki, A. Knowledge sciences: some new developments / A. Wierzbicki, Y. Nakamori // Zeitschrift fur Betriebswirtschaft, 77(3), 2007 - pp. 271-295.
[22] Зацман, И.М. Семантический словарь системы информационного мониторинга в сфере науки: задачи и функции / И.М. Зацман, О.С. Кожунова // Системы и средства информатики. - 2007. - 17(1). - С. 124-141.
[23] Секерина, И.А. Метод вызванных потенциалов мозга в экспериментальной психолингвистике / И.А. Секерина // Вопросы языкознания. - 2006. - (3). - С. 22-45.
[24] de Charms, R.C. Applications of real-time FMRI. / R.C. de Charms // Nature Reviews Neuroscience. - 2008. -9(9).-P. 720-729.
[25] Baars, B. Cognition, Brain, and Consciousness: Introduction to Cognitive Neuroscience / B. Baars, N. Gage. -Burlington, MA: Academic Press/Elsevier, 2010. - 677 p. - http://www.hse.ru/data/2013/12/21/1338659679/Baars Gage 2010 Cognition, Brain and Consciousness (2ndedition).pdf.
[26] Kumaran, D. Tracking the emergence of conceptual knowledge during human decision-making / D. Kumaran, J.J. Summereld, D. Hassabis, E.A. Maguire // Neuron. - 2009. - 63(6). - P. 889-901.
[27] NRC (National Research Council). Convergence: Facilitating Transdisciplinary Integration of Life Sciences, Physical Sciences, Engineering, and Beyond. Washington, DC: The National Academies Press, 2014. - 152 p. -http ://www. nap.edu/catalog.php?record_id= 18722.
DESIGNING INDICATORS FOR MONITORING IN SCIENCE: THEORETICAL FRAMEWORK AND MODELS
I. M. Zatsman1, P.S. Buntman2
1 Institute of Informatics Problems of the RAS, Moscow, Russia
IZatsman@yandex.ru
independent scholar, Moscow, Russia
pbuntman@gmail.com
Abstract
The semiotic approach to the description of successive iterations of new indicators' designing for monitoring, including verified monitoring, and generating new expert knowledge in the course of designing is considered. For the description of iterations and dynamics of generation processes the Frege's space is used. Outcomes for successive iterations of new indicators' designing are fixed in an expert knowledge base, called by the proactive dictionary, which is a component of a monitoring system for evaluating goal-oriented activities. By means of this dictionary two main functions of the monitoring system can be implemented. It allows to describe each iteration, represent results of designing different variants for new indicators in a graphic form, compare and estimate these variants. When using the designed and approved indicators the dictionary provides possibility of verifying indicator values taking into account dynamics of adding information resources of the monitoring system.
Key words: expert knowledge base, knowledge creation, knowledge representation, verified monitoring, evaluating goal-oriented activities in science, semiotic approach.
References
[1] Zatsman, I.M. Modelirovanie protsessov formirovaniya ehkspertnykh znanij dlya monitoringa programmno-tselevoj deyatel'nosti [Modeling of formation of expert knowledge for monitoring target-oriented activities] / I.M. Zatsman, A.A. Durnovo // Informatika i ee primeneniya, - 2011. - 5(4). - P. 84-98. (In Russian).
[2] Zatsman, I. Conceptual Framework for Development of Computer Technology Supporting Cross-Linguistic Knowledge Discovery. / I. Zatsman, N. Buntman, M. Kruzhkov, V. Nuriev, Anna A. Zalizniak // In the 15th European Conference on Knowledge Management Proceedings: Vol. 3. Reading: Academic Publishing International Limited, 2014. - P. 1063-1071.
[3] Zatsman, I. Incompleteness problem for indicators system of research program / I. Zatsman, A. Durnovo // In Abstracts book of the 11th International Conference on Science and Technology Indicators. Leiden: Universiteit Leiden, 2010. - P. 309-311.
[4] Zatsman, I. Proactive Dictionary of Evaluation System as a Tool for S&T Indicator Development /1. Zatsman, A. Durnovo // In É. Archambault, Y. Gingras, & V. Larivière (Eds.), Proceedings of 17th International Conference on Science and Technology Indicators: Vol. 2, 2012, Montréal: Science-Metrix and OST. - P. 905-906. http ://2012. sticonference.org/Proceedings/vol2/Zatsman_Proactive_905.pdf.
[5] Zatsman, I.M. Semioticheskaya model' vzaimosvyazej kontseptov, informatsionnykh ob"ektov i komp'yuternykh kodov [Semiotic model the relationships of concepts, information objects and computer codes] / I.M. Zatsman // Informatika i ee primenenie- 2009. - 3(2). - P. 65-81. (In Russian).
[6] Zatsman, I.M. Nestatsionarnaya semioticheskaya model' komp'yuternogo kodirovaniya kontseptov, informatsionnykh ob"ektov i denotatov [Nonstationary semiotic model of computer coding concepts, information objects and denotations] / I.M. Zatsman // Informatika i ee primenenie- 2009. - 3(4). - P. 87-101. (In Russian).
[7] Borgest, N.M. Klyuchevye terminy ontologii proektirovaniya: obzor, analiz, obobshheniya [Key terms of the ontology of designing: review, analysis, synthesis] / N.M. Borgest // Ontology of designing. - 2013. - №3(9). -P. 9-31. (In Russian).
[8] Bryant, A. Cognitive Informatics, Distributed Representation and Embodiment / A. Bryant // Brain and Mind. -2003. -4(2). - P. 215-228.
[9] Zatsman, I.M. Predposylki i faktory konvergentsii informatsionnoj i komp'yuternoj nauk [Preconditions and factors of convergence of information and computer sciences] / I.M. Zatsman, O.S. Kozhunova // Informatika i ee primenenie- 2008. - 2(1). - P. 77-98. (In Russian).
[10] Zatsman, I.M. Postroenie sistemy terminov informatsionno-komp'yuternoj nauki: problemno-orientirovannyj podkhod. [Building a system of terms of information and computer science: a problem-oriented approach.] / I.M. Zatsman // Teoriya i praktika obshhestvennoj nauchnoj informatsii: proceedings issue No. 21 Moscow: INIONRAS, 2013. - P. 120-159. (In Russian).
[11] Eco, U. A Theory of Semiotics / U. Eco. - Bloomington: Indiana University Press. 1976. - 59 p.
[12] McArthur, D. Information, its forms and functions: The elements of semiology / D. McArthur - Lewinton: The Edwin Mellen Press, Ltd., 1997. - 228 p.
[13] Gorn, S. Informatics (computer and information science): its ideology, methodology, and sociology / S. Gorn // In: The studies of information: Interdisciplinary messages / Ed. by F. Machlup and U. Mansfield. New York: Wiley, 1983. - P. 121-140.
[14] Zatsman, I.M. Informatsionno-komp'yuternaya nauka: predposylki stanovleniya [Information and computer science: the preconditions of formation] / I.M. Zatsman // NTI. Series 1.- 2013. - (7). - P. 1-12. (In Russian).
[15] Zatsman, I.M. Informatsionno-komp'yuternaya nauka: tehnicheskie predposylki stanovleniya Information and computer science: technical preconditions of formation] / I.M. Zatsman // Informatsionnie technologii. - 2014. -(3). -P. 3-12. (In Russian).
[16] Zatsman, I.M. Kontseptual'nyj poisk i kachestvo informatsii [Conceptual search and quality of information] / I.M. Zatsman. - Moscow: Science, 2003. - 272 p. (In Russian).
[17] Nonaka, I. The knowledge-creating company / I. Nonaka // Harvard Business Review. - 1991. - 69(6). -P. 96-104.
[18] Nonaka, I. The Knowledge-Creating Company /1. Nonaka, H. Takeuchi. - New York: Oxford University Press. 1995.-284 p.
[19] Knowledge emergence /1. Nonaka, T. Nishiguchi, (Eds). - New York: Oxford University Press. 2001.
[20] Wierzbicki, A. Basic dimensions of creative space / A. Wierzbicki, Y. Nakamori // In A. Wierzbicki & Y. Nakamori (Eds.). Creative Space: Models of Creative Processes for Knowledge Civilization Age. - Heidelberg: Springer. 2006. - P. 59-90.
[21] Wierzbicki, A. Knowledge sciences: some new developments / A. Wierzbicki, Y. Nakamori // Zeitschrift für Betriebswirtschaft, 77(3), 2007 - pp. 271-295.
[22] Zatsman, I.M. Semanticheskij slovar' sistemy informatsionnogo monitoringa v sfere nauki: zadachi i funktsii [Semantic dictionary information monitoring systems in the field of science: the tasks and functions] / I.M. Zatsman, O.S. Kozhunova // Sistemy i sredstva informatiki- 2007. - 17(1). - P. 124-141. (In Russian).
[23] Sekerina, I.A. Metod vyzvannykh potentsialov mozga v ehksperimental'noj psikholingvistike [The method of evoked potentials in experimental psycholinguistics / Problems of Linguistics] / I.Â. Sekerina // Voprosy yazykoznaniya. - 2006. - (3). - P. 22-45. (In Russian).
[24] de Charms, R.C. Applications of real-time FMRI. / R.C. de Charms // Nature Reviews Neuroscience. - 2008. -9(9).-P. 720-729.
[25] Baars, B. Cognition, Brain, and Consciousness: Introduction to Cognitive Neuroscience / B. Baars, N. Gage. -Burlington, MA: Academic Press/Elsevier, 2010. - 677 p. -http://www.hse.ru/data/2013/12/21/1338659679/Baars Gage 2010 Cognition, Brain and Consciousness (2ndedition).pdf.
[26] Kumar an, D. Tracking the emergence of conceptual knowledge during human decision-making / D. Kumaran, J.J. Summereld, D. Hassabis, E.A. Maguire // Neuron. - 2009. - 63(6). - P. 889-901.
[27] NRC (National Research Council). Convergence: Facilitating Transdisciplinary Integration of Life Sciences, Physical Sciences, Engineering, and Beyond. Washington, DC: The National Academies Press, 2014. - 152 p. -http://www.nap.edu/catalog.php?record_id=18722 .
Сведения об авторах
Зацман Игорь Моисеевич, 1952 г. рождения, защитил кандидатскую диссертацию в 1986 году. Заведующий отделом Института проблем информатики РАН. В 2011 году защитил докторскую диссертацию по специальности «Теоретические основы информатики»; в 2012 году присвоена степень доктора наук. Область научных интересов: информатика как информационно-компьютерная наука, когнитивная информатика, моделирование процессов генерации знаний и их представление в цифровой среде, верифицируемый мониторинг и оценивание программной деятельности в сфере науки.
Igor Moiseevich Zatsman (b. 1952) has the PhD in informatics (1986). Currently, he is the head of research department at the Institute of Informatics Problems of the Russian Academy of Sciences. He has the highest research diploma, obtained after the PhD (2012). Research interests are in the fields of informatics as computer and information science, cognitive informatics, modeling emerging meaning processes and their tracing by computer, verified monitoring and goal-oriented assessment in science.
Бунтман Павел Сергеевич, 1987 г. рождения, окончил биологический факультет Московского государственного университета. В Институте биоорганической химии РАН написал дипломную работу по методам молекулярной биологии. Работал переводчиком научно-популярной литературы. Область научных интересов: информатика как информационно-компьютерная наука и когнитивная информатика.
Pavel Sergeevich Buntman (b. 1987) graduated from the biological faculty of the Moscow State University. At the Institute of Bioorganic Chemistry he has written a thesis on molecular biology methods and after that he worked as a translator for publishing houses. Research interests are in the fields of informatics as computer and information science, cognitive informatics.
