CC BY
27
И нформационные технологии в управлении
УДК 004.9
КОНКУРЕНТНАЯ ОЦЕНКА КАЧЕСТВА ТЕХНОЛОГИЙ ИНТЕЛЛЕКТУАЛЬНОЙ ОБРАБОТКИ ДАННЫХ
С.В. Гарбук, Р.Н. Бакеев
Рассмотрены проблемы и подходы к оценке качества технологий обработки данных. Дан обзор существующих отечественных и зарубежных конкурентных процедур в области технологий анализа данных и машинного обучения (конкурсов, турниров и т. п.). Предложена методология оценки качества технологий интеллектуальной обработки данных путем сопоставления с качеством работы человека-оператора.
Ключевые слова: машинное обучение, технологии анализа данных, интеллектуальные технологии, конкурентная оценка качества.
ВВЕДЕНИЕ
Современный этап развития информационно-телекоммуникационной инфраструктуры сопровождается резким возрастанием объема информации, поступающей от систем аэрокосмического мониторинга, технических средств обеспечения безопасности (стационарные камеры видеонаблюдения, автомобильные видеорегистраторы и др.), формируемой контрольно-измерительной аппаратурой, медицинским и другим диагностическим оборудованием, накапливаемой в базах данных операторов связи и финансовых организаций, циркулирующей в социальных сетях и др.
По некоторым оценкам [1] объем знаний человечества, накопленный к 2015 г., составлял 4,4 зет-21
табайт (4,4 s 10 байт), причем интенсивность информационного потока, ежемесячно формируемого различного рода сенсорами, в 2017 г., по про-
18
гнозам, составит около 11 эксабайт (11 s 10 байт) при сохранении экспоненциального роста в обозримом будущем.
Совокупность этих данных, называемая в научно-популярной литературе «большие данные» (Big Data), открывает беспрецедентные возможности по повышению качества решения задач в различных отраслях экономики, управления, а также в сфере обороны и безопасности. Однако в полной мере эти возможности могут быть реализованы лишь при наличии соответствующих технологий обработки данных (ТОД), обеспечивающих реше-
ние конкретных прикладных задач с определенным гарантированным качеством. В случае отсутствия таких гарантий последствия от использования «больших данных» могут иметь скорее негативные, чем позитивные последствия. Примерами могут служить:
— усложнение поиска нужной (релевантной) информации в больших массивах слабоструктурированных и малоинформативных данных;
— избыточное (не оправданное в смысле прикладного эффекта) повышение требований к инфраструктуре передачи и хранения данных;
— завышенные ожидания, связанные с подменой функциональных требований к системе сбора и обработки данных требованиями к ее сенсорной инфраструктуре.
Характерным примером служит внедрение на крупном объекте охраны системы видеонаблюдения, включающей в себя сотни или тысячи видеокамер, информация от которых обрабатывается операторами технических средств охраны. В этом случае удорожание системы безопасности, вызванное увеличением числа видеокамер, не приводит к адекватному возрастанию показателей эффективности функционирования этой системы, хотя это, как правило, подразумевается заказчиком.
На V международном форуме «Умный город будущего» (29—30 ноября 2016 г., г. Москва) было отмечено, что система городского видеонаблюдения Москвы насчитывает 130 тыс. видеокамер (подъездное и дворовое видеонаблюдение, видеонаблюдение в общественных местах, социальных и
прочих объектах, включая торговые, строительные и др.). При этом объем просмотра видеоинформации операторами не превышает 0,25 % (3 млн из 1,2 млрд ч/год). В Лондоне на каждые шесть жителей в 2016 г. приходилось по одной камере видеонаблюдения [1], т. е. всего около 1,5 млн видеокамер. Можно предположить, что при отсутствии соответствующих (обладающих требуемым качеством) средств обработки получаемой информации эффективность функционирования лондонской системы видеонаблюдения также будет невысока.
В качестве еще одного примера, когда отсутствие объективных оценок качества ТОД сдерживает их практическое применение, можно привести ситуацию с автоматизированной обработкой медицинских данных. Сегодня в лечебных и научно-исследовательских медицинских учреждениях накоплены огромные информационные массивы1, активно развиваются технологии автоматизированной диагностики различных заболеваний (см., например, [2]). Однако отсутствие понимания, какой квалификацией должен обладать специалист, способный эффективно оценить и использовать решение, предлагаемое технической системой, существенно снижает ценность такой «подсказки» для врача, вплоть до ее полной бесполезности.
1. ПОДХОДЫ К ОЦЕНКЕ КАЧЕСТВА ТЕХНОЛОГИЙ ОБРАБОТКИ ДАННЫХ
В данной работе под качеством технологии обработки данных в соответствии с общепринятым определением [3] будем понимать степень соответствия выделенного набора характеристик объекта (в данном случае ТОД) предъявляемым требованиям.
1.1. Конкурентные процедуры в области технологий обработки данных
Оценка соответствия может осуществляться различными способами. К настоящему времени наибольший практический опыт накоплен в рамках проведения различных конкурентных процедур в области технологий анализа данных и машинного обучения (конкурсов, турниров и т. п.), участникам которых предлагается решать формализованные квалификационные задачи, так или иначе связанные с соответствующими прикладными задачами. Организаторами подобных конкурентных процедур, помимо собственно оценки качества технологий, преследуются цели по поиску
1 По существующим оценкам объем медицинских данных достигнет к 2020 г. 35 зеттабайт (35 х 10 байт) с 44-кратным увеличением с 2009 г.
научных коллективов, способных проводить исследования инновационного характера в области разработки ТОД, повышению интереса научного сообщества к решению различных задач обработки «больших данных» и т. п.
Одним из первых конкурсов стал KDD-Cup, организованный в 1997 г. сообществом специалистов в области машинного обучения и анализа д ан-ных ACM SIGKDD (Special Interest Group on Knowledge Discovery and Data Mining) в рамках конференции «The Third International Conference on Knowledge Discovery and Data Mining»^. Нью-порт-Бич, США, шт. Калифорния). Конкурсной задачей стало предсказание факта пожертвования на благотворительность в целях содействия организации «Paralyzed Veterans of America». В качестве практического применения результатов решения подобной задачи указывалась оптимизация адресной рассылки.
Проведение подобного конкурса стало отправной точкой к широкому распространению соревнований в области технологий анализа данных и машинного обучения. Начатая в 1997 г. серия конкурсов KDD-Cup продолжается, краткая характеристика конкурсных квалификационных задач представлена в табл. 1.
Начиная с 2000-х гг., тематика проведения конкурентных процедур в области ТОД начала активно развиваться. В Национальном институте стандартов и технологий США (National Institute of Standards and Technology, NIST) на системной основе было начато тестирование различных технологий в области анализа д анных и м ашинного обучения. Наибольшую известность в профессиональном сообществе получили проводимые регулярно тесты технологий биометрической идентификации по изображению лица (Face Recognition Vendor Test, FRVT) и отпечаткам пальцев (Fingerprint Vendor Technology Evaluation, FpVTE).
Высокую популярность приобрели конкурентные процедуры, приуроченные к профильным конференциям или организованные отдельными лабораториями и институтами. Зачастую это были разовые события без призовых фондов, проводимые преимущественно из научного интереса (табл. 2). Так, например, серия конкурсов в рамках BCI Competition проводилась вплоть до 2008 г. и была посвящена решению задач, связанных с обработкой данных, получаемых при реализации интерфейса мозг-компьютер.
В рамках ежегодной конференции «European Conference on Machine Learning and Principles and Practice of Knowledge Discovery in Databases», начиная с 2002 г. проводились конкурсы под названием Discovery Challenge. В 2016 г., например, перед участниками этого конкурса ставилась задача
ОН ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ В УПРАВЛЕНИИ
^ 1 Таблица 7
Описание квалификационных задач конкурса К00-Сир
Год Краткое описание
2016 Ранжирование научных публикаций по значимости и измерение влияния исследовательских институтов
2014 Отбор заявок на предоставления грантов, заслуживающих высшей оценки
2013 (Track 2) Определение соответствия анонимных авторов заданной персоне
2013 (Track 1) Определение принадлежности текста определенному автору
2012 (Track 2) Прогнозирование скорости м аркетингового отклика на рекламные объявления с учетом информации о пользователе
2012 (Track 1) Прогнозирование предпочтений пользователей китайского микроблога ТепсеП 'ЭДЫЬо (объектами «лайков» могли быть другие пользователи или источники информации)
2011 Прогнозирование музыкальной подборки и оценки музыкальных записей пользователями
2010 Прогнозирование производительности студентов при решении задач
2009 Прогнозирование склонности клиентов к изменению поставщиков, покупке новых продуктов или услуг, покупке дополнительных услуг
2008 Выявления рака груди на основе рентгенографических снимков
2007 Прогнозирование оценки пользователем рейтинга фильма
2006 Обнаружение легочных эмболий на основе рентгенографических снимков
2005 Категоризация поисковых пользователей в сети Интернет
2004 Моделирование гомологии белка
2003 Анализ журналов использования сети
2002 Разработка алгоритмов автоматического извлечения информации из научных статей
2001 Моделирование молекулярной активности. Прогнозирование локализации белка
2000 Анализ переходов по веб-сайтам онлайн-магазинов
1999 Обнаружение вторжений в компьютерную сеть
1998 Разработка маркетинговых моделей для оптимизации прибыли
1997 Прогнозирование пожертвований на благотворительность
Таблица 2
Примеры отдельных конкурсных мероприятий, проводимых с начала 2000-х по 2010 г. и направленных преимущественно на решение некоммерческих задач
Название Краткое описание
Feature selection (NIPS 2003) Задачи конкурса включали в себя: диагностику заболеваний по данным масс-спектромет-рии, распознавание рукописных цифр, категорирование текста и поиск новых лекарств
Performance prediction (WCCI 2006) Участники конкурса соревновались в решении пяти задач классификации: маркетинг, поиск новых лекарств, текстовая классификация, распознавание рукописных цифр и экология
Agnostic learning vs. prior knowledge (NIPS 2006 and IJCNN 2007) В рамках конкурса предлагались два набора обучающих выборок: обработанные данные, подходящие для готовых пакетов машинного обучения, и необработанные — «чистые» данные, но содержащие информацию о природе и источнике данных. Перед участниками ставились задачи улучшения исходных данных, а также обучения методом «черного ящика»
Learning causal dependencies (WCCI 2008 and NIPS 2008) Участникам соревнований было необходимо на основе анализа модельных и экспериментальных данных ответить на вопросы: «Что влияет на ваше здоровье?», «Что влияет на экономику?», «Что влияет на климатические изменения?», а также спрогнозировать последствия воздействий
Active Learning Challenge (AISTATS 2010 and WCCI 2010) Разметка большого объема данных является дорогостоящим мероприятием, но при этом большие объемы неразмеченных данных доступны по низкой цене. Перед участниками конкурса ставилась задача обучения на неразмеченных данных или так называемое активное обучение
52 | CONTROL SCIENCES № 6 • 2017
предсказания поведения пользователей на основе анализа использования ими банковских карт.
В 2001 г. была создана интернет-площадка INNOCentive, ставшая первым агрегатором конкурсов из разных областей знаний — физики, химии, машинного обучения, анализа данных и др.
Важным этапом в развитии соревнований в области технологий обработки данных стал конкурс Netflix Cup, инициированный в 2009 г. компанией Netflix — американским поставщиком фильмов и сериалов. В целях улучшения своего интернет-сервиса компания организовала конкурс, в рамках которого участникам предлагалось улучшить алгоритм Cinematch. Этот алгоритм прогнозировал оценку, которую поставит пользователь тому или иному фильму по пятибалльной шкале. Участникам предстояло улучшить данный показатель на 10 %. Особенность заключалась в том, что победителю предлагался необычно крупный по тем временам денежный приз в размере $1 млн. Стало очевидно, что решение задач анализа данных востребовано не только в научной, но и в коммерческой сфере.
В том же 2009 г. была создана первая соревновательная платформа по методам анализа данных — TunedlT. Данная платформа обеспечивала ч еткую регламентацию правил, онлайн рейтингование участников, поддержку форума для обсуждений проводимых конкурсов. Создание подобной платформы способствовало дальнейшей популяризации конкурсов ТОД, направленных на решение различных прикладных задач.
Однако по-настоящему широкий размах подобные конкурсы получили в 2010 г. с появлением платформы Kaggle, полностью ориентированной на коммерческий сектор. В основу платформы Kaggle был заложен такой принцип работы: потребитель результатов конкурса формулирует прикладную задачу, решение которой подразумевает анализ данных, определяет приз для победителя и сроки, а затем отдельные исследователи или команды исследователей приступают к решению задачи и предлагают свои идеи и разработки (табл. 3).
Первое конкурсное мероприятие, поддержанное платформой, было посвящено разработке алгоритма, прогнозирующего ход голосования на Евровидении.
Большую известность приобрел организованный на платформе Kaggle конкурс с призом в размере $3 млн. Медицинская компания Heritage Provider Network поставила задачу создания алгоритма, который позволил бы на основе анализа имеющихся медицинских записей найти пациентов, находящихся в группе риска, чтобы компания могла заблаговременно предложить им профилактическое лечение.
Другим успешным приложением платформы стал поиск сотрудников по результатам проведенных конкурсов. Так, например, сеть Facebook несколько раз воспользовалась платформой Kaggle для вступительных испытаний будущих штатных аналитиков компании. В одном из последних соревнований была предложена следующая задача: по заголовку и формулировке вопроса определить теги или ключевые слова для каждого «тикета» в базе данных сервиса Stack Exchange.
В настоящее время Kaggle является лидирующей платформой по проведению конкурсов в области технологий анализа данных. В 2016 г. число зарегистрированных пользователей превысило 536 тыс. из почти 200 стран мира.
Успех Kaggle стимулировал запуск многочисленных проектов по созданию различных платформ проведения конкурсов в области анализа данных и машинного обучения. Большая часть из них в основном повторяет функциональные возможности Kaggle, но ориентированы, например, на национальный сектор.
Таким образом, к настоящему времени сформировался устойчивый спрос на услуги по оценке качества ТОД, предоставляемые в форме проведения конкурсов, направленных на решение различных прикладных задач.
1.2. Недостатки существующих подходов
к оценке качества технологий обработки данных
При проведении любой конкурентной процедуры принципиальным моментом является способ определения показателей и критериев качества технологий, предоставляемых участниками. В настоящей статье в качестве примера рассмотрены наиболее популярные конкурсы технологий биометрической идентификации людей по изображению лица: The MegaFace Benchmark, Labeled Faces in the Wild, Face Recognition Vendor Test.
В тестировании The MegaFace Benchmark, проводимом Вашингтонским университетом, используются показатели качества: rank-1 и rank-10 (точности попадания цифрового изображения лица в первые 1 и 10 кандидатов соответственно) в зависимости от числа дистракторов в выборке, в качестве дистракторов могут выступать изображения лиц, которые не содержатся в базе данных, с которой сравниваются фотографии [4]; точность идентификации в смысле критерия rank-N в зависимости от числа дистракторов в выборке; ROC-кривая (кривая ошибок), отображающая соотношение между долей изображений, классифицированных верно (true positive rate, TPR, чувствительность алгоритма классификации) и долей изображений, классифицированных ошибочно (false positive rate, FPR, специфичность алгоритма клас-
сификации), при варьировании порога решающего правила. В свою очередь, в конкурсе Labeled Faces in the Wild (LFW), проводимом Массачу-сетстким технологическим институтом используются два показателя качества: ROC-кривая и показатель средней точности классификации (отношение числа правильных идентификаций к общему числу идентификаций) с учетом стандартной ошиб-
Примеры интернет-платформ для
ки среднего [5]. В свою очередь, NIST в конкурсе Face Recognition Vendor Test (FRVT) использует метрики FNIR (false negative identification rate) и FPIR (false positive identification rate) отображающие показатели ложноотрицательной и ложнопо-ложительной идентификации при заданном пороге решающего правила, а также различные производные от этих характеристик [6].
Таблица 3
1ения коммерческих конкурсов ТОД
Название Краткое описание
Зарубежные конкурсы и платформы
Netflix Prize Netflix — американская компания, поставщик фильмов и сериалов на основе потокового мультимедиа организовал в 2007 г. конкурс с невероятным для того времени бюджетом в $1 млн
Kaggle Одна из самых известных платформ по проведению соревнований в области интеллектуального анализа данных. С момента создания было проведено более 100 конкурсов, часть из которых закрытые, часть конкурсов не имеют призового фонда, в некоторых случаях он символический
INNOCentive Конкурсная площадка, агрегирующая соревнования из самых разных областей, а не только интеллектуального анализа данных. Представлены задачи из области физики, химии и биологии
Challenge.gov Платформа по проведению конкурсов в области интеллектуального анализа данных, организованная в интересах государственных организаций США. На платформе публикуются задачи от Министерства здравоохранения и социальных служб США (Department of HHS), агентства IARPA и др.
NIST Национальный институт стандартов и технологий США проводит тестирование среди разработчиков в области интеллектуального анализа данных, например, в области биометрической идентификации
Challenges in Machine Learning Платформа по проведению соревнований в области интеллектуального анализа данных, среди партнеров выступают такие организации, как Microsoft, Google, NEC и Kaggle
The MegaFace Benchmark Платформа по проведению соревнований в биометрической идентификации по изображению лиц, организованная Вашингтонским университетом (University of Washington)
TunedIT Во много схожая с предыдущей платформа, ориентированная на академическую среду. Последние конкурсы были опубликованы в 2015 г.
Labeled Faces in the Wild Платформа по проведению соревнований в биометрической идентификации по изображению лица, организованная Массачусетским технологическим институтом (Massachusetts Institute of Technology)
Отечественные конкурсы и платформы
Олимпиада Wikimart Один из первых конкурсов, организованных в России в 2013 г. Конкурс предполагает исследование пользовательского поведения, связанного с непосредственной деятельностью сайта — научиться предсказывать наличие определенного действия пользователя в сессии
Sberbank Data Science В 2016 году ПАО «Сбербанк» провел один из самых масштабных конкурсов в области анализа данных: более 700 чел. отправили свои решения, более 3000 зарегистрированных участников работали с данными, а также сгенерировали более 30 Гб данных. Конкурс предполагал выявление бизнес-задачи банка на основе анализа данных, представленных организаторами
DataRing.ru Относительно молодая российская платформа по проведению конкурсов интеллектуальных технологий, проводящая конкурсы, в основном, для решения задач Avito
Фонд перспективных исследований С 2014 г. проводится серия конкурсов в области интеллектуального анализа и обработки данных, одна из отличительных особенностей — заключение договора на выполнение работы по заказу Фонда вместо денежного приза
Технологические конкурсы АСИ, РВК и Сколково в рамках Национальной технологической инициативы Конкурс по созданию технологий беспилотного управления автомобилем в сложных условиях «Зимняя трасса»
54 1 CONTROL SCIENCES № 6 • 2017
Несмотря на общую методологическую схожесть оценки качества технологий идентификации, в основе каждого из проводимых конкурсов лежат разные контрольные выборки изображений, которые в силу своей природы делают несопоставимыми результаты сравнения алгоритмов.
Так, например, в конкурсе Labeled Faces in the Wild (LFW) используются полученные в условиях так называемой «кооперационной» съемки изображения лиц актеров и знаменитостей, что дает дополнительные возможности для обучения алгоритмов. В конкурсе Face Recognition Vendor Test (FRVT) дополнительно используются изображения, полученные с помощью веб-камер, что существенно отличает их по сложности от изображений конкурса LFW. Контрольная выборка конкурса The MegaFace Benchmark представляет собой фотографии людей, снятых в «естественных» условиях, т. е. в случайной позе, со свободным выражением лица, освещением и экспозицией, более того, выборка содержит различные мешающие факторы, затрудняющие процесс распознавания [4].
Подобная разница в природе тестовых данных не позволяет сопоставить результаты работы алгоритмов, полученных на разных тестовых площадках. Несопоставимыми оказываются не только абсолютные значения вероятностей ошибок распознавания (ошибки первого и второго рода и другие производные характеристики), но и порядок ранжирования технологий, который для разных выборок оказывается различным.
Таким образом, выполненный анализ показывает, что известные на сегодня конкурентные процедуры, направленные на оценку технологий анализа данных и машинного обучения, проводятся на специально подготовленных выборках исходных данных, отражающих специфику решаемых прикладных или научных задач. В некоторых случаях устанавливается критериальный порог для функциональных характеристик ТОД, преодоление которого дает право участникам претендовать на победу в конкурсе. В других случаях такой порог не устанавливается, и победителем считается технология, продемонстрировавшая наилучшие функциональные характеристики.
Так или иначе, недостаток проводимых в настоящее время конкурентных процедур заключается в том, что результаты разных конкурсов, посвященных решению одной и той же задачи обработки данных, несопоставимы между собой. Кроме того, оценки качества ТОД, полученные в разных конкурсах, не могут быть отображены на некую абсолютную шкалу значений, позволяющих делать обоснованные выводы о возможности применения технологий-победителей для решения конкретных прикладных задач.
Преодоление этого недостатка достигается стандартизацией требований к контрольным выборкам на основе всестороннего анализа условий прикладных задач, на решение которых направлено проведение конкурсов (или иных процедур оценки качества ТОД). Данный подход был отработан в ходе проведения Фондом перспективных исследований (г. Москва) серии конкурсов в области технологий распознавания спонтанной русской речи (2014 г.), лиц людей на фотографиях, полученных в сложных условиях (2015 г.), и дешифрирования аэрокосмических снимков в целях выявления определенных сооружений и техники (2016—2017 гг.). В ходе проведения этих конкурсов были подготовлены контрольные выборки исходных данных, эквивалентные по своей сложности практически значимым задачам обработки данных. Подобные наборы исходных данных могут быть использованы в качестве стандартных тестовых выборок. Тем не менее, нерешенным до настоящего времени остается вопрос интерпретируемости результатов оценки качества ТОД, т. е. их отображения на абсолютную шкалу значений, указывающих на возможность практического использования технологии.
2. ТЕХНОЛОГИИ ОБРАБОТКИ ДАННЫХ, НАПРАВЛЕННЫЕ НА РЕШЕНИЕ ИНТЕЛЛЕКТУАЛЬНЫХ ЗАДАЧ
Необходимо учитывать, что в подавляющем большинстве случаев обработка данных важна не сама по себе, а как элемент системы управления на основе принятия решений в задачах:
— автоматического управления транспортным средством — управления направлением и скоростью движения;
— медицинской диагностики — постановки диагноза и выбора способа лечения;
— безопасности — реагирования на выявленные угрозы безопасности и др.
На рис. 1 представлена обобщенная схема системы управления, содержащей различного рода сенсоры, средства предварительной обработки информации, тематической обработки данных, принятия решения об управлении и собственно средства управления объектом. Отметим, что предварительная обработка информации осуществляется в целях устранения фактора субъективности, сопутствующего конкретным процедурам сбора первичной информации, и преобразования этой информации в данные, представленные в формальном виде, пригодном для передачи, интерпретации или обработки людьми или компьютерами [4]. Темати-
ческая обработка д анных осуществляется с учетом особенностей решаемых задач управления.
Требования к качеству ТОД д олжны, строго говоря, учитывать особенности подсистемы реагирования, объекта управления, состояние окружающей среды и другие факторы. Многообразие этих факторов делает практически невозможным стандартизацию требований к качеству ТОД. Естественный выход из сложившейся ситуации состоит в попытке декомпозиции модели системы управления с разделением требований, предъявляемых к подсистемам обработки информации, принятия решений и собственно управления.
Среди задач обработки данных выделим класс так называемых «интеллектуальных» задач, характеризующихся следующими особенностями:
— интеллектуальные задачи направлены на обработку информации антропоморфной модальности, т. е. информации, модальность которой характерна для органов чувств человека (зрительная, акустическая, тактильная и др.);
— интеллектуальные задачи с высоким качеством могут быть решены человеком благодаря наличию у него эволюционно сформировавшихся интеллектуальных способностей, позволяющих, например, отличать существенные признаки наблюдаемых объектов от несущественных; задействовать интуицию при решении задач, отличающихся высокой вариабельностью; учитывать окружающий контекст при анализе объектов; воспринимать индивидуальное как типичное, т. е. осуществлять категоризацию объектов; оперировать с неоднозначностями и др. [7];
— способности разных людей при решении различных интеллектуальных задач, как правило, неодинаковы, но при этом, исходя из рациональных соображений, могут быть выделены определенные (квалифицированные) люди, способности которых при решении конкретных задач оказываются практически приемлемыми (референтными);
Рис. 1. Подсистема обработки информации в составе типовой системы управления
Искусственные сенсоры
Антропоморфные сенсоры
Средства принятия решений
т
Подсистема обработки информации
Средства предварительной обработки информации
Средства предварительной обработки информации
Человек-оператор
Технические средства обработки
Рис. 2. Подсистема обработки информации, поступающей от антропоморфных и искусственных сенсоров
— интеллектуальные задачи имеют прикладное значение в различных отраслях экономики, в области обороны и безопасности, но не охватывают творческие способности человека (умение писать стихи и сочинять музыку, например), его морально-этические устои и некоторые другие способности, также тесно связанные с понятием человеческого интеллекта.
Схема системы управления, в которой используются как антропоморфные, так и искусственные (не совпадающие по модальности с органами чувств человека) сенсоры, представлена на рис. 2.
2.1. Критерий качества технологий интеллектуальной обработки данных
Технологии обработки данных, направленные на решение интеллектуальных задач, могут быть названы технологиями интеллектуальной обработки данных (ТИОД). Тогда для ТИОД критерий качества может быть сформулирован следующим образом: существенные функциональные возможности технологии при решении определенной интеллектуальной задачи на представительной выборке исходных данных не должны уступать соответствующим возможностям квалифицированного человека-оператора. Показателем качества ТИОД служит величина, характеризующая отклонение функциональных возможностей ТИОД от соответствующих возможностей квалифицированного оператора.
Существование такого квалифицированного оператора следует из приведенного выше опреде-
56
СО^О! ЯС1ЕМСЕ8 № 6 • 2017
ления интеллектуальной задачи, а способ его выбора определяется спецификой задачи. Так, например, в задачах автоматического управления наземным транспортным средством в качестве квалифицированного оператора может быть выбран профессиональный водитель с определенными стажем работы и уровнем аварийности; т. е. выбор квалифицированного оператора осуществляется с помощью валидационных критериев [3, 8].
Отметим, что в некоторых случаях достижение оператором квалифицированного уровня сопровождается также соответствующими морфологическими изменениями головного мозга. Так, например, было показано [9], что гиппокам у профессиональных таксистов расширяется по мере того, как они учатся ориентироваться на улицах и в достопримечательностях города. Исследование нейроморфологических критериев отбора квалифицированных операторов выходит за рамки настоящей статьи.
Удовлетворяющие приведенному выше критерию качества ТИОД обеспечат решение проблемы создания «искусственных интеллектуальных операторов», способных заменить человека при решении интеллектуальных, но рутинных прикладных задач. О масштабах этой проблемы позволяют судить такие аналитические оценки: по данным исследования консалтинговой компании МсЮшеу [10], к функциям, которые можно автоматизировать, имеют отношение 1,1 млрд рабочих мест с полной занятостью в м ире, из них более 100 млн — в США и Европе.
Некоторые практически значимые интеллектуальные задачи приведены в табл. 4.
2.2. Оценка качества технологий интеллектуальной обработки данных
Сформулированный критерий качества ТИОД позволяет реализовать сценарий создания интеллектуальных технологий, основанный на конкурентном отборе исполнителей (рис. 3).
По оси ординат на диаграмме отложены значения обобщенного показателя, характеризующего функциональные возможности средства решения интеллектуальной задачи — ТИОД или человека-оператора. Значение Fl соответствует текущим возможностям ТИОД, а возможности человека показаны диапазоном значений, соответствующих заштрихованной области, в котором выделено некоторое референтное значение /3, демонстрируемое квалифицированным оператором. В этом случае условиями конкурса задается определенный порог /2, выбираемый таким образом, чтобы преодоление этого порога в рамках конкурса с достаточной степенью уверенности гарантировало дости-
Функциональные возможности средства решения интеллектуальной задачи
Человек-оператор
Требуемое качество ТИОД
Квалифицированный оператор
Г Сложность конкурсной задачи
ТИОД, существующий уровень техники
Этап
Проведение Создание конкурса технологии
Рис. 3. Последовательность решения задач по созданию интеллектуальных технологий с качеством, не уступающим качеству работы человека-оператора
жение коллективом-победителем значения при условии последующего финансирования соответствующего проекта. Если участников конкурса, прео дол евших порог ¥2, оказывается несколько, то победителем считается коллектив с максимальным значением функциональных возможностей представленной технологии. Если ни одного — конкурс считается несостоявшимся.
Порог соответствует конкурсной (квалификационной) задаче, которая должна соответствовать двум противоречивым критериям:
— быть достаточно простой и универсальной, чтобы привлечь к конкурсу максимальное число коллективов; это требование предполагает, что от участников не требуется обладание каким-либо специализированным оборудованием, трудоемкость различных вспомогательных операций минимальна, а научно-технический задел, полученный участником в ходе подготовки к конкурсу, может быть использован даже в том случае, если участник не вошел в число призеров; выполнение этого условия позволяет рассчитывать на достаточно представительный круг участников, способных изыскать собственные ресурсы на подготовку к конкурсу;
— быть достаточно конкретной, чтобы решение квалификационной задачи с высокой уверенностью свидетельствовало о способности коллектива-победителя решить в дальнейшем прикладную задачу с учетом установленных потребителем временных и ресурсных ограничений; на нетривиальность этого критерия для интеллектуальных задач метафорично указано в классической работе [11]: «...залезание на д ерево не эквивалентно началу полета на Луну».
Таблица 4
Интеллектуальные задачи обработки данных
Прикладная область Интеллектуальные задачи
Промышленность Автоматический контроль ручных операций сборочного производства. Преобразование конструкторско-технологической документации на создаваемые изделия, представленной в различных форматах в унифицированный цифровой формат. Моделирование поведения персонала, участвующего в эксплуатации, техническом обслуживании и ремонте создаваемых изделий. Обработка изображений от аппаратуры неразрушающего контроля в целях выявления дефектов и отклонений во внутренней структуре изделий
Транспорт Беспилотное управление автомобилем в условиях реальной городской транспортной инфраструктуры с гарантированным уровнем аварийности, не превышающим уровень аварийности, соответствующий человеку-водителю заданной квалификации. Выявление автомобилей, управляемых водителями с «агрессивным стилем вождения». Заблаговременное обнаружение пешеходов, намеренных нарушить правила д орожного движения, для информирования водителя об опасности. Оценка психоэмоционального состояния водителей для предотвращения аварий, связанных с управлением автомобилем водителем, находящимся в состоянии аффекта, алкогольного или наркотического опьянения и пр. Выявление автомобилей, нарушающих правила парковки
ЖКХ, социальная сфера Сравнение кадастровой карты со снимками местности, полученными с беспилотного летательного аппарата или космического аппарата дистанционного зондирования Земли (ДЗЗ), в целях выявления несоответствий в разметке зданий, сооружений, объектов транспортной инфраструктуры. Выявление по снимкам ДЗЗ районов проведения несанкционированных земельных работ, вырубки деревьев, стихийных свалок отходов и др. Контроль за правильностью использования наружной рекламы и вывесок с помощью видеоинформации, получаемой с установленных на автомобилях видеорегистраторов. Поддержание осмысленного диалога с абонентами центров обработки вызовов (са11-центров). Определение психоэмоционального состояния и выявление абонентов са11-центров, сообщающих заведомо ложные сведения
Медицина Обнаружение патологических изменений в теле человека на основе автоматизированного дешифрирования снимков, полученных с помощью рентгенологического, радиоизотопного, оптического, ультразвукового и иного диагностического оборудования, с учетом доступных дополнительных сведений о пациенте, с гарантированным качеством, не уступающим специалисту-диагносту заданной квалификации. Преобразование медицинских документов, представленных в различных форматах, в унифицированный цифровой формат
Право Анализ нормативных документов на непротиворечивость, полноту и безызбыточность
Банки Выявление людей с преступными намерениями (на примере недобросовестных заемщиков в кредитных организациях) по видеоизображениям и акустическим сигналам
Культура, образование Распознавание рукописных текстов, таблиц, вербальное описание рисунков в исторических документах
Оборона Распознавание сложной (спонтанной, сбивчивой) речи в условиях действия помех. Перевод текстов с иностранного языка на русский с возможностью автоматического обучения систем перевода на новые языки. Автоматическое обнаружение, классификация и распознавание инженерных сооружений, вооружения, военной и специальной техники (ВВСТ) на снимках ДЗЗ. Распознавание голосовых команд управления ВВСТ. Автоматическое (беспилотное) управление движением наземной военной техники в сложных условиях. Информационная поддержка технического обслуживания и ремонта ВВСТ на основе технологий дополненной реальности
Безопасность Распознавание лиц людей в сложных условиях с помощью одиночных снимков с неопределенным ракурсом; по объемному изображению головы, пропорциям тела и особенностям осанки; по походке и характерным жестам с помощью видеоизображений. Выявление с помощью видеоизображений людей с противоправными намерениями и поступками (физическое насилие; погром и порча имущества; хищение и др.). Выявление опасных предметов (вложений) с помощью теневых изображений, формируемых досмотровой аппаратурой. Аннотирование изображений, полученных от различных источников, для последующего поиска изображений, содержащих заданные объекты и их сочетания. Автоматическое распознавание речевых сигналов с выделением текста, просодических характеристик и фоновых звуков без потери информативности и с сохранением юридической значимости результатов распознавания. Интеллектуальные системы биометрической идентификации, учитывающие мимику л ица, особенности голоса, поведенческие реакции и когнитивную модель человека
50 | СОМТЯОЬ БтЕМСЕБ № 6 • 2017
Принципиальный момент заключается в том, что тестирование существующих ТИОД (определение значения Т1), оценка возможностей человека-оператора (13) и сравнение характеристик представляемых на конкурс технологий с порогом I'2 должны осуществляться на одной и той же тестовой выборке исходных д анных. Эта выборка д олж-на иметь достаточный объем, чтобы охватывать представительную совокупность комбинаций исходных данных, встречающихся с учетом специфики решаемой прикладной задачи.
Таким образом, подготовка к проведению конкурса интеллектуальных технологий предполагает формализацию квалификационной (конкурсной) задачи, а именно: формирование представительной тестовой выборки исходных данных и определение критериальных порогов 12 и 13.
Подобный подход обладает рядом преимуществ. В п. 1.2 настоящей статьи были рассмотрены различные способы оценки качества решения задачи идентификации личности по изображению лица, применяемые в популярных зарубежных конкурсах. Существенный недостаток этих способов состоит в том, что они дают лишь относительную оценку качества работы алгоритмов участников конкурсов. Например, при таком сравнении может оказаться, что лучшее решение, победившее в конкурсе, настолько сильно уступает возможностям человека-оператора, что реализация подобной функциональной возможности автоматическими алгоритмами становится нецелесообразной. В то же время, в случае, когда задано референтное значение 13, критериальный порог 12, а сравнение характеристик представляемых на конкурс технологий с порогом 12 осуществляется на одной и той же тестовой выборке исходных данных, пропуск подобной ситуации исключен.
В соответствии с приведенным выше определением, показателем качества ТИОД может быть выбрана величина 2т, характеризующая отклонение функциональных возможностей технологии от возможностей квалифицированного оператора:
Qt = Ft - F
3'
(1)
где 1т — значение, соответствующее функциональным возможностям оцениваемой технологии.
Тогда критерием решения интеллектуальной задачи является выполнение неравенства Qт > 0, а критерием возможности победы ТИОД в конкурсе — Qт > I - ^
Конкретное содержание показателя функциональных возможностей I определяется типом решаемой интеллектуальной задачи. В частности,
для задач распознавания функциональные возможности характеризуются частотой ошибок первого (ложное срабатывание, False Positive) и второго рода (пропуск события, False Negative). Если число ошибок первого и второго рода на контрольной выборке обозначить как FP и FN соответственно, то для характеристики функциональных возможностей средства решения интеллектуальной задачи могут применяться показатели точности P (precision), полноты R (recall) и избирательности S (specificity) распознавания:
P =
TP
TP + FP'
R =
TP
TP + FN
S =
TN
TN + FP'
(2)
где TP — число правильно распознанных объектов (True Positive), TN — число правильных решений о несоответствии объекта целевому классу (True Negative).
Точность распознавания характеризует долю объектов, правильно отнесенных к целевому классу распознавания, среди общего числа объектов, отнесенных к этому классу. Полнота — долю объектов, правильно отнесенных к классу распознавания, среди общего числа объектов, принадлежащих этому классу. Избирательность — долю правильных решений о несоответствии объекта целевому классу среди общего числа объектов, не принадлежащих этому классу. Оценки вероятностей ошибок первого (P1) и второго (P2) рода связаны с полнотой и точностью распознавания выражениями:
P1 = 1 - P и P2 = 1 - R.
Отметим, что показатели P и P1 вступают в противоречие с показателями R и P2. Это означает, что для определенного метода распознавания на заданной выборке исходных д анных показатели точности (ложных срабатываний) не могут быть улучшены одновременно с показателями полноты (пропусков события). Таким образом, задача сопоставления функциональных возможностей ТИОД является в общем случае многокритериальной с противоречивыми критериями. Для снижения размерности задачи оценивания пользуются интегральными показателями функциональных возможностей, представляющих собой свертку частных показателей.
Подобный интегральный показатель может быть рассчитан, например, для ТИОД, в которых каждая операция распознавания сопровождается вычислением некоторого неотрицательного показателя ранжирования r, характеризующего меру уверенности системы распознавания в принятом решении. В этом случае все результаты, получен-
ные при распознавании N элементов контрольной выборки, могут быть отсортированы по мере убывания показателя r. Для первых к, к е [1, N], значений упорядоченного множества решений могут быть построены значения точности Р(к) и полноты R(k), отображаемые в виде так называемой кривой точности-полноты. В качестве показателя функциональных возможностей F в этом случае может быть выбрана площадь под кривой точности-полноты (Mean Average Precision, MAP).
На рис. 4 показана кривая точности-полноты, полученная для одного из участников конкурса в области технологий дешифрирования аэрокосмических изображений, проведенного Фондом перспективных исследований в 2016—2017 гг. Участникам конкурса предлагалось на предоставленных снимках отыскать максимальное число объектов определенного класса (самолет, корабль, автомобиль, скрытое сооружение). При такой постановке задачи алгоритм принимает решения только о принадлежности объекта к классу (эти решения м огут быть как истинными, так и ложными), а TN = 0 по определению.
Каждая точка на представленной кривой соответствует значению точности для заданного уровня полноты. Например, значение точности 0,8 на уровне полноты 0,2 означает, что при правильном отнесении к целевому классу 20 % от общего числа объектов, принадлежащих этому классу, алгоритм допускает 20 % ложных срабатываний. В приведенном примере значение интегрального показателя функциональных возможностей F = 0,58309.
Другим примером интеллектуальной задачи, в которой принят интегральный показатель функциональных возможностей ТИОД, служит задача биометрической идентификации по изображению
1,0 0,8
А О
я
0,2
]
0,0
0,2
0,4 0,6 Полнота
0,8
1,0
Рис. 4. Типичный вид кривой точности-полноты:
щадь под кривой (МАР): 0,58309
1,0
0,8
0,6
с*
0,4
0,2
......................
---
0,000
0,010
0,020 FNIR
0,030
0,040
Рис. 5. Зависимость вероятности ошибок первого рода от вероятности ошибок второго рода в задаче идентификации лиц
лица. При этом наиболее практически значимую область охватывает сценарий сравнения «одного со многими». Алгоритмы подобного типа могут быть применены в большом числе практических приложений, начиная от поиска похожих изображений в базе данных и контроля пропускного режима и заканчивая автоматической маркировкой фотографий в социальных сетях.
При работе алгоритма идентификации каждое сравнение сопровождается вычислением неотрицательного показателя уверенности r, причем решение о совпадении изображений принимается в том случае, если этот показатель превышает заданный порог r > ro. Изменяя значение порога ro, можно построить зависимость вероятности ошибки второго рода Р2 (для биометрических алгоритмов именуемой также FNIR, False Negative Identification Rate) от вероятности ошибки первого рода Р1 (FPIR, False Positive Identification Rate).
На рис. 5 показано семейство зависимостей вероятности пропуска события (Р2) от вероятности ложного срабатывания (Р1), полученных для различных технологий идентификации лиц, участвовавших в конкурсе Фонда перспективных исследований в 2015—2016 гг. В конкурсе в качестве интегрального показателя функциональных возможностей алгоритмов F выбиралось значение вероятности ошибки второго рода (Р2, FNIR) при вероятности ошибок первого рода (Р1, FPIR), равной 0,02. Видно, что значение интегрального показателя F для лучшего решения составляет примерно 0,46.
— пло-
Отметим, что как в первом, так и во втором из приведенных примеров для определения интегрального показателя функциональных возможностей Т применялся коэффициент ранжирования (уверенности) г, представляющий собой неотрицательное вещественное число. Вычисление этого коэффициента в большинстве случаев не представляет сложности для технических средств решения интеллектуальных задач, а для человека-оператора может оказаться проблематичным. Данное обстоятельство затрудняет вычисление порогового значения (см. рис. 3) и соответственно применение показателя (1) для оценки качества ТИОД.
2.3. Сравнение качества работы
технологий интеллектуальной обработки данных с качеством работы человека-оператора
Без потери общности рассмотрим возможность определения коэффициента ранжирования г для квалифицированного человека-оператора на примере задачи двухклассовой классификации. Пусть X — множество описаний объектов, У — конечное множество номеров (меток) классов (в рассматриваемом случае мощность множества |Х| = т, а \У\ = 2). Пусть задана размеченная контрольная
выборка Хт = |(х1, ух), ..., (хт, ут)}, для которой заведомо известны принадлежность каждого из объектов к классу. Пусть задан алгоритм а: X^ У, реализуемый технической системой обработки данных, а также отобраны к операторов, осуществляющих классификацию (X ^ У). Необходимо сравнить качество работы операторов и технической системы обработки данных при решении задачи классификации объектов х е Хт, при этом
считается, что принадлежности х е Хт к классам У известны только организаторам тестирования.
При решении задачи классификации операторами для каждого из элементов х е Хт будет получена серия из к ответов, для которой могут быть рассчитаны показатели точности Р, полноты Я и избирательности с учетом апостериорно определяемых значений ТР, ТИ, ТР и ТИ (2). Отметим, что ИР + ТИ + ТР + ТИ = к.
Будем считать, что при принятии решения каждым оператором по каждому элементу выборки х е Хт указывается натуральное число т., , = 1, ..., к, характеризующее значение меры уверенности оператора в принимаемом решении. Пусть для определенности верной является нулевая гипотеза. Тогда значения сумм мер уверенности для операторов, принявших верные и неверные решения, примут соответственно значения:
ТР
90 = X т, — для всех операторов, принявших ну,
левую гипотезу;
81 = ^т, — для всех операторов, принявших
,
альтернативную гипотезу.
В этом случае под мерой уверенности квалифицированного человека-оператора в принятии решения для элемента контрольной выборки х е Хт будем понимать величину:
г] =
)0 + 01
у = 1, ..., т.
(3)
Полученная таким образом мера уверенности может быть использована для ранжирования ответов экспертов и вычисления значения интегрального показателя функциональных возможностей Т3 для квалифицированного человека-оператора.
В случае участия в решении задачи нескольких операторов расхождения в их ответах неизбежны. Так, например, о неидеальности человека-оператора при решении подобного рода задач свидетельствует следующий факт: в США ежегодно происходит д о 75 тыс. полицейских опознаний, и в 20—25 % случаев свидетели указывают на людей, о невиновности которых полиции известно [12]. При этом ключевую роль играет величина расхождения в ответах. Ответ группы операторов может считаться достаточно надежным только при условии согласованности ответов отдельных операторов. В условиях независимости операторов друг от друга решающее значение в получении согласованной оценки имеет число операторов к.
Для получения критерия достаточности числа операторов к воспользуемся коэффициентом кон-кордации Кендалла [13]. Согласно принятой ранее постановке задачи, каждому элементу выборки
х е Хт оператором ставится в соответствие метка класса у е У, тогда ответ ,-го квалифицированного человека-оператора для у'-го объекта контрольной выборки обозначим у.., , = 1, ..., к,' = 1, ..., т. Сумма ответов по каждому объекту
У- = X у.. , = 1
В этом случае среднее значение ответов
1 т
У = т X У,
т- = 1 у
а сумма квадратичных отклонений
5 = X (У - У )2.
у = 1
Тогда коэффициент конкордации может быть вычислен по формуле:
W=
12S
2 3 k (m - m)
(4)
Для определения достаточного числа операторов к воспользуемся критерием согласия Пирсона. Так как статистика к(т — 1)W (для т > 7) имеет приближенно ^-распределение с т — 1 степенями свободы, то в случае к(т — 1)Ж > % т _ 1 можно
сделать вывод о том, что ответы операторов согласованы при заданном уровне значимости а [14].
Необходимо отметить, что формула (4) верна только в случае отсутствия идентичных ответов, что очень редко встречается на практике, так для больших т наличие повторений в ответах операторов неизбежно. В подобной ситуации применяется так называемый поправочный коэффициент, который для у'-го объекта
t = z (t3 - о,
(5)
Y = 1
где I — число «случаев» неразличимости ответов, а ^ — число неразличимых ответов одного «случая». Необходимо отметить, что поправочный коэффициент Т характеризует дифференцирующие способности тестовой выборки, т. е. способность выборки оценивать степень согласованности экспертов. При отсутствии идентичных ответов коэффициент Т становится равен нулю.
С учетом поправки (5) коэффициент конкорда-ции вычисляется по формуле [15]:
W=
12 S
k (m - m) - m Z T j = 1
ЗАКЛЮЧЕНИЕ
Выполнен анализ и выявлены недостатки проводимых в настоящее время конкурсов в области обработки данных. Показана возможность оценки качества технологий интеллектуальной обработки данных на основе сопоставления функциональных возможностей технологии и квалифицированного человека-оператора при решении прикладной задачи, формализованной на конкретной тестовой выборке. Предложены подходы к обоснованию численности экспертного сообщества, необходимого для оценки функциональных возможностей квалифицированного оператора, а также к преобразованию результатов экспертных оценок к мет-
рическому представлению, принятому для методов обработки данных.
ЛИТЕРАТУРА
1. Emerging Science and Technology Trends: 2016—2045 A Synthesis of Leading Forecasts April 2016 / Office of the Deputy Assistant Secretary of the Army (Research & Technology). — URL: http://www.defenseinnovationmarketplace.mil/resourc-es/2016_SciTechReport_16June2016.pdf (дата обращения: 28.06.2017).
2. IEEE Transactions on Medical Imaging. — 2015. — Vol. 34, iss. 5. — P. 1005—1177.
3. ГОСТ Р ИСО 9001—2015. Системы менеджмента качества. Требования. — М.: Стандартинформ, 2015. — 32 с.
4. The MegaFace Benchmark: 1 Million Faces for Recognition at Scale / I. Kemelmacher-Shlizerman, et al. / University of Washington. — URL: http://megaface.cs.washington.edu/ KemelmacherMegaFaceCVPR16.pdf (дата обращения: 10.08.2017).
5. Labeled Faces in the Wild: A Survey / E. Learned-Miller, et al. — URL: https://people.cs.umass.edu/~elm/papers/ LFW_survey.pdf (дата обращения: 10.08.2017).
6. Face Recognition Vendor Test (FRVT) Performance of Face Identification Algorithms / P. Grother, M. Ngan / National Institute of Standards and Technology. — URL: http:// ws680 .nist.gov/publication/get_pdf. cfm?pub_id=915761 (дата обращения: 10.08.2017).
7. Гарбук С.В. Интеллектуальные автоматизированные средства тематической обработки информации в системах безопасности // Искусственный интеллект и принятие решений. — 2017. — № 1. — С. 95—104.
8. ГОСТ 33707—2016 (ISO/IEC 2382:2015). Информационные технологии. Словарь. — М.: Стандартинформ, 2016 — 206 с.
9. Spiers H.J., Maguire E.A. Thoughts, behaviour, and brain dynamics during navigation in the real world // NeuroImage. — 2006. — Vol. 31. — P. 1826—1840.
10. А future that works: automation, employment, and productivity January 2017 / J. Manyika, et al. / McKinsey Global Institute. — URL: http://www.mckinsey.com/~/media/McKinsey/Glo-bal%20Themes/Digital%20Disruption/Harnessing%20automa-tion%20for%20a%20future%20that%20works/MGI-A-future-that-works_Full-report.ashx (дата обращения: 10.07.2017).
11. Дрейфус X. Чего не могут вычислительные машины: Критика искусственного разума: пер. с англ. / Общ. ред. Б.В. Бирюков. — М.: Кн. дом «Либроком», 2010. — 336 с.
12. Млодинов Л. (Нео)сознанное. Как бессознательный ум управляет нашим поведением. — Livebook / Гаятри, 2014. — 360 с.
13. Kendall M.G.; Babington S.B. The Problem of m Rankings // The Annals of Mathematical Statistics. — 1939. — Vol. 10, N 3. — P. 275—287.
14. Кремер Н.Ш. Теория вероятностей и математическая статистика: учеб. для вузов, 2-е изд., перераб. и доп. — М.: ЮНИТИ-ДАНА, 2004. — 573 с.
15. Siegel S., Castellan N, John Jr. Nonparametric Statistics for the Behavioral Sciences: 2nd ed. — N.-Y.: McGraw-Hill, 1988. — 266 p.
Статья представлена к публикации членом редколлегии
Н.Н. Бахтадзе.
Гарбук Сергей Владимирович — канд. техн. наук,
зам. ген. директора, Н garbuk@list.ru,
Бакеев Руслан Надирович — руководитель проекта,
Н bakeev.ruslan@yandex.ru,
Фонд перспективных исследований, г. Москва.
