CC BY
93О НЕКОТОРЫХ «НОВИНКАХ» РЫНКА ПРОФОРИЕНТАЦИОННЫХ УСЛУГ, ИЛИ МОЖНО ЛИ ОПРЕДЕЛИТЬ СПОСОБНОСТИ ПО РИТМАМ ГОЛОВНОГО МОЗГА?
Резапкина Галина Владимировна,
психолог-профконсультант, старший научный сотрудник Федерального института развития образования РАНХиГС, Центра практической психологии образования АСОУ, эксперт национального проекта «Образование», Москва, e-mail: [email protected]
Богданов Сергей Витальевич,
кандидат физико-математических наук, начальник лаборатории МБУДО «Дом Юных Техников» г. Королёва, лауреат Губернаторской премии «Наше Подмосковье», e-mail: [email protected]
ПСИХОЛОГ-ПРОФКОНСУЛЬТАНТ И ФИЗИК НЕЗАВИСИМО ДРУГ ОТ ДРУГА АНАЛИЗИРУЮТ ПРАВОМЕРНОСТЬ ИСПОЛЬЗОВАНИЯ НЕКОТОРЫХ МЕТОДОВ ДИАГНОСТИКИ СПОСОБНОСТЕЙ, НЕДАВНО ПОЯВИВШИХСЯ НА РЫНКЕ УСЛУГ, А ТАКЖЕ ПРИВОДЯТ ЧЁТКИЕ КРИТЕРИИ, ПО КОТОРЫМ МОЖНО ПОНЯТЬ, НАСКОЛЬКО ЭФФЕКТИВЕН ПРЕДЛАГАЕМЫЙ МЕТОД ИЛИ ЭТО ОЧЕРЕДНОЙ СОМНИТЕЛЬНЫЙ БИЗНЕС-ПРОДУКТ.
• профориентация • профконсультирование
Точка зрения
психолога-профконсультанта
• психологическая экспертиза • Вербатория
ведливо упрекал, что некорректно критиковать методику, не узнав суть метода, и предлагал бесплатно пройти тестирование.
Неужели я отстала от жизни, пропустив революционное открытие, которое перечеркнёт наши представления о природе способностей? Почитала интервью основателя, восхитилась изобретательностью в продвижении продукта, порадовалась финансовым успехам. Знакомство с методом на сайте «Верба-тории» мало что прояснило. Набор слов «ней-роинтерфейс», «нейрометрия способностей», «диагностика таланта», «уникальный метод анализа природного потенциала», «забота об экологичном развитии детей» не впечатлил — слишком часто за риторикой и наукообразными терминами ничего не стоит.
Время от времени я прохожу профориента-ционное тестирование на разных сайтах. Такой тест-драйв позволяет оценить уровень профориентационных услуг, поймать за руку нарушителей авторских прав, собрать материал для статей и выступлений, в которых я предупреждаю пользователей о сомнительных предложениях. Каждый раз узнаю о себе что-то новое: «<Синергия» советует заняться рекламой, веб-дизайном и он-лайн бизнесом, предварительно пройдя обучение на своих факультетах, «<Гуманитарные технологии» рекомендуют профессии автомеханика, кинолога, кондитера или киномеханика, «<Фоксфорд» уверен, что из меня получится тканевый инженер...
Мой скепсис в отношении профдиагностики компании «Вербатория» не остался без внимания — на третий день после выступления на конференции в МГПУ мне пришло письмо директора «Вербатории», который спра-
Псевдонаучной терминологией прикрывались и авторы методики профориентации по отпечаткам пальцев. От её оценки высокая наука три года презрительно отмахивалась, пока эта франшиза не вошла в сотню успешных. Только тогда РАН выпустила ме-
морандум № 1 Комиссии РАН по борьбе с лженаукой и фальсификацией научных исследований о лженаучном статусе коммерческого тестирования по кожным узорам пальцев рук1.
Директор «Вербатории» обижается, когда его детище сравнивают с профориентацией по отпечаткам пальцев, поэтому даже офисы рядом с конкурентами не хочет открывать. Хотя аналогии очевидны. Оба создателя франшиз — молодые креативные технари с хорошим чутьём и отличными навыками продаж. Оба позиционируют свои услуги как новое слово в профориентации. Оба не имеют психологического образования и опыта работы в сферах, связанных с психологической диагностикой, профориентацией и подбором персонала. Поэтому начну с небольшого ликбеза для разработчиков и пользователей подобных программ.
Психологическая диагностика — сложнейшее направление психологии. Методики должны быть валидны, надёжны и достоверны, иначе от них будет вред, а не польза. Экспертизу проводят специалисты в области психометрии. Материалом для экспертизы служат протоколы исследований необходимого и достаточного числа испытуемых в соответствии с выборкой. Экспертизой занимается независимая организация, специалисты которой обладают необходимой квалификацией.
Важный элемент программы психологической диагностики по выбору профессии или способностей — профиль профессии. Он показывает пики выраженности профессионально важных качеств. Создание таких профилей — дело очень трудоёмкое. Для начала нужно найти несколько сотен успешных профессионалов и убедить их пройти тестирование по целому блоку методик, чтобы посмотреть корреляцию между разными параметрами. Тестирование должно проходить в одинаковых условиях. На основе полученных графиков составляется профиль «идеального» врача, юриста, полицейского, психолога — кого угодно. В 1990-е годы в территориальных центрах профориентации была собрана база профессиональных профилей, необходимая и достаточная для заключения о профессиональной пригодности тестируемого. Индивидуальная консультация включала тести-
рование по блоку методик, подобранных в соответствии с предполагаемым выбором профессии. Если результаты были близки к «идеальным» графикам успешных представителей этой профессии, то давалось заключение о соответствии интеллектуальных и личностных особенностей испытуемого требованиям выбранной профессии. Сопоставление результатов испытуемого с известным стандартом — основа типологического подхода, который лежит в основе большинства современных тестов.
И «Genetic-test», и «Вербатория» формально придерживаются типологического подхода. Программа «Genetic-test» основана на базе отпечатков пальцев людей разных профессий. Допустим, отпечатки пальцев всех бухгалтеров в этой базе имеют некое сходство. Значит, если программа обнаруживает сходство отпечатков пальцев тестируемого с пальчиками бухгалтеров, то и быть ему бухгалтером. То, что среди выборки есть те, кто ошибся с выбором профессии, некомпетентен или ненавидит свою работу, в расчёт не берётся. Хотя формулировки расплывчаты, как в гороскопе, «попаданий» не больше половины.
«Вербатория» берётся определять «способности к математике, творчеству, языкам, музыке и спорту на основе измерений ритмов головного мозга». В качестве теоретической основы программы указывается теория множественного интеллекта Говарда Гарднера. По мнению разработчиков нейро-метрии, среди которых есть нейропсихологи («нет, имён назвать не можем, это личное»), метод «позволяет получать высококачественные результаты исследования активности мозговой деятельности не только при пребывании в определённом состоянии, но и при решении повседневных задач», а «развитие понимания интеллекта в динамике от общей оценки IQ к более частным показателям исследования по видам деятельности положило основу формированию семи основных типов способностей человека. Использование метода ней-рометрии позволяет выполнить анализ каждого вида, определяя при этом уровень освоения конкретного навыка».
1 Меморандум № 1 Комиссии борьбе с лженаукой и фальсиф| научных исследований о лженау1 тусе коммерческого тестиров кожным узорам пальцев рук. [В те] Май 2016 г. http://klnran.ru memorandum01 -dermatoglifika/
РАН по икацией ном ста-ания по Интерне-2016/05/
Как это происходило со мной? На голове закрепляется лёгкий ободок с датчиком, обеспечивающим беспроводную связь с каким-то сервером, а затем предъявляются фрагменты известных психологам методик и задания разного типа (повторить ноту, мысленно засечь минуту и т.д.) с ограничением по времени. Я стараюсь, мне интересен и важен результат.
Потом нейрометрист, милая молодая женщина, просит меня на графике оценить свои способности, исходя из 100 баллов (речь, логика, движения, творчество, музыкальный интеллект). Я высоко оцениваю своё речевое развитие и творчество, средне — всё остальное и жду результатов. Но результатов как таковых нет, потому что оценка правильности выполнения задания не предусмотрена. Хитрый прибор, по словам нейропсихолога, считывает активность моего мозга и на основании полученных данных делает вывод о моих способностях. Мне интересно, как работает мой мозг, но никакого подтверждения его активности я не получаю. Кульминация консультации: мне объявляют, что у меня «выдающийся потенциал в области занятий с использованием музыкальных способностей, 95 баллов из 100», а «моё призвание и лучшая профессия — композитор, исполнитель народных или этнических песен или звукооператор».
Я, конечно, люблю караоке под настроение в хорошей компании, но не до такой же степени, чтобы менять профессию... Вспоминаю, как напрягалась, пытаясь воспроизвести нужную ноту на металлической штуковине, как улыбалась Мария — видать, получалось не ахти.
А вот с речевым развитием у меня по результатам обследования полный провал — 16 баллов. Приговор «Вербатории»: «не выбирать занятия в качестве основных, если данные навыки являются ключевыми для достижения значительных успехов». Поздно, выбраны давно и навсегда — читаю запоём с четырёх лет, первую статью написала печатными буквами в пять лет и до сих пор не могу остановиться. Везёт же тем, у кого «устная речь отличается лёгкостью и изяществом, а письменная — так называемой врождённой грамотностью и „литературным слогом"»!
С творчеством, по мнению программы, у меня ещё хуже — 15 баллов. Правда, нейрометрист объяснила, что это не творчество, а «пространственно-временная грань» — это когда надо было про себя отсчитать минуту и мысленно следить за перемещением невидимой точки на клетках. А назвали они эту грань творчеством потому, что так понятнее родителям. Большие надежды возлагала на эти задания, была уверена в успехе. Приговор «Вербатории»: «не выбирать занятия в качестве основных, если данные навыки являются ключевыми для достижения значительных успехов». Мне было отказано в «способности оперировать образами предметов и явлений в динамике четырёхмерного пространства, умении точно воспринимать зримый мир, трансформировать запомненные образы в новые, а также умении воссоздавать аспекты визуального опыта даже при отсутствии соответствующего физического опыта». Оказывается, у меня нет ни малейших способностей к визуальным искусствам, хотя, по мнению специалистов, я могла сделать карьеру в режиссуре, графике и декоративно-прикладном искусстве.
Сама процедура считывания моей «мозговой активности» заняла минут сорок, а потом два нейрометриста ещё час, уклоняясь от ответов на прямые вопросы о методе, убеждали меня, что я композитор, а не литератор и психолог, как я много лет думала, и все мои профессиональные достижения — только результат развития навыков.
Чем вызвано радикальное расхождение полученных результатов с данными многочисленных исследований по стандартизированным методикам, которые я проходила в течение двадцати лет? У меня есть три версии.
Первая версия — сознательное введение клиентов в заблуждение. Не удивлюсь, если обруч на голове, якобы считывающий активность мозга при выполнении заданий, — всего лишь декорация. В пользу этого варианта говорит отсутствие протоколов диагностики («правильность выполнения заданий не важна») и результатов «тщательного тестирования отделов и функций мозга, особенностей его
деятельности» в виде электроэнцефалограммы, стоимость которой существенно ниже услуг «Вербатории»2.
Второй вариант — введение клиентов в заблуждение по неведению. Наблюдая убеждённость сотрудников «Вербатории» в непогрешимости нейрометрики, я склоняюсь к этому варианту. Приборчик каким-то образом улавливает активность мозга, но программа интерпретирует её с точностью до наоборот. При выполнении заданий, соответствующих моим навыкам, способностям и склонностям, мозг не напрягается, работает на автомате. Встречая задания, идущие вразрез с моими способностями, мозговая активность повышается. Всплески активности интерпретируются как проявления способностей. Однако неясно, насколько продуктивна эта активность, если не оценивается успешность выполнения заданий.
Третий вариант — разработчики, действительно, предлагают инновационный продукт, который заставит пересмотреть имеющиеся представления о природе талантов и способностей, а также методы их диагностики. Вот только нет результатов независимых экспертиз, подтверждающих эффективность этого метода.
Вопрос, на который я не получила ответа в ходе общения с сотрудниками «Вербато-рии», адресую учёным и практикам, психологам, биологам, психометристам, нейро-психологам: можно ли определить способности к математике, творчеству, языкам, музыке и спорту на основе измерения «ритмов головного мозга»?
Точка зрения физика
Доверчивость и любовь к детям — вот почва, на которой живут и процветают поставщики сомнительных услуг благодаря недостаточной активности профессионального сообщества, РАН и Министерства просвещения.
Как распознать псевдонаучные методы?
Вот список, основанный на рекомендациях FDA [1].
Десять признаков сомнительных предложений
1. Отсутствие публикаций в серьёзных научных изданиях.
2. Недобросовестная работа с источниками информации.
3. Сенсационность и глобальность заявлений.
4. Коммерческая составляющая.
5. Критика в адрес научного сообщества.
6. Отсутствие самокритики.
7. Простота изложения, расплывчатые объяснения, наукообразные термины.
8. Сомнительные наукообразные регалии.
9. Странная логика рассуждений, логические ошибки.
10. Повышенная эмоциональность заявлений.
Большинство этих признаков мы наблюдаем при знакомстве с услугами компании «Вер-батория», которая замахивается на диагностику талантов и способностей детей, подростков и взрослых...
...Главный инструмент «Вербатории» — игрушечный интерфейс NeuroSky (рис. 1). Это ободок с чипом для приборов снятия электрокардиограмм с частотой 500 сэмплов в секунду, клипсой на мочку уха как референс потенциала кожи и одним (!) сухим контактом. Не 8, не 16, не 128 (что для современной электроэнцефалографии и немного) влажных контактов, а один сухой. И расположен этот контакт на самом неинформативном с точки зрения нейроданных месте — на лбу, притом что различные ритмы мозга проявляются в совершенно других точках кожи головы. Само собой, любое движение любой мышцы лица и глазных мышц забивает сигнал EEG, но для игрушки это и неважно.
В ободке стоит ещё чип для Blue Tooth передачи данных, причём не низкоэнергетический, а обычный BT. Ясно, что наводки от BT передачи порядка или выше сигнала EEG. Наличие BT и EEG чипов в одном модуле переводит прибор в нишу игрушек. Сигнал передаётся по протоколу VCP на USB интерфейс, планшет или смартфон. Чип-клон стандартного чипа для приборов электрокардиографов (ЭКГ) — BMD101 ECG, с абсолютно теми же _
параметрами — час- 2 с подробной аргументацией, о тота выборки 500 вающей данную версию, можно в секунду, диапазон миться во второй части статьи
босновы-ознако-
Рис. 1. Нейроинтерфейс. В составе: чип для ЭКГ, чип Blue Tooth, контакт для лба, референс контакт для мочки уха
до 3-100 Гц. И этот чип сделан и лицензирован только для ЭКГ, а не для EEG! NeuroSky продаёт свою технологию вместе с модулем для различных игрушек от нейроушек (ушки на ободке крутятся при переходе мыслей от внимательности к отдыху) до интерфейсов для игр в ценовом диапазоне от 30 до 150 долл. США.
Бесплатный софт от Neurosky рисует незамысловатую картинку — плоские многоугольники с рёбрами на разных частотах (рис. 2). Пишут, что длины диагоналей многоугольника пропорциональны альфа, бета и т.д. ритмам головного мозга. Возможно, но никто этого не проверял — игрушка ведь, мало ли что там она показывает. Таким образом, прибор для реальной регистрации ритмов мозга не только не сертифицирован, но и просто непригоден.
Разработчики «Вербатории» берут слегка изменённую картинку и выдают клиенту с примечаниями: вот это линия способностей к математике, вот линия музыки и т.д. Никакого обоснования и актуаторных таблиц, а также научных публикаций в реферируемых журналах по связи игрушечных параметров, полученных neurosky, и реальных наклонностей ребёнка нет.
Сотрудники «Вербатории» писали о наборе людей на тесты, имитируя таким образом НИОКР, но на просьбы взять детей на тестирование отвечают, что команда уже набрана. «44 из 160 заполненных анкет отобраны рабочей группой для диагностики» — вот уровень сбора статистических данных. По статистике для достоверной идентификации по каждой группе относительный разброс составляет VN/N, где N — число ис-
Рис. 2. Оригинальная диаграмма производителя Neurosky и «результат» «Вербатории»
85% родителей ошибаются в оценке способностей детей
В В б ПН. ь
В результате Ваш ребенок развивает то, что нравится Вам, а не ему
повного мозга точно
На основе анализа ритмов головного мозга точно определяем склонность ребенка к математике, музыке, языкам, спорту и творчеству. Вы также узнаете тип мышления Вашего ребенка — аналитический или образный
ТВОРЧЕСТВО
Рис. 3. Реклама на главной странице сайта «Вербатории»
следуемых в каждой группе. Не только 44, но и 160 очень мало для получения приемлемой точности — ведь это в лучшем случае разброс У(160/5)/(160/5) = 18% (см. любой учебник по теории вероятностей).
Но задолго до «Вербатории» было проведено огромное количество исследований — их результаты скромны: можно только узнать, нервничает ребёнок сейчас или нет, и то не всегда. Даже вопрос «Врёт ли человек?» подтверждается на основе гораздо большего потока данных, полученных в ходе многолетних академических исследований, — и результату не всегда можно доверять. Всё сказанное подтверждает первый признак лженаучности — отсутствие научного обоснования методики.
Года два «Вербатория» торговала результатами тестов с пустым местом на странице «Основы метода», но буквально год назад они подыскали обоснование в виде теории множественного интеллекта Гарднера [2]. Однако тесты интеллекта в психометрии, как правило, обнаруживают высокую корреляцию между различными задачами и аспектами интеллекта, а не низкую корреляцию, которую предсказывает теория Гарднера, — по мнению учёных, лишённая психометрических или каких-либо других количественных оснований [3].
Кроме того, из оригинальных девяти «векторов» интеллекта «Вербатория» оставила только пять. Согласитесь, трудно оспорить второй признак лженауки — недобросовестную работу с источниками, подгонку теории под свои задачи. Неудивительно, что статей, рассказывающих о так называемом методе «Вербатории», нет в высокорейтинговых реферируемых научных журналах.
Сенсационным выглядит утверждение на первой странице сайта «Вербатории» [4] (рис. 3): «85% родителей ошибаются в оценке способностей детей», очень напоминающее рекламные слоганы продавцов БАДов («85% людей заражены паразитами...»). Между тем не указано, кто и когда проводил подобные исследования. Налицо третий признак лженаучности.
По четвёртому признаку — «коммерческая составляющая» — всё очевидно, как и по шестому признаку — отсутствие само-
критики. Авторы методики не приводят данных ни по валидности методики, ни по достоверности — а между тем «Вербатория» даёт рекомендации на длительный срок, поэтому проверить их правильность с учётом недолгого времени работы «Вербато-рии» просто нет возможности.
Малопонятная для большинства людей фраза «Используем компактные датчики для получения сигналов, выделяем в них, на основе преобразований Фурье, гармоники и распознаём определённые паттерны с помощью нейронной сети» в рекламном описании просто вводит клиентов в заблуждение. Компактные датчики — это вышеупомянутые чипы по 600 рублей, преобразование Фурье — рутинный метод работы с периодическими сигналами, доступный даже школьникам. А «паттерны» и «нейронная сеть» добавлены для солидности — для решения подобных задач нейронные сети не нужны. Так что и седьмой признак лженауки налицо. Наукообразие лишь характеризует целевую аудиторию — заботливые, но слабо подкованные в физике и математике родители, которые оказывают своим детям «медвежью услугу». Есть и просто безграмотный наукообразный набор слов, как на рис. 4. Заметим, что
Точка бифуркации - эта такая точка в пространстве состояний системы, в которой проекция вектора внешних воздействий на вектор степени свободы системы становится равной нулю -неустойчивое равновесие, проще говоря.
Правильная профессия
НЕ-правильные
Рис. 4. Презентация «Вербатории». Текст — наукообразный набор слов
ПАКЕТ РЕЗУЛЬТАТОВ ПО ВОЗРАСТУ
■ Кто я?
1 Профориентация
| Взрослые 18+
ВАША ПРОФЕССИЯ: Композитор
I. ДИАГНОСТИКА ТАЛАНТА - ПРИКЛАДНЫЕ СПОСОБНОСТИ_
Более высокое значение соответствует большему природному потенциалу достижений в этих занятиях при соответствующих усилиях
ДВИЖЕНИЯ
ТВОРЧЕСТВО
- СПОСОБНОСТИ
МУЗ. ИНТЕЛЛЕКТ
Опыт, умения, знания, навыки и настроение в момент тестирования не влияют на результат диагностики
Самый высокий и самый низкие показатели устойчивы на протяжении всей жизни
Повторная диагностика рекомендуется только в случае небольшой (менее 20) разнице между значениями.
Рис. 5.
степень свободы — не вектор, а скаляр. Неустойчивое равновесие — совершенно не тождественно точке бифуркации. Так что и здесь признак лженауки бродит по рекламным материалам «Вербатории». Как и «Genetic-test», «Вербатория» обосновывает эффективность ссылками на патенты, хотя никаких сведений о них не приводится. Впрочем, патенты не проходят проверку на эффективность: желающие могут найти среди патентов методики лозоходства или предсказания будущего с помощью мела и воды.
Добавим и логическую несостоятельность подхода — так, направления интеллекта «математика» и «музыка» не ортогональны, примером чему является Альберт Эйнштейн, отлично игравший на скрипке. Трудно вообразить, чтобы интеллект можно было разложить по ортогональному 5-мерному (в оригинале у Гарднера — по 9-мерному) базису!
Таким образом, мы констатируем семь из десяти признаков лженаучности метода.
Для объективной оценки правомерности использования нейрометрии необходима профессиональная экспертиза валидности, надёжности и достоверности метода, проведённая на репрезентативной выборке. Это очень важно, потому что разработчики хотят сделать услугу доступной для всех детей и подростков, что возможно только при условии бюджетного финансирования. Пока же любой неразборчивый в средствах психолог может приобрести франшизу и вводить в заблуждение детей и их родителей за их же деньги. Если, конечно, его пустят
в школы. Но это уже на совести директоров
и родительского комитета. □
Литература
1. Александров Е.Б. Естествознание в мире духов // Бюллетень «В защиту науки» — № 16. — М.: Наука, 2015.
2. Gardner, Howard. Intelligence Reframed: Multiple Intelligences for the 21st Century. б.м. : Basic Books, 1999. ISBN 978-0-46502611-1. Gardner, Howard. Intelligence Reframed: Multiple Intelligences for the 21st Century. б.м.: Basic Books, 1999. ISBN 978-0-465-02611-1.
3. Richard J. Herrnstein, Charles Murray. The Bell Curve: Intelligence and Class Structure in American Life. б.м.: Free Press, 1994. 0-02-914673-9.
4. Вербатория. URL:// https://verbatoria.ru/
References
1. Aleksandrov E.B. Estestvoznanie v mire duhov // Byulleten' «V zashchitu nauki». — № 16. — M.: Nauka, 2015.
2. Gardner, Howard. Intelligence Reframed: Multiple Intelligences for the 21st Century. b.m.: Basic Books, 1999. ISBN 978-0-46502611-1. Gardner, Howard. Intelligence Re-framed: Multiple Intelligences for the 21st Century. b.m.: Basic Books, 1999. ISBN 978-0-465-02611-1.
3. Richard J. Herrnstein, Charles Murray. The Bell Curve: Intelligence and Class Structure in American Life. b.m.: Free Press, 1994. 0-02-914673-9.
4. Verbatoriya. URL://https://verbatoria.ru/
