CC BY
15Не доведённое до конца исследование
В.А. Жмудь1'2 3
1 АО «Новосибирский институт программных систем», Россия 2Институт лазерной физики СО РАН, Россия 3Алтае-Саянский филиал Федерального государственного бюджетного учреждения науки Геофизической службы РАН, Россия
Аннотация. На основе опыта рецензирования и оценивания научных отчётов указываются наиболее характерные недостатки отчётов о выполнении научных исследований, а также диссертационных работ. Данная статья сосредоточена на признаках не доведённого до конца исследования. Показано, что фактически собранного материала бывает в некоторых случаях достаточно для получения более достоверных и надёжных научных результатов, либо для этого требовалось бы не так уж много дополнительных исследований, но без такого заключительного шага исследования выглядят не доведёнными до конца. В случае, когда подобные результаты докладываются в научных докладах, представляются в научных статьях, отчётах или даже диссертациях, это резко снижает ценность подобных научных трудов. На показательных примерах демонстрируются недостатки и даны рекомендации, как можно было бы их исправить.
Ключевые слова: научное исследование, доказательство, верификация, валидация, научная новизна, практическая ценность, компьютерные и информационные науки, управление
ВВЕДЕНИЕ
«Если вам удалось вызвать восторг слушателей, не спешите радоваться, быть может, это восторг слушателей от ощущения колоссального интеллектуального превосходства над вами? Может быть это восторг от вашей глупости?»
Э. Аберн. https://proza.ru/2023/03/23/441
Автору доводилось преподавать аспирантам предметы «Методы научных исследований» и «Научное письмо», а также участвовать во многих коллективных органах, чья задача состоит в оценивании научной новизны и практической ценности докладываемых результатов исследования, включая заседания государственных экзаменационных комиссий, диссертационных советов и более высокие инстанции, кроме того в качестве эксперта РАН довелось оценивать около полусотни различных проектов НИР. На основании этого опыта можно составить определённый перечень наиболее характерных недостатков как в планируемых исследованиях, так и в отчётах по завершённым исследованиям.
Поскольку характерные ошибки повторяются из года в год, видно, что обратной связи нет, поэтому существует опасность, что они будут и далее встречаться достаточно часто. Как известно, при отсутствии обратной связи система может стать нестабильной, то есть в данном случае нежелательные эффекты могут нарастать с каждым годом, что существенно ухудшит качество научных отчётов, т. е. качество научных исследований. Отсутствие обратной связи в том числе возникает по той причине, что даже если слушатели, рецензенты, оппоненты, члены диссертационного совета и даже члены экспертного совета ВАК видят эти недостатки, они зачастую считают их не столь существенны, чтобы из-за них можно было бы отклонить всю проделанную научную работу. Диссертационный совет всегда вынужден балансировать между стремлением к истине и симпатии или сочувствия к самому диссертанту, поэтому даже при наличии недостатков зачастую большинство членов диссертационного совета голосуют всё же положительно. И они, разумеется, имеют на это полное право. Но в том случае, если диссертанту требовалось совсем немного усилий для того, чтобы из сырой и по сути незаконченной работы сделать качественную завершённую и полноценную научную работу, обидно, что диссертант этого не делает.
Поэтому данная статья не ставит целью кого-либо унизить, а имеет своей задачей высказать мнение о возможностях улучшения научных работ, а привлечение для выдвига-
емых тезисов примеров из открыто опубликованных научных работ обосновано тем, что в противном случае без использования таких примеров утверждения оставались бы голословными.
Требование ДОСТАТОЧНОСТИ ИССЛЕДОВАНИЙ
Важный тезис о достаточности исследования. Если вы создаёте средство для анализа чего бы то ни было, тогда примените это средство на деле и осуществите этот анализ. Наиболее эффективная проверка нового средства состоит в том, чтобы проверить с его помощью несомненный факт и получить несомненное его подтверждение.
Совершенно недостаточно проверять гипотезу, про которою неизвестно, верна она или нет, путём формирования с её помощью таких предсказаний, про которые невозможно сказать, верны ли они, или ошибочны.
Подобными действиями зачастую занимается астрофизика. Если какая-то вновь выдвигаемая гипотеза верна, тогда вблизи гипотетического объекта под названием «чёрная дыра» имеют место некие явления. Это не имеет никакого отношения к истинно научным методам. С таким же успехом можно было бы, например, утверждать: «Если существует звезда, имеющая более двух тысяч планет, тогда общая масса этих планет не превышает четвёртой части массы этой звезды». Тут уже не важно, справедливо второе утверждение, или нет, если мы не знаем, насколько справедливо первое утверждение, и не имеем ни малейшей возможности проверить ни одно из этих утверждений.
Итак, первая проверка выдвигаемой теории могла бы быть осуществлена путём проверки того, насколько точно она предсказывает те явления или события, которые уже известны. Следующий шаг такой проверки - это попытка предсказания того, что не известно, но может быть проверено. Если и эту проверку гипотеза выдержит, тогда её можно принять как теорию, с помощью которой можно делать прогнозы даже на те случаи, которые пока ещё не могут быть проверены.
Например, по анализу карточек учёта хронических неинфекционных заболеваний специалист сделал прогноз относительно того, насколько курение является фактором, определяющим вероятность возникновения болезни и сложность её течения. Если для создания теории использованы все сведения, имеющиеся в базе данных, тогда можно создать некую математическую модель для такого прогноза, но у исследователя не имеется никаких оснований или доказательств верности этой модели. Если же исследователь
взял бы для анализа только часть данных, например, 75%, на основании этого анализа сделал бы прогноз в отношении оставшихся 25% пациентов, и этот прогноз подтвердился бы, тогда можно было бы говорить о том, что данная модель, действительно, работает. Применение теории не доказывает её верность. Если врачи решат для профилактики рекомендовать витамины тем пациентам, у которых вероятность заболеваний, согласно этому расчёту, повышена, это не доказывает, что эта вероятность рассчитывается верно. Это лишь доказывает, что нашлись люди, которые поверили в эти соотношения, хотя для этого у них не было никаких оснований, кроме доверия данному автору.
Близкий случай: диссертант на основании анализа случаев возгорания создал математическую модель для расчёта вероятности пожаров в каком-то классе жилых объектов с учётом каких-то факторов. Это на указанной стадии исследований всего лишь предположение, выраженное в математических соотношениях. Закономерно возникает вопрос о том, насколько эти прогнозы достоверны. Диссертант сообщает, что страховая компания уже применяет эти формулы для расчёта вероятности возгорания, и, следовательно, для стоимости страховки. Но страховые компании могут рассчитывать стоимость страховки и на основании гороскопа, если им это хочется. Вопрос в том, насколько эти прогнозы достоверны. Даже если бы методика была полностью ошибочной, и прогноз, сделанный с её помощью, не был бы ничуть точней, чем прогноз, полученный с помощью подбрасывания монеты, или с помощью гороскопа, то и в этом случае можно ответить, что методика полезна, поскольку применяется. Так оно и было в обсуждаемом случае. Большая разница между тем, что методика применяется (и результата такого применения пока ещё нет) и тем, что методика уже применена и дала достоверные результаты, и эта достоверность также является доказанной.
При обучении студентов пользованию программы для автоматического проектирования регуляторов мы рекомендуем следующий порядок действий. Сначала знакомство с программным средством и методами его использования, затем расчёт с помощью этого программного средства переходных процессов в таких объектах или системах, в которых вид переходного процесса просто прогнозируется. Это позволяет убедиться, что моделирование осуществляется корректно. Затем рекомендуется с помощью этого программного средства осуществлять расчёт регуляторов для таких систем, которые относительно легко рассчитываются другими методами. Результат можно в этом случае проверить другими методами. И лишь после этого рекомендуется осуществлять расчёт регуляторов и процессов для систем, анализ которых затруднителен вследствие отсутствия эффективных методов и программных средств для решения этих задач.
Итак, использование методики или теории для решения задач, прогноз результата решения которых не может быть легко сделан, целесообразно делать лишь после того, как разработанное средство будет само уже многократно проверено и достоверность сделанных с его помощью оценок будет несомненной.
Мы отличаем доказанную достоверность от достоверности, декларируемой разработчиком без достаточных на до причин и оснований.
Исследования должны осуществляться не только для разработки метода, но и для того, чтобы доказать его полезность.
Сказано ли новое слово в сфере анализа текстов?
Пример 1. Обсудим диссертационную работу [1]. Диссертация посвящена созданию формальных математических методов для анализа авторства различных текстов.
Мы процитируем полностью раздел, оправдывающий актуальность темы диссертационного исследования. Автор пишет: «Актуальность темы исследования. Задачи анализа текстовой информации все чаще решаются с помощью современных математических методов и компьютерных технологий. В научной литературе обозначены различные подходы и методы решения проблем классификации и поиска текстов, атрибуции текстов, машинного перевода, реферирования текстов, выявления плагиата, анализа тональности текстов, генерации текстов, реконструкции текстов и др. Эти задачи объединяет необходимость поиска нестандартных, скрытых закономерностей, присущих текстам, которые можно обнаружить, например, с помощью методов искусственного интеллекта и машинного обучения. Также отметим, что результаты, полученные при решении одного класса задач анализа текстов, можно применить и для другого класса. Актуальной задачей является разработка новых и усовершенствование существующих математических моделей, численных методов и программных средств для решения различных задач по анализу текстовой информации. одной из таких задач является проблема атрибуции текстов. Вообще слово атрибуция (от латин. айпЬийо - приписывание) в филологии означает определение атрибутов текстового произведения (установления авторства, времени и места создания и т. п.). Проводя атрибуцию, можно исследовать различные факторы, влияющие на текст. Например, интересной проблемой является разграничение фольклорных текстов и текстов, стилизованных под фольклор. Другой актуальной задачей является определение авторства анонимных и псевдонимных статей в журналах «Время» (1861-1863), «Эпоха» (1864-1865) и еженедельника «Гражданин» (1873-1874). Известно, что Ф. М. Достоевский редактировал эти журналы и до сих пор ведутся дискуссии относительно принадлежности некоторых статей его перу» [1].
Из сказанного следует, например, что диссертация сообщает о результате разработки программного средства для решения задач атрибуции текстов. В приложении к диссертации перечислены источники, с которыми работал автор.
Это тексты, источники которых указаны в [1]:
1. Пятьдесят песен из книги Н.А. Клюева [2], пятьдесят девять народных песен из сборника [3], тринадцать песен из сборника [4], семь песен из журнальной публикации [5], и так далее - итого 428 песен.
2. Двести десять стихов и песен А.К. Толстого из полного собрания сочинений [6].
3. Двадцать стихов и песен С.А. Есенина [7].
4. Сорок шесть текстов, приписываемых А.С. Пушкину [8], [9], [10], [11], [12].
5. Шестьдесят три фрагмента текста Ф.М. Достоевского из различных журнальных и книжных публикаций.
Далее утверждается, что осуществлён анализ этих текстов, приводятся различные табличные сведения, графы и графики. Для различных графов подсчитаны всевозможные характеристики - количество вершин и рёбер, функция принадлежности, и прочее.
Разумеется, читатели диссертации (а также рецензенты и оппоненты) вправе ожидать убедительный вывод в конце диссертации о том, что на столь обширном фактическом материале полностью доказана эффективность этого анализа. Ещё лучше было бы, если по результатам такого доказательства эффективности и несомненности этого метода был бы осуществлен анализ и таких текстов, в отношении которых решение пока ещё принять не удалось, а в результате создания этого мощного средства анализа эта задача наконец-то решена.
Но не тут-то было. Читаем выводы диссертации.
Автор пишет в заключении: «Рассмотренный и исследованный в диссертации теоретико-графовый подход к решению многих задач анализа текстов (например, атрибуции текстов) открывает возможности для построения более эффективных классификаторов, работающих в том числе в условиях неполных и противоречивых исходных данных. Это подтверждается, в частности, определенными ограничениями, возникающими при применении традиционных лингвостатистических показателей, и все более возрастающим интересом к таким технологиям, как графовые нейронные сети (GNN - Graph Neural Network)» [1].
Итак, рассмотренный подход «открывает возможности». А что, разве раньше эти возможности были закрыты? Что означает «открывает возможности»? Вместо того, чтобы сообщить, насколько автор прошёл по этой дороге исследований он сообщает нам, что эта дорога открыта. То есть двери не заперты, на дороге пока ему не видны ни горы, ни овраги, так что ли? Вторая часть предложения вызывает совершенно разнообразные чувства, более родственные чувству юмору и иронии, недели преклонению перед работоспособностью и талантом. Это подтверждается «определёнными ограничениями» и «возрастающим интересом» к технологиям «графовых нейронных сетей». Как может открытость возможностей подтверждаться определёнными ограничениями? Это что же, мы говорим, что дорога открыта, но на ней множество препон, и наличие этих препон доказывает открытость дороги, так что ли? А вторая часть предложения, если вдуматься, о чём же нам сообщает? О том, что возрастающий интерес к одному из видов технологий подтверждает открытость этой дороги? А какое это имеет отношение к диссертации, к трудам автора, к результатам, полученным диссертантом?
Далее - ещё интересней. Автор пишет: «Сформулируем итоги диссертационного исследования», и что же он формулирует, давайте читать.
«1. Предложен ансамбль теоретико-графовых моделей, описывающих языковую структуру текстов с учетом иерархичности, нечеткости и темпоральности, а также их рекурсивное обобщенное определение для решения задачи анализа текстов. Теоретико-графовые модели апробированы на материале коллекций фольклорных и литературных текстов. Многочисленные примеры разборов текстов подготовлены при участии сотрудников Института филологии ПетрГУ, музея-заповедника «Кижи» и Института языка, литературы и истории КарНЦ РАН» [ 1].
Последнее предложение лишь указывает, что работа выполнена автором не единолично. Это никак не является результатом исследования, это является особенностями получения этих результатов, эту отсылку следовало делать в разделе «Вклад соискателя в полученные результаты». Остаются первые два предложения этого пункта. Итак, предложен ансамбль моделей, то есть не одна модель, а некий набор, который используется одновременно. Модели апробированы на текстовом материале. Хорошо, апробированы, но это слово здесь неуместно. Апробацией называется выступление с научным докладом на публике. А испытание разработанных моделей называется исследованием применимости или верификацией. Верификация должна доказывать, что результат разработки соответствует тем требованиям, которые к ней предъявлялись теми, кто её заказывал. Возможно, апробация - это просто попытка использования результата без принятия решения о том, насколько этот результат действительно соответствует ожиданиям? Чем это лучше, эффективней, надёжней, чем известные методы, например, подсчёт количества знаков препинания на тысячу слов, или, например, статистика распределения слов из разного количества букв, или статистика следования различных частей речи, статистика длины предложений и так далее?
«Проверка реальности или мнимости существования пудинга состоит в том, что его съедают», как отметил Карл Маркс [13], (глава 4). Но такая проверка не доказывает, что этот пудинг безвреден, ведь отравленный пудинг тоже можно съесть и даже до некоторого времени, быть может, не почувствовать никакого недомогания. Так что факт применения какого-либо технического решения без указания на то, что это применение достигло цели, никак не является верификацией этого технического решения, то есть не доказывает его полезности. Этот факт лишь доказывает, что кто-то предположил или допустил, что это решение может оказаться полезным, и поэтому он попытался его применить. Этим кем-то может быть и сам автор этого технического решения.
Точно также не доказывает полезности предложенного технического решения внедрение его в учебный процесс. Внедрение ваших новых решений в учебный процесс доказывает лишь то, что вам удалось уговорить заведующего кафедрой подписать подобную справку, что не представляет сложности, если вы хотя бы что-то преподаёте на этой кафедре. Мы все привыкли, что внедрение есть доказательство полезности. Это не так. Разве нельзя студентам преподавать ошибочные гипотезы? Можно, если против этого желает сам преподаватель и заведующий кафедрой не возражает. Но заведующий кафедрой не может быть специалистом по всем преподаваемым дисциплинам, или, во всяком случае, чаще всего доверяет мнению тех преподавателей, которые ангажированы для преподавания этих предметов. Если данный преподаватель заявляет, что он получил новые результаты и уже использует их в преподаваемом предмете, что может на это возразить заведующий кафедрой? А если он завизирует выписку о внедрении в образовательный процесс, то под ней подпишется и декан, и проректор по учебной работе, и ректор, куда же они денутся?
Итак, внедрение в учебный процесс доказывает лишь одно: что данный диссертант хотя бы что-то преподаёт. Разве это - доказательство практической полезности? Если преподаватель физкультуры потребует, чтобы отныне все студенты приходили на занятия исключительно в фиолетовых тренировочных костюмах, это его требование будет «внедрено», но какая в этом польза? Но «внедрение» новшества налицо.
Второй пункт обсуждаемой диссертации сформулирован столь же неконкретно: «2. Предложен метод определения значимых вершин, ребер и подграфов на основе совокупности теоретико-графовых моделей, в том числе с использованием методов агрегации для решения задачи анализа текстов. Показано использование данного метода для определения значимых фрагментов фольклорных текстов, а также для определения значимых подструктур при атрибуции литературных текстов» [1]. Как прикажете понимать фразу «Показано использование данного метода»? Автор может научить пользоваться этим методом, который он предложил. Но достигает ли этот метод поставленных целей и задач? Не очевидно!
Некто может нам сообщить, что для общего оздоровления организма необходимо один раз в день трижды почесать локоть левой руки правой и четырежды хлопнуть ладонью правой руки по левому плечу. Он покажет нам, как это следует делать в полном соответствии с его методикой, то есть осуществит обучение пользования этой методикой. Ну и что? Разве это имеет какое-то отношение к полезности этого метода? Предложил, научил, а может быть это всё -полнейшая ерунда?
Третий, четвёртый, пятый и шестой пункты столь же не убедительно сформулированы, они лишь поясняют, как именно следует использовать предложенный метод и что сделано для того, чтобы этот метод можно было использовать.
В седьмом пункте находим: «7. Усовершенствован программный комплекс СМАЛТ («Статистические методы анализа литературных текстов») для решения задач атрибуции текстов. На примере коллекции анонимных и псевдо-нимных статей из журналов «Время» (1861-1863), «Эпоха» (1864-1865) и еженедельника «Гражданин» (1873-1874) показано, как можно с помощью математических методов и компьютерных технологий выявлять скрытые закономерности в текстах». опять неконкретно и не понятно. Что-то усовершенствовали. С каким эффектом, с каким результатом? Это «что-то» вообще до этого работало? Насколько достоверны были результаты работы этого программного комплекса? Далее - автором показано, как можно выявлять эти самые скрытые закономерности. Ну, допустим, выявили вы закономерность. А к чему она относится? К стилю автора или к жанру произведения? Какой бы автор не стал писать былину, стиль его будет не тот же, каким он будет, если он будет писать сонет, или эпиграмму, или повествование, или критическую заметку. Нашли ли вы общее во всех жанрах, что позволяет безошибочно определить авторство?
Мне могут возразить, что это и не требовалось по постановке задачи, но тогда я отошлю вас к формулировке актуальности темы исследования. Ведь там сказано об актуальности методов «установления авторства, времени и места создания». Нам кажется, что установление времени или места создания текста путём его анализа - это едва ли решаемая задача. Во всяком случае, анализ особенностей текста с большей вероятностью сможет указать на автора, нежели на время и место его написания. Неужели какой-то автор будет писать в Москве одним стилем, в Санкт-Петербурге - другим, в Новосибирске - третьим? Или в доме на одной улице одним стилем, а в доме на другой улице в этом же городе - другим стилем?
Не следует в диссертации ставить нерешаемых задач. Вообще говоря, не следует даже ставить и решаемые задачи, которые не решены в диссертации. Постановка задач в диссертации в точности должна соответствовать перечню решённых задач, если диссертация какую-то задачу не решила, то нет смысла говорить об этой задаче во введении, не надо её ставить.
Ну тогда хотя бы показал бы нам диссертант, что он смог установить автора, анализируя текст. И даже ещё проще, пусть он не установил автора достоверно, но хотя бы сообщил нам, что какой-то из анализируемых текстов с каким-но существенным уровнем вероятности (намного больше, чем 0,5) принадлежит или не принадлежит тому автору, который написал несколько других текстов, взятых за эталон. Хотя бы в вероятностных терминах, например, «Данный текст с вероятностью 0,95 принадлежит Ф.М. Достоевскому», т.е. с вероятностью 0,05 он ему не принадлежит. Но этого в диссертации нет. Не найдено.
Последний пункт заключения в этом плане просто «шедевр» со знаком «минус», то есть «анти-шедевр».
он звучит так: «8. Даны рекомендации по применению результатов диссертации для решения вопросов атрибуции (установления авторства) анонимных текстов, жанровой дифференциации и классификации текстов, поиска текстов, генерации текстов, реконструкции текстов, выявления неоднородных текстовых фрагментов, анализа тональности текстов, машинного перевода, реферирования текстов, выявления плагиата и др.».
Обращаем внимание наших читателей вот на что. При отсутствии каких-либо доказательств, или хотя бы каких-либо слабых оснований для того, что предлагаемый метод хотя бы что-то может доказать, или хотя бы с какой-то вероятностью дать указание в пользу того или иного решения (этим занимается, в частности, нечёткая логика), рекомендации по использованию этого метода совершенно не нуж-
ны. Действительно, зачем рекомендовать метод, который пока что ещё ничего не даёт от его использования? Кому нужны рекомендации по использования того, что нет смысла применять?
Это подобно тому, как если бы кто-то нам сказал: «Я пока не убедился, что если ты будешь прыгать из самолёта с зонтиком в руках, то ты приземлишься живым и невредимым, но я зато разработал рекомендации о том, как следует этот зонтик держать, и в какой момент его лучше раскрывать». Или: «Если вы решите прыгнуть с моста, привязавшись к мосту с помощью этой резинки, тогда я могу дать вам несколько советов, как её привязать к перилам моста. Правда, резинка не крепкая, и я не делал никаких испытаний для того, чтобы быть уверенным в предположении, что она спасёт вас от гибели, но зато я могу научить вас привязывать эту резинку очень быстро и очень крепко, и я разработал для этого набор рекомендаций».
А КАК БЫЛО БЫ ЛУЧШЕ?
Мы не только критикуем, нам есть что предложить в позитив. Автор «исследовал» обширнейший исходный материал. Но его метод этого «исследования» совершенно странен, не логичен. Складывается впечатление, что автор не желал узнать, эффективен ли предлагаемый им метод, и поэтому побоялся применить его так, как следовало бы применить. А именно, применение подобной методики должно было бы быть в два этапа.
1. Верификация метода
С этой целью следует брать тексты, авторство которых для исследователя не подлежит сомнению, достоверно известно. На этой стадии не берутся тексты, «приписываемые» какому-либо автору, а берутся только такие тексты, которые достоверно принадлежат тому авторству, который имеет свой сложившийся стиль, литературный почерк. Для начала следует взять тексты из одного жанра. Наиболее надёжный жанр - не поэтический, а проза, желательно фрагмент повествовательный, то есть такой, где автор описывает самые простые явления. При этом текст, достоверно принадлежащий этому автору, следует использовать и в качестве эталона, то есть для того, чтобы составить некий паспорт литературного почерка этого автора, и в качестве исследуемого текста, в отношении которого нам необходимо с помощью данного инструментария решить вопрос о принадлежности этого тестового текста этому автору. То есть ответ на задачу мы должны знать без какого-либо сомнения, а применение этого инструментария должно подтвердить этот вывод, или же не подтвердить. Если авторство таким формальным анализом подтверждается, метод имеет основания для того, чтобы ему начать больше доверять. Далее такая же процедура производится в отношении текста, который по некоторым признакам мог бы быть отнесён к этому автору, но достоверно не принадлежит ему. Лучший вариант - стилизация или пародия, написанная другим автором в подражание исследуемому автору. Если метод в этом случае выявит, что авторство принадлежит другому писателю, а не тому, чей фрагмент был использован для эталона, это ещё одно основание больше доверять этому методу. Если ошибки не будет никогда, а испытаний было много, то это докажет, что метод надёжный. Если испытаний будет только два, и оба они дадут ожидаемый правильный результат, то можно хотя бы в какой-то степени говорить о том, что метод себя подтвердил, оправдал, хотя статистически подтверждённой достоверности ещё не будет. То есть верификация в этом случае не будет совершенной, полной, но, во всяком случае, не будет и опровержения того, что метод работает. Для достаточной верификации следует многократно повторить этот эксперимент при использовании фрагментов из разных жанров и разных форм, например, если говорить о прозе, это могут быть
фрагменты из писем, мемуаров, рассказов, повестей, романов, миниатюр и так далее. В различных жанрах идентификация авторства, по-видимому, будет сложней. Сопоставление прозы и поэзии, скорее всего, вызовет наибольшую трудность, но, возможно, сопоставление поэзии в близких формах может дать в какой-то мере надёжный результат. Если же метод будет одинаково эффективен во всех жанрах, это будет, действительно, значительное достижение. Но даже в том случае, если результат не будет гарантированным, его эффективность можно оценить в вероятностных показателях, учитывая, каков процент верного определения авторства, и каков процент ошибки.
2. Применение метода для определения авторства
Для этого следует проделать то же самое, используя текст, авторство которого сомнительно. В этом случае можно было бы говорить об использовании метода, то есть о его внедрении в научные исследования.
Особо отметим, что в случае, если первый пункт не выполнен, тогда выполнение второго пункта не имеет никакого смысла.
А теперь обратимся к перечню используемых текстов. Как мы указали, в нём имеются и тексты, авторство которых совершенно точно установлено, так и народные песни, так и произведения (стихотворные и прозаические), приписываемые А.С. Пушкину, который, по счастью, оставил после себя достаточное наследие для того, чтобы было откуда брать образцы авторского текста.
Мы бы могли ожидать в этом случае приблизительно следующего текста раздела «Заключение» по обсуждаемой диссертации.
«В данной диссертационной работе предложен алгоритм и разработано программное обеспечение для формального анализа текстов с целью отыскания совокупности индивидуальных характеристик автора путем формального анализа достаточного набора фрагментов текстов, достоверно принадлежащих данному автору.
Предлагаемый инструментарий в виде алгоритма анализа и программы для его выполнения верифицирован путем применения его для решения этой задачи в отношении текстовых фрагментов, чьё авторство известно. В результате с вероятностью 0,98 разработанное программное обеспечение определяет совпадение или несовпадение авторства тестируемого фрагмента с авторством эталонных фрагментов текста при анализе однотипных текстов (сравнение прозы с прозой пли поэзии с поэзией), и с вероятностью 0,93 определяет авторство при использовании всех жанров (сравнение прозы и поэзии).
С применением предложенного алгоритма и программы, его реализующей, исследованы тексты, приписываемые известным авторам. В отношении этих текстов сгенерированы решения о принадлежности или непринадлежности их автору эталонных текстов. Результаты этого исследования приведены в Приложении».
Если бы мы увидели подобные выводы в разделе «Заключение», мы бы не сомневались, что автор диссертации знает, чем он занимается, для чего, и с каким результатом. Поскольку мы этого не видим, все эти сомнения имеются, и они весьма обоснованы.
СКАЗАНО НОВОЕ СЛОВО В РАСЧЁТЕ ПОЖАРНЫХ РИСКОВ?
Пример 2. Рассмотрим диссертацию [14]. В ней присутствуют все те же ошибки. Автор занялся исследованием факторов, на основе которых можно предсказать статистику по пожарам в отношении помещений и зданий, которые необходимо застраховать. Актуальность этой задачи понятна: страховым организациям хотелось бы заранее знать, насколько высока вероятность пожара того или иного объ-
екта недвижимости, что могло бы войти в условия страховки. Результатом этой диссертации являются предложенные алгоритмы для расчета вероятностей пожаров или для расчета вероятности их отсутствия на некотором отрезке времени. Но этим все исследования и ограничены. Нет никаких оснований для того, чтобы считать предложенную методику хотя бы сколько-нибудь достоверной. Опять отсутствует важный этап - верификация. Автор включил в приложение к диссертации внушительное число актов внедрения результатов. Два акта внедрения результатов в учебный процесс. Они ничего не доказывают, кроме того, что руководство учебного заведения заинтересовано в защите данным диссертантом докторской диссертации. Также приложены четыре акта от различных страховых компаний, которые все, как под копирку, утверждают, что результаты этой диссертации применены в расчёте так называемого «пожарного риска». В трёх актах используется именно этот термин, а в четвёртом акте говорится об оценке «риска от пожаров». Также везде сказано, что применён «предлагаемый метод по экономическому обоснованию мероприятий по обеспечению пожарной безопасности в жилье». Это вообще какой-то нонсенс. Обеспечение пожарной безопасности в любом жилом помещении всегда обосновано, причём, экономическое обоснование здесь далеко не на первом месте. Пожар жилого помещения всегда представляет опасность для тех, кто в нём проживает, поэтому даже если это было бы экономически не выгодно, всё равно при обустройстве жилых помещений должны быть применены все меры не просто для снижения рисков пожара, а для исключения по возможности такого риска. Также должны быть приняты меры по снижению вероятности гибели людей в случае, если пожар всё-таки произойдёт. Если же меры по снижению риска пожара окажутся экономически нецелесообразными, тогда такое жилое помещение должно быть выведено из жилого фонда. Например, если дом деревянный, то обеспечение пожаробезопасности, возможно, состоит в том, чтобы его снести и построить на его месте бетонный дом. Это может оказаться нецелесообразным по экономическим причинам, но проживание в деревянном доме опасно. По этой причине, например, в Германии запрещены ночёвки в дачных домах, поскольку в них не обеспечена пожаробезопасность, и в эти дома не сможет подъехать пожарная машина.
Итак, предложить метод оценки рисков пожара, или, тем более, всего лишь метод расчёта экономической эффективности противопожарных мероприятий - это слишком мало для того, чтобы утверждать, что решена какая-то важная научная задача. Данная задача не может считаться решённой, пока результаты её решения не верифицированы. Разумеется, в этом случае намного труднее доказать, что метод работоспособен, поскольку мы имеем дело не с анализом текстов по количеству тех или иных слов и их расстановки, а с реальным существованием жилых домов. Ну ведь автора никто не заставлял выбирать такую тему диссертационного исследования. Однако, до тех пор, пока предложенный метод не будет подтверждён достоверными экспериментальными исследованиями, такое диссертационное исследование не может считаться завершённым, сколько бы ни было подписано подобных актов внедрения в методику расчёта рисков или в учебный процесс.
А КАК СЛЕДОВАЛО ПОСТУПАТЬ?
Нам кажется, что если в доме разрешено проживать, тогда вероятность пожара должна быть предельно низкой. И это - гораздо важней, чем рассчитать риски для страховых кампаний. Существует определённый набор признаков, которые повышают вероятность пожара, и все эти признаки следует просто устранять. Совершенно ясно, что кирпичный дом с электрическим отоплением, без использования газа с широкими лестничными проёмами, не заставленными
хламом, имеющий также и пожарную лестницу, представляет собой менее опасное помещение, нежели, например, деревянный дом с печным отоплением, а если там ещё проведён газ для кухонных помещений, то в таком доме лучше не проживать никому и никогда.
Вместо того, чтобы рассчитывать вероятность пожаров, следует разработать методику обеспечения минимизации пожарной опасности до величины, при которой проживание граждан может быть разрешено без опасений.
Вообще говоря, расчёт опасности пожара едва ли является научной задачей. Во всяком случае следовало бы найти в этой работе действительно научную задачу, то есть такую задачу, для решения которой требуется использование научных методов. Простой подсчёт факторов опасности с коэффициентами, разумеется, может оказаться вполне эффективным, но здесь не видится науки.
Выводы и обсуждение
В настоящее время наблюдается недостаточно чёткое понимание у многих диссертантов того, что, собственно, является научной постановкой задачи, в чём может состоять научная новизна, что такое практическая полезность, что может быть отнесено к теоретической ценности, что является внедрением, что является апробацией, что можно назвать научными результатами. И по этой причине почти вовсе отсутствует научная культура формулирования защищаемых положений. А ведь защищаемые положения - это такие научные утверждения, которые наука могла бы с благодарностью диссертанту вписать в свои скрижали по данной научной специальности. То есть каждая новая диссертация должна быть своеобразной ступенькой в сооружаемой мировой наукой лестнице научных знаний, которая стремится к вершине все более точного понимания мира. Или, хотя бы, если мы говорим о технических науках, каждая диссертация должна предлагать набор технических решений, инструментарий для достижения нового уровня науки, техники, технологий. Пусть этот инструментарий даст не слишком большой подъём, но это всё же должен быть подъём имеющихся в арсенале науки методов, средств, или увеличение знаний. Поэтому так важна верификация, доказательство работоспособности, и, следовательно, ценности предлагаемых новых методов, приёмов, технических решений. Методы, в отношении которых их достоверность не доказана, бесполезны, и давно пора это понять. Иначе мы скоро увидим и такие якобы научные предложения: «Если вам перешла дорогу чёрная кошка, трижды повернитесь вокруг себя, трижды сплюньте через левое плечо, и тогда с вами ничего плохого не случится». Или если вас донимает икота, то скажите: «Икота, икота, перейди на Федота, с Федота на Якова, с Якова на всякого». И так далее. Это всё - только лишь суеверия. Проанализированные диссертационные работы имеют много признаков суеверия, то есть необоснованной веры их авторов в то, что сделанные ими «исследования» имеют какую-то реальную пользу для науки.
Мы не отрицаем того, что авторы потратили много времени. Мы не отрицаем и того, что авторы в чём-то для себя лично разобрались. Но нас не убедили, что представленные
в этих диссертациях результаты полезны для науки, для практики.
Успешная защита этих кандидатских диссертаций не доказывает, что в них не содержится разбираемых недостатков и ошибок.
Авторам этих диссертаций рекомендуется не обижаться, а взять на вооружение предлагаемую методику доведения исследований до конца, поскольку они, предположительно, не собираются бросать научную деятельность, и могут в какой-то момент решить работать над докторской диссертацией, в чём мы желаем им успеха при условии правильной работы над ошибками.
Литература
[1] Москин Н.Д. Теоретико-графовые модели, методы и программные средства интеллектуального анализа текстовой информации на примере фольклорных и литературных произведений. Дис. на соиск. кч. степ. д.т.н. https://petrsu.ru/notices/2022/106950/teoretikografovye-mo
[2] Клюев Н. А. Сердце единорога. Стихотворения и поэмы / Н. А. Клюев. - СПб.: РХГИ, 1999.
[3] Описание Олонецкой губернии в историческом, статистическом и этнографическом отношениях, составленное В. Дашковым. -СПб.: тип. Мин-ва внутренних дел, 1842.
[4] Народные песни Вологодской и Олонецкой губерний, собранные Ф. Студитским. Ч. 2. Народные песни Олонецкой губернии. - СПб.: тип. А. Бородина и К°, 1841.
[5] Петров К. М. Олонецкие бытовые песни / К. М. Петров // Олонецкие губернские ведомости. - 1868. - № 28. - С. 448 - 472.
[6] Толстой А. К. Собрание сочинений: в 4 томах / А. К. Толстой. Т.
1. - М.: Изд-во «Правда», 1969.
[7] Есенин С. А. Полное собрание сочинений. В 7-ми томах / С. А. Есенин. - М.: «Наука» - «Голос», 1995. - Т. 1. Стихотворения.
[8] Литературная газета, 1830, №1 - 60.
[9] Литературная газета, 1831, №5 - 27.
[10] Северные цветы, 1832, с. 1 - 4.
[11] Современник, 1836, т. I - IV.
[12] Северная пчела, 1836, №86, с. 341- 344.
[13] Л.П. Шептулин, И.Д. Андреев, К.Т. Кузнецов, О.Н. Органова, В.Ф. Паркин, Л.Я. Станис, В.И. Столяров и др. «К. Маркс, Ф. Энгельс, В.И. Ленин о диалектическом и историческом материализме». М.: Политиздат, 1984. https://www.marxistphilosophy.org/diahismat/index.htm
[14] Дашко В.М. Модель и алгоритмы поддержки управления пожарными рисками в жилом секторе на основе системы индивидуального страхования. Дис. на соиск. уч. степ. к.т.н. https://academygps.ru/upload/iblock/756/75611b87b7a3db372773fb cdc69caec0.pdf
Вадим Жмудь - заместитель директора АО «НИПС», доктор технических наук, доцент, главный научный сотрудник ИЛФ СО РАН, старший научный сотрудник Алтае-Саянского филиала ФГБУН Геофизической службы РАН.
E-mail: oao [email protected] Статья получена 16.06.2023.
