CC BY
50
УДК 004.9:664
Цифровые технологии в оценке и анализе результатов дегустации пищевых
продуктов
Канд. техн. наук М.А. Никитина, m.nikitina@fncps.ru канд. техн. наук А.Н. Захаров, a.zakharov@fncps.ru д-р. вет. наук Т.Г. Кузнецова, t.kuznecova@fncps канд. техн. наук А.А. Лазарев, a.lazarev@fncps.ru
Федеральный научный центр пищевых систем им. В.М. Горбатова РАН 109316, Россия, Москва, ул. Талалихина, 26
Разрабатывали программное обеспечение с архитектурой «клиент-сервер» по сбору и статистической обработке сенсорных данных с целью объективизировать результаты дегустации, собирать, анализировать и визуализировать полученные данные. Одно из основных направлений статистики в органолептическом анализе заключается в оценке зависимости между экспериментальными переменными и измеряемыми характеристиками. Статистические критерии используются для оценки степени взаимодействия между переменными, размера экспериментальных эффектов и позволяют принять или отвергнуть выдвинутую гипотезу. В органолептическом анализе человек играет роль своего рода измерительного прибора, возникает вариация, связанная с человеческим фактором. Это еще раз доказывает необходимость использования статистических методов. За рубежом методы статистической обработки включены в специализированные пакеты прикладных программ с широкими функциональными возможностями. В России аналогичные разработки практически отсутствуют, что значительно усложняет внедрение объективизации и проведение ее рутинного мониторинга на предприятиях. Разработанная сетевая компьютерная программа, основанная на принципах многофакторного дисперсионного анализа, в режиме реального времени позволяет осуществить обработку данных дегустационной комиссии. Результаты, получаемые в ходе автоматической обработки, являются максимально объективными и достоверными.
Ключевые слова: информационные технологии; сенсорный анализ; объективизация результатов дегустации; сетевая компьютерная программа; пищевые продукты. Б01: 10.17586/2310-1164-2018-11-3-12-19
Digital technologies in assessment and analysis of the food tasting results
Ph.D. Marina A. Nikitina, m.nikitina@fncps.ru Ph.D. Aleksandr N. Zakharov, a.zakharov@fncps.ru D.Sc. Tatiana G. Kuznetsova, t.kuznecova@fncps Ph.D. Anton A. Lazarev, a.lazarev@fncps.ru
V.M. Gorbatov Federal Research Center for Food Systems of Russian Academy of Sciences 26, Talalichina str., Moscow, 109316, Russia
Russian Academy of Sciences have developed the software with the client-server architecture for collection and statistical processing of sensory data with the aim of objectivization of tasting results, collection, analysis, and visualization of the obtained data. One of the main directions of statistics in the organoleptic analysis is an assessment of the dependence between experimental variables and measured characteristics. Statistical criteria are used to assess a degree of interaction between variables, a size of experimental effects, and allow accepting or rejecting hypothesis proposed. In the organoleptic analysis, people play a role of a sort as measurement instruments, and a variation linked with the human factor arises. This proves, once again, that the use of statistical methods is necessary. In foreign countries, the methods of statistical processing are included in the specialized software packageswith wide functional possibilities. In Russia, similar developments are practically absent, which, in turn, complicates an introduction of objectivization and performance of its routine monitoring in enterprises significantly. The developed computer networking program is based on the principles of multivariate analysis of variance and enables real time processing of data from a taste panel. The results obtained in automatic processing are maximum objective and reliable.
Keywords: information technologies; sensory analysis; objectivization of tasting results; computer networking program; foods.
Введение
Сенсорный анализ служит основой товарной экспертизы качества продовольственных товаров и прогнозирования покупательского спроса. Применение современных методов сенсорного анализа требует от дегустаторов не только специализированных знаний методологии их применения, процедур формирования лексических словарей или шкалирования, но и предоставление консолидированных, согласованных оценок, которые подтверждают объективность полученных результатов [1].
Независимо от того, насколько хорошо дегустаторы обучены теоретическим и практическим аспектам работы, всегда будут выявляться индивидуальные различия в оценке продукции. Одни из них связаны с сенсорной чувствительностью и когнитивной обработкой сенсорных стимулов, другие -с различным использованием шкалы интенсивности или способом дискриминировать образцы (по причине отсутствия концентрации, проблемами с сенсорной памятью и др.) [2, 3].
Единственная возможность изучить и адекватно интерпретировать картину индивидуальных различий в оценках дегустаторов, а также объективизировать предоставляемые ими данные - это использовать методы статистической обработки [4]. Тем не менее в России проблеме объективизации данных, предоставляемых дегустаторами, уделяют недостаточное внимание. Это, в свою очередь, обуславливает широкий спектр проблем на предприятиях: от интерпретации результатов рутинных дегустаций продукции (в соотвентствии с существующей программой сенсорного контроля качества) до бенчмаркинга или выведения продукции на новые рынки сбыта. Кроме того, на сегодняшний день в России практически отсутствуют статистические программы, позволяющие собирать, анализировать и визуализировать данные, полученные в результате работы дегустационных комиссий, что значительно усложняет внедрение объективизации и проведение ее рутинного мониторинга [5, 6].
За рубежом, напротив, давно занимаются разработкой таких программ. При этом научной базой для их создания является множество исследований в области сенсорного анализа. Так один из ключевых вопросов, которые учитывали разработчики, был связан с исследованиями по определению степени влияния экспериментальных переменных на восприятие испытателей на фоне неконтролируемой вариации [7]. Например, образцы для тестирования не могут быть полностью идентичны. Даже образцы мяса, вырезанные из одной и той же мышцы одного и того же животного, различаются по содержанию жира и соединительной ткани. Однако, по мнению М. Митчела (University of California, Los Angeles), работающего со статистическими пакетами более 20 лет [8], если специалист не обладает достаточными знаниями и компетенциями, то даже самый совершенный программный продукт не позволит провести качественный анализ данных.
Цель данной работы — показать возможности работы в сетевой компьютерной программе с архитектурой «клиент-сервер» по сбору и статистической обработке данных [9], полученных при дегустационной оценке пищевой продукции.
Разработанное IT-решение предназначается для максимальной автоматизации процесса обработки данных дегустационной комиссии пищевого продукта.
Алгоритм многофакторного дисперсионного анализа
Проведение обработки результатов сенсорной оценки можно изложить в виде следующего тестового алгоритма
1. установление размера выборки из генеральной совокупности;
2. формулирование нулевой (Но) и альтернативной (Hi) гипотезы;
3. выбор уровня значимости (а = 0,01; или а = 0,05; или а = 0,1);
4. проведение оценки; сбор данных;
5. вычисление суммарных статистических критериев и критериев для проверки нулевой (Н0) гипотезы;
6. принятие или отрицание нулевой (Н0) гипотезы;
7. интерпретация результатов.
Для обработки результатов дегустационной оценки используются различные статистические методы. Р. Фишер внес огромный вклад в развитие современной прикладной математической статистики. Наибольшее влияние среди его работ имеет монография "Statistical Methods for Research Workers" (1925). В основе книги - критерий значимости, правила проверки статистических гипотез,
дисперсионныи анализ, планирование эксперимента и другие важные аспекты математической статистики общего плана.
Большинство методов Р. Фишера актуальны и в настоящее время, например, дисперсионный анализ, применяемый для анализа и оценки экспериментальных исследований, направленный на определение (выявление) значимости различий в средних значениях [10].
Обычно для простых сенсорных исследований используют однофакторные методы, обеспечивающие надежные и достоверные результаты. Тем не менее, данные, имеющие многоуровневую структуру, анализируют многофакторными статистическими процедурами [11]. Так, многофакторный дисперсионный анализ позволяет определять различия между двумя или более наборами данных по всем зависимым переменным одновременно. Это способствует сохранению низкого уровня общей ошибки первого рода и решению вопроса взаимодействия между зависимыми переменными. Кроме того, многофакторный дисперсионный анализ помогает установить комбинации сенсорных переменных, позволяющих различать образцы в случае, когда не обнаруживается отличие по каждой из них в отдельности [12].
При двухфакторном дисперсионном анализе используется группировка по двум факторам, то есть дополнительно исследуются индивидуальные различия между дегустаторами в группе. Следует отметить, что в этом случае порядок представления образцов дегустаторами должен быть индивидуальным для каждого. Например, если оцениваются 2 образца - А и В, то их комбинации АВ и ВА; если 3 образца - А, В и С, то их комбинации АВС, АСВ, ВАС, ВСА, САВ, СВА должны быть распределены между дегустаторами в равных пропорциях, т.е. обеспечивается полная рандомизация.
При двухфакторном анализе помимо экспериментальной ошибки включают дисперсию, обусловленную индивидуальными различиями дегустаторов. Визуально это отображено на рисунке 1 [13].
Рисунок 1 - Схема ошибок при двухфакторном дисперсионном анализе Fig. 1 - Error chart in two-way analysis of variance
Как видно из рисунка 1, общая дисперсия равняется сумме внутригрупповой и межгрупповой дисперсий. Очевидно, SSt - общая сумма квадратов равняется сумме двух слагаемых SSb - сумме межгрупповых квадратов и SSe - сумме внутригрупповых квадратов. Два этих показателя необходимы для вычисления межгрупповой и внутригрупповой оценки общей дисперсии.
Таким образом, в двухфакторном дисперсионном анализе вычисляется значение критерия Фишера
^ MS—
не только как отношение межгрупповои и внутригрупповои оценок дисперсии F =-—, но и значение
MSF
критерия, как отношение оценки дисперсии между субъектами к внутригрупповой F =
MSs MS,
Методология дисперсионного анализа была положена в основу разработки программного обеспечения с архитектурой «клиент-сервер» по сбору и статистической обработке сенсорных данных [9]. Точный критерий Фишера перебирает все возможные варианты таблицы сопряженности с одними и теми же суммарными частотами по строкам и столбцам, т.е. осуществляет всевозможное построение нуль-моделей, строящихся из предположения об отсутствии влияния изучаемого фактора [14, 15].
Проектирование структуры программы
Программное обеспечение архитектуры «клиент-сервер» состоит из двух частей: программного обеспечения сервера и программного обеспечения пользователя — клиента. Программа-клиент выполняется на компьютере пользователя и посылает запросы к программе-серверу, которая работает на компьютере общего доступа. Основная обработка данных производится мощным сервером, а на компьютер пользователя возвращаются только результаты выполнения запроса.
Функциональная структура системы состоит из шести модулей: параметры оценки; оценка дескрипторов продукта; создание набора данных для анализа; сенсорный профиль; сравнение с эталоном; помощь (пользователю и администратору).
Перечень параметров (рисунок 2), определяемый целью дегустации, включает в себя:
• количество дегустируемых образцов и оцениваемых дескрипторов;
• тип шкалы (структурированная или неструктурированная): в программе используют структурированные пяти- и девятибалльные шкалы, согласно которым каждый показатель имеет соответственно 5 или 9 степеней качества. Ниже условленного балла продукт считается недоброкачественным. По пятибалльной шкале 5 баллов означают отличное качество; 4 - хорошее; 3 - удовлетворительное; 2 - неудовлетворительное, но допустимое; 1 - неудовлетворительное.
Девятибальная шкала, рекомендованная специалистами Всероссийского научно-исследовательского института мясной промышленности имени В.М. Горбатова (ВНИИМПа), расширяет диапазон органолептической оценки качества. Согласно ей, каждый показатель шкалы имеет следующие количественные характеристики: для оптимального качества - 9; очень хорошего - 8; хорошего - 7; выше среднего - 6; среднего - 5; приемлемого, но нежелательного - 4 или 3; неприемлемого - 2 или 1.
• наименование оцениваемых дескрипторов;
• папка для сохранения файлов с результатами дегустации (текстовый формат - \txtt);
• инструкция для дегустационной комиссии.
Рисунок 2 - Модуль параметров настройки Fig. 2 - Module of setting parameters
После установки параметров оценки проводится подключение дегустатора к программе-сервер. Задачи дегустатора максимально ограничены в плане работы с программой. Он вводит идентификационные данные (например, Ф.И.О.) в программе-клиент и далее осуществляет оценку с помощью шкалы интенсивности дескрипторов в образцах продукции. Каждый дегустатор оценивает индивидуально интенсивность дескрипторов продукта и регистрирует результаты, отмечая на линии соответствующее расстояние от начала шкалы. После оценки всех дескрипторов в первом продукте дегустатор нажатием кнопки переходит к оценке следующего продукта или завершает дегустацию (в случае, если оценивается один продукт).
При детальном анализе можно узнать, почему тот или иной дескриптор согласован или нет, нажав на соответствующую данной характеристике оценку. На рисунке 3 в качестве примера представлена таблица результатов двухфакторного дисперсионного анализа по дескриптору -«запах копчения».
í Анализ данных
Двухфакторный дисперсионный анализ по дескриптору - Запах копчения
итоги
. X
Источник вариаций SS df MS F Р-значение F-критическое
Продукты Дегустаторы Погрешность 17,2 1,7333333 3,4666667 2 4 в 8,6 0,43333333 0,43333333 19,846154 1 1,00079171085 0,46090535 4,4589701 3,8378534
Анализ результатов: продукты различаются по данному дескриптору оценки дегустаторов согласованы
График оценок
Экспорт в Excel
Закрыть
Рисунок 3 - Результаты проверки согласованности дегустаторов по дескриптору «запах копчения»:
SS - дисперсия; df - степень свободы; MS - несмещенные оценки; F - расчетный критерий Фишера; P-значение -функция F-распределения; F-критическое - табличное значение критерия Фишера
Fig. 3 - Result of the tasters' consistency check by Smoking Odor descriptor: SS - dispersion; df - degree offreedom;
MS - unbiased estimates; F - calculated Fisher criterion; P-value - function of F distribution; F critical value - table
value of Fisher criterion
1. В качестве нулевой гипотезы (Ho) системой выдвигается - продукты не влияют на дескриптор вкуса «запах копчения», а также альтернативная гипотеза (Hi) - продукты влияют на дескриптор вкуса «запах копчения».
Для проверки указанных гипотез использовался точный критерий Фишера на уровне значимости а = 0,05.
Из данных на рисунке 3, расчетное значение F-критерия фактора Xi (продукты) F да i9,85, а критическая область образуется правосторонним интервалом (4,46; +<х>). Так как F попадает в критическую область, то нулевая гипотеза (Ho) отвергается и принимается альтернативная (Hi) гипотеза, т.е. фактор Xi (продукты) влияет на дескриптор вкуса «запах копчения».
2. Система аналогично производит оценку по второму фактору - дегустаторы. Выдвигается в качестве нулевой (Ho) гипотезы - дегустаторы не влияют на дескриптор вкуса «запах копчения», а также альтернативная (Hi) гипотеза - дегустаторы влияют на дескриптор вкуса «запах копчения».
Числовые значения на рисунке 3 показывают, что расчетный показатель F-критерия фактора X2 (дегустаторы) F = i, а критическая область образуется правосторонним интервалом (3,84; +<х>). Так как F не попадает в критическую область, то нулевая (Ho) гипотеза принимается, т.е. влияние фактора X2 (дегустаторы) на дескриптор вкуса «запах копчения» не подтвердилось.
Выборочный коэффициент детерминации
РХ1 =
SSx
17,2
SSx, + SSx. + SSs
17,2 +17,3 + 3,47
0,77
показывает, что 77% общей выборочной вариации качества дескриптора (запах копчения) связано с влиянием на него вида продукции.
В столбце Р-значение определено Р-значение, соответствующее расчетному значению критерия
1
Функция ^-распределения (распределение Фишера, называемое иногда распределение дисперсионного отношения) -случайная величина, равная отношению двух независимых случайных величин: величины х2 () / V1 с распределением х2 и №
X2 (V ) V2
степенями свободы и величины X ( v2 ) / v 2 с распределением х2 и v2 степенями свободы F ( v1, v2 )
(v2 )"
В нашем примере Р-значение для фактора х (продукты) зависит от значений Р; df и MS данного фактора, находящихся в первой строчке таблицы, и имеет значение 0,00079.
Р-значение для фактора Х2 (дегустаторы) зависит от значений Р; df и MS данного фактора, находящихся во второй строчке таблицы, и равно 0,46.
Согласно критерию Фишера-Снедекора, если Р-значение меньше 0,05 (Р < 0,05), то данные не согласуются. На основании расчета, анализа и сопоставления система делает вывод «Продукты различаются по данному дескриптору, оценки дегустаторов согласованны».
В случае согласованной и достоверной оценки программа позволяет построить профиль оцениваемой характеристики продукта. Количество осей на профилограмме равно количеству оцениваемых дескрипторов. На осях откладываются отрезки, соответствующие значениям оценок интенсивности. Соединив полученные точки, получают профиль характеристики продукта. На рисунке 4 показан пример сенсорного профиля трех образцов вареной колбасы.
Рисунок 4 - Сенсорный профиль трех образцов вареной колбасы Fig. 4 - Sensory profile of three cooked sausage samples
С помощью выполнения аналогичных процедур программа дает возможность определять позицию своего продукта среди конкурентов на основании сравнения профиля продукта, вырабатываемого на предприятии с профилями продуктов конкурентов.
Для сравнения профиля продукта и «эталона» предварительно вырабатывается эталонный продукт. Образец-эталон является базой для сравнения всех продуктов, участвующих в оценке. В связи с этим правильный выбор образца-эталона чрезвычайно важен. Оценивая характеристики образца-эталона, формируется «эталонный» сенсорный профиль. Для проведения сравнения загружаются данные профилограммы образца-эталона, и добавляется на график профиль аналогичного образца другой партии (рисунок 5).
Компьютерная программа позволяет также выявлять изменения в сенсорных характеристиках продукта при замене пищевых ингредиентов, добавок или пряностей в составе рецептуры, использования новых видов упаковки и др.
'Ф Анализ данных - Сенсорный профиль BÜI®
1 Сенсорный профиль Настройка линий
1 ^^ Вареная колбаса 1 ----Вареная колбаса 2 - - Вареная колбаса 3 ^^ Эталон | Продукт
|Эталон |vj
Цвет линии v
запах копчения
ч Тип линии
<х Толщина линии | Щ vj
УуУуй' Х\\ Настройки осей
Ч N 'ч ч^ ч Размер шрифта
§ 3
Плотность ^ / Ч / ■ ч^ ч ч. ч ч .. Запах пряностей
• • _.. .* Т Легенда
\ \ \ / / / / Размер шрифта
\\\ \ \Vvif--i "ЪрТ/У/ l¡j¡ 112 v ф Сверху
\\\\ \\OVv О Снизу
\\\\%Íb: / 7 /// 0 Показывать эталон
-V//// Сохранить J | Экспорт в Excel j
Вкус пряностей Ш// Соленый вкус
Закрыть
Рисунок 5 - Сенсорный профиль «эталона» и трех образцов вареной колбасы Fig. 5 - Sensory profile of the reference and three cooked sausage samples
Заключение
Разработанная программа по сбору и статистической обработке данных с архитектурой «клиент-сервер», разработанная в среде программирования Embarcadero Delphi 2010, позволяет собирать, накапливать, обрабатывать полученные (сенсорные) данные и визуализировать их в различных графических форматах. Основываясь на принципах многофакторного дисперсионного анализа, компьютерная программа в режиме on-line осуществляет обработку результатов дегустационной комиссии. Максимальный объем информации, обрабатываемый в единицу машинного времени, -массив данных размером 6x15x20, где соответственно 6 - количество продуктов, 15 - количество исследуемых дескрипторов, 20 - количество дегустаторов. Сопоставление итогов обработки информации с компьютерными пакетами прикладных программ для обработки экспериментальных исследований с привлечением статистических методов, включая многофакторный дисперсионный анализ (Statistica, SPSS — Statistical Package for Social Science, Пакет анализа в MS Excel и др.), показало, что данные, получаемые в ходе автоматической обработки в разработанной компьютерной программе, являются максимально объективными и достоверными.
Литература
1. Lawless H.T., Heymann H. Sensory evaluation of food: principles and practices. New York: Springer Science & Business Media, 2010. 596 p.
2. Piggott J.R., Hunter E.A. Review: Evaluation of assessor performance in sensory analysis. Italian Journal of Food Science. 1999, no. 4(11), pp. 289-303.
3. Tomic O., Forde C., Delahunty C., N^s T. Performance indices in descriptive sensory analysis - A complimentary screening tool for assessor and panel performance. Food Quality and Preference. 2013, no. 28(1), pp. 122-133.
4. Johnson R.A., Wichern D.W. Applied Multivariate Statistical Analysis. New York: Prentice-Hall, 2007. 800 p.
5. Лисицын А.Б., Кузнецова Т.Г., Лазарев АА. Комплексный подход к органолептической оценке как инструмент повышения качества продукции // Все о мясе. 2017. № 2. С. 4-7.
6. Кузнецова Т.Г., Лазарев АА. Профильно-дескрипторные методы и органолептическая оценка мясных продуктов // Мясная индустрия. 2016. № 5. С. 28-33.
7. Кантаре ВМ, Матисон ВА, ФоменкоМА. Сенсорный анализ продуктов питания. М.: РАСХН, 2003. 400 с.
8. Mitchell M.N. Strategically using General Purpose Statistics Packages: A Look at Stata, SAS and SPS. Technical Report Series 2005, no. 1. Statistical Consulting Group: UCLA Academic Technology Services URL: http://www.ats.ucla.edu/stat/technical-reports/ umber1_editedFeb_2_2007/ucla_ATSstat_trl_1.1_0207.pdf. (Accessed 08.09.2018).
9. Никитина МА, Лисицын А.Б., Кузнецова Т.Г., Лазарев АА, Захаров А.Н. Программа по сбору и статистической обработке сенсорных данных: свидетельство о регистрации программы для ЭВМ № 2017663406. М.: Роспатент, 2017.
10. Box J.F., Fisher R.A. The life a scientist. New York: Wiley, 1978. 512 p.
11. Stahle L., Wold S. Multivariate analysis of variance (MANOVA). Chemometrics and Intelligent Laboratory Systems. 1990, no. 9, pp. 127-141.
12. Lee S.M., Chung S.-J., Lee O.-H., Lee H.-S., Kim Y.-K., Kim K.-O. Development of sample preparation, presentation procedure and sensory descriptive analysis of green tea. Journal of Sensory Studies. 2008, no. 23,
pp. 450-467.
13. O'Mahony M. Sensory Evaluation of Food. Statistical Methods and Procedures. New York: Marcel Dekker, 1986. 488 p.
14. Patefield W.M. Algorithm AS 159. An efficient method of generating r x c tables with given row and column totals. Applied Statistics. 1981, V. 30, no 1, pp. 91-97.
15. Gotelli N.J. Entsminger N.J. Swap algorithms in null model analysis. Ecology. 2003, V. 84, pp. 532-535.
References
1. Lawless H.T., Heymann H. Sensory evaluation of food: principles and practices. New York: Springer Science & Business Media, 2010. 596 p.
2. Piggott J.R., Hunter E.A. Review: Evaluation of assessor performance in sensory analysis. Italian Journal of Food Science. 1999, no. 4(11), pp. 289-303.
3. Tomic O., Forde C., Delahunty C., N^s T. Performance indices in descriptive sensory analysis - A complimentary screening tool for assessor and panel performance. Food Quality and Preference. 2013, no. 28(1), pp. 122-133.
4. Johnson R.A., Wichern D.W. Applied Multivariate Statistical Analysis. New York: Prentice-Hall, 2007. 800 p.
5. Lisitsyn A.B., Kuznetsova T.G., Lazarev A.A. Kompleksnyi podkhod k organolepticheskoi otsenke kak instrument povysheniya kachestva produktsii [Complex approach to organoleptic assessment as a tool for increasing product quality]. All about meat. 2017, no. 2, pp. 4-7.
6. Kuznetsova T.G., Lazarev A.A. Proffl'no-deskriptornye metody i organolepticheskaya otsenka myasnykh produktov [Profile descriptive methods and organoleptic assessment of meat products]. Meat Industry. 2016, no. 5, pp. 28-33.
7. Kantare V.M., Matison V.A., Fomenko MA. Sensornyi analiz produktov pitaniya [Sensory analysis of food products]. Moscow, Russian Academy of Agricultural Sciences Publ., 2003. 400 p.
8. Mitchell M.N. Strategically using General Purpose Statistics Packages: A Look at Stata, SAS and SPS. Technical Report Series. 2005, no. 1. Statistical Consulting Group: UCLA Academic Technology Services URL: http://www.ats.ucla.edu/stat/technical-reports/ umber1_editedFeb_2_2007/ucla_ATSstat_trl_1.1_0207.pdf. (Accessed 08.09.2018).
9. Nikitina MA., Lisitsyn A.B., Kuznetsova T.G., Lazarev A.A., Zakharov A.N. Programma po sboru i statisticheskoi obrabotke sensornykh dannykh [Program for collection and statistical processing of sensory data]. Certificate of registration of the computer program. no. 2017663406. Moscow, Rospatent Publ., 2017.
10. Box J.F., Fisher R.A. The life a scientist. New York: Wiley, 1978. 512 p.
11. Stahle L., Wold S. Multivariate analysis of variance (MANOVA). Chemometrics and Intelligent Laboratory Systems. 1990, no. 9, pp. 127-141.
12. Lee S.M., Chung S.-J., Lee O.-H., Lee H.-S., Kim Y.-K., Kim K.-O. Development of sample preparation, presentation procedure and sensory descriptive analysis of green tea. Journal of Sensory Studies. 2008, no. 23,
pp. 450-467.
13. O'Mahony M. Sensory Evaluation of Food. Statistical Methods and Procedures. New York: Marcel Dekker, 1986. 488 p.
14. Patefield W.M. Algorithm AS 159. An efficient method of generating r x c tables with given row and column totals. Applied Statistics. 1981, V. 30, no 1, pp. 91-97.
15. Gotelli N.J., Entsminger N.J. Swap algorithms in null model analysis. Ecology. 2003, V. 84, pp. 532-535.
Статья поступила в редакцию 13.09.2018
