CC BY
0Д.Н. Хамханова, д-р техн. наук, доц., e-mail: darima-1956@yandex.ru И.А. Ханхалаева, д-р техн. наук, проф., e-mail: 417126@mail.ru Восточно-Сибирский государственный университет технологий и управления, г. Улан-Удэ
УДК 006.91
О ДОСТОВЕРНОСТИ И СОПОСТАВИМОСТИ
РЕЗУЛЬТАТОВ ЭКСПЕРТНЫХ ИЗМЕРЕНИЙ В ПИЩЕВОЙ ПРОМЫШЛЕННОСТИ
В статье обсуждается возможность распространения отдельных норм законодательной метрологии таких, как обеспечение объективности, достоверности и сопоставимости измерений на область экспертных измерений. В пищевой промышленности широко распространены органолептиче-ские измерения показателей качества пищевых продуктов, являющиеся разновидностью экспертных измерений. И в большинстве нормативных документов на методы контроля органолептических показателей не регламентированы нормы точности измерений. В статье приведены результаты анализа нормативных документов на методы контроля органолептических показателей, с точки зрения обеспечения достоверности и сопоставимости результатов измерений. Обеспечение объективности и достоверности экспертных измерений показаны на примере определения органолептических показателей качества хлебобулочных изделий. В статье показано, что не во всех случаях при экспертных измерениях можно обеспечить сопоставимость результатов измерений.
Ключевые слова: экспертные измерения, достоверность, сопоставимость, объективность, точность, качество.
D.N. Khamkhanova, Dr. Sc. Engineering, Assoc. Prof.
I.A. Khankhalaeva, Dr. Sc. Engineering, Prof.
ON THE VALIDITY AND COMPARABILITY OF THE RESULTS OF EXPERT MEASUREMENTS IN FOOD INDUSTRY
The article discusses the possibility of extending certain norms of legal metrology, such as ensuring objectivity, validity and comparability of measurements to the ^ field of expert measurements. In the ^ food industry, organoleptic measurements of food quality indicators, which are a kind of expert measurements, are widespread. And in most regulatory documents the standards of measurement accuracy of the control methods of organoleptic indicators are not regulated. The article presents the results of the analysis of regulatory documents on the methods of monitoring organoleptic indicators in terms of ensuring the validity and comparability of measurement results. Ensuring the objectivity and validity f expert measurements are shown on the example of determining organoleptic indicators of the quality of bakery products. It is shown in the article that not in all cases it is possible to provide comparability of measurement results in expert measurements.
Key words: expert measurements, validity, comparability, objectivity, accuracy, quality.
Введение
В Законе РФ «Об обеспечении единства измерений» № 102-ФЗ от 26 июня 2008 г. [12] говорится о «потребности граждан, общества и государства в получении объективных, достоверных и сопоставимых результатов измерений».
Результаты экспертных измерений, по сути, представляют собой субъективные мнения экспертов об отдельном свойстве продукции, товара или услуги, которые обычно выражаются в баллах. И они вызывают недоверие к результатам экспертных измерений. Именно для получения объективных результатов измерений создаются экспертные комиссии, проводятся опросы потребителей. Результаты работы экспертной комиссии могут быть выражены в баллах или словесно.
В обоих случаях нельзя говорить о достоверности и сопоставимости результатов измерений. Следует отметить, что достоверность измерений - это характеристика, определяющая степень доверия к полученным результатам измерений, а мерой достоверности является доверительная вероятность. Что касается сопоставимости, то Большой энциклопедический словарь дает следующее определение: сопоставимость - обеспечение сравнимости статистических показателей, полученных различными методами в различные периоды времени, в разных странах или оцененных в различных целях. В метрологии для оценки сопоставимости результатов измерений используются такие характеристики, как воспроизводимость и повторяемость (сходимость).
Кроме того, согласно РМГ 29-2013 [11] повторяемость (сходимость) измерений - близость между показаниями или измеренными значениями величины, полученными при повторных измерениях для одного и того же или аналогичных объектов при условиях, включающих применение одной и той же методики измерений, того же средства измерений, участие тех же операторов в течение короткого промежутка времени.
В случае экспертных измерений их достоверность может характеризоваться степенью доверия к экспертной комиссии, организации и проведения опроса, анкетирования и т.п. В качестве меры доверия к экспертной комиссии может быть принята вероятность правильного решения экспертной комиссии, которая может быть определена на основе вероятности правильного решения каждого эксперта по результатам решения тестовой задачи. Безусловно, степень доверия к результатам опроса, анкетирования определяется правильностью их организации и проведения. Понятно, что участие в опросе должно быть свободным и добровольным и во время опроса никто не может быть принужден к выражению своих мнений и убеждений или отказу от них. Например, при организации и проведении голосований, где привлекаются наблюдатели, отсутствие нареканий со стороны наблюдателей, общественных организаций, граждан к проведению голосований является гарантией достоверности результатов голосования. Поэтому достоверность результатов анкетирования и опроса может характеризоваться отсутствием нареканий со стороны анкетируемых и опрашиваемых к организации и проведения анкетирования и опроса, для чего необходимо организовать широкое обсуждение результатов через средства массовой информации.
Что касается сопоставимости (сходимости) результатов экспертных измерений, то не во всех без исключения случаях могут быть выполнены повторные измерения одного и того же объекта в течение короткого промежутка времени. В этих случаях следует воспользоваться такой характеристикой прецезионности, как воспроизводимость. Также необходимо отметить, что, согласно РМГ 29-2013, воспроизводимость (измерений) - близость между показаниями или измеренными значениями величины в условиях, при которых результаты измерений (или испытаний) получают одним и тем же методом на идентичных объектах испытаний, в разных лабораториях, разными операторами, с использованием различного оборудования. А мерой прецизионности является стандартное отклонение. В связи с этим изучение достоверности и сопоставимости результатов экспертных измерений в пищевой промышленности имеет особую актуальность.
Целью работы является обеспечение единства экспертных измерений, в частности обеспечение объективности, достоверности и сопоставимости органолептических измерений.
Для выполнения поставленной цели проведен анализ нормативных документов на методы контроля органолептических показателей пищевых продуктов и прописана технология обеспечения объективности, достоверности и сопоставимости экспертных измерений.
Анализ нормативных документов на методы контроля органолептических показателей пищевых продуктов
Недоверие к результатам субъективных измерений, в частности органолептических, общеизвестно. Причиной тому является несовершенство нормативных документов на методы
контроля органолептических показателей. В них нет требований к условиям проведения измерений, помещению для проведения органолептических измерений, экспертам, шкалам измерений, обработке результатов измерений, показателям точности измерений.
В настоящее время стандартизированы методы контроля органолептических показателей следующих пищевых продуктов:
- хлеб и хлебобулочные изделия (ГОСТ 5667-65)[1];
- изделия кондитерские (ГОСТ 5897-90) [2];
- продукция безалкогольной промышленности (ГОСТ 6687.5-86) [3];
- крупка и макаронные изделия из твердой пшеницы (ГОСТ ИСО 7304-94) [4];
- рыба, морские млекопитающие, морские беспозвоночные и продукты их переработки (ГОСТ 7631-85) [5];
- продукты мясные (ГОСТ 9959-91) [7];
- концентраты пищевые (ГОСТ 15113.3-77) [8];
- крупа (ГОСТ 26312.2-84) [9];
- консервы и пресервы из рыбы и морепродуктов (ГОСТ 26664-85) [10];
- консервы молочные (ГОСТ 29245-91) [11].
Анализ вышеперечисленных документов на методы контроля органолептических показателей в пищевой промышленности показывает, что во многих документах отсутствуют: нормы точности измерений (правильность, сходимость, воспроизводимость); шкалы измерений; критерии оценки качества решений; требования к экспертам, условиям проведения измерений, к помещениям, где проводятся измерения, и т.п. (табл. 1).
Результаты анализа показывают, что только в ГОСТ ИСО 7304-94 и ГОСТ 9959-91 частично присутствуют требования к шкалам измерений, экспертам, условиям проведения измерений, помещению и обработке результатов измерений [15].
Такое состояние вопроса требует переработки большинства нормативных документов в части установления требований к экспертам, обработки результатов измерений, оценке качества решений и норм точности измерений.
Таблица 1
Наличие требований в НД к проведению органолептических измерений
Наименование требований к проведению органолептических измерений ГОСТ 5667-65 ГОСТ 5897-90 ГОСТ 6687.5-86 ГОСТ ИСО 7304-94 ГОСТ 9959-91 ГОСТ 7631-85 ГОСТ 15113.3-77 ГОСТ 26312.2-84 ГОСТ 26664-85 ГОСТ 29245-91
Шкала измерений - - - ± ± - - - - -
Требования к экспертам - - - ± ± - - - - -
Требования к условиям проведения измерений - - - - + - - - - -
Требования к помещению - - - ± + - - - - -
Требования к обработке результатов измерений - - - + ± - - - - -
Критерий оценки качества решений - - - - - - - - - -
Нормы точности измерений:
- правильность - - - - - - - - - -
- сходимость - - - - - - - - - -
- воспроизводимость - - - - - - - - - -
Примечание: знак «+» означает наличие требований в нормативных документах, «±» - частичное наличие, «-» - отсутствие.
W =-, (1)
1/12 С ^vf 3 __ члл ^ '
Технология обеспечения объективности, достоверности и сопоставимости экспертных измерений
Понятно, что любая экспертиза должна проводиться компетентными лицами - экспертами. Для получения объективных результатов измерений необходимо формировать компетентную экспертную комиссию. Если есть база данных по экспертам, то выбор экспертов можно осуществлять автоматически, указав регион, стаж работы, занимаемую должность, образование и т.п. Если такой базы данных нет, то выбор экспертов осуществляется по тем же принципам. После выбора экспертов необходимо определить вероятность правильного решения каждого эксперта и экспертной комиссии в целом по результатам решения теста с известными ответами. По результатам решения тестовой задачи проводится окончательный выбор экспертов и определяется согласованность мнений экспертов по известной формуле:
125
п2(т3 — т)'
где S - сумма квадратов отклонений суммы рангов каждого объекта экспертизы от среднего арифметического ранга; n - число экспертов; m - число объектов экспертизы [14, 16].
Если экспертная комиссия согласована (W = 0,75), то формирование экспертной комиссии можно считать завершенным и следует приступить к проведению экспертизы, при условии, что помещение, где проводится экспертная оценка, соответствует требованиям ГОСТ Р ИСО 8589-2005 «Органолептический анализ. Руководство по проектированию помещений для исследования» и в нем соблюдаются нормальные условия проведения измерений и установлены шкалы измерений.
И заключительным этапом проведения экспертизы является обработка полученных данных. В целях обеспечения объективности, достоверности и сопоставимости результатов экспертных измерений были проведения исследования на примере хлебобулочных изделий.
Пример 1. Для проведения экспертных измерений органолептических показателей хлебобулочных изделий была создана экспертная комиссия, состоящая из 5 экспертов. По результатам решения тестовой задачи экспертами были получены следующие данные: первый эксперт из десяти вопросов дал правильные ответы на 8, второй - 9, третий - 10, четвертый -9, пятый - 10. Следовательно, вероятность правильного решения экспертов составляет: 0,8; 0,9; 1,0; 0,9; 1,0. Согласованность мнений экспертов равна W = 0,78, что является достаточным. Результаты экспертных измерений органолептических показателей на примере хлебобулочных изделий представлены в таблице 2. Полагая, что оценки, проставленные экспертами, линейны, можно определить среднее арифметическое и среднее квадратическое отклонение (СКО).
Таблица 2
Результаты экспертных измерений органолептических показателей хлебобулочных изделий
в баллах
Эксперты Органолептические показатели
внешний вид состояние мякиша вкус запах
форма поверхность цвет пропе-ченность промес пористость
1 5 4 5 5 5 4 5 4
2 4 4 5 5 4 4 4 4
3 5 4 4 5 4 4 5 4
4 4 4 5 5 4 4 4 4
5 5 4 5 5 4 4 5 4
Среднее ариф-
метическое по
показателям 23 (4,6) 20 (4,0) 24 (4,8) 25 (5,0) 21 (4,2) 20 (4,0) 23 (4,6) 20 (4,0)
СКО 0,55 0 0,45 0 0,45 0 0,55 0
Принимая в качестве уровня доверия минимальную вероятность правильного решения 0,8 и максимальное СКО, можно констатировать, что результат измерения органолептических показателей хлебобулочных составляет 4,4 при доверительной вероятности 0,8 и воспроизводимости 0,55.
Пример 2. Создана экспертная комиссия, состоящая из 5 экспертов, и предложено определить уровень качества продукции словесно: «отлично», «очень хорошо», «хорошо», «выше среднего», «среднее», «ниже среднего», «удовлетворительно», «плохо», «очень плохо». Результаты словесных описаний качества продукции приведены в таблице 3.
Какую же оценку получили продукты? У продукта № 1 две оценки «отлично», по одной оценке «очень хорошо», «хорошо» и «выше среднего». Вполне вероятно, что продукт № 1 не получит оценку «отлично» и «выше среднего», так как оценка «выше среднего» встречается только один раз и оценка «отлично» только два раза из пяти возможных. Из двух оставшихся вариантов («очень хорошо» и «хорошо») один из них может быть принят на основе компромиссного решения. Подобным образом могут быть приняты решения по остальным продуктам. На практике в подобных случаях решения принимаются на основе компромисса.
Таблица 3
Результатов словесных описаний уровня качества продукции
Образцы Эксперты
1 2 3 4 5
Продукт № 1 отлично очень хорошо хорошо выше среднего отлично
Продукт № 2 очень хорошо хорошо очень хорошо хорошо очень хорошо
Продукт № 3 отлично отлично очень хорошо отлично отлично
Продукт № 4 отлично отлично очень хорошо отлично очень хорошо
Продукт № 5 очень хорошо хорошо очень хорошо хорошо очень хорошо
Можно применить какой-либо критерий. Например:
- если больше 80 % оценок «отлично» и «очень хорошо», то принимается оценка «отлично»;
- если больше 80 % оценок «отлично», «очень хорошо» и «хорошо», то принимается оценка «очень хорошо»;
- если больше 80 % оценок «очень хорошо», «хорошо», то принимается оценка «хорошо»;
- если больше 80 % оценок «очень хорошо», «хорошо» и «выше среднего», то принимается оценка «хорошо»;
- если больше 80 % оценок «хорошо», «выше среднего» и «удовлетворительно», то принимается оценка «выше среднего»;
- если больше 80 % оценок «выше среднего», «удовлетворительно» и «плохо», то принимается оценка «удовлетворительно»;
- если больше 80 % оценок «удовлетворительно», «плохо» и «очень плохо», то принимается оценка «плохо».
Согласно принятому выше критерию продукт № 1 получает оценку «очень хорошо», продукт № 2 - «хорошо», продукт № 3 - «отлично», продукт № 4 - «отлично», продукт № 5 -«хорошо», а общая оценка по группе продукции - «очень хорошо».
Во втором примере что можно сказать об объективности, достоверности и сопоставимости результатов измерений? В этом случае такие характеристики измерений как объективность и достоверность зависят от экспертной комиссии, а сопоставимость и воспроизводимость - от условий проведения измерений. С другой стороны, в нашем случае результаты измерений выражены не в количественной форме и говорить о сопоставимости (сходимости) и
воспроизводимости результатов не имеет смысла. Поэтому во втором случае можно определять только достоверность измерений, которая будет выражена через степень доверия к экспертной комиссии.
Заключение
Таким образом, исследования показали, что в случае экспертных измерений можно регламентировать только такой показатель качества измерений, как достоверность измерения.
Библиография
1. ГОСТ 5667-65 Хлеб и хлебобулочные изделия. Правила приемки, методы отбора образцов, методы определения органолептических показателей и массы изделий. - М.: ИПК Изд-во стандартов, 1997. - 5 с.
2. ГОСТ 5897-90 Изделия кондитерские. Методы определения органолептических показателей качества, размеров, массы нетто и составных частей. - М.: ИПК Изд-во стандартов, 2004. - 16 с.
3. ГОСТ 6687.5-86 Продукция безалкогольной промышленности. Методы определения органолептических показателей и объема продукции. - М.: ИПК Изд-во стандартов, 1998. - 9 с.
4. ГОСТ ИСО 7304-94 Крупка и макаронные изделия из твердой пшеницы. Органолептическая оценка кулинарных свойств спагетти. - М.: ИПК Изд-во стандартов, 1995. - 11 с.
5. ГОСТ 7631-85 Рыба, морские млекопитающие, морские беспозвоночные и продукты их переработки. Правила приемки, органолептические методы оценки качества, методы отбора проб для лабораторных испытаний. - М.: ИПК Изд-во стандартов, 2004. - 16 с.
6. ГОСТ Р ИСО 8589-2005 Органолептический анализ. Руководство по проектированию помещений для исследования. - М.: Стандартинформ, 2015.
7. ГОСТ 9959-91 Продукты мясные. Общие условия проведения органолептической оценки. -М.: Стандартинформ, 2010. - 10 с.
8. ГОСТ 15113.3-77 Концентраты пищевые. Методы определения органолептических показателей, готовности концентратов к употреблению и оценки дисперсности суспензии. - М.: Стандартин-форм, 2011. - 2 с.
9. ГОСТ 26312.2-84 Крупа. Методы определения органолептических показателей, развариваемо-сти гречневой крупы и овсяных хлопьев. - М.: Стандартинформ, 2010. - 4 с.
10. ГОСТ 26664-85 Консервы и пресервы из рыбы и морепродуктов. Методы определения органолептических показателей, массы нетто и массовой доли составных частей. - М.: Изд-во стандартов, 1986. - 9 с.
11. ГОСТ 29245-91 Консервы молочные. Методы определения физических и органолептических показателей. - М.: ИПК Изд-во стандартов, 2001. - 6 с.
12. РМГ 29-2003 ГСИ. Метрология. Основные термины и определения. - М.: Стандартинформ,
2014.
13. Об обеспечении единства измерений: Федеральный закон от 26.06.2008 № 102-ФЗ.
14. Хамханова Д.Н. Основы квалиметрии: учеб. пособие. - Улан-Удэ: Изд-во ВСГТУ, 2003. -
142 с.
15. Хамханова Д.Н., Дамбаева Б. Ц-Д. Анализ нормативных документов по методам контроля органолептических показателей // Сб. науч. тр. по материалам III Междунар. науч.-практ. конф. «Качество как условие повышения конкурентоспособности и путь к устойчивому развитию». - Улан-Удэ: Изд-во ВСГУТУ, 2015. - С. 34-39.
16. Шишкин И.Ф., Станякин В.М. Квалиметрия и управление качеством: учебник для вузов. -М.: Изд-во ВЗПИ, 1992. - 256 с.
Bibliographi
1. GOST 5667-65 Bread and bakery products. Acceptance rules, sampling methods, methods for determination of organoleptic characteristics and mass of products. - M.: IPK Publishing house of standards, 1997. - 5 p.
2. GOST 5897-90 Pastry. Methods of determining the organoleptic quality indicators, dimensions, weight and components. - M.: IPK Publishing house of standards, 2004. - 16 p.
3. GOST 6687.5-86 Products non-alcoholic industry. Methods for determination of organoleptic indices and volume of production. - M.: IPK Publishing house of standards, 1998 -9 p.
4. GOST ISO 7304-94 Semolina and pasta of durum wheat. Organoleptic evaluation of cooking properties of spaghetti. - M.: IPK Publishing house of standards, 1995 -11 p.
5. GOST 7631-85 Fish, sea mammals, sea invertebrates and products of their processing. Rules of acceptance, organoleptic quality assessment methods, methods of sampling for laboratory tests. - M.: IPK Publishing house of standards, 2004. - 16 p.
6. GOST R ISO 8589-2005 Organoleptic analysis. Guide to the design of premises for research. - M: Standartinform, 2015.
7. GOST 9959-91 Meat Products. The General conditions for sensory evaluation. - M.: Standartinform, 2010 -10 p.
8. GOST 15113.3-77 Food Concentrates. Methods for determination of organoleptic characteristics, availability of concentrates to the use and evaluation of dispersion of the suspension. M.: Standartinform, 2011 - p. 02.
9. GOST 26312.2-84 Cereal. Methods for determination of organoleptic characteristics, cooking property of buckwheat grouts and oat flakes. M.: Standartinform, 2010 - p. 4.
10. GOST 26664-85 Canned foods and preserves from fish and seafood. Methods for determination of organoleptic characteristics, net mass and the mass fraction of component parts. - M.: Publishing house of standards, 1986 -9 p.
11. GOST 29245-91 Canned milk. Methods of determination of physical and organoleptic characteristics. - M.: IPK Publishing house of standards, 2001 -6 p.
12. RMG 29-2003 GSI. Metrology. Basic terms and definitions. - M. Standartinform, 2014.
13. On ensuring the unity of measurement: Federal Law of 26.06.2008 N 102-FZ.
14. Khamkhanova D.N. Basics of qualimetry: Textbook. - Ulan-Ude: Publishing House of the All-Russian State Technical University, 2003. - 142 p.
15. Khamkhanova D.N., Dambaeva B.Ts-D. Analysis of normative documents on methods of control of organoleptic indicators // Collection of scientific papers on the materials of the III International Scientific and Practical Conference "Quality as a condition for increasing competitiveness and the path to sustainable development". - Ulan-Ude: ESSUTM, 2015. - P. 34-39.
16. Shishkin I.F., Stanyankin V.M. Qualimetry and quality management: textbook for higher education institutions. - M.: Publ. house of the All-union correspondence polytechnic institute, 1992. - 256 p.
