Применение экспертных методов при разработке балловых шкал

Органолептические показатели продуктов относятся к неизмеримым, значения которых нельзя выразить в физических размерных шкалах. Характеристику вкуса, запаха, консистенции и других сенсорных признаков приводят в качественных соотношениях. Чтобы перевести качество в количество, при экспертной оценке используют безразмерные шкалы: обычно в баллах, реже в долях единицы или процентах.

Широкое введение в практику метода балловой оценки, основанного на единичных принципах, необходимо международной торговле для обмена информацией о качестве продуктов, которая будет одинаково интерпретироваться в разных странах.

Наиболее ответственный момент – выбор шкалы. При разработке балловых шкал градацию шкалы определяют в зависимости от поставленной задачи, качества экспертов, необходимой точности результатов и возможности словесного описания характеристики качественных уровней. Рекомендуется разрабатывать шкалы с симметричными интервалами, на которых большее значение соответствует хорошему качеству, а меньшее - плохому.

При этом необходимо учитывать, что характеристика качественных уровней шкалы должна отвечать следующим требованиям:

1. Общеупотребительность – распространенность терминов, привычность для дегустаторов;

2. Однозначность – близкое толкование разными экспертами;

3. Различимость – возможность различать признаки по всем ступеням шкалы;

4. Достаточность – количество уровней шкалы обеспечивает необходимую точность результатов.

Разработка, выполненная в венгерском Центре по проведению контроля качества и анализа пищевых продуктов в рамках Европейской организации по контролю качества, для работы дегустаторов рекомендует использовать однородную 5-балловую шкалу органолептической оценки разных показателей качества и применять коэффициенты весомости.

Процесс разработки 5-ти балловой шкалы состоит из следующих этапов:

- выбор номенклатуры единичных показателей, характеризующих органолептические свойства продуктов;

- составление схем-таблиц, содержащих словесную характеристику каждого показателя по всем качественным уровням шкалы;

- назначение коэффициентов весомости показателей;

- установление критериев для разных качественных уровней (категорий качества) продукции;

- предварительной обсуждение разработанных элементов балловой шкалы;

- дву-, троекратное опробирование шкалы на нескольких образцах продукции (этот этап включает в себя оценку в баллах единичных показателей качества с помощью зрительных, обонятельных осязательных и вкусовых органов чувств, затем расчет комплексных показателей и отнесение продукции к определенной категории качества.

1. Выбор номенклатуры показателей качества

Номенклатура единичных показателей установлена соответствующими стандартами на пищевые продукты, но расширить возможности использования балловой шкалы для дифференцирования качества продуктов можно введением дополнительных показателей.

Например, иногда целесообразно отдельно оценить запах и вкус, приводимые в стандартах обычно одним показателем, или, если необходимо, ввести дополнительные показатели, не включенные в нормативную документацию, например "вкус и запах вареной рыбы".

2. Составление схем-таблиц характеристики уровней качества

Эксперты разрабатывают схемы-таблицы, давая подробную словесную характеристику качественных уровней единичных показателей, руководствуясь при этом требованиями соответствующей нормативной документации.

Схемы-таблицы разрабатываются по каждому виду продуктов или группе однородных продуктов и предназначены для дегустаторов, которые руководствуются необходимой информацией, заложенной в схемах-таблицах, при назначении балловых оценок в процессе дегустационного контроля качества продуктов.

3. Назначение коэффициентов весомости показателей качества

Коэффициенты весомости используют в связи с различной значимостью единичных показателей в общем восприятии товарного качества продукции. Они выражают долевое участие признака в формировании качества продукта и служат множителями при расчете обобщенных балловых оценок. Таким образом, коэффициенты весомости являются количественными характеристиками значимости показателей.

Для назначения коэффициентов весомости применяются экспертные методы с групповыми или индивидуальными опросами.

Эксперты сравнивают между собой значимость единичных показателей,

используя процедуру ранжирования, оценивания, парного и последовательного сравнения. При этом должны быть выделены главные показатели, наиболее полно отражающие способность изделия выполнить основное назначение. Следует учитывать традиционное распределение баллов в шкалах, нашедших практическое применение в действующей нормативной документации.

Для пищевых продуктов наиболее важными показателями являются вкус, запах и консистенция. Обычно вкусоароматическим показателям в шкалах отводят до 40-60% общего количества баллов, консистенции – 20-25% баллов.

Согласно рекомендациям сумма коэффициентов весомости должна быть равна 20, чтобы 5-балловые шкалы при любом количестве показателей трансформировались в 100-балловые и комплексные показатели можно было воспринимать в процентах от оптимального качества (эталона).

Коэффициенты весомости можно варьировать в зависимости от цели исследования.

Например, если необходимо установить влияние какого-либо фактора на качество продукта, то среди единичных показателей, характеризующих качество, повышается значимость тех показателей, которые более лабильны и подвержены действию рассматриваемого фактора. Такой прием позволяет выделить главный фактор среди прочих и более четко выявить его роль в качественных изменениях продукции.

Номенклатура показателей также не является стабильной для каждого вида продуктов питания. В зависимости от поставленной задачи в одних случаях целесообразно функционировать единичные показатели, например, рассматривать вкус и запах как два разных показателя, в других – объединять несколько единичных показателей в групповой. В некоторых случаях уместно вводить дополнительные показатели, не включенные в стандарты на пищевую продукцию. Эксперты, работая индивидуально, ранжируют показатели по значимости и назначают коэффициенты весомости. Мнения экспертов обобщаются расчетным путем.

4. Градация категорий качества и назначение граничных пределов для разных категорий оцениваемой продукции

Эксперты определяют граничные пределы значений комплексных и единичных показателей для каждой категории качества в соответствии с градацией качественных уровней, установленной этими же экспертами.

Мнения экспертов заносят в индивидуальные листы, а затем обобщают.

5. Обсуждение разработанных элементов балловой шкалы

Проводится предварительное обсуждение разработанных элементов шкалы. Коллектив экспертов решает вопрос о возможности испытания балловой шкалы или необходимости доработки отдельных ее элементов. На этом этапе могут быть внесены коррективы относительно номенклатуры показателей, схем-таблиц, коэффициентов весомости, а также градация продукта по качественным уровням.

6. Апробирование балловой шкалы

Коллектив из 5-7 экспертов-дегустаторов, выдержавших испытания на сенсорную чувствительность, проводит оценку единичных показателей качества нескольких образцов продукции по 5-балловой шкале, используя схемы-таблицы.

Оценивая показатели продукции, эксперты сопоставляют их характеристики с базовыми признаками аналогов и словесным описанием в схемах-таблицах. Задачей экспертов служит определение зависимости количественных оценок показателей от качественной характеристики.

Балловую оценку продуктов эксперты выполняют, используя приемы ранжирования, оценивания, парного сравнения и последовательного сравнения.

Ранжирование состоит в том, что эксперты располагают оцениваемые образцы продукции в порядке, определяемом каким-либо признаком, например, располагают образцы оцениваемой продукции в порядке понижения их качества.

Прием оценивания заключается в том, что испытуемым объектам дают

качественную или количественную оценку в соответствии с выраженностью определенного признака. Этот прием наиболее употребляем в органолептическом анализе пищевых продуктов. Показатели образцов оценивают количественно в баллах по их качественным характеристикам.

При методе парного сравнения каждый объект сравнивается с каждым из всех остальных в соответствии с определенными признаками с целью их ранжирования или оценивания.

Процедура последовательного сравнения включает несколько операций в следующем порядке: ранжирование; назначение заданного числа (количественной оценки) образцу, оказавшемуся первым в ранжированном ряду; количественное оценивание последующих объектов путем сравнения с первым.

Результаты оценочных операций эксперты заносят в дегустационные листы.

Затем проводится статистическая обработка индивидуальных оценок, рассчитываются комплексные показатели и количественные меры согласованности экспертов.

Обобщение дегустационных оценок качества продукции выполняется методом усреднения. При обработке дегустационных листов и расчете комплексных показателей используют основные приемы математико-статистического анализа для получения количественных характеристик органолептических свойств продуктов, а также принятия количественных мер для анализа этих характеристик и согласованности мнений экспертов (среднюю арифметическую). Для характеристики разброса совокупности оценок отдельных дегустаторов, рассчитывают среднее квадратическое отклонение.

Порядок проведения обработки результатов дегустации:

Усредняют оценки дегустаторов по единичным показателям.

Оператор заносит в сводные листы оценки всех дегустаторов по каждому образцу и рассчитывают средние арифметические значения оценок единичных показателей (в баллах) по формуле:

= (9)

где – сумма оценок дегустаторов по конкретному показателю (вкусу, запаху, т.д.) одного образца продукции, баллы;

n – число дегустаторов.

Для характеристики разброса совокупности оценок дегустаторов оператор определяет стандартное отклонение для каждого единичного показателя по формуле

S = (10)

где - сумма квадратов оценок дегустаторов, баллы;

- квадрат среднего значения оценок показателя, баллы.

Стандартное отклонение S характеризует согласованность мнений экспертов при условии однородности анализируемых проб.

Если оценки однозначны, то S по 5-балловой шкале обычно не превышает +0.5 балла.

При отклонении +1 и более (это соответствует коэффициенту вариации 20% и более по 5-балловой шкале) анализируемая совокупность оценок статистически неоднородна.

Если при подготовке проб или во время дегустации не было допущено ошибок, то сомнению подвергается качество подготовки дегустаторов: профессиональная и квалиметрическая компетентности, сенсорная способность, объективность. В таком случае проводится повторная проверка сенсорной восприимчивости дегустаторов, подвергаются переоценке другие показатели качества дегустаторов. Оценки дегустаторов, не выдержавших повторного испытания, исключают из анализируемой совокупности, которую вновь статистически обрабатывают.

Коэффициенты весомости показателей используют на стадии обработки

дегустационных листов при расчете комплексного показателя Q, представляющего собой сумму произведений оценок единичных показателей на соответствующие коэффициенты весомости показателей:

Q= = k₁ + k₂ +…+ k_n, (11)

где - усредненные оценки единичных показателей качества (вкуса, запаха и т.д.), баллы;

k₁, k₂, …k_n -соответствующие коэффициенты весомости единичных показателей;

n – число единичных показателей.

Оператор умножает средние арифметические оценки единичных показателей на соответствующие коэффициенты весомости показателей, и полученные произведения суммирует по каждому образцу продукции. В результате получают значения комплексных показателей качества пищевого продукта.

По единичным и комплексным показателям в соответствии с разработанными ранее критериями устанавливается уровень качества (категория качества) оцениваемой продукции.

7. Обсуждение результатов и корректировка балловой шкалы

Методом группового опроса экспертов с взаимодействием проводится обобщение мнений экспертов относительно качества разработанной шкалы, ее надежности и удобства в работе. Мнение каждого эксперта должно быть обосновано. На заседании экспертной группы обсуждаются результаты испытаний балловой шкалы и, способом голосования, составляется заключение об ее качестве. Решение (обобщенное мнение) принимается 2/3 голосов. При серьезном расхождении во мнениях проводят повторные туры опросов экспертов и обсуждений.

Поиск по сайту: