Экспертная оценка качества функционирования информационных систем в образовательном сервисе. Экспертная оценка качества или качественная оценка экспертов

Методы экспертной оценки показателей качества това­ров - это методы определения действительных значений еди­ничных и комплексных показателей качества.

Предназначены для определения значений показателей качества расчетным или эвристическим путем в случаях, когда применение измерительных методов невозможно или неэконо­мично из-за чрезмерных расходов на их применение или дли­тельного времени испытаний. Например, при определении вку­са и запаха пищевых продуктов используются только органолептические методы. Измерительные методы не дают точной и надежной оценки, несмотря на повышенные затраты.

Для дифференциальной и комплексной оценки образцов, значительно отличающихся по качеству, рекомендуется опре­делять значение единичного показателя Р следующим обра­зом :

где Pj8- базовое (эталонное значение).

Другой, более точный метод основан на исследовании по­казателей с целью определения видов зависимости f, т. е. с це­лью разработки формул для расчетов оценок показателей:

Оценка единичных показателей качества начинается с определения допустимых интервалов их измене­ния (Рi макс-Рi мин). Рi макс - наилучшее значение показателя, пре­вышение которого нецелесообразно или невозможно. Принци­пы назначения максимально допустимого значения показателя (Рi макс) зависят от целей оценки качества, при этом необходимо, чтобы для всех показателей этот принцип был единым.

Повышение надежности экспертных оценок достигается путем членения сложных операций на простые, которые со­ставляют многоступенчатую процедуру оценки допустимых зна­чений показателя. Переход к каждой последующей ступени со­вершается после выработки согласованных решений на преды­дущей.

Экспертная процедура определения допустимых значений показателей качества состоит из ряда операций:

выдачи экспертам анкетой пояснительных записок, в кото­рых перечислены показатели качества и описаны принципы выбора допустимых значений показателей;

заполнения экспертами анкет и указания конкретных мо­делей продукции, значения которых они считают предельно допустимыми;

ознакомление каждого эксперта с оценками, назначенны­ми другими экспертами, и их обсуждение;

проведение второго (иногда третьего и четвертого) тура анкетирования;

усреднение результатов оценки.

При значительном разбросе мнений проводится дополни­тельный тур голосования. Значение показателя принимается за максимальное, если за него подано не менее 70% голосов. При невыполнении этого условия за максимально допустимое зна­чение принимается среднее из 50% наибольших значений Р.макс, за минимальное допустимое значение - среднее из 50% наи­больших значений Р.мин. Полученные значения используются экспертами при определении оценок показателей качества К.

Для определения экспертами вида зависимостей (f) между значениям показателей Р. и их оценками К нередко использу­ется "метод главный точек". Необходимость его применения обусловлена тем, что разделение процедуры оценки на несколько этапов упрощает работу эксперта и позволяет ему дать оценки некоторым характерным точкам, исходя из которых можно по­строить модель искомой величины.

"Метод главных точек" в зависимости от их числа име­ет несколько разновидностей.

"Метод трех главных точек" - метод, основанный на разделении значений показателей Pj на максимальное, мини­мальное, среднее значение и определении значений оценок К, в ггих точках. Интервал шкалы между максимальной и мини­мальной точками задается заранее (шкалы 0-1 или 0-10). В задачу эксперта входит также определение тенденции зависи­мости в интервале между главными точками и построение гра­фика. После этого от графической зависимости можно перейти к аналитической формуле для расчета оценок показателя каче-с т ва К. "Метод трех главных точек" позволяет разработать лишь приближенную модель оценки К(.

"Метод семи главных точек" - метод оценки по семи­Вилльной шкале оценки показателей, значения которых опре-

делены экспериментальным или расчетным путем, а также ор-ганолептическим методом.

Семибалльная шкала является равномерной, т. е. при пере­ходе от одного класса качества к другому оценка меняется на один балл. Эти шкалы нашли широкое применение, особенно при органолептической оценке. Для получения более точных результатов следует перейти к определению вида зависимости между оценками и баллами.

Для облегчения работы эксперта в пояснительной записке к анкете приводят пять графиков. Эксперт выбирает кривую (или комбинацию кривых), которая наилучшим образом, по его мнению, отражает характер зависимости f. Затем каждому клас- j су качества назначается оценка в соответствии с характером зависимости и значениями показателей качества. При этом це­лесообразно пользоваться числами в интервале 0-10, кратны­ми 0,5, причем класс "наивысшее качество" получает оценку 10.

Таким образом, график, построенный экспертом, характе­ризует зависимость между абсолютными значениями показа­телей Р. и их оценками Кi, а для показателей, оцениваемых органолептическими методами, - между классами качества и их оценками.

В заключение проводятся обсуждение полученных резуль­татов, их обработка и анализ. Для показателей, определяемых измерительным и расчетным методами, желательно дать ана­литическое описание кривых, что позволяет рассчитать оценку для любых значений показателей.

Применение "метода главных точек" дает возможность осу­ществлять группировку и классификацию показателей по ви дам зависимости.

Определение комплексных показателей ка чества осуществляется двумя видами методов:

методами комплексной оценки качества образцов товаров;

методами построения моделей комплексных показателе качества.

Методы комплексной оценки качества имеют две разно видности - экспресс-метод и методы движения по уровням бе подготовки и с подготовкой.

Экспресс -методы комплексной оценки качества образ­цов товаров основаны на определении комплексного показате ля качества путем анализа значений отдельных единичных казателей и внешнего вида без предварительной их оценки и учетом коэффициентов весомости.

При использовании этих методов необходимо учесть, что предельным количеством оцениваемых показателей даже для высококвалифицированного эксперта является 7-9 показате­лей, расположенных на одном уровне иерархии и составляю­щих достаточно однородную группу. Кроме того, эксперты долж­ны учитывать важность отдельных показателей с помощью ко­эффициентов весомости, взаимосвязь между ними, а также рас­сматривать качество товара как систему.

Метод движения по уровням без подготовки представ­ляет собой комплекс операций, осуществляемых последователь­но, с постепенным повышением уровня. При этом анализ начи­нается от нижнего уровня дерева показателей. С учетом значе­ния показателей нижнего уровня эксперт дает оценку показа­телям вышележащего уровня. Эти операции повторяются с по­вышением уровня до тех пор, пока не будет достигнут верхний уровень - комплексная (обобщенная) оценка качества.

Метод движения по уровням с подготовкой основан на предварительном определении экспертами коэффициентов ве­сомости показателей качества и их оценок. При назначении комплексных оценок эксперту известны средние значения ко­эффициентов весомости и оценки единичных показателей. Про­цедура определения комплексных показателей аналогична про­цедуре по методу движения по уровням без подготовки.

Формализация процесса экспертной оценки заключа­ется в нахождении зависимости между значениями показате­лей качества Рi (или их оценками Кi) и показателем качества вышележащего уровня, т. е. в определении вида решающей функции, которой пользуются эксперты при назначении ком­плексных показателей. При этом решающая функция, как и любая модель, упрощает объект исследования, так как учиты­ваются не все показатели и связи между ними.

Среди методов, применяемых в управлении качеством для решения многих управленческих задач, очень часто используются экспертные методы.

Сначала экспертные методы использовались, в основном, для решения задач, связанных с прогнозированием в области науки и техники, а затем они стали применяться в других областях, в том числе в управлении качеством. Это связано с большим числом возникающих при этом виде управления противоречий, которые во многих случаях невозможно разрешить объективными методами. Экспертные методы также используют в случаях:

Невозможности применения моделирования и описания управляемых объектов формализованными математическими способами;

Отсутствия достаточно достоверной информации;

Информационной неопределенности управляемых объектов;

Разработки средне- и долгосрочных прогнозов влияния законов и закономерностей на управление качеством;

Существования тенденций развития управления качеством и рыночной среды;

Наличия экстремальных ситуаций в управлении качеством.

В таких случаях непереоценимое значение приобретает использование профессионального опыта и сформированной на его основе интуиции специалистов-экспертов.

Сущность экспертных методов как при решении задач управления качеством, так и при использовании их в практике принятия решений в других областях науки, техники и управления заключается в усреднении различными способами мнений (суждений) специалистов-экспертов по рассматриваемым вопросам.

Экспертный метод оценки уровня качества технической продукции используется в тех случаях, когда невозможно или очень затруднительно применить методы объективного определения значений единичных или комплексных показателей качества такими методами как инструментальный, эмпирический или расчетный.

Экспертный метод (или экспертный способ, т.е. метод экспертных оценок) является совокупностью нескольких различных методов, которые представляют собой разновидности, модификации метода экспертиз. Известные разновидности экспертного метода применяются везде, где основой решения является коллективное решение компетентных людей (экспертов). Так, например, решения различных советов, конференций, совещаний, комиссий, а также экзаменаторов при оценке знаний учащихся и т.п. -- все это решения, принимаемые экспертными методами.

Экспертные методы оценки качества продукции могут использоваться при формировании сразу общей оценки (без детализации) уровня качества продукции, а также при решении многих частных вопросов, связанных с определением показателей качества чего-либо. Следовательно, экспертные методы применяются:

При общей (обобщенной) оценки качества продукции;

При классификации оцениваемой продукции;

При определении номенклатуры показателей качества оцениваемой продукции;

При определении коэффициентов весомости показателей качества продукции;

При оценки показателей качества продукции органолептическим методом;

При выборе базовых образцов и безразмерных значений базовых показателей качества;

При определении итогового комплексного показателя качества на основе совокупности единичных и комплексных (обобщенных и групповых) показателей;

При аттестации продукции и сертификации.

Экспертный метод оценки уровня качества продукции не может быть использован, если качество можно оценить другими аналитическими или экспериментальными методами с большей точностью или с меньшими затратами.

Результаты общей экспертной оценки такого сложного комплекса свойств, каким является качество продукции, имеют элементы неопределенности и необоснованности. Поэтому экспертная оценка качества продукции в целом является предварительной, ненасыщенной информационно и только в первом приближении, ориентировочно характеризует качество оцениваемого изделия. На основе такой экспертной оценки качества, очевидно, нет возможности принимать какие-либо инженерно-технические решения. Этот метод может, например, использоваться при коммерческих сделках, когда нет конкретных (численно выраженных) сведений об уровне качества приобретаемой продукции и т.п.

Однако следует отметить, что экспертный метод для оценки многих показателей качества технической и другой продукции является единственно возможным, применяется достаточно широко и для этого разработаны соответствующие методики.

Объектом экспертизы (экспертных оценок) в нашем случае являются потребительские свойства в их совокупности, т.е. качество.

Критерии, по которым осуществляется экспертиза качества, подразделяются на общие и конкретные.

К общим критериям относятся сложившиеся в обществе ценностные ориентиры, представления и нормы. Конкретные критерии для эксперта -- это реальные требования к качеству продукции данного вида, установленные в нормативно-технических и других обязательных для исполнения документах. В форме конкретных критериев выступает также комплекс базовых значений показателей качества, характеризующих планируемую или проектируемую продукцию. Характеристики реально существующих высококачественных изделий, изготавливаемых в стране или за рубежом, тоже являются конкретными критериями для экспертов.

С целью повышения достоверности, точности, надежности и воспроизводимости экспертных оценок экспертизу осуществляют путем принятия группового решения компетентными людьми. Для оценки уровня качестве продукции создается экспертная комиссия, состоящая из экспертной и рабочей групп.

В экспертную группу включаются высококвалифицированные и специально подготовленные работники в области создания и функционирования оцениваемой продукции: исследователи, конструкторы, технологи, дизайнеры, товароведы, экономисты и т.д. Число экспертов, входящих в группу, зависит от требуемой точности средних оценок и должно составлять от семи до двадцати человек. При заочном опросе верхний предел количества опрашиваемых экспертов не ограничивается.

Экспертная группа (комиссия) пользуется экспертным способом получения информации о показателях качества оцениваемой продукции. При этом экспертная группа может принимать решения на основе усреднения оценок экспертов или проводя голосования экспертов (метод "комиссий"). С целью уменьшения субъективности в экспертном методе рекомендуется проводить несколько туров опросов экспериментов.

Экспертный метод "комиссий" заключается в том, что в нем используется как бы голосование. Сначала эксперты выставляют оценки независимо друг от друга. Потом, после открытого обсуждения выставленных оценок, эксперты вновь независимо друг от друга дают оценки каждому параметру качества. Впоследствии по скорректированным индивидуальным оценкам рассчитывают экспертную оценку. Эту работу проводит рабочая группа экспертной комиссии. Кроме того, рабочая группа организует процедуру опроса экспертов, анализирует полученные результаты и составляет заключение экспертной комиссии.

Желательно, чтобы для оценок однотипной продукции экспертная комиссия формировалась из постоянных экспертов и членов рабочей группы. Это связано с тем, что в процессе работы относительно постоянной комиссии накапливается опыт работы, происходит обучение ее членов, вырабатываются общие подходы и принципы, а это повышает эффективность работы экспертной комиссии.

Перечень и последовательность основных этапов работы экспертной комиссии состоит в следующем:

1) назначение лиц, ответственных за организацию и проведение работ по экспертной оценке качества продукции;

2) формирование экспертной и рабочей групп;

3) разработка классификации и определение номенклатуры показателей качества оцениваемой продукции;

4) подготовка анкет и пояснительных записок для опроса экспертов;

5) оценка и опрос экспертов;

6) обработка экспертных оценок;

7) анализ и оформление результатов экспертной оценки качества (или показателей качества) продукции.

В практике экспертной оценки качества, в частности при экспертной оценке потребительских свойств продукции в основном применяются комплексная и оперативная экспертизы.

Комплексная экспертиза проводится для всестороннего изучения и оценки качества групп однородных изделий, выпускаемых промышленностью серийно. В связи с этим при экспертизе реализуют системный, комплексный подход к анализу и оценке продукции. При комплексной экспертизе получают не только более полную характеристику оцениваемого объекта, но и определенный научный, методический и нормативный материал, используемый при проведении других видов экспертизы.

Оперативная экспертиза основывается на данных, полученных при проведении предшествующих комплексных экспертиз. Этот прием позволяет существенно сократить объем и сроки экспертных работ при достаточной глубине и обоснованности экспертных заключений.

Наиболее распространенные экспертные методы при классификации по признаку оценки предпочтений:

1. Метод рангов

2. Метод непосредственного оценивания

3. Метод сопоставлений:

Парного сравнения

Последовательного сопоставления

Используя метод рангов, производят ранжирование (упорядочение) исследуемых объектов организованной системы в зависимости от их относительной значимости. При этом наиболее предпочтительному объекту обычно присваивается первый ранг, и наименее-последний, равный по абсолютной величине числу упорядоченных объектов

Таблица 1 - Определение результирующего ранга объектов ранжирования

Таким образом, этот метод позволяет определить место исследуемого объекта среди других объектов. Достоинством метода рангов является его простота. Недостатками являются:

Невозможность с достаточной точностью ранжировать количество объектов, количество которых превышает 15-20;

Не отвечает на вопрос как далеко по значимости находятся исследуемые объекты друг от друга.

Данный метод применяется в практике исследования систем управления, несмотря на свою простоту, довольно редко.

Метод непосредственного оценивания представляет собой упорядочение исследуемых объектов в зависимости от их важности путем приписывания баллов каждому из них.

При этом наиболее важному объекту приписывается (дается оценка) наибольшее количество баллов по принятой шкале. Диапазон шкалы оценок наиболее распространенным бывает от 0 до 1, 0 до 5, 0 до 10, 0 до 100. В простейшем случае оценка может быть 0 или 1. Иногда оценивание осуществляется в словесной форме. Например, "очень важный", "важный", "маловажный", и т.п., что тоже иногда для большого удобства обработки результатов опроса переводится в балльную шкалу (соответственно 3, 2, 1).

Использование указанного метода используется только при уверенности полной информированности экспертов об исследуемых свойствах объекта, чего нередко не бывает.

Таблица 2 - Определение результатов непосредственного оценивания объектов

По результатам оценок экспертов место любого объекта можно определить по формуле (1),

где Вi- значимость i-го объекта (i=123….n)рассчитанная на основании экспертов(j=1,2,3,….k)

Aij= оценка (в баллах), данная i-му объекту j-тым экспертом

Метод сопоставления осуществляется парным сравнением и последовательным сопоставлением.

При парном сравнении эксперт сопоставляет исследуемые объекты по их важности попарно, устанавливая в каждой паре объектов наиболее важный. Все возможные пары объектов эксперт представляет в виде записи каждой из комбинаций (объект 1 - объект 2, объект 2 - объект 3 и т.д.) или в форме матрицы.

В результате сравнения объектов в каждой паре эксперт высказывает мнение о важности того или иного объекта, то есть отдает одному из них предпочтение. Иногда эксперты приходят к выводу об эквивалентности каждого из объектов пары. Упорядочение в каждой паре объектов, безусловно, не дает сразу упорядочения всех рассматриваемых объектов, поэтому необходима последующая обработка результатов сравнения. Наиболее удобно осуществлять парные сравнения и их обработку, используя в качестве инструмента матрицы.

В отдельных случаях при большом количестве исследуемых объектов на результаты парного сравнения оказывают влияние психологические факторы, то есть предпочтение порой получает не тот объект, который действительно предпочтителен перед другими, а тот, который в перечне пар записан первым или находится по расположению в матрице выше сравниваемого. Поэтому иногда для исключения психологического влияния проводят двойное парное сравнение, то есть еще раз осуществляют парное сравнение, но только при обратном расположении объектов и соответственно объектов в каждой паре.

Метод парных сравнений очень прост и он позволяет исследовать большее количество объектов (по сравнению, например, с методом рангов) и с большей точностью.

Сущность метода последовательного сопоставления состоит в следующем. Эксперт располагает все исследуемые объекты в порядке их важности (как метод рангов). Предварительно каждому из объектов приписывается определенное количество баллов, например, по шкале от 0 до 1 (как метод оценивания). Причем самому важному объекту дается балл равный 1, а всем остальным в порядке уменьшения их значимости, то есть от 1 до 0. Далее эксперт решает вопрос, будет ли важность объекта, имеющего ранг 1, больше суммы балльных оценок всех остальных объектов. Если будет, то величина балльной оценки первого объекта увеличивается до соблюдения этого условия, а если нет, то эксперт уменьшает эту величину до такого числового значения, чтобы она стала меньше суммы оценок всех остальных объектов.

Величины оценок второго, третьего и последующих объектов по важности определяются последовательно аналогично оценке первого наиболее важного объекта.

Метод последовательного сопоставления для экспертов наиболее трудоемок. Особенно это начинает ощущаться при количестве исследуемых объектов более шести-семи.

Обработка собранных мнений экспертов проводится как количественная (численных данных), так и качественная (содержательной информации). При этом используются различные способы. Необходимо отметить, что при наличии численных данных для решения вопросов, имеющих достаточный информационный материал, в основном, применяются методы усреднения экспертных суждений. Однако, даже при имеющихся численных данных, но при недостаточности информации по решаемому вопросу используются наряду с количественными методами обработки экспертных данных также и методы качественного анализа и синтеза.

При использовании рассмотренных экспертных методов мнения экспертов часто совпадают не полностью. Поэтому необходимо количественно оценивать меру согласованности мнений экспертов и определение причин несовпадения суждений. Мера согласованности, естественно, определяется на основе статистических данных всей группы экспертов.

Согласованность мнений экспертов определяется с помощью коэффициента конкордации:

где С - сумма квадратов отклонений сумм рангов по каждому объекту от средней суммы рангов по всем объектам (Н) и экспертам (К).

Общими достоинствами экспертных методов являются быстрота получения результатов без наличия нормативной базы в системе управления, возможность оценивания того или иного объекта при невозможности измерить его характеристики количественными объективными методами.

Недостатками экспертных методов являются их субъективность и соответствующие этому возможные погрешности результатов экспертизы, существенные затраты на привлечение опытных экспертов для участия в экспертных работах, влияние авторитетных членов экспертной группы и корпоративных интересов на мнение отдельных экспертов.

Применение всех рассмотренных экспертных методов, несмотря на их недостатки, показывает их эффективность при исследованиях и проектировании систем управления. Причем, наибольший эффект достигается при одновременном использовании нескольких методов.

экспертный качество шкала

Механизм потребительского выбора достаточно консервативен, поскольку базируется, как правило, на использовании только того, что уже хорошо себя зарекомендовало. В значительной степени он ориентирован на прошлое, чем на возможное будущее.

В условиях рынка основой оценки качества продукции должна стать объективная общественная полезность продукции, что будет отражать ее прогрессивность и соответствие чертам нового быта. Одним из методов, который может обеспечить именно такую оценку продукции, может стать экспертный метод.

Экспертный метод оценки качества продукции предусматривает выяснение мнения экспертов.

Эксперт – это квалифицированный специалист, который соответствует требованиям профессиональной и квалиметрической компетентности, деловитости и объективности, а также заинтересованный в работе экспертной комиссии.

Использование экспертных методов рационально при наличии одной из двух причин:

задание не может быть выполнено никаким другим методом;

другие методы выполнения задания или менее точные, или более трудоемкие.

Экспертные методы совместно с другими или самостоятельно могут быть использованы для:

классификации продукции;

определения номенклатуры показателей качества продукции;

определения коэффициентов весомости отдельных показателей качества;

выбора базовых образцов продукции и определения значений отдельных показателей качества этих образцов;

определение органолептических показателей качества оцениваемой продукции;

определение комплексных показателей качества продукции.

Привлечение к работе в экспертных комиссиях высококвалифицированных экспертов позволяет получить точную и воспроизводимую оценку качества товаров. Проведенные эксперименты подтверждают, что при правильной методике экспертной оценке ошибка результатов находится в пределах 5–10 %, и ее целиком можно сопоставить с результатами инструментальных методов.

Для оценки качества продукции экспертным методом создаются экспертные комиссии. Порядок создания, цели и задания такой комиссии определяются приказом или распоряжением руководителя министерства, ведомства, объединения, фирмы. Общий алгоритм операций создания и работы экспертной комиссии, которая использует методы группового опроса, приведен на рисунке 7.1.

Работа экспертной группы заканчивается статистической обработкой экспертных оценок, их анализом и принятием обоснованных решений.

Основные преимущества групповой экспертной оценки заключается в возможности разностороннего анализа проблем, связанных с определением отдельных характеристик товара. Взаимодействие между экспертами увеличивает объем суммарной информации по сравнению с информацией каждого члена группы. При групповой оценке меньше вероятность ошибки конечного результата работы. В большинстве случаев групповая оценка более надежная, чем оценка каждого эксперта в отдельности.

Рабочая группа готовит и проводит экспертную оценку качества продукции. Ее заданием является подготовка экспертов, помощь в проведении оценки качества, обработка, анализ, обобщение результатов и установление коллективного мнения экспертов. Она начинает свою деятельность с подбора экспертов и формирования экспертной группы.

Качество есть качество" . Качество в отличие от количества не измеряют, а оценивают. Существуют две формы оценки качества: лингвистическая и количественная. В первом случае качество определяют словами: например, "качество высокое", "среднее", "низкое" и т.д. Во втором случае качество оценивают по некоторой условной шкале числом к (0 < к < м, где м - высший балл в числовой оценке качества). Например, 5 как в российской или 100 как в английской школах.

Для оценки качества привлекаются эксперты. Мы к такой оценке качества уже прибегали, когда пытались характеризовать параметры пожарного ведра (см. рис. 3.31 и 3.32). Экспертной оценке качества могут быть подвергнуты товары и услуги, проекты и законы, знания и квалификация, выступления фигуристов, гимнастов или вокалистов и многое другое. Как ни ругают качественные, а не количественные оценки в некоторых видах спорта, вспоминая при этом скандалы на соревнованиях, экспертные оценки жюри остаются единственным мерилом выступления многих спортсменов. Не говоря уже о людях искусства и о различных творческих конкурсах...

В повседневной жизни при принятии решения можно исходить из лингвистической оценки качества: мы, например, покупаем хороший чай или газонокосилку высокого качества и т. д. Однако есть такие задачи, в решении которых лучше руководствоваться количественной оценкой качества. Кроме того, обычно лингвистические оценки строятся на основе экспертных количественных оценок. Так, качество выпускника английского университета и достоинство диплома, который он получает, определяется по следующей шкале, представленной в табл. 4.11.

Таблица 4.11. Шкала оценки качества диплома

Независимо от объекта, качество которого подлежит экспертной оценке, методика ее получения в основе своей одинакова.

На рис. 4.29 показана оценка качеств некоторой рукописи книги по Mathcad, сделанная по пятибалльной шкале разными рецензентами (таблица Excel, внедренная в Mathcad-документ), проиллюстрированная двумя диаграммами, глядя на которые можно сделать лишь один вывод о том, что качества отдельных семи сторон рукописи более соответствуют друг другу, чем качества отдельных пяти рецензентов.

Но оценку качества можно делать не только качественно (прошу прощения за тавтологию), но и количественно, цифрами. Для этого рассмотрим задачу оценки деловых качеств руководителя (менеджера). Для оценки потребуются модель качества менеджера, эксперты и математическая обработка результатов работы экспертов.

Модель качества специалиста может быть представлена в виде некоторого набора важнейших качественных параметров (качеств), характеризующих его профессиональный уровень, личностные, деловые качества и предопределяющих успешную работу в рассматриваемой сфере деятельности.

Допустим, что этот набор включает следующие качества:

Уровень и качество образования, опыт практической работы;

Эрудицию, знания и умения в своей и смежных сферах деятельности;

Обучаемость и способность обучать;

Культурный уровень, моральные стандарты;

Физическое и психологическое здоровье, возраст;

Характер, отношение к окружающим;

Умение руководить;

Амбициозность, стремление к лидерству; - способность к риску;

Динамизм, способность оценивать и принимать изменения внутренней и внешней среды.

Рис. 4.29. Графическое сопоставление качеств рукописи и рецензентов

Лекция 7. Особенности технологии экспертной оценки качества.

Сущность экспертных методов и организация работ по использованию

при управлении качеством

Как научный способ экспертный метод разработан сравнительно недавно и назывался «Дельфи». В дальнейшем были разработаны дру­гие аналогичные методы, имеющие в своей основе экспертные оцен­ки. Сначала экспертные методы использовались в основном для решения задач, связанных с прогнозированием в области науки и техники, а затем стали применяться в других областях, в том числе в управлении.

Сущность экспертных методов заключается в усреднении полученных различными способами мнений (суждений) специалистов-экспертов по рассматриваемым вопросам. Усредненная оценка (К) определяет­ся по формуле

где n - количество экспертов,

K i - оценка, данная i -м экспертом.

Наиболее распространенными экспертными методами прикласси­фикации по признаку оценки предпочтений являются метод рангов, метод непосредственного оценивания и метод сопоставлений . Последний вклю­чает две разновидности - парного сравнения и последовательного сопоставления .

К разновидностям эк­спертных методов с определенной долей условности можно отнести органолептический и социологический. Органолептический метод основан на использовании чувств (вкуса, слуха, зрения, обоняния тактильности) эксперта. Он применяется при оценивании, например продукции пищевой промышленно­сти. Социологический метод базируется на опросе, сборе и анализе мнений респондентов (например, фактических или потенциальных потребителей). Такой опрос и сбор мнений производится в письмен­ной форме (с помощью анкет) или устно (на конференциях, аукцио­нах, выставках и т.п.). При его использовании следует применять научно обоснованные способы опроса, математические принципы сбора и обработки информации. Общность экспертных методов заключается в последовательности проведения процедур их использования. К ним следует отнести орга­низацию экспертного оценивания, проведение сбора мнений экспер­тов и обработку полученных результатов.

Уменьшение субъективности результатов использования экс­пертных методов существенно зависит отсоблюдения правил органи­зации, подготовки и проведения экспертных работ. Особенно это за­висит от организации экспертного оценивания, назначения ответ­ственного за организацию и проведение работ по экспертной оценке, а также формирования экспертных комиссий.

Для общего руководства экспертными работами назначается пред­седательэкспертной комиссии. В составе комиссии организуют две группы - рабочую и экспертную (рис.1).

В подчинении руководителя рабочей группы находятся техничес­кие работники, осуществляющие техническую сторону подготовки материалов к работе экспертов, обработку полученных результатов и т. п., а также специалисты по решаемым проблемам.

Формирование экспертной группы проводитруководитель рабочей группы, который, осуществляет постановку пробле­мы и определяет область деятельности группы; составляет предвари­тельный список экспертов-специалистов; выполняет анализ каче­ственного состава предварительного списка экспертов и уточняет список; получает согласие эксперта для участия в работе; составляет окончательный список экспертной группы.

Число экспертов в группе зависит от множества факторов и условий, в частности от важности решаемой проблемы, имеющих­ся возможностей и т. п. Подбор специалистов проводится на осно­ве анализа качеств каждого возможного кандидата. При этом ис­пользуются разнообразные способы: оценка кандидатов на основе статистического анализа результатов прошлой деятельности в каче­стве; коллективная оценка кандидата как специалиста в данной области; самооценка кандидата в эксперты; аналитическое определение компетентности кандидатов.

Часто применяют одновременно несколько способов, на­пример самооценки и коллективной оценки качеств, предлагаемого эксперта. Такой подход позволяет обоснованно подобрать экспертов с необходимыми качествами. Однако следует признать, что способ оценок прошлой деятельности представляется более объективным, чем способы самооценок и коллективной оценки. Во всех случаях кандидаты в эксперты должны обладать следующими качествами: профессиональной ком­петентностью; креативностью (умением решать творческие задачи); научной интуицией; заинтересованностью в объективных результатах экспертной работы; деловитостью (собранностью, умением пе­реключаться с одного вида деятельности на другой, коммуникатив­ностью, независимостью суждений, мотивированностью действий); объективностью.

Проведение сбора мнений экспертов предполагает предваритель­ное определение: места и времени; формы и методики; количества туров сбора мнений, состава и содержательной части документации, порядка занесения мнений экспертов в документы. Важным являет­ся выбор формы сбора мнений экспертов.

Среди всех известных форм сбора мнений можно отметить инди­видуальные, коллективные и смешанные. Каждая из этих форм име­етразновидности: анкетирование, интервьюирование, дискуссия, моз­говой штурм, совещание, деловая игра. Во многих они используются совместно, что дает боль­ший эффект и объективность. Такой подход к сбору мнений экспер­тов, когда используется смешанная форма, применяется в случаях не­ясности проблемы, расхождения индивидуальных мнений или разно­гласия экспертов при коллективном обсуждении.

На практике чаще применяется анкетирование, которое позволяет с меньшими трудозатратами собрать мнения экс­пертов. Обычнопроцесс разработки анкеты включает:

Определение формы и содержания обращения к эксперту;

Выбор типа вопросов;

Формулировку вопросов;

Изложение необходимой для эксперта ин­формации;

Разработку формы анкеты.

В последние годы среди типов вопросов наиболее употребляемы­ми стали так называемые веерный (предполагает один ответ из ряда ответов), закрытый (ответы «да», «нет», «не знаю») и открытый (ответ на вопрос может быть дан в произвольной форме).

Очень важно при анкетировании экспертов правильно, просто и однозначно, кратко и в то же время с необходимой полнотой сформулировать вопросы в анкетах, а в тексте пояснительной за­писки указать, что конкретно требуется от эксперта. Для ответов на вопросы, т. е. для принятия решения каждым экспертом, проводятся объективные и (или) субъективные измерения рассматриваемого объекта в явном или неявном виде. При субъективном измерении эксперты, как правило, применяют один из указанных ранее методов (рангов, непосредственного оценивания, сопоставлений).

Метод рангов и непосредственного оценивания.

По методу рангов эксперт осуществляет ранжирование (упорядоче­ние) исследуемых объектов в зависимости от их относительной значимости (предпочтительности). При этом наиболее предпочтительному объекту обычно присваивается первый ранг, а наименее предпочтительному - последний, равный по абсолютной величине числу упорядочиваемых объектов. Более точным такое упорядочение становится при меньшем количестве объектов исследования, и наоборот.

П

Таблица 1.9.2 Определение результирующего ранга объектов ранжирования

Метод непосредственного оценивания (балльный) представляет со­бой упорядочение исследуемых объектов в зависимости от их важности путем при­писывания баллов каждому из них. Наиболее значимому объекту да­ется наибольшее количество баллов по принятой шкале, диапазон шкалы оценок обычно принимается от 0 до 1, до 5, до 10 или до 100. В простейшем случае оценка может равняться 0 или 1. Иногда оцени­вание осуществляется в словесной форме, например «очень важный», «важный», «маловажный». Для большего удобства обработки резуль­татов опроса такие оценки могут переводиться в балльную шкалу (на­пример, соответственно 3, 2, 1).

Н

Таблица 3. Определение результатов непосредственного оценивания объектов

ПО результатам оценок экспертов место любого объекта можно пределить по формуле:

(2)

Где В i - значимость i -го объекта (i = 1, 2,.., п), рассчитанная на основании

оценок экспертов (j = 1,2,.., k ),

А ij - оценка (в баллах), данная i -у объекту j -м экспертом.

Метод сопоставления .

Метод сопоставления осуществляется парным сравнением и последовательным сопоставлением.

При парном сравнении эксперт сопоставляет исследуемые объекты по их важности попарно, устанавливая в каждой паре наиболее важный. Все возможные пары объектов эксперт представляет в виде записи каждой из комбинаций (объект 1 - объект 2, объект 2 - объект 3 и т. д.) или в форме матрицы. Общее количество пар сравнения равно

, (3)

где Н - количество исследуемых объектов экспертизы.

В

Таблица 4 Матрица оценки объектов методом парного сравнения

При записи каждой комбинации эксперт подчеркивает в каждой паре сравниваемых объектов наиболее важный. На пересечении вер­тикальных и горизонтальных строк матрицы для каждой пары объек­тов он ставит 1 или 0 (либо плюс или минус) в зависимости от опре­деленной им значимости того или иного объекта.

Весомость каждого объекта сравнения рассчитывается по формуле:

(4)

где А i/i,j - количество предпочтений (единиц, или плюсов, подчеркиваний)

i -го объекта над i -м объектом, указанное j -м экспертом;

А - общее количество пар объектов.

Р

Таблица 5. Сводная матрица результатов парного сравнения объектов

Расчеты при двойном парном сравнении проводятся по тем же формулам, что и при обычном парном сравнении, однако количество пар при этом увеличивается вдвое.

Сущность метода последовательного сопоставления состоит в сле­дующем. Эксперт располагает все исследуемые объекты в порядке их важности (как метод рангов). Предварительно каждому объекту присваивается определенное количество баллов, например по шка­ле от 0 до 1 (как метод оценивания). Причем самому важному объекту дается балл, равный 1, а всем остальным - в порядке уменьшения их значимости от 1 до 0. Далее эксперт решает вопрос, будет ли важность объекта, имеющего ранг 1, больше суммы балль­ных оценок всех остальных объектов. Если будет, то величина балль­ной оценки первого объекта увеличивается до этого уровня, а если нет, то эксперт уменьшает эту величину до такого числового значе­ния, чтобы она стала меньше суммы оценок всех остальных объек­тов. Величины оценок второго, третьего и последующих объектов по важности определяются последовательно аналогично оценке перво­го наиболее важного объекта.

Метод последовательного сопоставления для экспертов наиболее трудоемок, особенно это ощущается при количестве, превышающем шесть-семь исследуемых объектов.

Обработка и оценка согласованности экспертных данных.

Обработка собранных мнений экспертов проводится как количественно (численные данные), так и качественно (содержатель­ная информация). При обработке используются различные способы. При наличии численных данных для решения вопросов, имеющих достаточный информационный материал, применяются методы усред­нения экспертных суждений. Однако даже при имеющихся числен­ных данных, но при недостаточности информации по решаемому вопросу, наряду с ко­личественными методами обработки экспертных данных используют­ся методы качественного анализа и синтеза.

При использовании рассмотренных экспертных методов (рангов и др.) мнения экспертов часто не совпадают, поэтому необходимоко­личественно оценивать меру согласованности мнений экспертов и опре­делять причины несовпадения суждений. Мера согласованности, ес­тественно, определяется на основе статистических данных всей груп­пы экспертов. Для оценки меры согласованности мнений экспертов используются, как правило, коэффициенты конкордации.

Мера согласованности определяется математико-статистической обработкой всех имеющихся результатов экспертизы. Так, согласо­ванность мнений компетентных экспертов при использовании всех указанных экспертных методов, где определяются ранги объектов, можно определить с помощью коэффициента конкордации (согла­сия) по формуле:

(5)

где С - сумма квадратов отклонений сумм рангов по каждому объекту от сред­ней суммы рангов по всем объектам и экспертам, т. е.

(6)

где
- средняя сумма рангов.

Коэффициент конкордации может быть в диапазоне
. ПриW =0 согласованность мнений экспертов отсутствует, а при W= 1 - согласованность полная. Обычно считается, что согласованность впол­не достаточна, если W >= 0,5.

Допустим, по результатам работы компетентных экспертов полу­чены определенные данные ранжирования и по ним требуется рас­считать коэффициент конкордации (табл. 6)

Кэффициент конкордации равен

, (7)

т

Таблица 6. Данные для расчета коэффициента конкордации

При использовании экспертных методов, в которых ранги не определяются, для нахождения конкордации рассчитанные значи­мости объектов следует переводить в ранги. Ранг 1 приписывается объекту, у которого значимость наибольшая и т. д., в противном слу­чае оценку согласованности мнений проводят по другим критериям согласия.

Рассчитанную величину коэффициента конкордации следует взве­шивать по критерию Пирсона (X 2 ) с определенным уровнем значимо­сти (В), т. е. максимальной вероятностью неправильного результата |работы экспертов. Обычно задавать значимость достаточно в преде­лах 0,005 - 0,05.

В случае получения расчетной величины X 2 расч > табличной Х 2 табл (с избранным уровнем значимости) мнения экспертов окончательно признаются согласованными.

Табличные величины Х 2 табл (табл. 7) зависят от принимаемого уровня значимости и числа степеней свободы (S ), которое определя­ется по формуле

, (8)

Расчетная величина Х 2 расч определяется по формуле

Таким образом, для данных, приведенного ранее примера

. (10)

При уровне значимости 0,05 табличная величина Х 2 табл равна при­мерно 9, т. е. мнения экспертов можно окончательно признать с веро­ятностью 0,95 согласованными, так как Х 2 расч > Х 2 табл .