Odborné posouzení kvality fungování informačních systémů ve vzdělávacích službách. Odborné posouzení kvality nebo kvalitativní posouzení odborníky

Metody odborného hodnocení ukazatelů kvality výrobků jsou metody pro stanovení skutečných hodnot jednotlivých a komplexních ukazatelů kvality.

Určeno pro stanovení hodnot ukazatelů kvality výpočtem nebo heuristicky v případech, kdy je použití měřicích metod nemožné nebo neekonomické z důvodu příliš vysokých nákladů na jejich použití nebo dlouhé doby testování. Například při určování chuti a vůně potravinářských výrobků se používají pouze organoleptické metody. Metody měření neposkytují přesné a spolehlivé odhady i přes zvýšené náklady.

Pro rozdílové a komplexní hodnocení vzorků, které se výrazně liší kvalitou, se doporučuje stanovit hodnotu jednoho ukazatele P takto:

kde Pj8 je základ (referenční hodnota).

Další, přesnější metoda je založena na studiu ukazatelů za účelem určení typů závislosti f, tedy za účelem vytvoření vzorců pro výpočet odhadů ukazatelů:

Posuzování jednotlivých ukazatelů kvality začíná stanovením přípustných intervalů jejich změny (Pi max-Pi min). Pi max je nejlepší hodnota ukazatele, jejíž překročení je nepraktické nebo nemožné. Zásady pro přidělování maximální přípustné hodnoty indikátoru (Pi max) závisí na cílech hodnocení kvality a je nutné, aby tento princip byl pro všechny indikátory stejný.

Zvýšení spolehlivosti odborných posouzení je dosaženo rozdělením složitých operací na jednoduché, které představují vícestupňový postup hodnocení přijatelných hodnot ukazatele. Přechod do každé následující fáze nastává po vypracování dohodnutých rozhodnutí v předchozí fázi.

Odborný postup pro stanovení přijatelných hodnot ukazatelů kvality se skládá z řady operací:

vydávání vysvětlivek odborníkům formou dotazníku, které uvádějí ukazatele kvality a popisují zásady pro výběr přijatelných hodnot ukazatelů;

odborníci, kteří vyplňují dotazníky a udávají konkrétní modely výrobků, jejichž hodnoty považují za maximálně přípustné;

seznámení každého odborníka s hodnoceními zadanými jinými odborníky a jejich projednání;

vedení druhého (někdy třetího a čtvrtého) kola výslechu;

průměrování výsledků hodnocení.

V případě výrazného rozdílu v názorech se koná další kolo hlasování. Hodnota ukazatele se považuje za maximální, pokud pro něj bude odevzdáno alespoň 70 % hlasů. Není-li tato podmínka splněna, za maximální přípustnou hodnotu se považuje průměr 50 % největších hodnot P.max a za maximální přípustnou hodnotu se považuje průměr 50 % největších hodnot P.min. minimální přípustná hodnota. Získané hodnoty jsou využívány odborníky při stanovování hodnocení ukazatelů kvality.

K určení typu závislostí (f) mezi hodnotami indikátorů R a jejich K odhady odborníky se často používá „metoda hlavních bodů“. Potřeba jeho použití je způsobena skutečností, že rozdělení postupu posuzování do několika fází zjednodušuje práci znalce a umožňuje mu odhadovat některé charakteristické body, na základě kterých je možné sestavit model požadované hodnoty.

"Metoda hlavního bodu" má několik variant v závislosti na jejich počtu.

„Metoda tří hlavních bodů“ je metoda založená na rozdělení hodnot ukazatelů Pj na maximální, minimální, průměrné hodnoty a stanovení hodnot odhadů K v těchto bodech. Přednastavený je interval stupnice mezi maximálním a minimálním bodem (stupnice 0-1 nebo 0-10). Úkolem experta je také určení trendu závislosti v intervalu mezi hlavními body a sestavení grafu. Poté můžete od grafické závislosti přejít k analytickému vzorci pro výpočet odhadů indikátoru kvality K. „Metoda tří hlavních bodů“ umožňuje vytvořit pouze přibližný model pro odhad K(.

"Metoda sedmi hlavních bodů" - metoda hodnocení pomocí sedmiVilleovy škály pro hodnocení ukazatelů, jejichž hodnoty jsou určeny

děleno experimentálně nebo výpočtem, jakož i organoleptickou metodou.

Sedmibodová stupnice je jednotná, to znamená, že při přechodu z jedné kvalitativní třídy do druhé se skóre mění o jeden bod. Tyto stupnice jsou široce používány, zejména při organoleptickém hodnocení. Chcete-li získat přesnější výsledky, měli byste přistoupit k určení typu vztahu mezi známkami a skóre.

Pro usnadnění práce experta je ve vysvětlivce k dotazníku uvedeno pět grafů. Expert vybere křivku (nebo kombinaci křivek), která podle jeho názoru nejlépe odráží povahu závislosti f. Poté je každé třídě kvality přiřazeno skóre v souladu s povahou závislosti a hodnotami indikátorů kvality. V tomto případě je vhodné používat čísla v rozsahu 0-10, násobky 0,5, přičemž třída „nejvyšší kvality“ obdrží skóre 10.

Graf vytvořený odborníkem tedy charakterizuje vztah mezi absolutními hodnotami ukazatelů P a jejich odhady Ki a u ukazatelů hodnocených organoleptickými metodami mezi třídami kvality a jejich odhady.

V závěru jsou získané výsledky diskutovány, zpracovány a analyzovány. U ukazatelů určených metodami měření a výpočtu je žádoucí uvést analytický popis křivek, který vám umožní vypočítat odhad pro libovolné hodnoty ukazatelů.

Použití „metody hlavních bodů“ umožňuje seskupovat a klasifikovat ukazatele podle typu závislosti.

Stanovení komplexních ukazatelů kvality se provádí dvěma typy metod:

metody komplexního hodnocení kvality vzorků výrobků;

metody pro konstrukci modelů komplexních ukazatelů kvality.

Metody pro komplexní hodnocení kvality mají dvě varianty - expresní metodu a metody pohybu podle úrovní bez tréninku a s tréninkem.

Expresní metody komplexního hodnocení kvality vzorků výrobků jsou založeny na stanovení komplexního ukazatele kvality analýzou hodnot jednotlivých jednotlivých ukazatelů a vzhledu bez předběžného hodnocení a zohlednění váhových koeficientů.

Při použití těchto metod je nutné vzít v úvahu, že maximální počet hodnocených ukazatelů i pro vysoce kvalifikovaného odborníka je 7-9 ukazatelů umístěných na stejné hierarchické úrovni a tvořících celkem homogenní skupinu. Kromě toho musí odborníci vzít v úvahu význam jednotlivých ukazatelů pomocí váhových koeficientů, vztah mezi nimi a také zvážit kvalitu produktu jako systému.

Metoda procházení úrovněmi bez přípravy je soubor operací prováděných postupně, s postupným zvyšováním úrovně. V tomto případě začíná analýza od spodní úrovně stromu indikátorů. S přihlédnutím k hodnotám ukazatelů nižší úrovně odborník hodnotí ukazatele vyšší úrovně. Tyto operace se opakují se zvyšujícími se úrovněmi, dokud není dosaženo horní úrovně - komplexní (zobecněné) hodnocení kvality.

Způsob procházení úrovněmi s přípravou je založen na předběžném stanovení váhových koeficientů indikátorů kvality odborníky a jejich hodnocení. Při zadávání komplexních posudků znalec zná průměrné hodnoty váhových koeficientů a odhady jednotlivých ukazatelů. Postup stanovení komplexních ukazatelů je podobný postupu pro metodu procházení úrovněmi bez přípravy.

Formalizace procesu expertního posouzení spočívá v nalezení vztahu mezi hodnotami indikátorů kvality Pi (resp. jejich odhady Ki) a indikátorem kvality vyšší úrovně, tedy v určení typu rozhodovací funkce, kterou experti používají při přiřazování komplexních indikátory. Rozhodující funkce, jako každý model, zároveň zjednodušuje předmět studia, protože ne všechny ukazatele a souvislosti mezi nimi jsou brány v úvahu.

Mezi metodami používanými v managementu kvality k řešení mnoha manažerských problémů se velmi často používají expertní metody.

Zpočátku byly expertní metody využívány především k řešení problémů souvisejících s prognózováním v oblasti vědy a techniky a poté se začaly uplatňovat i v dalších oblastech včetně managementu kvality. Je to dáno velkým množstvím rozporů, které v tomto typu řízení vznikají a které v mnoha případech nelze objektivními metodami vyřešit. Expertní metody se používají také v případech:

Neschopnost používat modelování a popis řízených objektů pomocí formalizovaných matematických metod;

Nedostatek dostatečně spolehlivých informací;

Informační nejistota spravovaných objektů;

Vypracování střednědobých a dlouhodobých prognóz vlivu zákonů a předpisů na řízení kvality;

Existence trendů ve vývoji managementu kvality a tržního prostředí;

Přítomnost extrémních situací v řízení kvality.

V takových případech nabývá neocenitelného významu využití odborných zkušeností a intuice odborných specialistů, zformovaných na jejich základě.

Podstatou expertních metod, jak při řešení problémů managementu kvality, tak při jejich využití v rozhodovací praxi v jiných oblastech vědy, techniky a managementu, je různým způsobem průměrovat názory (úsudky) odborných odborníků na posuzovanou problematiku. .

Expertní metoda hodnocení úrovně kvality technických výrobků se používá v případech, kdy je nemožné nebo velmi obtížné aplikovat metody pro objektivní stanovení hodnot jednotlivých nebo komplexních ukazatelů kvality pomocí metod, jako jsou instrumentální, empirické nebo výpočetní.

Expertní metoda (nebo expertní metoda, tedy metoda expertních posouzení) je kombinací více různých metod, které jsou variacemi a modifikacemi vyšetřovací metody. Známé odrůdy expertní metody se používají všude tam, kde je základem rozhodnutí kolektivní rozhodnutí kompetentních lidí (odborníků). Například rozhodnutí různých rad, konferencí, schůzí, komisí, ale i zkoušejících při hodnocení znalostí studentů atd. -- to vše jsou rozhodnutí učiněná expertními metodami.

Expertní metody pro hodnocení kvality produktu lze použít při okamžitém vytváření obecného hodnocení (bez podrobností) úrovně kvality produktu, jakož i při řešení mnoha specifických otázek souvisejících se stanovením ukazatelů kvality něčeho. Proto se používají expertní metody:

Pro obecné (zobecněné) hodnocení kvality produktu;

Při klasifikaci posuzovaných výrobků;

Při stanovení rozsahu ukazatelů kvality u posuzovaných výrobků;

Při stanovení váhových koeficientů ukazatelů kvality výrobků;

Při hodnocení ukazatelů kvality produktu organoleptickou metodou;

Při výběru základních vzorků a bezrozměrných hodnot základních ukazatelů kvality;

Při stanovení výsledného komplexního indikátoru kvality na základě souboru individuálních a komplexních (zobecněných a skupinových) indikátorů;

Při certifikaci produktu a certifikaci.

Expertní metodu hodnocení úrovně kvality produktu nelze použít, pokud lze kvalitu posoudit jinými analytickými nebo experimentálními metodami s větší přesností nebo s nižšími náklady.

Výsledky obecného odborného posouzení tak složitého souboru vlastností, jako je kvalita výrobku, mají prvky nejistoty a nepřiměřenosti. Odborné hodnocení kvality výrobku jako celku je tedy předběžné, informacemi nenasycené a pouze v prvním přiblížení zhruba charakterizuje kvalitu posuzovaného výrobku. Na základě takového odborného posouzení kvality samozřejmě nelze činit žádná inženýrská rozhodnutí. Tuto metodu lze použít např. v obchodních transakcích, kdy neexistují konkrétní (kvantifikované) informace o úrovni kvality nakupovaných produktů apod.

Je však třeba poznamenat, že expertní metoda pro hodnocení mnoha ukazatelů kvality technických a jiných výrobků je jediná možná, je používána poměrně široce a byly k tomu vyvinuty vhodné metody.

Předmětem zkoumání (odborných posudků) jsou v našem případě spotřebitelské vlastnosti v jejich celku, tzn. kvalitní.

Kritéria, podle kterých se hodnocení kvality provádí, se dělí na obecná a specifická.

Obecná kritéria zahrnují hodnoty, myšlenky a normy, které se vyvinuly ve společnosti. Specifickými kritérii pro odborníka jsou skutečné požadavky na kvalitu výrobků tohoto typu, stanovené v regulačních, technických a jiných závazných dokumentech. Ve formě konkrétních kritérií existuje také soubor základních hodnot ukazatelů kvality, které charakterizují plánovaný nebo navržený produkt. Specifickými kritérii pro odborníky jsou také vlastnosti skutečně existujících vysoce kvalitních výrobků vyrobených v tuzemsku nebo v zahraničí.

Pro zvýšení spolehlivosti, přesnosti, spolehlivosti a reprodukovatelnosti odborných posudků se vyšetření provádí skupinovým rozhodnutím kompetentních osob. Pro posouzení úrovně kvality výrobků je vytvořena odborná komise složená z experta a pracovní skupiny.

V expertní skupině jsou vysoce kvalifikovaní a speciálně vyškolení pracovníci v oblasti tvorby a provozu hodnocených produktů: výzkumníci, konstruktéři, technologové, konstruktéři, komoditní experti, ekonomové atd. Počet expertů zařazených do skupiny závisí na požadované přesnosti průměrných odhadů a měl by se pohybovat od sedmi do dvaceti osob. Během korespondenčního průzkumu neexistuje horní hranice počtu dotazovaných odborníků.

Expertní skupina (komise) získává expertní metodou informace o ukazatelích kvality posuzovaných produktů. V tomto případě může expertní skupina rozhodovat na základě zprůměrování expertních posudků nebo na základě hlasování expertů (metoda „provize“). Pro snížení subjektivity v expertní metodě se doporučuje provést několik kol průzkumů experimentů.

Expertní metoda „provizí“ spočívá v použití určitého druhu hlasování. Za prvé, odborníci udělují hodnocení nezávisle na sobě. Poté, po otevřené diskusi o přidělených hodnoceních, odborníci opět nezávisle vyhodnotí každý parametr kvality. Následně je z upravených jednotlivých posudků vypočítán odborný posudek. Tyto práce provádí pracovní skupina odborné komise. Kromě toho pracovní skupina organizuje postup dotazování odborníků, analyzuje získané výsledky a vypracovává závěr odborné komise.

Je žádoucí, aby pro posuzování výrobků stejného typu byla odborná komise sestavena ze stálých odborníků a členů pracovní skupiny. Je to dáno tím, že v procesu práce relativně stálé komise dochází ke shromažďování pracovních zkušeností, školení jejích členů, rozvíjení obecných přístupů a principů, což zvyšuje efektivitu odborné komise.

Seznam a pořadí hlavních fází práce odborné komise je následující:

1) jmenování osob odpovědných za organizaci a provádění prací na odborném posuzování kvality výrobků;

2) vytváření odborných a pracovních skupin;

3) vývoj klasifikace a stanovení nomenklatury ukazatelů kvality posuzovaných produktů;

4) příprava dotazníků a vysvětlujících poznámek pro dotazování odborníků;

5) hodnocení a průzkum odborníků;

6) zpracování odborných posudků;

7) analýza a evidence výsledků odborného posouzení kvality (nebo ukazatelů kvality) výrobků.

V praxi odborného posuzování kvality, zejména při odborném posuzování spotřebitelských vlastností výrobků, se používají především komplexní a provozní zkoušky.

Pro komplexní studium a posouzení kvality skupin homogenních výrobků sériově vyráběných průmyslem se provádí komplexní zkouška. V tomto ohledu se během zkoumání uplatňuje systematický integrovaný přístup k analýze a hodnocení produktů. Při komplexním zkoumání získává člověk nejen úplnější popis posuzovaného objektu, ale také určitý vědecký, metodologický a regulační materiál používaný při provádění jiných typů zkoumání.

Operační vyšetření vychází z údajů získaných při předchozích komplexních vyšetřeních. Tato technika umožňuje výrazně snížit objem a čas znaleckých prací při dostatečné hloubce a platnosti znaleckých posudků.

Nejběžnější expertní metody pro klasifikaci na základě posouzení preferencí:

1. Metoda hodnocení

2. Metoda přímého hodnocení

3. Metoda porovnání:

Párové srovnání

Sekvenční párování

Pomocí metody hodností jsou studované objekty organizovaného systému seřazeny (řazeny) v závislosti na jejich relativní důležitosti. V tomto případě je nejpreferovanějšímu objektu obvykle přiřazena první pozice a nejméně poslední, která se v absolutní hodnotě rovná počtu objednaných objektů.

Tabulka 1 - Určení výsledného pořadí hodnocených objektů

Tato metoda tedy umožňuje určit místo studovaného objektu mezi ostatními objekty. Výhodou metody hodnocení je její jednoduchost. Nevýhody jsou:

Neschopnost seřadit s dostatečnou přesností počet objektů, jejichž počet přesahuje 15-20;

Neodpovídá na otázku, jak daleko jsou od sebe zkoumané objekty co do důležitosti.

Tato metoda se v praxi studia řídicích systémů používá i přes svou jednoduchost poměrně zřídka.

Metoda přímého hodnocení zahrnuje řazení studovaných objektů v závislosti na jejich důležitosti přidělováním bodů každému z nich.

V tomto případě je nejdůležitějšímu objektu přidělen (ohodnocen) nejvyšší počet bodů na akceptované škále. Nejběžnější rozsah hodnocení je od 0 do 1, 0 až 5, 0 až 10, 0 až 100. V nejjednodušším případě může být hodnocení 0 nebo 1. Někdy se hodnocení provádí verbální formou. Například „velmi důležité“, „důležité“, „nedůležité“ atd., což se také někdy pro větší pohodlí při zpracování výsledků průzkumu převádí do bodové stupnice (3, 2, 1).

Použití této metody se používá pouze tehdy, pokud jsou odborníci přesvědčeni, že jsou plně informováni o vlastnostech studovaného objektu, což se často nestává.

Tabulka 2 - Stanovení výsledků přímého hodnocení objektů

Na základě výsledků odborných posouzení lze určit polohu jakéhokoli objektu pomocí vzorce (1),

kde Bi je důležitost i-tého objektu (i=123….n) vypočítaná na základě expertů (j=1,2,3,….k)

Aij= hodnocení (v bodech) dané i-tému objektu j-tým expertem

Metoda párování se provádí párovým porovnáním a sekvenčním porovnáním.

V párovém srovnání expert porovnává zkoumané objekty podle jejich důležitosti ve dvojicích, přičemž v každé dvojici objektů identifikuje ten nejdůležitější. Expert prezentuje všechny možné dvojice objektů ve formě záznamu každé kombinace (objekt 1 - objekt 2, objekt 2 - objekt 3 atd.) nebo ve formě matice.

V důsledku porovnávání objektů v každé dvojici odborník vyjadřuje názor na důležitost toho či onoho objektu, to znamená, že jednomu z nich dává přednost. Někdy odborníci dojdou k závěru, že každý z objektů v páru je rovnocenný. Uspořádání v každé dvojici objektů samozřejmě nezajistí okamžitě seřazení všech uvažovaných objektů, takže je nutné následné zpracování výsledků porovnání. Nejvýhodnější je provádět párová porovnávání a jejich zpracování pomocí matic jako nástroje.

V některých případech, s velkým počtem studovaných objektů, jsou výsledky párových srovnání ovlivněny psychologickými faktory, to znamená, že někdy není upřednostněn objekt, který je ve skutečnosti výhodnější než ostatní, ale ten, který je napsán jako první. v seznamu dvojic nebo se nachází v matici nad porovnávanou. Proto se někdy, aby se vyloučil psychologický vliv, provádí dvojité párové srovnání, to znamená, že se opět provádí párové srovnání, ale pouze s obráceným uspořádáním objektů a podle toho objektů v každém páru.

Metoda párového porovnávání je velmi jednoduchá a umožňuje studovat větší množství objektů (ve srovnání např. s metodou hodnocení) a s větší přesností.

Podstata metody sekvenčního porovnávání je následující. Expert seřadí všechny studované objekty v pořadí podle jejich důležitosti (jako metoda hodnocení). Každému objektu je předběžně přidělen určitý počet bodů, např. na stupnici od 0 do 1 (jako metoda hodnocení). Kromě toho je nejdůležitějšímu objektu přiděleno skóre rovné 1 a všechny ostatní jsou uvedeny v sestupném pořadí podle jejich důležitosti, tj. od 1 do 0. Dále odborník rozhodne, zda bude důležitost objektu s hodností 1 větší než součet bodů všech ostatních objektů. Pokud ano, pak se skóre prvního objektu zvyšuje, dokud není tato podmínka splněna, a pokud ne, pak expert sníží tuto hodnotu na takovou číselnou hodnotu, že bude nižší než součet skóre všech ostatních objektů.

Hodnoty hodnocení druhého, třetího a následujících objektů podle důležitosti se určují postupně stejným způsobem jako hodnocení prvního nejdůležitějšího objektu.

Metoda sekvenčního porovnávání je pro odborníky nejnáročnější na práci. To je zvláště patrné, když je počet studovaných objektů větší než šest nebo sedm.

Zpracování shromážděných znaleckých posudků probíhá jak kvantitativně (číselné údaje), tak i kvalitativně (věcné informace). Používají se k tomu různé metody. Je třeba poznamenat, že za přítomnosti číselných údajů se k řešení problémů s dostatečným informačním materiálem používají především metody průměrování odborných úsudků. I přes dostupná numerická data, avšak s nedostatečnými informacemi o dané problematice, se však vedle kvantitativních metod zpracování expertních dat používají i metody kvalitativní analýzy a syntézy.

Při použití uvažovaných znaleckých metod se názory odborníků často zcela neshodují. Proto je nutné kvantitativně vyhodnotit míru shody znaleckých posudků a určit důvody rozporu v rozsudcích. Míra konzistence je samozřejmě stanovena na základě statistických údajů celé skupiny expertů.

Konzistence znaleckých posudků se zjišťuje pomocí koeficientu shody:

kde C je součet čtverců odchylek součtů hodnocení každého objektu od průměrného součtu hodnocení všech objektů (N) a expertů (K).

Obecnými výhodami expertních metod je rychlost získávání výsledků bez přítomnosti regulačního rámce v systému řízení, schopnost ohodnotit konkrétní objekt, když není možné měřit jeho charakteristiky kvantitativními objektivními metodami.

Nevýhodou expertních metod je jejich subjektivita a tomu odpovídající možné chyby ve výsledcích zkoumání, značné náklady na přilákání zkušených odborníků k účasti na expertní práci, vliv autoritativních členů expertní skupiny a korporátní zájmy na názor jednotlivých expertů.

Aplikace všech uvažovaných expertních metod i přes jejich nedostatky ukazuje jejich účinnost při výzkumu a návrhu řídicích systémů. Kromě toho se největšího účinku dosáhne použitím několika metod současně.

odborná stupnice kvality

Mechanismus spotřebitelské volby je poměrně konzervativní, protože je zpravidla založen na použití pouze toho, co se již osvědčilo. Zaměřuje se více na minulost než na možnou budoucnost.

V tržních podmínkách by základem pro hodnocení kvality výrobků měla být objektivní společenská užitečnost výrobku, která bude odrážet jeho progresivitu a shodu s rysy nového způsobu života. Jednou z metod, která může poskytnout právě takové posouzení výrobků, může být metoda expertní.

Expertní metoda Hodnocení kvality produktu zahrnuje dotazování odborníků na jejich názory.

Expert je kvalifikovaným specialistou, který splňuje požadavky na odbornou a kvalitativní způsobilost, výkonnost a objektivitu a má zájem i o práci odborné komise.

Použití expertních metod je racionální, pokud existuje jeden ze dvou důvodů:

úkol nelze dokončit jiným způsobem;

jiné způsoby dokončení úkolu jsou buď méně přesné, nebo pracnější.

Expertní metody, společně s jinými nebo nezávisle, lze použít k:

klasifikace produktů;

stanovení rozsahu ukazatelů kvality výrobků;

stanovení váhových koeficientů jednotlivých ukazatelů kvality;

výběr základních vzorků výrobků a stanovení hodnot jednotlivých ukazatelů kvality těchto vzorků;

stanovení ukazatelů organoleptické kvality hodnocených produktů;

stanovení komplexních ukazatelů kvality produktu.

Zapojení vysoce kvalifikovaných odborníků do odborných komisí umožňuje získat přesné a reprodukovatelné hodnocení kvality zboží. Provedené experimenty potvrzují, že při správné metodice odborného hodnocení se chyba výsledků pohybuje v rozmezí 5–10 % a lze ji zcela srovnat s výsledky instrumentálních metod.

Pro posuzování kvality výrobků expertní metodou jsou vytvářeny odborné komise. Postup při vytváření, cíle a úkoly takové komise stanoví příkaz nebo směrnice vedoucího ministerstva, odboru, sdružení, společnosti. Obecný algoritmus pro vytvoření a fungování odborné komise, která využívá metod skupinového šetření, je znázorněn na obrázku 7.1.

Práce expertní skupiny končí statistickým zpracováním odborných posudků, jejich analýzou a informovaným rozhodováním.

Hlavními výhodami skupinového expertního posouzení je možnost komplexní analýzy problémů spojených se stanovením individuálních vlastností produktu. Interakce mezi odborníky zvyšuje množství celkových informací ve srovnání s informacemi každého člena skupiny. Při skupinovém hodnocení je menší pravděpodobnost chyby v konečném výsledku práce. Ve většině případů je skupinové posouzení spolehlivější než individuální posouzení každého odborníka.

Pracovní skupina připravuje a provádí odborné posouzení kvality výrobků. Jejím úkolem je připravovat odborníky, pomáhat při hodnocení kvality, zpracování, analýze, sumarizaci výsledků a vytváření kolektivního názoru odborníků. Svou činnost zahajuje výběrem expertů a vytvořením expertní skupiny.

Kvalita je kvalita." Kvalita se na rozdíl od kvantity neměří, ale hodnotí. Existují dvě formy hodnocení kvality: jazykové a kvantitativní. V prvním případě je kvalita definována slovy: například „vysoká kvalita“, „střední kvalita“. ,“ „nízká“ atd. d. Ve druhém případě se kvalita hodnotí na nějaké konvenční stupnici s číslem k (0< к < м, где м - высший балл в числовой оценке качества). Например, 5 как в российской или 100 как в английской школах.

K posouzení kvality jsou najímáni odborníci. K takovému hodnocení kvality jsme se již uchýlili, když jsme se pokoušeli charakterizovat parametry požárního vědra (viz obr. 3.31 a 3.32). Odbornému posouzení kvality může podléhat zboží a služby, projekty a zákony, znalosti a kvalifikace, výkony krasobruslařů, gymnastů či zpěváků a mnoho dalšího. Bez ohledu na to, jak moc v některých sportech kritizují spíše kvalitativní než kvantitativní hodnocení, zatímco připomínají skandály na soutěžích, odborné posudky poroty zůstávají jediným měřítkem výkonu mnoha sportovců. O lidech umění a různých kreativních soutěžích nemluvě...

V běžném životě při rozhodování můžeme vycházet z jazykového posouzení kvality: koupíme si například dobrý čaj nebo kvalitní sekačku na trávu apod. Jsou však úkoly, při kterých je lepší se nechat vést kvantitativní hodnocení kvality. Kromě toho jsou jazyková hodnocení obvykle založena na odborných kvantitativních hodnoceních. Kvalita absolventa anglické univerzity a zásluha získaného diplomu se tedy určuje podle následující stupnice uvedené v tabulce. 4.11.

Tabulka 4.11. Stupnice hodnocení kvality diplomu

Bez ohledu na objekt, jehož kvalita podléhá odbornému posouzení, je metodika jeho získání v zásadě stejná.

Na Obr. Obrázek 4.29 ukazuje hodnocení kvalit určitého knižního rukopisu pomocí Mathcadu, provedené na pětibodové škále různými recenzenty (tabulka Excel vložená do dokumentu Mathcad), ilustrované dvěma diagramy, z nichž lze nakreslit pouze jeden závěr, že kvality jednotlivých sedmi stran rukopisu jsou vzájemně konzistentnější než kvality jednotlivých pěti recenzentů.

Ale hodnocení kvality se dá udělat nejen kvalitativně (omlouvám se za tautologii), ale i kvantitativně, v číslech. Chcete-li to provést, zvažte úkol posoudit obchodní kvality vůdce (manažera). Hodnocení bude vyžadovat model kvality manažera, experty a matematické zpracování výsledků práce expertů.

Model kvality specialisty lze prezentovat v podobě určitého souboru nejdůležitějších kvalitativních parametrů (kvalit), které charakterizují jeho profesní úroveň, osobnostní, obchodní kvality a předurčují úspěšnou práci v uvažovaném oboru činnosti.

Předpokládejme, že tato sada obsahuje následující vlastnosti:

Úroveň a kvalita vzdělání, praktické pracovní zkušenosti;

Erudice, znalosti a dovednosti ve vlastních a příbuzných oborech činnosti;

Schopnost učit se a schopnost učit;

Kulturní úroveň, mravní normy;

Fyzické a psychické zdraví, věk;

Charakter, postoj k ostatním;

Schopnost vést;

Ctižádostivost, touha po vedení; - schopnost riskovat;

Dynamika, schopnost posuzovat a přijímat změny ve vnitřním i vnějším prostředí.

Rýže. 4.29. Grafické srovnání kvalit rukopisu a recenzenta

Přednáška 7. Vlastnosti technologie pro expertní hodnocení kvality.

Podstata expertních metod a organizace práce na využití

v managementu kvality

Jako vědecká metoda byla expertní metoda vyvinuta relativně nedávno a byla nazvána „Delphi“. Následně byly na základě odborných posudků vyvinuty další podobné metody. Zprvu byly expertní metody využívány především k řešení problémů souvisejících s prognózováním v oblasti vědy a techniky a následně se začaly využívat i v dalších oblastech včetně managementu.

Podstata expertních metod spočívá v různém zprůměrování názorů (úsudků) odborných odborníků na posuzovanou problematiku. Průměrné skóre (NA) určeno vzorcem

Kde n- počet odborníků,

K i - dané hodnocení i odborníka.

Nejběžnější expertní klasifikační metody založené na posouzení preferencí jsou metoda hodnocení, metoda přímého hodnocení a metoda porovnávání. Ten zahrnuje dvě odrůdy - párové srovnání a sekvenční srovnání.

NA typy expertních metod s jistou mírou konvence můžeme zařadit organoleptické a sociologické. Organoleptická metoda na základě využití smyslů (chuť, sluch, zrak, čich, hmat) odborníka. Používá se při hodnocení např. produktů potravinářského průmyslu. Sociologická metoda je založen na průzkumu, sběru a analýze názorů respondentů (například skutečných nebo potenciálních spotřebitelů). Takový průzkum a sběr názorů se provádí písemně (pomocí dotazníků) nebo ústně (na konferencích, aukcích, výstavách apod.). Při jeho používání by měly být využívány vědecky podložené metody průzkumu a matematické principy sběru a zpracování informací. Společný rys expertních metod spočívá v posloupnosti postupů jejich použití. Jedná se o organizaci odborného posouzení, sběr odborných posudků a zpracování získaných výsledků.

Snížení subjektivity výsledků používání znaleckých metod výrazně závisí na dodržování pravidel organizace, přípravy a vedení znalecké práce. To závisí zejména na organizaci odborného posouzení, určení osoby odpovědné za organizaci a provádění odborných posudkových prací a také na sestavení odborných komisí.

D Pro celkové řízení odborných prací je jmenován předseda odborné komise. Komise se skládá ze dvou skupin – pracovní skupiny a expertní skupiny (obr. 1).

Vedoucímu pracovní skupiny jsou podřízeni techničtí pracovníci, kteří provádějí technickou stránku přípravy podkladů pro práci odborníků, zpracování získaných výsledků apod., dále specialisté na řešené problémy.

Sestavení odborné skupiny provádí vedoucí pracovní skupiny, který představuje problém a určuje oblast činnosti skupiny; sestavuje předběžný seznam odborných specialistů; provádí rozbor kvalitativního složení předběžného seznamu znalců a zpřesňuje seznam; získá souhlas odborníka k účasti na práci; sestaví konečný seznam expertní skupiny.

Počet odborníků ve skupině závisí na mnoha faktorech a podmínkách, zejména na důležitosti řešeného problému, dostupných příležitostech atd. Výběr specialistů se provádí na základě analýzy kvalit každého možného kandidáta. V tomto případě se používají různé metody: hodnocení kandidátů na základě statistické analýzy výsledků minulých výkonů v kvalitě; kolektivní hodnocení kandidáta jako specialisty v této oblasti; sebehodnocení kandidáta experta; analytické stanovení kompetence kandidáta.

Často se používá několik metod současně, například sebehodnocení a kolektivní hodnocení kvalit navrhovaného odborníka. Tento přístup umožňuje rozumně vybírat odborníky s potřebnými kvalitami. Je však třeba uznat, že metoda hodnocení minulé výkonnosti se zdá být objektivnější než metody sebehodnocení a kolektivního hodnocení. Kandidáti na odborníky musí mít ve všech případech tyto kvality: odbornou způsobilost; kreativita (schopnost řešit tvůrčí problémy); vědecká intuice; zájem o objektivní výsledky odborné práce; efektivita (kázeň, schopnost přejít z jednoho typu činnosti na jiný, komunikace, nezávislost úsudku, motivace jednání); objektivnost.

Provedení sběru znaleckých posudků zahrnuje předběžné určení: místa a času; formy a metody; počet kol shromažďování posudků, skladba a obsah dokumentace, postup při zadávání znaleckých posudků do dokumentů. Důležité je zvolit formu sběru znaleckých posudků.

Mezi všemi známými formami shromažďování názorů lze zaznamenat individuální, kolektivní a smíšené. Každá z těchto forem má různé druhy: dotazování, pohovor, diskuse, brainstorming, setkání, obchodní hra. V mnoha se používají společně, což dává větší efekt a objektivitu. Tento přístup ke sběru znaleckých posudků, kdy se používá smíšená forma, se používá v případech, kdy je problém nejasný, jednotlivé názory se liší nebo se odborníci neshodnou při společné diskusi.

V praxi se častěji používají dotazníky, které umožňují sbírat znalecké posudky s menší pracností. Proces tvorby dotazníku obvykle zahrnuje:

Stanovení formy a obsahu odvolání ke znalci;

Výběr typu otázek;

Formulace otázek;

Prohlášení o informacích nezbytných pro odborníka;

Vývoj formuláře dotazníku.

V posledních letech patří mezi typy otázek tzv. vějířové (zahrnuje jednu odpověď z více odpovědí), uzavřené (odpovídá „ano“, „ne“, „nevím“) a otevřené (odpověď na otázku lze zadat v jakékoli formě) se staly nejpoužívanějšími.

Při dotazování znalců je velmi důležité správně, jednoduše a jednoznačně, stručně a zároveň s potřebnou úplností formulovat otázky v dotaznících a v textu vysvětlivky uvést, co přesně se od znalce požaduje. K zodpovězení otázek, tj. k rozhodnutí každého odborníka, se v explicitní nebo implicitní formě provádějí objektivní a (nebo) subjektivní měření daného objektu. Při subjektivním měření odborníci zpravidla používají některou z výše uvedených metod (hodnocení, přímé hodnocení, porovnávání).

Způsob hodnocení a přímé hodnocení.

Pomocí metody hodnocení expert provádí hodnocení (řazení) studovaných objektů v závislosti na jejich relativní důležitosti (preferenci). V tomto případě je nejpreferovanějšímu objektu obvykle přiřazena první pozice a nejméně preferovanému - poslední, v absolutní hodnotě se rovná počtu objednaných objektů. Toto řazení se stává přesnějším s menším počtem předmětů studia a naopak.

P

Tabulka 1.9.2 Určení výsledného pořadí hodnocených objektů

Metoda přímého hodnocení (bodování) je řazení zkoumaných objektů v závislosti na jejich důležitosti přidělováním bodů každému z nich. Nejvýznamnějšímu objektu je přidělen nejvyšší počet bodů na přijímané škále, rozsah hodnotící škály se obvykle bere od 0 do 1, do 5, do 10 nebo do 100. V nejjednodušším případě může být hodnocení 0 resp. 1. Někdy se hodnocení provádí verbální formou, například „velmi důležité“, „důležité“, „nedůležité“. Pro větší pohodlí při zpracování výsledků průzkumu lze taková hodnocení převést na bodovou stupnici (například 3, 2, 1).

N

Tabulka 3. Zjišťování výsledků přímého posuzování objektů

Na základě výsledků odborných posouzení lze polohu jakéhokoli objektu určit pomocí vzorce:

(2)

Kde V i - důležitost i objekt ( i = 1, 2,.., P), vypočítané na základě

znalecké posudky ( j = 1,2,.., k),

A ij - skóre (v bodech) dané i- u objektu j odborníka.

Metoda párování.

Metoda párování se provádí párovým porovnáním a sekvenčním porovnáním.

V párovém srovnání odborník porovnává zkoumané objekty podle jejich důležitosti ve dvojicích, přičemž v každé dvojici identifikuje ten nejdůležitější. Expert prezentuje všechny možné dvojice objektů ve formě záznamu každé kombinace (objekt 1 - objekt 2, objekt 2 - objekt 3 atd.) nebo ve formě matice. Celkový počet porovnávacích dvojic je

, (3)

Kde N - počet zkoumaných předmětů zkoumání.

V

Tabulka 4 Matice pro posuzování objektů pomocí metody párového porovnání

Při zapisování každé kombinace odborník zdůrazní v každé dvojici porovnávaných objektů tu nejdůležitější. Na průsečík svislých a vodorovných řad matice pro každou dvojici objektů položí 1 nebo 0 (nebo plus nebo mínus) v závislosti na významu konkrétního objektu, který určí.

Hmotnost každého porovnávaného objektu se vypočítá pomocí vzorce:

(4)

Kde A i/i,j- počet preferencí (jedničky, nebo plusy, podtržítka)

i-th objekt přes i zadán -tý objekt j-tý odborník;

A - celkový počet dvojic objektů.

R

Tabulka 5. Souhrnná matice výsledků párového porovnávání objektů

Výpočty pro dvojité párové srovnání se provádějí pomocí stejných vzorců jako pro běžné párové srovnání, ale počet párů se zdvojnásobí.

Podstata metody sekvenčního párování je následující. Expert seřadí všechny studované objekty v pořadí podle jejich důležitosti (jako metoda hodnocení). Každému objektu je předběžně přidělen určitý počet bodů, např. na stupnici od 0 do 1 (jako způsob hodnocení). Navíc nejdůležitějšímu objektu je přiděleno skóre rovné 1 a všechny ostatní jsou uvedeny v sestupném pořadí důležitosti od 1 do 0. Dále odborník rozhodne, zda důležitost objektu s hodností 1 bude větší než součet. skóre všech ostatních objektů. Pokud ano, pak se skóre prvního objektu zvýší na tuto úroveň, a pokud ne, pak expert sníží tuto hodnotu na takovou číselnou hodnotu, že bude nižší než součet skóre všech ostatních objektů. Hodnoty hodnocení druhého, třetího a následujících objektů podle důležitosti se určují postupně stejným způsobem jako hodnocení prvního nejdůležitějšího objektu.

Metoda sekvenčního porovnávání pro odborníky je pracně nejnáročnější, zvláště když počet přesahuje šest nebo sedm zkoumaných objektů.

Zpracování a posouzení konzistence expertních dat.

Zpracování shromážděných znaleckých posudků probíhá jak kvantitativně (číselné údaje), tak i kvalitativně (věcné informace). Pro zpracování se používají různé metody. Za přítomnosti číselných údajů se k řešení problémů s dostatečným informačním materiálem používají metody zprůměrování odborných úsudků. I s dostupnými numerickými daty, avšak s nedostatečnými informacemi o dané problematice, se však vedle kvantitativních metod zpracování expertních dat používají metody kvalitativní analýzy a syntézy.

Při použití uvažovaných znaleckých metod (hodností apod.) se názory znalců často neshodují, proto je nutné kvantitativně vyhodnotit míru shody znaleckých posudků a určit důvody rozporu v úsudcích. Míra konzistence je samozřejmě stanovena na základě statistických údajů celé skupiny expertů. Pro posouzení souladu znaleckých posudků zpravidla koeficienty shody.

Míra konzistence je určena matematickým a statistickým zpracováním všech dostupných výsledků vyšetření. Konzistenci názorů kompetentních odborníků při použití všech uvedených znaleckých metod, kde se určují pořadí objektů, lze tedy určit pomocí koeficientu shody (shody) podle vzorce:

(5)

kde C je součet čtverců odchylek součtů hodností pro každý objekt od průměrného součtu hodností všech objektů a expertů, tzn.

(6)

Kde
- průměrný součet pořadí.

Koeficient shody může být v rozmezí
. Na W=0 není shoda mezi znaleckými posudky, a kdy W= 1 - úplná konzistence. Obecně se má za to, že konzistence je dostatečná, pokud W>= 0,5.

Řekněme, že na základě výsledků práce kompetentních odborníků byly získány určité žebříčkové údaje a je nutné z nich vypočítat koeficient konkordance (tabulka 6)

Koeficient shody se rovná

, (7)

T

Tabulka 6. Údaje pro výpočet koeficientu shody

Při použití expertních metod, ve kterých se neurčují hodnosti, by se pro nalezení shody měly vypočítané významy objektů převést na hodnosti. Pořadí 1 je přiřazeno objektu, který má největší význam atd., jinak se konzistence názorů posuzuje podle jiných kritérií shody.

Vypočtená hodnota koeficientu shody by měla být vážena pomocí Pearsonova kritéria (X 2 ) s určitou mírou významnosti (V), tj. maximální pravděpodobnost nesprávného výsledku práce odborníků. Obvykle stačí nastavit významnost v rozmezí 0,005 - 0,05.

V případě obdržení vypočtené hodnoty X 2 výpočet> tabulkový X 2 stůl (s vybranou hladinou významnosti) jsou znalecké posudky nakonec uznány jako odsouhlasené.

Tabulkové hodnoty X 2 stůl(Tabulka 7) závisí na přijaté hladině významnosti a počtu stupňů volnosti (S), který je určen vzorcem

, (8)

Odhadovaná hodnota X 2 výpočet určeno vzorcem

Tedy pro data z výše uvedeného příkladu

. (10)

Na hladině významnosti 0,05 tabulková hodnota X 2 stůl se rovná přibližně 9, tj. znalecké posudky mohou být nakonec uznány za dohodnuté s pravděpodobností 0,95, protože X 2 výpočet > X 2 stůl .