Adatok
None_taken
0 bejegyzést írt és 1 hozzászólása volt az általa látogatott blogokban.
Két orvos próbálja eldönteni betegekről, hogy vajon skizofréniásak-e vagy sem. Az egyikük pszichológus, aki általában projektív technikákkal vizsgálja a betegeket, a másik pedig egy pszichiáter, aki inkább screening interjúk alapján dolgozik. Ilyen körülmények között érdemes feltenni a kérdést, hogy…..
Belépve többet láthatsz. Itt beléphetsz
Az egyetlen dolog ami bennem felmerül a témával kapcsolatban (és itt el fogok merülni a gyakorlati alkalmazás mocsarában), hogy a döntési szituációk (megítélendő szituációnként, vagy ellenőrizendő darabonként vett) "nehézségét" vagy egyértelműségét - látszatra legalábbis - nem veszi figyelembe.
Tehát ha veszek egy fiktív példát (még valamikor egy egyetemi üzemlátogatás alatt az egyik abroncsgyártó üzemben láttam ezt, nyugodtan pontosítson aki jobban tudja):
Gumigyártás során a folyamat végén ellenőrök nézik át a termékeket. Egy 150 elemes listájuk van a nem elfogadható hibákról, amit szemmel kell észrevenniük. Kb. fél percük van egy termék átnézésére.
Ha azt akarom eldönteni hogy mennyire jó egy ellenőr, a Cohen's kappa teszttel nem fogom tudni megmondani - nincs mihez hasonlítani. Ha van egy régi dolgozóm akiben eléggé biztos vagyok, és őt veszem referenciának, akkor az új dolgozókat már igenis tudom hozzá hasonlítani - és ha a referenciám elég jó, akkor tudom értékelni hogy mennyire jó hozzá képest. Viszont a 150 elemes listán lesznek olyan hibák (pl tátongó lyuk a gumi oldalán) amit könnyebb észrevenni - itt nyilván jobb lesz a korreláció. Lesznek olyan hibák is, amiket csak akkor tud megbízhatóan észrevenni az ember, ha már nagyobb gyakorlata van, vagy nagyon jó szeme - itt várhatóan rosszabb lesz a korreláció.
Szóval ugyanarra a két dolgozómra kaphatok jó Cohen's kappát és rossz Cohen's kappát is - ha jól gondolom, akkor a Cohen's kappa teszt eredménye (inkább úgy mondom, hasznossága) erősen függ attól (már ha ilyen célra használom), hogy mennyire sikerült megtalálnom azokat a döntési szituációkat, amiket a legnehezebb eldönteni, vagy azokat a termékeket amik leginkább az elfogadás határán állnak.
Ha pedig nincs referencia dolgozóm akinek a döntéseiben feltétlenül megbízom- akkor legfeljebb annyi derül ki a teszt által, hogy a két bírám egyformán rossz vagy egyformán jó. Hogy melyik a kettő közül, azt nem tudhatom.
Itt jön a kérdésem: hogyan lehet "jól" belekeverni referencia értékeket a vizsgálatba? Az első gondolatom az, hogy ( a példánál maradva) vegyek ki referencia abroncsokat amik hibáiról megegyezik az 5 legrégibb/legjobb ellenőr, felírom magamnak hogy melyik jó és melyik selejt, majd minden új ellenőr kiképzése során leellenőriztetem a referenciáimat. És ebből már tudnék számolni egy Cohen's kappát, ahol az egyik "ellenőr" a referenciaérték, a másik ellenőr pedig az újonc. Viszont erős a gyanúm hogy ezzel felrúghatom az egész módszer lényegét, hiszen a referencia értékek esetében nincs bizonytalansági tényezőm - a döntések 0%-a következett a véletlenből. Ugyanakkor valójában itt sem csinálok mást mint az első esetben, hisz a referencia ítészem semmiben nem különbözik egy referencia mintaelemsortól! Szóval ha ezt teszem, akkor mennyire lövöm lábon a kappa kiértékelési kritériumait?