Hogyan számoljuk ki az Inter - Rater megállapodás

An inter - értékelő megállapodást annak a mértéke, hogyan áll mérések két vagy több megfigyelő (vagy " értékelők " ) . Például az orvosi kutatók gyakran egy csoportja orvosok megfigyelni és kategorizálni a hatását a kezelés kísérlet . Mérése közötti összhang megfigyelők azért fontos , mert biztos akar lenni abban , hogy a hatások látjuk miatt a kísérletet , és nem a nagy különbség a megfigyelők . Az elsődleges statisztikai mérésére használt inter- értékelő megállapodás úgynevezett " Kappa ". Utasítások
1

Számolja százalékos egyezés elosztjuk a megfigyelések száma , hogy egyetért át az összes észrevételt . Tekintsük a példa egy 100 beteg bevonásával kísérletet a kezelés a megadott asztma. Két orvosok kérték, hogy a betegeket két csoportra oszthatók: vezérelt (igen ), vagy nem szabályozott (no) asztmás tüneteket . Az eredmény így néz ki :

Mindkét értékelők Igen 70

Mindkét értékelők száma 15

Rater # 1 Igen /Rater # 2 10.

Rater # 1 Nem /Rater # 2 Igen 5

Összes megfigyelések : 100

Ebben a példában , a százalékos egyezés ( Pa ) lenne a megfigyelések száma , ahol az értékelők egyetértenek (70 +15 ) osztva az összes megfigyelések ( 100) , vagy 85 százalék. Ezt fogják használni a számláló az utolsó egyenlet .
2

számítani a szerződés miatt véletlen esélye . Néhány megfigyelt megállapodás az oka, hogy tiszta szerencse . Meg lehet számolni , hogy mennyi megállapodás kell várni, hogy az észlelés teljesen véletlenszerű .

Példánkban :

Mindkettő Igen 70

Mindkét 15.

# 1Yes /# 2 10.

# 1 Nem /# 2 Igen 5

Összes megfigyelések : 100

Dr. # 1 szavazat Igen 80/100 vagy 80 százaléka az idő ( .80 ) .

Dr. # 1 szavazat 20/100 vagy 20 százaléka az idő ( 0,20 ) .

Dr. # 2 szavazat Igen 75/100 vagy 75 százaléka az idő ( 0,75 ) .

Dr. # 2. helyezett 25/100 vagy 25 százaléka az idő ( 0,25 ) .

Ha az észlelés véletlen , a valószínűsége mindkét értékelése igen lenne ( .80 ) x ( 0,75 ) , vagy 60 százalék , és a valószínűsége mindkét értékelés lenne ( 0,15 ) x ( 0,25 ) , illetve 4 százalék .

a teljes valószínűség megállapodás a véletlen műve ( Pe) lenne ezek összege : ( .60 ) + ( 04) , vagy 64 százalék. Ezt használják a számlálója és nevezője a végső egyenlet .
3

Számolja kappa segítségével a következő egyenlet :

k = ( Pa) - ( Pe )

---------------

1 - ( Pe )

példánkban , eladás

k = ( 0,85 ) - ( 0,64 ) /1 - ( 0,64 ) = ( 0,58 ), illetve 58 százalék
4

Értékelje kappa , hogy megállapítsa, inter- értékelő megállapodás erős. Egy jó ökölszabály , hogy kappas felett 80 százalék kiváló, és a 60 százaléka jó. Bármi alatt 60 százalékkal kevésbé tartják , mint az optimális megállapodást .

A példánkban 58 százalék a határán közötti jó értékelő megbízhatóság, és a vizsgálati eredmények kell értelmezni ezt szem előtt tartva .

5

Értékelje kappa több mint két értékelők segítségével Fleiss " kappa számításokat . Ez egy sokkal bonyolultabb számítást kell végezni a számítógépen.