„Jedem seine Kragenweite!“ – Item-Response-Theorie in der Testkonstruktion
Die Item-Response-Theorie (IRT) stellt in gewisser Weise eine Antwort auf die Kritik an der Klassischen Testtheorie (KTT) dar. Sie beruht auf strengeren, empirisch überprüfbaren Annahmen.
„Item-Response“ meint die Itembeantwortung und weist daraufhin, dass hier der Testwert aus der Beantwortung eines Items ermittelt wird. Im Gegensatz zur KTT versucht die IRT nicht nur zu beschreiben, sondern auch zu erklären. Sie beschäftigt sich daher mit dem Entstehen der Antwort oder mit der Frage: Wie kam der Testwert, also die Antwort auf ein Item, zustande?
Als zentrale Annahme gilt, dass das beobachtete Antwortverhalten eines Probanden auf ein Item (=manifeste Variablen) auf nicht beobachtbare Fähigkeiten (=latente Variablen) zurück geht, die gewissermaßen hinter den Antworten der Testperson verborgen sind. Entsprechend lauten die Grundannahmen der IRT:
- Antworten auf Items oder Aufgaben sind Indikatoren für latente Fähigkeiten oder Merkmale.
- Die Lösungswahrscheinlichkeit eines Items hängt von der Fähigkeit der Person (Personenparameter) und der Aufgabenschwierigkeit (Itemparameter) ab. Ist die Itemschwierigkeit kleiner als die Personfähigkeit, wird das Item wahrscheinlich gelöst. Ist die Itemschwierigkeit dagegen größer als die Personfähigkeit, wird das Item logischer Weise nicht gelöst. Je größer die Differenz zwischen Itemschwierigkeit und Personfähigkeit ist, umso wahrscheinlicher ist das Lösen bzw. Nicht-Lösen eines Items.
- Es existiert ein latentes Kontinuum bezüglich der Eigenschaften und Fähigkeiten, auf dem jede Person entsprechend ihres Ausprägungsgrades positioniert werden kann.
Soll nun das Antwortverhalten auf eine latente Variable zurückgeführt werden, müssen alle Items nachgewiesenermaßen das gleiche Konstrukt erfassen und messen, sie müssen homogen sein. Um diese Homogenität zu ermitteln, muss die lokale Unabhängigkeit der Items vorliegen, was bedeutet: Wird die zu messende Fähigkeit oder Eigenschaft konstant gehalten, weisen die Items untereinander keinen Zusammenhang mehr auf. Lokale Unabhängigkeit liegt daher dann vor, wenn der Zusammenhang von Items untereinander nur durch Fähigkeitsunterschiede bedingt ist.
Jedes Item besitzt im Testverfahren einen einzigartigen Schwierigkeitsgrad und kann nur aufgrund einer bestimmten Merkmalsausprägung gelöst werden. Jedes Item steht für sich alleine und alle Items zusammen bilden das gesamte Fähigkeitskontinuum ab.
Der Vorteil liegt auf der Hand: Man braucht zum Messen einer Fähigkeit bedeutend weniger Aufgaben und der Test wird kürzer.
In der ITR werden deterministische und probabilistische Modelle unterschieden. Erstere gehen davon aus, dass das Antwortverhalten oder das Testergebnis durch die Aufgabenschwierigkeit und die Fähigkeit der untersuchten Person vollständig bestimmt ist. Probabilistische Modelle hingegen nehmen zwischen dem Antwortverhalten einerseits und den Item- und Personparametern andererseits eine Wahrscheinlichkeitsbeziehung an. Dies erscheint plausibler, da stets vorhandene unsystematische Fehlereinflüsse keine absolut feste und bestimmte Vorhersage der Antworten durch die Personen- und Itemparameter erlauben. Innerhalb der ITR sind deshalb die probabilistischen Modelle stärker vertreten, wodurch der Begriff „Probabilistische Testtheorie“ häufig synonym für Item-Response-Theorie benutzt wird.
Der IRT muss zweifelsohne die bessere theoretische Fundierung im Vergleich zur KTT zugestanden werden. Jedoch muss man auch erwähnen, dass es aufgrund der strengen Anforderungen vielfach nicht möglich ist, modellkonforme Items zu generieren. Das gilt vor allem, wenn das Konstrukt nicht hinreichend präzise auf einer Dimension definiert ist. Fast alle Intelligenzmodelle betrachten die Intelligenz als eine aus mehreren Dimensionen zusammengesetzte komplexe Fähigkeit. Sie lässt sich also nicht präzise eindimensional definieren, was eine Testkonstruktion nach der probabilistischen Testtheorie unmöglich macht. Aus diesem Grunde dominieren noch die nach der Klassischen Testtheorie konstruierten psychologischen Tests.
Weiterführende Literatur:
Dies ist der 3. Artikel aus der Reihe „Testdiagnostik“. Sie finden alle Artikel der Reihe unter diesem Schlagwort.
Danke für diese – wie ich finde – hilfreichen Erläuterungen!
Das freut uns, Camille, herzlichen Dank!