Wie entstehen eigentlich genormte Testverfahren wie Intelligenztests, Rechen- oder Schulleistungstests? Was unterscheidet ein solides Testverfahren von schulischen Prüfungen oder selbst zusammengestellten Aufgaben? Und warum liefert ein Test nie ein „exaktes“, wohl aber ein zuverlässiges Ergebnis?

Während viele Menschen psychologischen Testverfahren skeptisch gegenüberstehen nach dem Motto „so genau kann man das gar nicht wissen“, ist den Psychologen genau dieses Problem sehr wohl bewusst. Der überwiegend größte Teil der psychologischen Testverfahren ist deshalb entsprechend der klassischen Testtheorie (KTT) konzipiert. Im Zentrum der KTT steht der Messfehler, da man davon ausgeht, dass der wahre Wert eines jeden Testergebnisses immer zwangsläufig von einem Messfehler überlagert wird.

Dementsprechend besagt das Grundaxiom der KTT:

Jeder beobachtete Messwert (X) einer Person ist immer additiv zusammengesetzt aus einem wahren Wert (T = true score) und einem Fehlerwert oder Messfehler (E = error).

Würde ein Test einem Probanden unendlich oft vorgelegt, würde sich der zufällig variierende Messfehler ausmitteln und der Mittelwert aus allen Messergebnissen würde dem wahren Wert entsprechen. Da dies jedoch nur eine rein theoretische Möglichkeit darstellt und in der Praxis nicht anwendbar ist, findet eine beschränkte Messwiederholung innerhalb eines jeden Tests statt, indem mehrere unterschiedliche Aufgaben oder Items zur Messung des gleichen Merkmals vorgelegt werden. In einem Intelligenztest wird zum Beispiel das logische Denkvermögen geprüft und dazu werden etwa 20 gleichartige Aufgaben zu Analogieschlüssen vorgelegt.

Der wahre Wert lässt sich also nie exakt bestimmen, weshalb in der KTT der Fehler beim Messvorgang über die Messungenauigkeit eines Tests abgeschätzt wird. Die Konstruktion eines psychologischen Tests und damit die Bestimmung seiner Messgenauigkeit verläuft folgendermaßen:

  1. Zunächst werden Aufgaben oder Items zusammengestellt, die das zu messende Merkmal (oder besser: die Vorstellung der Autoren über das zu messende Merkmal) repräsentieren.
  2. Diese Itemsammlung stellt eine provisorische Testversion dar, die nun in der Praxis von vielen potentiellen Nutzern erprobt wird.
  3. Die Testergebnisse und die Erfahrungen aus diesen Probetestdurchführungen werden an die Testautoren zurückgemeldet und auf diesem Wege entsteht die sogenannte Eichstichprobe. Mit ihrer Hilfe wird in der Itemanalyse die Messqualität eines jeden einzelnen Items bestimmt (Schwierigkeitsindex, Trennschärfe und Homogenität).
  4. Die qualitativ schlechten werden aussortiert (Itemselektion). Nun liegt eine Art Endversion des psychologischen Tests mit möglichst qualitativ hochwertigen Items vor.
  5. In einem weiteren Konstruktionsschritt wird die Messqualität des Testverfahrens als Ganzes (Objektivität, Reliabilität und Validität) festgestellt und die Vergleichsnormen werden berechnet.

Dieser Konstruktionsprozess wird in all seinen Einzelheiten im Testhandbuch eines jeden psychologischen Tests beschrieben und somit kann der kundige Nutzer die Qualität eines Verfahrens selbst einschätzen und beurteilen und entscheiden, ob er das vorliegende psychometrische Verfahren im Rahmen seiner Diagnostik einsetzen möchte oder eben nicht.

Kritisch angemerkt wird: Der wahre Wert und auch der Fehlerwert sind nicht direkt beobachtbar und damit ist auch das Grundaxiom der KTT empirisch nicht prüfbar. Auch eine weitere zentrale Annahme der KTT, dass nämlich der wahre Wert einer Person über viele Messungen hinweg zeitlich stabil bleibt, ist nur für bestimmte Merkmalsbereiche und bei kurzen Zeiträumen vertretbar. Da sich die KTT allein mit den formalen Elementen eines beobachteten Testwertes beschäftigt, macht sie auch keine Aussagen über das Zustandekommen der Leistung oder darüber, wie ein Item beantwortet wird.

 

Mehr zum Thema „Wie entsteht ein Test“ unter dem Schlagwort „Testdiagnostik“ oder z.B. hier im Artikel „Was ist eigentlich ein psychologischer Test?“.

 

Weiterführende Literatur:
Breitenbach, Erwin (2005): Einführung in die pädagogisch-psychologische Diagnostik. In: Stephan Ellinger & Roland Stein (Hg.): Grundstudium Sonderpädagogik. Oberhausen: Athena Verlag, S. 114–141.

 

Fisseni, Hermann-Josef (2004): Lehrbuch der psychologischen Diagnostik. Mit Hinweisen zur Intervention. 3. Aufl. Göttingen: Hogrefe.

 

Dies ist der 2. Artikel aus der Reihe „Testdiagnostik“. Sie finden alle Artikel der Reihe unter diesem Schlagwort.