DeutschKlinik und TherapieHuman Resources

Distraktorfreie Intelligenztests: Die DESIGMA-Reihe

Mit der Publikation des DESIGMA – Advanced wurde 2014 ein Verfahren mit einem innovativen Testformat vorgestellt (Preis für Computergestützte Diagnostik im Jahr 2015, verliehen von der Fachgruppe Differentielle Psychologie und Psychologische Diagnostik). Die damals publizierten Versionen A und A+ waren für den oberen Leistungsbereich konzipiert. Nun steht mit dem DESIGMA – Standard ein weiteres Instrument der DESIGMA-Reihe für den mittleren Leistungsbereich zur Verfügung. Wir haben mit den Autoren Florian Krieger, Nicolas Becker, Samuel Greiff und Frank M. Spinath über die DESIGMA-Verfahren gesprochen.

Kollegen am Arbeitsplatz Leistung messen Test

Was ist das Besondere an den Intelligenztests der DESIGMA-Reihe und wie unterscheiden sie sich von anderen Verfahren?

Die Intelligenztests der DESIGMA-Reihe, DESIGMA-Advanced und DESIGMA-Standard, sind figurale Matrizentests. Das bedeutet, dass dem Lösenden eine Matrix mit visuellen Elementen präsentiert wird, welche bestimmten Regeln folgt. Ein Beispiel für eine Regel ist die Addition der Kreissegmente über die Zeilen hinweg, wie es oben links in der folgenden Abbildung dargestellt ist. Eine Zelle ist in der Matrix stets nicht gefüllt und der Lösende muss die Elemente „finden“, welche die Matrix basierend auf den vorhandenen Regeln logisch ergänzt. Das Besondere der Intelligenztests aus der DESIGMA-Reihe ist nun hierbei vor allem das Antwortformat. Bei klassischen Matrizen ist es die Aufgabe des Lösenden, die korrekte Antwort aus beispielsweise acht Antwortalternativen auszuwählen. Dies birgt die Gefahr, dass die Antwort geraten wird. Bei acht Antwortalternativen sprechen wir hierbei immerhin von einer Ratewahrscheinlichkeit von etwa 13 %. Werden weniger Antwortalternativen präsentiert, ist die Ratewahrscheinlichkeit dementsprechend sogar höher. Studien zeigen, dass sich einige Matrizen allein durch den Ausschluss von Alternativen lösen lassen und auch dass die Konstruktvalidität gefährdet ist, wenn zu sehr nach dem Ausschlussprinzip gearbeitet wird. Die Intelligenztests der DESIGMA-Reihe unterbinden nun dieses Ausschlussprinzip. Aufgabe für den Lösenden ist es, die korrekte Antwort zu erstellen, basierend auf einem kleinen „Baukasten“ (Konstruktionsfeld), welcher alle Elemente aus der Matrix enthält. Dieses Konstruktionsfeld ist in der Abbildung unten dargestellt. Durch dieses innovative Antwortformat kann die Ratewahrscheinlichkeit gegen 0 reduziert werden. International veröffentlichte Studien zeigen den Vorteil dieses Verfahrens in Bezug auf eine verbesserte Konstruktvalidität gegenüber klassischen Matrizenaufgaben.

Weitere Vorzüge der Intelligenztests der DESIGMA-Reihe sind die Zeitbegrenzung pro Item, weitestgehende Sprachfreiheit der Aufgaben und die nach aktuellen Standards angewandten Regeln in den Matrizen. Diese Vorzüge stellen eine genaue und gültige Messung der allgemeinen kognitiven Fähigkeit sicher, die aber auch die Kriterien des ökonomischen Testens erfüllen. Beispielsweise ist die durchschnittliche Bearbeitungszeit des DESIGMA – Standard mit ca. 11-12 Minuten relativ kurz, das Verfahren zeigt aber dennoch ausgezeichnete psychometrische Kennwerte in Bezug auf Genauigkeit und Gültigkeit.

Abbildung: Beispielaufgabe aus dem DESIGMA – Standard

Wie kamen Sie auf die Idee des ungewöhnlichen Antwortformates des DESIGMA-Tests?

Die ursprüngliche Idee entstand 2009 und ergab sich direkt aus den schon oben genannten Problemen der klassischen Matrizentests. Um Missverständnissen vorzubeugen: Viele klassische Matrizentests stellen sehr gute Verfahren zur Messung der allgemeinen kognitiven Fähigkeit dar, dennoch konnte bisher kein Verfahren das Problem der Ratewahrscheinlichkeit lösen. Da es aber Anhaltspunkte gab, dass diese Ratewahrscheinlichkeit zu einer Verringerung der Konstruktvalidität führen könnte, war dies Grund genug, sich mit innovativen Formaten zu beschäftigen.

Welches Konstrukt wird mit den DESIGMA-Tests erfasst?

Intelligenztests der DESIGMA-Reihe messen vor allem die allgemeine kognitive Fähigkeit oder konkreter, die fluide Intelligenz. Die Aufgaben lassen sich weitestgehend sprachfrei lösen und es wird ganz klassisch „Reasoning“, also schlussfolgerndes Denken gemessen, welches einen zentralen Baustein der fluiden Intelligenz bzw. der allgemeinen kognitiven Fähigkeit darstellt.

Für welche Fragestellungen eignen sich die DESIGMA-Tests?

Generell eignen sich die Intelligenztests der DESIGMA-Reihe für alle diagnostischen Kontexte, bei denen die allgemeine kognitive Leistungsfähigkeit erfasst werden soll, beispielsweise in der Klinik, in der Pädagogik oder bei der Personalauswahl. Sie sind insbesondere dann geeignet, wenn Intelligenz unabhängig vom Bildungshintergrund bzw. Sprachkenntnissen erfasst werden soll, also z.B. bei Personen mit schlechten Kenntnissen der deutschen Sprache oder niedrigem Bildungsstatus.

Wie lässt sich der neue DESIGMA – Standard im Vergleich zu den anderen DESIGMA-Tests charakterisieren?

Hierzu lässt sich zunächst einmal sagen, dass der DESIGMA – Advanced in seinen zwei Ausführungen A und A+ für den leicht erhöhten und höheren Fähigkeitsbereich einen hervorragenden Test darstellt, mit dem sich die allgemeine kognitive Leistungsfähigkeit in durchschnittlich 26 Minuten messen lässt. Der DESIGMA – Standard unterscheidet sich nun in zwei markanten Punkten. Zum einen ist das Verfahren vor allem für den mittleren Leistungsbereich konzipiert worden. Zum anderen ist DESIGMA – Standard ein Screeningverfahren: Mit nur 15 Aufgaben und einer durchschnittlichen Bearbeitungszeit von 11 bis 12 Minuten ist es besonders ökonomisch. Dennoch wird die genaue und gültige Messung der allgemeinen kognitiven Fähigkeit ermöglicht. Die Anwendung ist vor allem für Screening-Untersuchungen im Personalbereich und im klinischen Kontext zu empfehlen.

 


Wir danken Ihnen für das Gespräch.

Dr. Florian Krieger

Dr. Florian Krieger, geb. 1991. 2009–2014 Studium der Psychologie in Saarbrücken. 2014–2017 Wissenschaftlicher Mitarbeiter am Lehrstuhl für Differentielle Psychologie und Psychologische Diagnostik an der Universität des Saarlandes.  2017-2021 Wissenschaftlicher Mitarbeiter am Lehrstuhl Computer-Based Assessment an der Universität Luxemburg. 2018 Promotion. Seit 2021 Akademischer Rat auf Zeit im Fachgebiet Methoden der empirischen Bildungsforschung an der Technischen Universität Dortmund. Arbeitsschwerpunkte: Intelligenzdiagnostik, Förderung von Problemlösekompetenzen, basale kognitive Prozesse.

PD Dr. Nicolas Becker

PD Dr. Nicolas Becker, geb. 1981. 2002–2007 Studium der Psychologie an der Universität des Saarlandes. 2007–2010 Wissenschaftlicher Mitarbeiter am Lehrstuhl für Differentielle Psychologie und psychologische Diagnostik an der Universität des Saarlandes. Seit 2010 Akademischer Rat am Lehrstuhl für Differentielle Psychologie und psychologische Diagnostik an der Universität des Saarlandes. 2009 Promotion zum Doktor der theoretischen Medizin (Dr. rer. med.) an der Medizinischen Fakultät der Universität des Saarlandes. 2020 Habilitation in der Fakultät und Human- und Wirtschaftswissenschaften an der Universität des Saarlandes (Venia legendi für Psychologie). Arbeitsschwerpunkte: Testtheorie, Testkonstruktion, Testevaluation. Seit 2021 Vertretung des Lehrstuhls für Differentielle und Persönlichkeitspsychologie / Psychologische Diagnostik an der Universität Greifswald.

Prof. Dr. Samuel Greiff

Prof. Dr. Samuel Greiff, geb. 1979. 2000–2003 Studium der Psychologie an der Philipps-Universität Marburg (Abschluss: Vordiplom) sowie von 2003–2006 an der Ruprecht-Karls-Universität Heidelberg (Abschluss: Diplom). 2007–2012 Wissenschaftlicher Mitarbeiter am Psychologischen Institut der Universität Heidelberg mit weiteren Tätigkeiten am Universitätsklinikum Heidelberg und der srh Hochschule Heidelberg. 2010 Promotion zum Dr. phil. Seit 2012 an der Universität Luxemburg; zunächst als Attract Fellow; seit 2015 als Associate Professor of Educational Assessment und seit 2018 als Full Professor of Educational Assessment & Psychology. Arbeitsschwerpunkte: Assessment, educational technology, human thinking & cognition.

Prof. Dr. Frank M. Spinath

Prof. Dr. Frank M. Spinath, geb. 1969. 1990–1995 Studium der Psychologie in Bielefeld. 1995–1999 Wissenschaftlicher Mitarbeiter am Lehrstuhl für Differentielle Psychologie an der Fakultät für Psychologie und Sportwissenschaft der Universität Bielefeld. 1999 Promotion. 2000–2001 Wissenschaftlicher Mitarbeiter am Lehrstuhl für Differentielle Psychologie an der Fakultät für Psychologie und Sportwissenschaft der Universität Bielefeld. 2001–2002 Postdoctoral Research Assistant am Social, Genetic, Developmental Psychiatry Research Centre, Institute of Psychiatry, London, UK. 2002–2004 Wissenschaftlicher Mitarbeiter am Lehrstuhl für Differentielle Psychologie an der Fakultät für Psychologie und Sportwissenschaft der Universität Bielefeld. 2004–2005 Professur (C3) für Differentielle Psychologie und Psychologische Diagnostik an der Universität des Saarlandes. Ab 2006 Professur (W3) für Differentielle Psychologie und Psychologische Diagnostik an der Universität des Saarlandes. Arbeitsschwerpunkte: Verhaltensgenetik, Intelligenzentwicklung und -diagnostik, Soziale Ungleichheit.