Entwicklung und Pilotierung eines adaptiven Multistage-Tests zur Kompetenzerfassung im Bereich naturwissenschaftlichen Denkens (Volume 316)

Abstract

In der aktuellen Kompetenzforschung werden diverse komplexe Konstrukte erfasst. Die verwendeten Leistungstests resultieren oft in langwierigen Befragungen von Studierenden, welche so einer hohen Testbelastung ausgesetzt werden. Damit gehen Nachteile, wie beispielsweise eine sinkende Teilnahmebereitschaft, einher. Auffallend ist daher der noch seltene Einsatz adaptiver Testformate. Diese weisen eine höhere Effizienz auf als lineare Formate, womit sie die Belastung senken und die Teilnahmebereitschaft erhöhen könnten. In dieser Arbeit wird die Anpassung eines bereits bestehenden Leistungstests von einem linearen in ein adaptives Format beschrieben. Grundlage des Vorhabens ist der Ko-WADiS-Test zur Erfassung der Kompetenz naturwissenschaftlichen Denkens bei Studierenden der Fächer Biologie, Chemie und Physik. Den Kern der Arbeit bilden die messtheoretische Rahmung adaptiver Testformate und die Konzeption des neuen Testinstruments. Aus den Items des linearen Tests wurden mehrere adaptive Teststrukturen entwickelt und in simulierten Befragungen verglichen. Ein Multistage-Test mit drei Stufen und jeweils zwei Schwierigkeitsniveaus wies die höchste Messeffizienz auf und wurde praktisch implementiert. Zum Abschluss der Testentwicklung wurden mit dem neuen Instrument Lehramtsstudierende befragt und Messgenauigkeit sowie Messdauer in der Stichprobe mit denen des linearen Ko-WADiS-Tests verglichen. Durch das neue Testformat konnte eine signifikante Steigerung der Effizienz um 53% (Messdauer -30%, Messgenauigkeit +8%) erreicht werden.