Rapid guessing and its psychometric consequences : implications for measurement practice

Die vorliegende Dissertation befasst sich mit dem Phänomen des schnellen Rateverhaltens (engl. Rapid Guessing Behavior) in der bildungswissenschaftlichen und psychologischen Diagnostik. Schnelles Rateverhalten stellt dabei einen verhaltensbasierten Indikator für eine niedrige Ausprägung der Testbearbeitungsmotivation dar. Niedrige Testbearbeitungsmotivation kann zu einer ernstzunehmenden Bedrohung für die Validität von Schlussfolgerungen aufgrund von Testergebnissen führen. Gleichzeitig finden sich in der Literatur eine Vielzahl von verschiedenen Ansätzen zur Identifikation und zur Berücksichtigung von schnellem Rateverhalten. Dieser Zustand erschwert es Diagnostizierenden und Forschenden, bewusste und bestmögliche Entscheidungen bezüglich der Berücksichtigung von schnellem Rateverhalten zu treffen. Die vorliegende Dissertation weist dabei auf potentielle Konsequenzen von verschiedenen Arten der Berücksichtigung von schnellem Rateverhalten hin und möchte bei einer strukturierten und reflektierten Herangehensweise an diese unterstützen. Dabei wird insbesondere die Berücksichtigung von als „schnell geraten“ klassifizierten Antworten für die intendierte Messung aus einer psychometrischen Perspektive heraus beleuchtet. Der Kern der Dissertation besteht dabei aus drei Studien, die sich mit verschiedenen Aspekten der Berücksichtigung von schnellem Rateverhalten und den daraus entstehenden Konsequenzen befassen. Die erste Studie stellt ein modellbasiertes Vorgehen zur psychometrischen Berücksichtigung von schnellem Rateverhalten vor. Hierbei wird für die psychometrische Modellierung zuerst ein Rückbezug auf Theorien (z.B., Rubin, 1976) und Modelle (Mislevy & Wu, 1996) aus der Literatur zu fehlenden Werten vorgenommen. Dieser Rückbezug ergibt sich aus der Annahme, dass die tatsächliche Lösung einer Aufgabe unter schnellem Rateverhalten unbekannt ist und der üblichen Praxis der Löschung der als schnell geraten identifizierten Antworten. Weiterhin ermöglicht das vorgestellte Vorgehen es, die Abhängigkeiten zwischen latenter Fähigkeit, Neigung zu schnellem Rateverhalten und der Wahrscheinlichkeit einer richtigen Antwort der Testpersonen auf einer schnell geratenen Aufgabe zu berücksichtigten. Dies ermöglicht einen empirischen Vergleich von verschiedenen, geläufigen Ansätzen zur psychometrischen Berücksichtigung von schnellem Rateverhalten und die Untersuchung der Auswirkungen dieser auf die Parameterschätzung. Die zweite Studie untersucht die Auswirkung von verschiedenen Strategien zur Berücksichtigung von schnellem Rateverhalten auf die Modellierung des Zusammenhangs von latenter Antwortgeschwindigkeit und Fähigkeit der Testpersonen. Es kann gezeigt werden, dass die identifizierte Beziehung zwischen Antwortgeschwindigkeit und Fähigkeit durch schnelles Rateverhalten beeinflusst werden kann und, dass verschiedene Arten der Berücksichtigung zu deutlich unterschiedlichen Ergebnissen bzgl. der Beziehung führen können. Die Studie betont die Bedeutung der Berücksichtigung von schnellem Rateverhalten bei der psychometrischen Nutzbarmachung von Zeitmaßen. Weiterhin hebt sie die Auswirkungen von schnellem Rateverhalten auf die Befunde zum Anstieg der Genauigkeit der Fähigkeitsschätzung durch eine gemeinsame Modellierung von Fähigkeit und Geschwindigkeit hervor. In der dritten Studie wird ein systematischer Überblick über die Literatur zu schnellem Rateverhalten gegeben. Dabei wird ein Überblick über Ansätze zur Identifizierung von schnellem Rateverhalten, Auswirkungen auf verschiedene Parameter und potentielle Behandlungsansätze ermöglicht. Aufbauend auf der Literaturübersicht entwickelt die Studie einen Leitfaden, der angewandt Forschende bei einem reflektierten Umgang mit schnellem Rateverhalten unterstützen soll. Die Implikationen der Dissertation werden dabei z.B. mit Blick auf die allgemeine, psychologische und bildungswissenschaftliche diagnostische Praxis diskutiert. Im Besonderen wird dabei der Fokus auf Implikationen für die Analyse von psychologischen und bildungswissenschaftlichen Untersuchungen, die psychometrische Praxis bzgl. der gemeinsamen Modellierung von latenter Fähigkeit und Geschwindigkeit, Testkonstruktion und Testadministration gelegt. Auch erfolgt eine Auseinandersetzung mit den Implikationen bezüglich der Berichterstattung von Ergebnissen in Large-Scale Assessments, Open Science Praktiken und Forschungsethik auseinandergesetzt. Abschließend hebt die Dissertation die Ernsthaftigkeit des bewussten Umgangs mit schnellem Rateverhalten in psychologischen und bildungswissenschaftlichen, computerisierten Erhebungen in denen Zeitinformationen miterfasst werden können hervor. Weiterhin zeigt die Dissertation, wie Diagnostizierende und angewandte Forschende durch eine bewusste Entscheidungsfindung und transparente Berichterstattung validere Testergebnisse gewinnen können.