1. Validität
2. Allgemeines
2.1. = Test misst wirklich das Merkmal, das er messen soll (Gültigkeit)
2.2. bezieht sich auf die Interpretation/ Interpretierbarkeit der Ergebnisse
2.3. Kann in verschiedensten Bereichen betrachtet werden
3. Merkmalsdefinition
3.1. Operationale Definition
3.1.1. Testaufgabe = direkte Repräsentation des interessierenden Anforderungsbereiches -> theoretische Annahmen sind hierfür nicht relevant -> Merkmale werden durch die spezifischen Inhalte des Tests definiert
3.2. Theoretische Definition
3.2.1. Definition des Merkmals im Rahmen einer Theorie (z.B. Woher kommen bestimmte Unterschiede und wie drücken sich diese in den Ergebnissen aus?) -> geht über die spezifischen Testinhalte hinaus
4. Inhaltsvalidität
4.1. Definition: inwieweit die Inhalte der Items eines Tests tatsächlich das interessierende Merkmal erfassen. Setzt voraus:
4.2. 1) Sind die gewählten Items eine repräsentative Auswahl aus der Menge aller möglichen Items (Stichproben-Populations-Analogie)? -> Verallgemeinerbarkeit d. "Stichprobe" auf die "Population"
4.3. 2) Bei theoretisch definierten Merkmalen: Lassen die Antworten auf diese Items wirklich Rückschlüsse auf die interessierende Merkmalsausprägung zu? (werden Ausprägungen einer Eigenschaft adäquat abgebildet)
5. Kriteriumsvalidität
5.1. Wie gut kann man anhand der Testergebnisse auf ein bestimmtes (für diagnostische Entscheidungen) praktisch relevantes Außenkriterium schließen bzw. dieses (diagnostisch) vorhersagen
5.2. Wahl des Außenkriteriums sollte begründet/nachvollziehbar sein
5.3. Kriteriumsvalidierung: durch empirische Zusammenhänge zwischen Testwert und Außenkriterium -> je stärker, desto besser
6. Konstruktvalidität
6.1. Inwiefern ist die Theorie, auf der die Interpretation der Testergebnisse basiert, empirisch gestützt (Empirische Belege -> Theorie -> Interpretation)
6.2. Validität des theoretischen Konstrukts, das der Interpretation der Testergebnisse zugrunde liegt.
6.3. Korrespondenzregeln
6.3.1. Hypothesen über den Zusammenhang zwischen Bereich der Theorie und Bereich des Beobachtbaren (Auswirkungen der latenten Zusammenhänge auf die Manifestation)
6.3.2. Auswirkungen meist: - Zusammenhänge zwischen manifesten Variablen oder - Unterschiede zwischen Gruppen
7. Augenscheinvalidität
7.1. ist es (für Laien) offensichtlich was der Test misst?
7.2. Problem: Verfälschbarkeit (z.B. im Sinne sozialer Erwünschtheit)
7.3. Inhaltsvalidität ist gegeben, aber "zu" offensichtlich
8. Konvergente Validität
8.1. Erwartung einer hohen Korrelation mit einem Test, der dasselbe Konstrukt erfasst
9. Diskriminante Validität
9.1. Erwartung einer niedrigen Korrelation mit einem Test, der ein anderes Konstrukt erfasst
10. Konstruktvalidierung
10.1. MTMM-Ansatz
10.1.1. Vorgehen zur Bestätigung der Konstruktvalidität basierend auf Korrelationen
10.1.2. Erwartung bestimmter Relationen der Korrelationen zueinander auf einer Dimension von konvergent zu diskriminant
10.1.3. Wenn bestimmtes Muster beobachtet wird, kann Konstruktvalidität angenommen werden Forderung: mTmM > mThM > hTmM > hThM
10.2. Analyse von Antwortprozessen
10.2.1. z.B. TN bitten, laut zu denken; klären ob sich die Anwortprozesse auf das gewünschte Konstrukt beziehen
10.3. Vergleich von Itemschwierigkeiten
10.3.1. Vergleich der theoretisch erwarteten Itemschwierigkeiten mit den empirisch ermittelten
11. theoretisch hergeleiteter Zusammenhang von Testergebnis und Außenkriterium -> validiert die theoriebasierte Testwertinterpretation (Konstruktval) -> validiert die diagnostische Entscheidung (Kriteriumsval)
12. Prognostische Validität
12.1. Außenkriterium bezieht sich auf zukünftige Ausprägungen eines Merkmals
13. Übereinstimmungsvalidität
13.1. Außenkriterium existiert zeitlich parallel
14. Berechnung der Kriteriumsvalidität
14.1. (vâl) = r (X, Y) X: Testergebnis Y: Außenkriterium
14.2. Verdünnungsformeln
14.2.1. Beseitigung beider Messfehler
14.2.2. Beseitigung des Messfehlers vom Test (X)
14.2.3. Beseitigung des Messfehlers vom Kriterium (Y)
14.3. Problem: bei r (X, Y) verfälschen 2 Messfehler das Ergebnis vâl = r(X, Y) ≤ vâl = (Τaux, Τauy) Lösung: Verdünnungsformeln
15. Taylor-Russell-Tafeln (Kosten-Nutzen-Abwägungen)
15.1. zur Ermittlung der Eignung eines Tests zur Personenselektion
16. Kennwerte
16.1. Relevante Population: NUR die Leute, die sich bewerben "dürfen" (= relevante Population)
16.2. Grundrate: Anteil an der Gesamtheit, der die Mindestausprägung des Merkmals zur Eignung erfüllt (rote Fläche: P(GR))
16.3. Selektionsrate: Anteil an Personen, die aufgrund ihres Testergebnisses als geeignet gelten (blaue Fläche: P(SR))
16.4. Pinke Fläche: Anteil der vom Test ausgewählten Personen, die auch wirklich geeignet sind (P(GR|SR))
16.4.1. Je höher die Validität, desto größer wird der Anteil der pinken Fläche an der blauen Fläche (P(GR|SR))
16.4.2. d.h. je höher die Validität eines Tests, desto eher fällt das Bestehen des Tests auch mit einer tatsächlichen Eignung zusammen