Im Markt der Eignungsdiagnostik stehen belastbare Verfahren, neue KI-Werkzeuge und teure Spielereien oft direkt nebeneinander. Beide tragen gern das Etikett „wissenschaftlich fundiert“. Der Unterschied zeigt sich erst, wenn du nach Belegen fragst: Was wird gemessen, wie zuverlässig geschieht das und sagt das Ergebnis den späteren Berufserfolg tatsächlich voraus?
Validität, Reliabilität und Objektivität sind dafür unverzichtbar. Sie sind aber keine Gütesiegel, die ein Anbieter einfach auf eine Präsentation kleben kann. Jeder Kennwert gilt nur für eine bestimmte Anwendung, Stichprobe und Auswertung.
Reliabilität: Wie zuverlässig ist die Messung?
Reliabilität beschreibt, wie präzise und konsistent ein Verfahren misst. Der Satz „Dieselbe Person macht das Verfahren zweimal und erhält dasselbe Ergebnis“ erfasst nur die Retest-Reliabilität. Je nach Verfahren sind weitere Formen entscheidend:
- Interne Konsistenz: Messen die Aufgaben oder Fragen hinreichend dasselbe Merkmal?
- Retest-Reliabilität: Bleiben Ergebnisse stabil, wenn sich das Merkmal nicht verändert hat?
- Beobachterübereinstimmung: Bewerten zwei geschulte Personen dasselbe Verhalten ähnlich?
- Auswertungs- und Bewertungsreliabilität: Führt dasselbe Material unabhängig vom Auswertenden zu vergleichbaren Punktwerten?
Bei Interviews und Assessment-Centern ist Beobachterübereinstimmung zentral. Ein einzelner Reliabilitätswert ohne Angabe der Reliabilitätsart ist deshalb wenig wert. Auch Grenzwerte wie 0,70, 0,80 oder 0,90 sind keine Naturgesetze, sondern Faustregeln. Welche Präzision ausreicht, hängt von Zweck, Zielgruppe und Folgen einer Fehlentscheidung ab. Mehr dazu im Beitrag zu Persönlichkeitstests in der Personalauswahl.
Niedrige Reliabilität heißt: Das Verfahren kann gar nicht stabil genug messen, um später überzeugend vorherzusagen. Du würfelst dann mit besserer Optik.
.jpeg)
Validität: Sagt das Verfahren das Richtige voraus?
In der Personalauswahl interessiert besonders die kriteriumsbezogene Validität: Wie stark hängt das Ergebnis mit einem relevanten Erfolgskriterium zusammen, etwa späterer Arbeitsleistung oder Lernfortschritt?
Der Korrelationskoeffizient r reicht mathematisch von −1 bis +1. Bei sinnvoll kodierten Auswahlverfahren erwartet man einen positiven Wert. Ein negativer Wert zeigt einen gegenläufigen Zusammenhang. Wichtig: r ist weder ein Prozentwert noch die Wahrscheinlichkeit, dass eine einzelne Auswahlentscheidung richtig ist.
Bei r = 0,50 beträgt r² = 0,25. In einem einfachen linearen Modell entspricht das 25 Prozent gemeinsamer Varianz von Prädiktor und Kriterium. Daraus folgen weder 25 Prozent Trefferquote noch automatisch ein bestimmter finanzieller Nutzen.
Was die aktuelle Forschung verändert hat
Die Übersicht von Schmidt und Hunter aus dem Jahr 1998 war für die Personalauswahl prägend. Sie berichtete unter anderem eine korrigierte Validität von 0,51 für allgemeine kognitive Fähigkeit. Diese Zahlen sollten aber nicht mehr als unangefochtener aktueller Konsens dargestellt werden.
Sackett, Zhang, Berry und Lievens zeigten 2022, dass ältere Metaanalysen Validitäten durch problematische Korrekturen der Varianzeinschränkung teilweise deutlich überschätzt hatten. In ihrer Neubewertung lag das strukturierte Interview mit einer mittleren korrigierten Validität von etwa r = 0,42 vorn; für allgemeine kognitive Fähigkeit ergab sich auf Basis älterer Daten etwa r = 0,31. Für strukturierte Interviews berichten die Autoren zugleich ein 80-Prozent-Kredibilitätsintervall von etwa 0,18 bis 0,66. Der Mittelwert ist also keine Garantie für jedes Interview.
Eine Metaanalyse mit Daten aus dem 21. Jahrhundert kam für allgemeine kognitive Fähigkeit und die Vorhersage der Gesamtleistung auf eine beobachtete mittlere Validität von 0,16 und eine korrigierte mittlere Validität von 0,22. Das widerlegt nicht ihre Vorhersagekraft. Es korrigiert aber die Vorstellung, sie müsse automatisch der dominante Baustein jedes Auswahlprozesses sein.
Jobnahe Verfahren schneiden relativ stärker ab: strukturierte Interviews, Arbeitsproben, Arbeitswissenstests und Assessment-Center gehören zu den stärkeren Prädiktoren. Eine schlecht konstruierte Arbeitsprobe bleibt trotzdem schlecht. Ausgangspunkt muss ein belastbares Anforderungsprofil sein. Eine Einordnung findest du im Beitrag zur Definition und Methodik von Eignungsdiagnostik.
Warum aus Validität keine Trefferquote folgt
Aus r = 0,20, 0,50 oder 0,65 folgen nicht automatisch Trefferquoten von 60, 75 oder 82 Prozent. Dafür brauchst du mindestens:
- Basisrate: Wie viele Bewerber wären ohne das Verfahren erfolgreich?
- Selektionsquote: Welcher Anteil wird eingestellt?
- Erfolgskriterium: Was zählt als Erfolg und wie zuverlässig wird es gemessen?
- Grenzwerte: Ab welchem Testwert wird ausgewählt und ab welchem Leistungswert gilt jemand als erfolgreich?
- Modellannahmen: Welche Verteilungen und Zusammenhänge werden angenommen?
Taylor-Russell-Modelle verbinden Validität, Basisrate und Selektionsquote unter expliziten Annahmen. Genau deshalb verzichte ich hier auf scheinbar präzise Trefferquoten. Wer eine Quote nennt, ohne die Annahmen offenzulegen, liefert keine belastbare Entscheidungsgrundlage.
Objektivität: Hängt das Ergebnis vom Auswertenden ab?
Objektivität beschreibt, wie unabhängig ein Ergebnis von der Person ist, die das Verfahren durchführt, auswertet oder interpretiert:
- Durchführungsobjektivität: Erhalten Bewerber vergleichbare Bedingungen und Fragen?
- Auswertungsobjektivität: Werden Antworten nach eindeutigen Regeln in Punktwerte übersetzt?
- Interpretationsobjektivität: Führen dieselben Werte zu vergleichbaren Schlussfolgerungen?
Strukturierte Interviews verbessern diese Bedingungen durch anforderungsbezogene Fragen, einheitliche Nachfragen, verhaltensverankerte Skalen und geschulte Interviewer. Mehr dazu im Beitrag zum strukturierten Interview in der Personalauswahl.
Fairness: Qualität ist mehr als Vorhersage
Ein Verfahren kann im Durchschnitt valide sein und dennoch bestimmte Gruppen systematisch benachteiligen oder schlecht zugänglich sein. Deshalb gehören Fairness, Barrierefreiheit, Gruppenunterschiede und mögliche Vorhersageverzerrungen in die Verfahrensprüfung. Ein sinnvoller Methodenmix berücksichtigt Anforderungsbezug, Vorhersage, Diversität, Akzeptanz und Umsetzbarkeit gemeinsam.
DIN 33430: Prozessnorm, kein Test-Aufkleber
Die DIN 33430 formuliert Qualitätsanforderungen für die Auswahl, Planung, Durchführung und Auswertung berufsbezogener Eignungsbeurteilungen. Sie ist eine Prozessnorm. Sie erklärt nicht automatisch einen einzelnen Test für „DIN-zertifiziert“ oder in jeder Anwendung für valide.
Eine Personenlizenz weist Kenntnisse für eine bestimmte Rolle im eignungsdiagnostischen Prozess nach. Sie ersetzt weder das Anforderungsprofil noch die Evidenz für das konkrete Verfahren, die Schulung der Beobachter oder eine saubere Dokumentation. Mehr dazu im Beitrag zur DIN 33430 in der Eignungsdiagnostik.
Die acht Fragen, die Anbieter beantworten müssen
- Für welche Zielgruppe, Tätigkeiten und Hierarchieebenen wurde das Verfahren untersucht?
- Welches Erfolgskriterium wurde vorhergesagt und wie zuverlässig wurde es gemessen?
- Wie groß und wie ähnlich zur eigenen Zielgruppe war die Stichprobe?
- Handelt es sich um beobachtete oder korrigierte Validität? Welche Korrekturen wurden verwendet?
- Welche Form der Reliabilität wird berichtet?
- Wie werden Durchführung, Bewertung und Interpretation standardisiert?
- Welche Befunde liegen zu Fairness und Barrierefreiheit vor?
- Welche lokale Evidenz spricht dafür, dass das Verfahren in genau diesem Kontext funktioniert?
„Unsere Validität ist hoch“ beantwortet keine dieser Fragen. Ein professioneller Anbieter kann Testmanuale, Studien, Stichproben, Kennwerte und Grenzen benennen.
Wirtschaftlicher Nutzen ohne Scheinpräzision
Bei 150.000 Euro Jahresgehalt und angenommenen Fehlbesetzungskosten von 1,5 Jahresgehältern beträgt der Schaden 225.000 Euro. Der erwartete Nutzen eines besseren Verfahrens hängt davon ab, um wie viele Prozentpunkte es die Fehlbesetzungswahrscheinlichkeit tatsächlich senkt und welche Verfahrenskosten entstehen. Diese Senkung lässt sich nicht aus dem Validitätskoeffizienten allein ableiten. Mehr dazu im Beitrag zur ehrlichen Kostenrechnung einer Fehlbesetzung.
Quellen und weiterführende Forschung
- Sackett, Zhang, Berry & Lievens (2022): Revisiting meta-analytic estimates of validity in personnel selection.
- Sackett, Zhang, Berry & Lievens (2023): Revisiting the design of selection systems.
- Sackett et al. (2024): A contemporary look at general cognitive ability and job performance.
- Berry, Lievens, Zhang & Sackett (2024): Updated personnel selection meta-analytic matrix.
- Schmidt & Hunter (1998): The validity and utility of selection methods – historisch wichtig, heute im Licht neuer Daten zu lesen.
- Taylor & Russell (1939): Validity coefficients and practical effectiveness.
- DIN-33430-Portal: Prozessnorm und Personenlizenzierung.
Der belastbare Standard für Auswahlentscheidungen
Ein guter Auswahlprozess hängt nicht an einer magischen Zahl und nicht an einem einzelnen „besten“ Test. Er beginnt mit klaren Anforderungen, kombiniert unterschiedliche und anforderungsnahe Informationsquellen, standardisiert Bewertung und Entscheidung und dokumentiert die Grenzen der Evidenz.
Wenn du eine konkrete Führungsbesetzung methodisch sauber aufsetzen möchtest, findest du hier meine Arbeit in der Management- und Eignungsdiagnostik. Oder du schreibst mir direkt für ein unverbindliches Erstgespräch.
