Validität, Reliabilität, Objektivität: So erkennst du als Geschäftsführer ein gutes Auswahlverfahren

Im Markt der Eignungsdiagnostik begegnen sich seriöse Methoden und teure Spielereien praktisch ohne Etiketten. Ein Anbieter behauptet, sein Verfahren „funktioniere“ – aber was heißt das? Ein Persönlichkeitstest verspricht „einzigartige Einsichten“ – aber sind die wahr? Eine Beratung wirbt mit „wissenschaftlich fundierter Methodik“ – aber woran erkennt man das?

Die Antworten liegen in drei Begriffen, die in der Personalpsychologie seit Jahrzehnten als Gütekriterien bezeichnet werden: Validität, Reliabilität und Objektivität. Wer sie versteht, kann seriöse von unseriösen Verfahren in unter zwei Minuten unterscheiden. Wer sie nicht versteht, ist auf Marketingversprechen angewiesen.

Reliabilität: Misst das Verfahren stabil?

Reliabilität ist die Zuverlässigkeit einer Messung. Konkret: Wenn dieselbe Person das Verfahren zweimal durchläuft, kommt zweimal das gleiche Ergebnis heraus? Reliabilität wird in einem Wert zwischen 0 und 1 ausgedrückt. Werte ab 0,7 gelten als brauchbar, ab 0,8 als gut, ab 0,9 als hervorragend.

Bei Persönlichkeitsfragebögen wie dem BIP oder NEO-PI-R liegen die Reliabilitäten typischerweise zwischen 0,82 und 0,93. Bei MBTI – dem in der Praxis weit verbreiteten Typenmodell – liegt die Test-Retest-Reliabilität für die Typenzuordnung bei rund 0,5. Das bedeutet: Wenn du den MBTI heute machst und in vier Wochen wiederholst, liegt deine Wahrscheinlichkeit, denselben Typ zu bekommen, bei ungefähr 50 Prozent. Mehr dazu im Beitrag zu Persönlichkeitstests in der Personalauswahl.

Niedrige Reliabilität heißt: Du würfelst zwar mit besser aussehender Optik, aber im Kern würfelst du.

Validität: Misst das Verfahren das Richtige?

Validität ist die Gültigkeit einer Messung. Konkret: Misst das Verfahren tatsächlich, was es zu messen vorgibt? In der Personalauswahl interessiert besonders die prädiktive Validität – also der Zusammenhang zwischen dem Ergebnis im Auswahlverfahren und dem späteren beruflichen Erfolg.

Auch Validität wird in Korrelationskoeffizienten zwischen 0 und 1 ausgedrückt. Für Auswahlverfahren gelten als grobe Richtwerte:

• 0,1 bis 0,2: marginale Vorhersagekraft (etwa unstrukturierte Vorstellungsgespräche)
• 0,2 bis 0,3: schwache Vorhersagekraft (Lebenslaufanalyse, Referenzgespräche)
• 0,3 bis 0,5: mittlere Vorhersagekraft (Persönlichkeitstests, halbstrukturierte Interviews)
• 0,5 bis 0,65: starke Vorhersagekraft (strukturierte Interviews, Einzel-Assessments, kognitive Leistungstests)

Eine multimethodische Kombination kann Werte um 0,65 erreichen – das ist das praktische Maximum. Schmidt und Hunter haben in ihrer häufig zitierten Metaanalyse gezeigt, dass die Kombination strukturierter Interviews mit kognitiven Tests die höchste Validität aller Verfahrenskombinationen liefert.

Validität von 0,5 ist nicht trivial. Sie bedeutet, dass das Verfahren rund 25 Prozent der späteren Berufserfolgsvarianz erklärt – das Vier- bis Sechsfache eines unstrukturierten Interviews.

Objektivität: Ist das Ergebnis unabhängig vom Auswerter?

Objektivität ist die Unabhängigkeit der Messung von der durchführenden Person. Drei Dimensionen sind relevant:

• Durchführungsobjektivität: Läuft das Verfahren bei verschiedenen Anwendern gleich ab?
• Auswertungsobjektivität: Kommen verschiedene Auswerter beim selben Datensatz zum gleichen Ergebnis?
• Interpretationsobjektivität: Kommen verschiedene Personen zur selben inhaltlichen Schlussfolgerung?

Hohe Objektivität ist die Voraussetzung dafür, dass Personen unterschiedlicher Beobachter überhaupt vergleichbar bewertet werden. Sie ist auch der Grund, warum strukturierte Interviews den unstrukturierten in Sachen Bias-Reduktion deutlich überlegen sind – mehr dazu im Beitrag zum strukturierten Interview in der Personalauswahl.

Fairness als viertes Kriterium

Neben den drei klassischen Gütekriterien gewinnt ein viertes zunehmend an Gewicht: Fairness. Ein Verfahren ist fair, wenn es bestimmte Bewerbergruppen nicht systematisch benachteiligt – etwa nach Geschlecht, Alter, Migrationshintergrund oder Behinderung. Fairness ist nicht nur ein ethisches Anliegen, sondern in der Eignungsdiagnostik ein zentraler Baustein der DIN 33430. Mehr dazu im Beitrag zur DIN 33430 als Qualitätssiegel professioneller Eignungsdiagnostik.

Fairnessdaten lassen sich prüfen – ein professioneller Anbieter sollte sie zu seinen Verfahren liefern können. Wer das nicht kann, arbeitet nicht auf dem Stand der heutigen Methodenlage.

Was Validitätswerte konkret bedeuten

Eine Validität von 0,5 klingt mickrig – ist sie aber nicht. Eine konkrete Veranschaulichung: Stell dir vor, du hast 100 Bewerber, von denen 50 später beruflich erfolgreich sein werden und 50 nicht. Mit Bauchgefühl (Validität ~0,2) erkennst du etwa 60 Prozent der Erfolgreichen. Mit einem strukturierten Auswahlverfahren (Validität ~0,5) sind es rund 75 Prozent. Mit einer multimethodischen Kombination (Validität ~0,65) bist du bei 82 Prozent.

Diese 22 Prozentpunkte Differenz zwischen Bauchgefühl und multimethodischer Diagnostik sind der größte ROI-Hebel im Auswahlprozess überhaupt. In Euro umgerechnet: bei einer Führungsposition mit 150.000 Euro Jahresgehalt und einer typischen Fehlbesetzung von 1,5 Jahresgehältern ist das ein Schaden, der pro Jahr und Position eingespart werden kann. Mehr zur Kostenrechnung im Beitrag zur ehrlichen Kostenrechnung einer Fehlbesetzung.

Wie du als Geschäftsführer prüfst

Wenn dir ein Anbieter ein Auswahlverfahren oder ein Persönlichkeitsverfahren empfiehlt, kannst du die Gütekriterien in einem kurzen Gespräch prüfen. Diese vier Fragen reichen:

• Welche Reliabilität hat das Verfahren? Erwarte einen Wert. „Hoch“ ist keine Antwort.
• Welche prädiktive Validität hat es? Erwarte einen Korrelationswert oder eine Studienlage.
• Wie ist die Objektivität gesichert? Standardisierte Durchführung, geschulte Auswerter, Mehraugenprinzip?

Wer auf diese drei Fragen keine konkreten Antworten gibt, hat entweder das Verfahren nicht durchdrungen oder verkauft etwas, das die Werte nicht hat. In beiden Fällen solltest du nicht kaufen.

Sechs Tipps zur Verfahrensprüfung

• Frag nach konkreten Reliabilitäts- und Validitätswerten, nicht nach „wissenschaftlich fundiert“.
• Verlange Studien oder Testmanuale, in denen die Werte dokumentiert sind. Etablierte Verfahren haben das.
• Misstraue Typenmodellen. Sie haben fast immer schwache Reliabilität und Validität.
• Prüfe die Auswertenden auf Personenlizenzen nach DIN 33430 oder vergleichbaren Standards.
• Setze auf multimethodische Kombination, nicht auf ein einzelnes „Genialverfahren“. Validität erhöht sich durch den multimodalen Ansatz.
• Verlange schriftliche Befundberichte mit Begründungen. Nur was schriftlich dokumentiert ist, ist später überprüfbar.

Vom Marketingversprechen zur belastbaren Methodik

Validität, Reliabilität und Objektivität sind keine Pingeligkeiten der Personalpsychologie, sondern die einzig verlässliche Sprache, in der über die Qualität von Auswahlverfahren überhaupt sprechbar ist. Wer als Geschäftsführer diese drei Begriffe versteht und einsetzt, hat in jedem Beratungsgespräch zur Eignungsdiagnostik den entscheidenden Filter zur Hand – und kann sich nicht mehr durch Marketing blenden lassen.

Wenn du für eine konkrete Führungsbesetzung eine methodisch saubere Auswahl mit nachweislich validen Verfahren möchtest, schau dir meine Arbeit als zertifizierter Eignungsdiagnostiker mit qualitätsgesicherten Verfahren an oder schreib mir direkt für ein unverbindliches Erstgespräch.