La restriction de la variance

Un thème de recherche central en psychologie du travail consiste à évaluer le lien entre des méthodes de sélection des personnes (mises en situation, tests d’aptitudes cognitives, questionnaires de personnalité, etc.) et la performance professionnelle.

Etudes de validité prédictive vs. concourante

Une étude de validité critérielle vise à évaluer le lien entre un prédicteur x (ici, une méthode de sélection) et un critère y (ici, la performance professionnelle). On distingue deux cas de figure, selon que le critère est déjà disponible ou non au moment où l’on mesure le prédicteur.

Dans une étude de validité prédictive, on administre la méthode de sélection (ex : un test de connaissances) à des candidats dont par définition, on ne connaît pas encore la performance professionnelle future sur le poste en question. Après la sélection, on calcule la corrélation entre les scores au prédicteur et la performance observée chez les personnes recrutées. Dans une étude de validité concourante, la méthode est administrée à des personnes déjà en poste, pour lesquelles une évaluation de la performance existe déjà.

Ces deux types d’études sont confrontés à un problème méthodologique bien connu : la restriction de la variance (range restriction) du prédicteur. En effet, la corrélation (rxy) entre le prédicteur (x) et la performance (y) est calculée uniquement sur les personnes en poste, car la performance des candidats non sélectionnés est inconnue. Autrement dit, rxy est calculée à partir d’un ensemble restreint des scores au prédicteur (ceux des personnes en poste), et non à partir de l’ensemble initial des candidats. Cette restriction de la variance du prédicteur entraîne une sous-estimation de rxy. Des méthodes de correction ont été proposées dès le début du 20e siècle, notamment par Pearson [1].

Restriction directe et indirecte de la variance

La restriction de la variance du prédicteur peut être directe ou indirecte.

Restriction directe de la variance

Dans les études de validité prédictive, si la sélection des candidats repose uniquement sur le prédicteur x (seuls ceux qui ont un score supérieur à une valeur seuil sont sélectionnés), la restriction de la variance est directe. Dans ce cas, la variance de x est mécaniquement réduite parmi les personnes en poste.

Prenons comme exemple un poste dans l’armée pour lequel les candidats sont sélectionnés uniquement sur la base de leur score à un test d’aptitudes (dont la moyenne est 100 dans la population). Imaginons que 50 candidats passent ce test, tous sont finalement recrutés, puis on mesure leur performance dans ce poste après un an (sur une échelle de 80 à 120). La figure 1 montre la corrélation entre les scores au test et la performance. Calculée sur l’ensemble des candidats (points bleus), cette corrélation (rxy) est de 0.65.

Dans la réalité, seule une partie des candidats sont recrutés. Imaginons que seuls ceux qui ont un score supérieur à 105 soient sélectionnés (points verts sur la figure 2). Calculée sur les personnes sélectionnées, rxy est de 0.52. La sélection a réduit la variance de x (ces personnes ont toutes des scores élevés au test) et par là même rxy.

Lorsque la restriction de la variance est directe, la formule de Thorndike cas 2 [2] permet de corriger rxy en considérant le ratio entre l’écart-type (SD) des scores à x dans le pool initial de candidats (SDx non restreint) et cet écart-type dans le groupe des personnes en poste (SDx restreint). Ce ratio (SDx non restreint / SDx restreint) est appelé U ratio (ou Ux). Plus ce ratio est élevé, plus la restriction de la variance est forte, et donc plus la vraie valeur de la corrélation (ρxy) est sous-estimée.

Un exemple est le processus de recrutement chez Google où les candidats passent plusieurs entretiens structurés [3]. Les réponses d’un candidat dans chaque entretien sont évaluées (sous la forme d’une note entre 0 et 4) par au moins deux personnes de Google, et le score du candidat correspond à la moyenne des notes des évaluateurs. On comprend à la lecture du livre Work Rules! de l’ancien DRH de Google Laszlo Bock que les candidats sont essentiellement recrutés suivant ce score (le prédicteur).

Google fournit à chaque évaluateur un feedback sur ses entretiens : le croisement entre les notes qu’il a attribuées aux candidats et la décision finale (le candidat a-t-il été recruté ou non ?). La figure ci-dessous montre un exemple de feedback d’un évaluateur. Les parties en gris claire et gris foncé des barres correspondent respectivement au nombre de candidats qui ont été recrutés et au nombre de candidats qui n’ont pas été recrutés.

On devine que les candidats qui ont été recrutés ont un score moyen supérieur à ceux non recrutés, mais surtout que la variance de leurs scores est plus réduite (les parties en gris claire sont moins réparties sur l’échelle des scores que les parties en gris foncé). Ceci illustre le fait que la variance du prédicteur (le score aux entretiens) est réduite parmi les candidats recrutés.

Restriction indirecte de la variance

Dans les études de validité prédictive, si la sélection des candidats repose sur un prédicteur global (z) qui regroupe plusieurs méthodes de sélection (CV, entretien, tests, etc.) dont x fait partie ou non, la restriction de la variance est indirecte. Dans ce cas, la sélection affecte moins la variabilité des scores à x dans le groupe des personnes sélectionnées.

Dans les études de validité concourante, la restriction de la variance est toujours indirecte, car les personnes en poste ont été antérieurement sélectionnées suivant un prédicteur global (z), qui est souvent une combinaison de méthodes, et dont il est peu probable qu’elle corresponde exactement au prédicteur étudié (x).

Lorsque la restriction de la variance est indirecte, son ampleur dépend de la corrélation rzx : plus z et x sont liés, plus la sélection réduit la variance des scores à x parmi les personnes en poste, et donc plus rxy doit être corrigée. Considérons les 2 cas suivants :

Cas 1. Une entreprise avait pour habitude de recruter ses commerciaux avec un test de jugement situationnel où les scénarios sont présentés sous forme écrite (le prédicteur z). Elle souhaite le remplacer par un nouveau test de jugement situationnel où les scénarios sont présentés sous forme de vidéos (le prédicteur x). Celui-ci est administré aux commerciaux en poste. Comme ces deux méthodes sont similaires (il s’agit du même test avec des contenus différents), la corrélation (rzx) entre les scores aux deux versions du test est élevée, et la sélection réduit la variance des scores à z et à x parmi les commerciaux en poste.

Cas 2. Cette entreprise souhaite remplacer le test de jugement situationnel initial par un entretien structuré (le prédicteur x). Cet entretien est administré aux commerciaux en poste. Comme ces deux méthodes sont très différentes, rzx est moins élevée. Ici, la variance des scores à z (le score au test de jugement situationnel) est réduite parmi les commerciaux en poste, mais la variance des scores à x (la note globale à l’entretien structuré) est quant à elle moins réduite.

En reprenant l’exemple du poste dans l’armée, imaginons que les personnes en poste aient été sélectionnées sur la base de leur évaluation par un gradé suite à un entretien (z). Comme cette méthode est différente du test d’aptitudes (x), rzx est modérée ou faible, et la variance des scores à x est moins réduite par la sélection. On voit en effet que les personnes sélectionnées (points verts) ont des scores plus variables au test dans la figure 3 que dans la figure 2. Ici, rxy est de 0.67 (vs. 0.52 dans le cas de la restriction directe de la variance).

Dans une meta-analyse récente, Sackett et al. [4] montrent qu’une restriction indirecte de la variance est nettement moins forte qu’une restriction directe.

Prenons un exemple de restriction directe : on étudie un prédicteur x et les candidats sont sélectionnés uniquement suivant ce prédicteur. En posant SDx non restreint = 1.0, un taux de sélection de 30 % réduit la variance de x de 48 % (SDx restreint = 0.52), et un taux de sélection de 10 % réduit la variance de x de 59 % (SDx restreint = 0.41).

Prenons maintenant un exemple de restriction indirecte : on étudie un prédicteur x, mais les personnes en poste ont été sélectionnées suivant un prédicteur z. Si x et z sont corrélés à 0.50, un taux de sélection de 10 % réduit la variance de x de 11 % seulement (SDx restreint = 0.89). Et même si rzx est très élevée (0.80), la restriction de la variance n’est pas drastique (SDx restreint = 0.68).

Sackett et al. soulignent que les méthodes de sélection corrèlent au mieux à 0.50 et que la plupart de ces corrélations sont bien inférieures, donc rzx se situe le plus souvent entre 0 et 0.50. Par ailleurs, Sackett [4, 5] fait valoir que le cas 2 décrit ci-dessus est plus fréquent que le cas 1. Il y a donc de bonnes raisons de penser que rzx est modérée ou faible dans la plupart des cas.

Corriger ou ne pas corriger

Dans les meta-analyses, la pratique courante consiste à déterminer la valeur moyenne du U ratio à partir des études où SDx restreint et SDx non restreint sont connus, et à utiliser cette information pour corriger rxy. Ces études sont nécessairement des études de validité prédictive, où SDx non restreint est connu (les études de validité concourante portent sur les personnes en poste et non sur les candidats donc seul SDx restreint est connu).

Or, comme on l’a vu, le U ratio a tendance à être plus élevé dans les études de validité prédictive que dans les études de validité concourante. Dans les meta-analyses qui incluent ces deux types d’études, il est donc inadéquat de corriger systématiquement rxy en utilisant le même U ratio. Une telle pratique amène à surestimer rxy dans les études de validité concourante.

Sackett et al. proposent ainsi un principe d’estimation conservatrice qui consiste à ne pas corriger rxy dans les cas où une telle correction n’est pas adéquate. Concrètement, rxy n’est pas corrigée dans les études de validité concourante. Cette absence de correction n’est pas problématique, car comme on l’a vu, ces études impliquent une restriction indirecte de la variance dont l’ampleur est négligeable.

Ces auteurs montrent que même dans des conditions favorables à une restriction indirecte de la variance, à savoir une corrélation de 0.50 entre le prédicteur étudié (x) et le prédicteur réellement utilisé pour la sélection (z), et un taux de sélection de 5 %, la correction de la restriction de la variance n’augmente en moyenne que de 0.02 les valeurs non corrigées de rxy (la plus haute augmentation étant de 0.04).

Une estimation conservatrice de la validité est la raison pour laquelle Sackett et al. rapportent des estimations de rxy pour les différentes méthodes de sélection qui sont plus faibles que celles de Schmidt et Hunter [6]. Certains ont vu dans ce principe une recommandation de ne pas corriger rxy dans les études de validité concourante [7]. Mais la position de Sackett et al. est plus nuancée : lorsque le U ratio est déterminé à partir des études de validité prédictive, on ne peut pas appliquer la même correction dans ces études et celles de validité concourante.

D’ailleurs, Sackett et al. passent en revue d’autres possibilités pour estimer le U ratio :

• Le dériver à partir du taux de sélection (mais cela implique des hypothèses fortes, en particulier celle que la sélection des candidats repose uniquement sur le prédicteur étudié) ;
• Utiliser la moyenne de SDx restreint sur plusieurs échantillons de personnes en poste comme une estimation de SDx non restreint ;
• Utiliser les étalonnages publiés par un éditeur de tests pour estimer SDx non restreint (par exemple, si le prédicteur étudié est un test d’aptitudes et que ce test a été étalonné par un éditeur, on peut utilement se rapporter aux écarts-types des scores indiqués dans le manuel) ;
• Décider a priori de la distribution du U ratio.

Conclusion

La restriction de la variance désigne le fait que l’écart-type (SD) des scores au prédicteur étudié (x) est plus faible parmi les personnes en poste (SDx restreint) que dans le pool initial de candidats (SDx non restreint). Ce phénomène fait que la corrélation (rxy) entre x et la performance professionnelle (y) est sous-estimée.

Dans les meta-analyses, la pratique consiste à rehausser rxy, mais Sackett et al. avancent que cette correction est en réalité trop forte. Leur raisonnement est le suivant :

• Par définition, SDx non restreint est connu seulement dans les études de validité prédictive. La distribution du U ratio (SDx non restreint / SDx restreint) est donc déterminée seulement à partir de ces études.
• Dans les études de validité prédictive, la restriction de la variance peut être directe. Dans ce cas, SDx restreint est substantiellement inférieur à SDx non restreint, donc le U ratio est élevé.
• Dans les études de validité concourante, la restriction de la variance est toujours indirecte. Dans ce cas, SDx restreint n’est pas très inférieur à SDx non restreint, donc le U ratio est plus faible.
• Le U ratio est donc globalement plus élevé dans les études de validité prédictive que dans les études de validité concourante.
• Dans les meta-analyses qui incluent ces deux types d’études, il est donc inadéquat de corriger systématiquement rxy en utilisant le même U ratio. Une telle pratique amène à surestimer rxy dans les études de validité concourante.
• Dans le doute, il est plus raisonnable de ne pas corriger rxy dans les études de validité concourante (mieux vaut sous-estimer que surestimer cette corrélation).

Toute meta-analyse repose sur des postulats et des choix méthodologiques qui en impactent les résultats. La restriction de la variance est un phénomène clé dans l’étude du lien entre les méthodes de recrutement et la performance professionnelle, et les choix concernant la correction de ce phénomène sont déterminants.

Plus de 20 ans séparent la meta-analyse de Schmidt et Hunter [6] et celle de Sackett et al. Gageons que la prochaine meta-analyse de référence produira des résultats différents car les méthodes et les postulats auront évolué entre temps. C’est le propre de la démarche scientifique.

Références

[1] Pearson, K. (1903). I. Mathematical contributions to the theory of evolution—XI. On the influence of natural selection on the variability and correlation of organs. Philosophical Transactions of the Royal Society of London. Series A, Containing Papers of a Mathematical or Physical Character, 200(321–330), 1–66.

[2] Thorndike, R. L. (1949). Personnel selection: Test and measurement techniques. New York: Wiley.

[3] Bock, L. (2015). Work rules!: Insights from inside Google that will transform how you live and lead. New York, NY: Twelve.

[4] Sackett, P. R., Zhang, C., Berry, C. M., & Lievens, F. (2022). Revisiting meta-analytic estimates of validity in personnel selection: Addressing systematic overcorrection for restriction of range. Journal of Applied Psychology, 107(11), 2040–2068.

[5] Sackett, P. R., Berry, C. M., Lievens, F., & Zhang, C. (2023). Correcting for range restriction in meta-analysis: A reply to Oh et al. (2023). The Journal of applied psychology, 108(8), 1311–1315.

[6] Schmidt, F. L., & Hunter, J. E. (1998). The validity and utility of selection methods in personnel psychology: Practical and theoretical implications of 85 years of research findings. Psychological Bulletin, 124(2), 262–274.

[7] Oh, I.-S., Le, H., & Roth, P. L. (2023). Revisiting Sackett et al.’s (2022) rationale behind their recommendation against correcting for range restriction in concurrent validation studies. Journal of Applied Psychology, 108(8), 1300–1310.