Fidélité et validité du test psychométrique
Notre test psychométrique est fiable et a été validé scientifiquement
En tant qu’éditeur de tests, nous accordons beaucoup d’importance à la validité et à la fidélité des tests que nous développons. Notre test psychométrique AFC Compétences Génériques est fiable et a été validé scientifiquement grâce à des méthodes différentes et reconnues. Plusieurs vont vous dire que leur test a été validé, mais ils fournissent peu de détails sur les méthodes utilisées…car, en faits, elles sont trop souvent très sommaires! Ce sont des détails qui sont pourtant importants lorsque vous choisissez un test, car ils font la différence entre un test validé sommairement et un qui l’est réellement selon différentes techniques reconnues. Voici donc le détail des éléments qui appuient la fidélité et la validité de notre test.
Ce qui différencie notre test psychométrique de la concurrence
| NOTRE TEST | PLUSIEURS CONCURRENTS |
|---|---|
| Nous avons prouvé scientifiquement que ce que nous mesurons est directement relié à la performance (telle qu’évaluée par plus de 70 superviseurs pour plus de 400 travailleurs dans 20 entreprises différentes (cadres, commis à la vente au détail, éducatrices en garderie, comptables, professions associées au génie, commis d’entreposage, commis de bureau, etc.) et à la satisfaction en emploi (près de 800 travailleurs de 150 professions différentes). Le tout a été validé avec des outils de première qualité issus de l’Université du Minnesota. | Pas de preuve scientifique convaincante établie quant aux conséquences concrètes sur la réussite en emploi. Lorsque des études ont été réalisées, la qualité des outils utilisés et l’étendue de l’échantillonnage peuvent être très variables |
| Fidélité médiane de cohérence interne (alpha de Cronbach) des 18 éléments de base très élevée (,81). Toutes ces 18 échelles de base ont des coefficients supérieurs à ,70. Par conséquent, la façon dont nous posons nos questions pour en arriver à des résultats est très cohérente et la très grande majorité des gens disent que les résultats représentent très bien qui ils sont. | Fidélité médiane variable d’un test à l’autre |
| Échantillonnage normatif de 15 000 Canadiens, hommes et femmes de 16 à 72 ans en ce qui à trait à la plupart des 18 échelles de base (représentant toute l’étendue de la population active canadienne). Représentativité des normes très élevée et réduction très significative de la marge d’erreur. | L’échantillonnage normatif est la plupart du temps composé de quelques centaines de personnes, souvent d’autres pays. La représentativité des normes peut donc être plus ou moins élevée, selon le test utilisé. |
| Conçu par un psychologue organisationnel. Révisé en collaboration avec un docteur et enseignant universitaire en psychométrie. | Habituellement conçu et révisé par des spécialistes reconnus en psychologie ou en psychométrie, bien que ce ne soit pas toujours le cas. |
| Plusieurs se demandent si le fait que quelqu’un qui complète le test puisse répondre au test afin de bien paraître (désirabilité sociale) au point où cela diminuerait la validité prédictive de performance de l’outil. Nous avons donc réalisé une étude à cet effet auprès de plus de 400 personnes. Afin de créer des conditions favorables de désirabilité sociale, nous avons clairement indiqué dans le protocole de recherche que leur superviseur recevrait les résultats de leur test individuel et avons utilisé l’échelle de Marlowe-Crowne de 20 items afin de la mesurer. Cela nous a permis de créer des conditions favorables, car le score moyen de désirabilité sociale pour l’échantillon fut assez élevé (près de 15/20). L’effet de la désirabilité sociale n’a pas empêché les éléments que nous mesurons de prédire la performance en emploi (pas de rôle modérateur), telle qu’évaluée par les superviseurs eux-mêmes. C’est donc dire nos échelles aidaient à prédire la performance en emploi peu importe si le niveau de désirabilité sociale était élevé ou non. | Aucune étude faite en ce sens pour leur propre test, et encore moins dans un contexte canadien ou québécois. |
| Des études de convergence et de critères ont démontré des liens pertinents avec des éléments clés de la psychologie organisationnelle tels que les valeurs de carrière, les besoins de carrière, le sentiment d’efficacité personnelle généralisé (échelle de Schwarzer), l’estime de soi (échelle de Rosenberg), la satisfaction de vie (Diener), les cinq grands facteurs de la personnalité (communément appelé les « Big Five », et tels que mesurés par la version courte d’un test reconnu en la matière), les intérêts professionnels (RIASEC), etc. | Pas nécessairement d’études de validité de convergence ou de critères réalisées. Le cas échéant, les échantillons ne sont pas nécessairement représentatifs de la population canadienne et québécoise |
| Une étude longitudinale réalisée de 2000 à 2012 a démontré que le facteur temps pris isolément entre deux passations de test n’a qu’une influence négligeable sur le développement de ces compétences. Elles peuvent toutefois être développées, mais des éléments significatifs autres que le facteur temps sont requis afin de pouvoir les développer de façon importante. Une étude réalisé en 2014 a également démontré que l’âge ou le nombre d’années en poste n’ont pas d’influence importante non plus. | Effet du temps, de l’âge et autres éléments semblables variable. |
Voici en bref les éléments qui supportent la validité et la fidélité de notre test :
- il fut conçu et révisé par des experts. Il fut tout d’abord créé par Claude Rousseau, psychologue organisationnel et enseignant à l’Université du Québec à Trois-Rivières et fut révisé ensuite en collaboration avec Dr. Yann Le Corff, Ph.D., conseiller d’orientation, responsable de la maîtrise en orientation et enseignant universitaire en psychométrie à l’Université de Sherbrooke. Seuls les items appartenant à leur échelle tant au niveau théorique qu’empirique ont été retenus dans le questionnaire (validité d’apparence et de contenu);
- il repose sur une théorie reconnue. Notre test mesure principalement des compétences génériques. Celles-ci furent initialement explorées par Sasi Misra de l’Université de Mumbai et Rabindra Kanungo de l’Université McGill et trouvent leur source théorique dans le béhaviorisme (théories sociocognitive et cognitivo-comportementale). Cette théorie est largement reconnue et utilisée en psychologie organisationnelle (validité théorique);
- il est très cohérent. La façon dont nous posons nos questions est très cohérente. Par conséquent, les résultats le sont aussi. Notre test vous fournit une fidélité médiane de cohérence interne (alpha de Cronbach) de plus de ,80 pour les 18 échelles de base (la plupart se situant entre ,76 et ,83). À titre comparatif, plusieurs tests populaires qui ont un nombre d’échelles comparables se situent fréquemment à environ à ,70, ce qui les rend moins cohérents (fidélité de cohérence interne);
- il a été validé sur un échantillon très étendu et représentatif. Notre échantillonnage normatif est très étendu et représentatif. Pour la majorité des échelles, il est composé de statistiques récentes de 15 000 Canadiens, hommes et femmes de 16 à 72 ans. À titre comparatif, plusieurs tests populaires ont des échantillons normatifs de quelques centaines de personnes (souvent Américaines), ce qui augmente leur marge d’erreur (qualité et représentativité des normes);
- il a des liens importants tant avec la satisfaction que la performance en emploi des personnes évaluées (validité critériée). Des employés satisfaits au travail sont moins à risque d’avoir l’intention de quitter leur emploi. Des employés considérés performants au travail et satisfaisants par leur superviseur risquent moins de perdre leur emploi. Ce sont donc deux éléments reliés directement au roulement de personnel.
Pour ce faire, nous nous sommes dotés d’outils scientifiques solides, validés, reconnus et créés par l’Université du Minnesota (le Minnesota Satisfaction Questionnaire pour la satisfaction en emploi et le Minnesota Satisfactoriness Scales pour l’évaluation de performance de l’employé et de la satisfaction générale des superviseurs à leur égard). Les échantillons de ces études sont significatifs (satisfaction en emploi, échantillon de près de 800 travailleurs occupant près de 150 postes différents; performance en emploi : échantillon de près de 400 travailleurs couvrant un large spectre de professions, provenant de près de 20 entreprises différentes et évalués par un peu plus de 70 superviseurs au total). De plus, notre test est relié à des éléments de performance contextuelle, telles que la coopération en travail d’équipe, la conformité aux normes, l’altruisme envers les collègues, l’esprit sportif (faire le travail sans se plaindre) et la loyauté envers l’entreprise, telles que mesurées par les échelles de performance contextuelle de Charbonnier, Silva et Roussel.);
- plusieurs échelles ont des liens significatifs avec le sentiment d’efficacité personnelle, l’estime de soi et le noyau d’évaluation de soi (core-self evaluations) des individus, des concepts clés tant en psychologie du travail qu’en contexte de coaching ou d’insertion socio-professionnelle (validité de convergence), ce qui confirme également leur appartenance théorique. Pour découvrir ces liens, les échelles de Dr. Schwarzer (professeur à l’Université de Berlin) et de Rosenberg (qui fut professeur à l’Université du Maryland) furent utilisées simultanément auprès d’un échantillon de plus de 300 personnes.
- il vous permet de mieux comprendre les besoins et les valeurs des personnes qui sont évaluées, car il a été démontré qu’il a des liens significatifs avec plusieurs valeurs et besoins de carrière. Pour ce faire, nous avons conçu deux questionnaires comprenant 30 besoins et 30 valeurs de carrière que nous avons validé auprès d’un échantillon d’environ 350 travailleurs;
- a des liens avec plusieurs grands facteurs de la personnalité (communément appelés les « Big Five »), cette théorie de la personnalité qui fait l’objet du plus grand consensus au sein de la communauté de la psychologie organisationnelle (validité de convergence). Pour ce faire, nous utilisons un test récent conçu par Costa et McCrae et qui est parmi les plus reconnus en cette matière à travers le monde. Cette étude est toujours en cours;
- a des liens avec plusieurs éléments de la typologie de Holland (RIASEC), une théorie reconnue et largement utilisée en psychologie vocationnelle depuis des décennies (validité de convergence). Pour ce faire, les statistiques de la classification O*Net sur un échantillon de près de 800 travailleurs furent utilisées. Ces statistiques sont largement utilisées par des tests d’orientation professionnelle afin de trouver des emplois qui correspondent aux intérêts de l’individu.
- certaines échelles ont des liens avec la satisfaction de vie (échelle de Diener), un élément non négligeable du bien-être psychologique, du bonheur et de la psychologie positive. L’étude est toujours en cours. Les résultats préliminaires démontrent des tendances significatives et l’hypothèse nulle a été rejetée pour plusieurs échelles (sig <,05).