La technologie moderne offre différents moyens de voir littéralement dans la tête des gens, par exemple en mesurant leur activité cérébrale. Cependant, la majorité des études utilisent toujours des questionnaires pour collecter des données. Les participants doivent répondre à une série de questions en cochant les cases qui leur correspondent le mieux. Mais le problème réside dans le fait qu’ils ne répondent pas toujours avec le sérieux demandé, ou qu’ils ne sont tout simplement pas intéressés à le faire ni même à lire attentivement les questions. Alors, ils cochent une réponse au hasard. En psychologie, cela s’appelle le careless responding ou le manque de sérieux dans les réponses. Des conclusions erronées peuvent mener par exemple à l’implémentation de consignes organisationnelles ineffectives ou à la prise de mesures inappropriées dans le domaine de la sélection et du perfectionnement des cadres.

Du projet à l’étude proprement dite

L’étude publiée comporte deux parties. La première est consacrée à l’examen de l’efficacité des méthodes les plus courantes pour détecter les comportements manquant de sérieux. Cinq des sept procédés testés se sont avérés efficaces, notamment le temps de réponse par question : en effet, les personnes qui cliquent sur une réponse sans réfléchir répondent beaucoup plus rapidement que celles qui lisent précisément la question. Dans la deuxième partie de l’étude, les cinq techniques susmentionnées ont été appliquées à une collecte de données déjà réalisée.

33 % de réponses futiles

Entre 2013 et 2015, Philippe Goldammer et son équipe ont interrogé 8838 recrues sur le thème du leadership au sein de l’Armée suisse. Les données récoltées à l’époque ont été réévaluées pour démontrer hors laboratoire les effets pervers d’une attitude désinvolte vis-à-vis du questionnaire. Il en est ressorti que 33 % des participants ont manqué de sérieux dans leurs réponses et que le tiers des données devaient être supprimées pour ne pas tirer de fausses conclusions de l’étude.

Goldammer, P., Annen, H., Stöckli, P. L., & Jonas, K. (2020). Careless responding in questionnaire measures: Detection, impact, and remedies. The Leadership Quarterly, 101384.

Questions à Philippe Goldammer

Philippe Goldammer est assistant scientifique à la chaire de psychologie militaire et soutient la recherche et l’enseignement. Ses débuts à l’ACAMIL en tant que stagiaire universitaire datent de 2011. De 2012 à 2016, il a dirigé un projet de recherche dédié à l’évaluation de la sélection des cadres. Les données collectées dans ce contexte lui ont servi de base pour sa thèse de doctorat en 2018.

Si 33 % des réponses n’ont pas été données de façon sérieuse, les résultats de l’étude de 2016 sont-ils encore utilisables ?

Oui, ils le sont. À l’époque, nous avions déjà écarté de l’étude une grande partie de ces participants désinvoltes au moment de l’évaluation statistique.

De quelle manière les résultats sont-ils biaisés lorsque les réponses inutilisables ne sont pas retirées ?

Les résultats sont toujours visibles, mais ils sont moins évidents. C’est un peu comme l’image d’un voile qui recouvrirait les données et viendrait les flouter.

Qu’est-ce que cela signifie pour vous d’être publié dans « The Leadership Quarterly » ?

C’est incroyable que nous soyons parvenus à placer une publication se basant sur les données de ce projet de 2016 dans le troisième journal spécialisé en matière de leadership. C’est un véritable gage de qualité pour nos recherches à l’ACAMIL. Nous travaillons ainsi notre visibilité et nos recherches sont reconnues par la communauté scientifique internationale.

Quelles sont les leçons à tirer de cette étude pour la suite des recherches à l’ACAMIL ?

Nous devons maintenir la motivation des personnes qui participent aux études pour qu’elles le fassent scrupuleusement, par exemple en mettant à leur disposition leurs propres résultats ou ceux de l’étude. Ou en leur montrant clairement l’objectif et le sens de la collecte de données et l’importance d’y répondre avec le plus grand sérieux. Enfin, nous prenons encore davantage conscience de l’importance de ces sondages et de leur utilité. Pour chaque étude, nous continuerons à interroger 15 % de participants en plus pour filtrer les réponses inutilisables et disposer d’un échantillon encore suffisamment vaste.

Que recommanderiez-vous à d’autres chercheurs ?

D’utiliser cette marge de 15 % de participants supplémentaires pour pouvoir éliminer les données inutilisables sans diminuer la pertinence des résultats. Ou encore de veiller à maintenir la motivation des participants et d’effacer ultérieurement les données indésirables en effectuant des tests statistiques.