Une intro au d de Cohen (taille d’effet)

Si vous vous intéressez à l’enseignement basé sur les données factuelles, vous avez sans doute lu des articles faisant appel au d de Cohen. Cette mesure descriptive est employée pour indiquer la taille de l’effet, qui correspond ici à la différence entre deux moyennes, divisée par l’écart-type. Les lectrices et lecteurs de John Hattie auront sans doute remarqué qu’il fait très souvent appel à cette mesure pour évaluer l’impact de pratiques pédagogiques, par exemple lorsqu’il affirme que le fait de donner de la rétroaction a une taille d’effet de 0,73.

Voyons d’abord, dans un contexte d’enseignement, comment un peut calculer une taille d’effet. Supposons que, depuis plusieurs années, vous donnez un cours le mardi matin et le même cours le vendredi après-midi. Vous aimeriez savoir l’impact de l’emplacement du cours dans la grille horaire. Une manière d’avoir un bon aperçu de cet effet est de calculer le d de Cohen. On procède comme suit:

d = (moyenne du cours du mardi matin – moyenne du cours du vendredi pm) / écart-type combiné des deux cours. Remplaçons nous variables par des valeurs fictives:

  • moyenne du cours du vendredi matin: 79
  • moyenne du cours du mardi matin: 76
  • écart type combiné: 14

Le calcul:
d = (79 – 76) / 14
d = 0.214

On obtient donc une valeur de d qui est approximativement 0.214. C’est fantastique… mais que suis-je supposé faire avec cette donnée? Il faut se référer à la grille d’interprétation proposée* par Cohen: 0.2 est un effet faible, 0.5 un effet moyen et 0.8 un effet fort. Pour notre valeur de 0.214, on peut dire que l’effet de suivre le cours le vendredi après-midi plutôt que le mardi matin est assez faible. On peut interpréter cette valeur comme suit: en moyenne, les groupes du mardi matin se situent à environ un cinquième d’un écart-type sous la moyenne des groupes du vendredi après-midi. Ainsi, avec un écart-type plus important, supposons 20, on aurait aussi une différence de note plus importante, ici d’environ 4 points.

Le d de Cohen est facile à calculer et, quand on veut comparer des moyennes de groupes ou d’ensembles de groupes, propose une alternative plus précise que de simplement soustraire les moyennes, puisque la taille d’effet tient aussi compte de l’écart-type. En effet, gardons en tête qu’une différence de 4 points lorsque l’écart-type est faible est plus importante qu’une différence de 5 points lorsque l’écart-type est grand.

Cependant, l’utilisation du d de Cohen n’est pas sans limitations. D’abord, les seuils d’interprétation choisis (0,2, 0,5 et 0,8) sont assez arbitraires. Il faut voir ces mesures comme un guide et non un dogme. Le d de Cohen est, au sens statistique, la mesure, en nombre d’écart-types, de la distance entre deux courbes de distribution (ou la mesure inverse de leur chevauchement, si vous préférez). Plus le d est petit, plus les courbes se chevauchent; plus le d est grand et plus les courbes sont séparées. Le fait d’avoir un d égal à 0,5 indique donc simplement que la moyenne du second regroupement se situe à un demi écart type de la moyenne du premier.

Rappelons finalement que le d de Cohen est une mesure descriptive, cette mesure ne permet pas à elle seule de porter un jugement sur la significativité de l’écart entre les moyennes. Il est donc préférable d’employer le d de Cohen lorsqu’on a déjà démontré que la différence de moyenne entre les groupes est significative. Dans ce contexte, cela veut dire que la différence entre les moyennes de groupe n’est pas le fruit du hasard. Le d de Cohen indique la force d’un effet hypothétique. Encore faut il démontrer que cet effet existe vraiment. Afin de savoir si l’écart de moyenne entre deux sous-groupes d’une population est le fruit du hasard, on emploie un test statistique, comme un test t, ou, lorsque la population n’est pas distribuée sur une courbe normale, un test de Kolmogorov-Smirnov. L’explication de ces deux tests et de leurs présupposés nécessiteraient cependant un billet beaucoup plus long.

Il arrive qu’on aperçoive dans des articles de pédagogie un d de Cohen utilisé seul, sans que la différence entre les populations ait préalablement été démontrée. En l’absence de test statistique, le d de Cohen est une simple mesure descriptive, comme la moyenne ou l’écart-type. Prétendre alors qu’il y a un lien de corrélation, par exemple en affirmant que la pratique pédagogique prônée dans l’article fonctionne car elle a causé un effet d = 0.7 est un usage incorrect du d de Cohen, qui mesure la force d’un effet, certes, mais en assumant que cet effet existe bel et bien. Le d de Cohen, comme son cousin le r de Pearson, est une mesure de l’effet qui est fort pratique et une nette amélioration par rapport à une comparaison directe des moyennes qui ne tiendrait pas compte de l’écart type. Cette mesure est facile à calculer sur le dos d’une enveloppe. Mais il ne faut pas l’ériger en dogme.

*Il faut prendre le verbe « proposer » au sens fort. Cohen se doutait bien que sa grille d’interprétation allait être employée à outrance. Cette infographie interactive permet de mieux comprendre ce que signifient les seuils de Cohen.

Publicités
Tagged with: ,
Publié dans statistiques
%d blogueurs aiment cette page :