Petite trêve dans les dessins sur la Confédération (le 3e épisode au début de la semaine prochaine): le sondage CROP publié dans la Presse ce jeudi a insulté ma modeste intelligence d’étudiant à la maîtrise qui buche quotidiennement sur des statistiques. Ma réplique est la suivante, en collaboration avec M. Auger:

«Jeudi matin, la Presse a publié en une les résultats d’un sondage CROP démontrant une percée du NPD au Québec dans les intentions de vote. Tout au long de l’article, Joël-Denis Bellavance décortique le sondage en mettant l’accent sur les résultats surprenants, voire historiques, en essayant d’en expliquer la cause (lassitude des Québécois envers le Bloc, le NPD comme seule véritable alternative de gauche au Parti conservateur, etc.).

La méthodologie et l’incertitude d’un sondage sont aussi des aspects importants à détailler pour expliquer la portée des résultats d’un tel exercice. D’ailleurs, le Conseil de presse du Québec précise qu’il est de la responsabilité des médias d’«informer le public des éléments méthodologiques de l’enquête», pour qu’il puisse formuler son «propre jugement, en toute connaissance de cause». C’est seulement à la toute fin du texte de M. Bellavance qu’on retrouve une phrase détaillant la méthodologie et l’incertitude du sondage : «Ce sondage mené en ligne ne comporte pas de marge d’erreur compte tenu du caractère non probabiliste de l’échantillon». Toutefois, est-ce que ce jargon peut être compris par le public pour se faire une idée éclairée des résultats?

En clair, on nous dit que le sondage a été réalisé en ligne sans échantillonnage aléatoire. Il est pourtant reconnu que c’est par un échantillonnage aléatoire qu’on peut se prémunir au mieux contre les biais relié à un tel exercice. Dans l’article, aucune explication à ce sujet. Aucun détail non plus sur les biais possibles de cet échantillonnage non probabiliste qui pourraient expliquer les résultats surprenants (est-ce que certaines classes d’âge ou certaines classes socioéconomiques sont surreprésentées par les sondages en ligne?). Ainsi, il nous apparaît malhonnête de faire la une d’un grand quotidien à partir d’un sondage sans échantillonnage aléatoire, et de surcroît, sans décrire dans un langage clair les limites et les biais de la méthodologie. La moindre des choses aurait été de détailler de manière vulgarisée dans le premier paragraphe de votre article la méthode de votre sondage. Puis dans votre analyse, de vous attarder sur les biais possibles pouvant affecter les résultats. Pourquoi ne pas l’avoir fait?»

En complément, les explications peu convaincante de M. Rivest de CROP et les critiques de la sociologue Claire Durand.

La façon de s’assurer de la représentativité est d’échantillonner de manière aléatoire. Pas de décider de manière subjective ce qui serait représentatif. Et si aucun échantillonnage n’est parfait, la moindre des choses est de décrire ses biais pour nuancer les résultats. Et finalement, si aucune méthode n’est parfaite, pourquoi ne pas faire un échantillonnage stratifié, sur internet et par téléphone?

-MÀJ-

Mon commentaire sur Rue Frontenac sur la marge d’erreur et l’intervalle de confiance:

«Petite précision: On dit que la marge d’erreur est de 3%, 19 fois sur 20. C’est-à-dire que si on reprend le sondage dans les mêmes conditions avec la même taille d’échantillon, les résultats se trouveront 19 fois sur 20 à l’intérieur de la marge d’erreur. Par exemple, si la marge d’erreur est de 3% et que le NPD a 30% et le Bloc 32%, les résultats se trouveront 19 fois sur 20 entre 27 et 33% pour le NPD; entre 29 et 35% pour le Bloc.

Avec un sous-échantillon de 275 répondants sur 1000, la marge d’erreur peut monter à 7-8% (je ne comprends pas pourquoi elle n’est pas fournie pour ce sondage). Donc avec les résultats que vous présentés, si le sondage était repris, seraient 19 fois sur 20 entre 24,1 et 38,1% pour le NPD; entre 16,3 et 30,3% pour le Bloc. Donc beaucoup d’incertitude.»

-MÀJ-

Blogue vraiment intéressant sur les sondages, par une sociologue de l’université de Montréal.