Critique du recensementVivre entre les lignesNotesObservations

Un professionnel des méthodes quantitatives nous répond…

Débats - DebatesVoici une réponse reçue à l’article précédent de la part d’un professionnel qui m’a écrit, mais ne souhaite cependant pas être identifié pour l’instant:

Un professionnel des méthodes quantitatives

L’idée qu’un échantillon volontaire diminue la fiabilité et la validité des données est un fait aussi accepté aujourd’hui que l’idée que la terre est ronde. […] Il y a de nombreux articles qui portent sur l’ampleur du biais, sur ses raisons, sur les façons que l’on tente, tant bien que mal, de contourner ces biais, etc. Mais on ne réussit jamais vraiment à contourner.

[Quant à la conclusion du juge Boivin] Je n’ai pas lu les arguments en faveur d’un questionnaire volontaire et comment ils pensent pouvoir éviter les biais échantillonnaux. Bien sûr qu’il y a une incertitude quant au degré de fiabilité des données de l’ENM, puisqu’on n’a jamais fait un tel exercice auparavant. Il y a une certitude quant au fait que les données seront biaisées, mais il est difficile de prévoir à l’avance l’ampleur et la nature de ce biais.

Augmenter le nombre de questionnaires longs ne changera rien au biais, et rien ne nous permet de croire qu’une campagne publicitaire permettre de corriger le biais. La campagne pourrait très bien l’accentuer (surtout si elle est faite uniquement dans les deux langues officielles).

Sur Q-1: Peut-on démontrer, mathématiques et expériences à l’appui, comment une opération volontaire couvrant 30 % des ménages canadiens (si réalisée dans des conditions optimales) offrirait des données moins fiables qu’une opération obligatoire couvrant 20 % des ménages?

La quantité de volontaires importe peu. Même si on demande à 100 % des Canadiens de répondre, le biais sera toujours là et affectera l’échantillon. La seule chose qui normalement augmente avec la taille de l’échantillon sera la précision des estimations, mais ces estimations seront malgré tout biaisées. D’ailleurs quel sera le taux de réponses à ce questionnaire? Est-ce que le gouvernement fait le pari que ce taux de réponse sera d’au moins 67 % (c’est ce que cela prendrait pour obtenir des réponses sur 20 % des Canadiens).  Et si le taux de réponse était de 20 % (ce qui n’est pas inhabituel) ?

Ceci dit, si on a 95 % de la population qui répond, il est beaucoup plus facile d’identifier la nature du biais et de corriger celui-ci que lorsque l’on a un échantillon de 20 % ou 30 %.

Sur Q-2 : Existe-t-il un seuil minimal de participation en deçà duquel un recensement cesse d’être utile?

Impossible de répondre à cette question. Un sondage téléphonique sur 1000 individus à travers le Canada peut être en soi très utile, mais a des fins différentes. Plus on se centre sur une population précise (une province, une ville, un quartier, un secteur ou un bout de rue), moins l’échantillon est précis. L’utilité est directement proportionnelle à la taille de l’échantillon (quand vient le temps de regarder des sous-populations) et inversement proportionnelle à la taille du biais. Mais il est impossible de compenser le biais par la taille de l’échantillon.

Sur Q-3 : Une opération volontaire (réalisée dans des conditions optimales, voir plus bas) avec un échantillon de départ de 30 %, n’aurait-elle pas une marge de sureté théorique suffisante; et même une réelle probabilité d’obtenir de meilleurs résultats qu’une opération obligatoire avec un échantillon de départ de 20 %?

Non. Il ne faut pas confondre la précision des estimations et le biais de ces estimations. Si on demande a tous les ménages recensés de répondre (volontaire) et qu’on obtient le double du nombre de répondants (disons 5 millions), on se retrouvera malgré tout avec des réponses différentes de ce qu’on aurait obtenu avec un questionnaire obligatoire. Les réponses seront biaisées, mais permettrons de faire des estimations plus précises, même si ces estimations s’avèrent à côté de la réalité. C’est comme si on dépensait des millions pour avoir un thermomètre qui mesurerait la température extérieure au centième de degré près, mais que ce thermomètre était mal calibré ou mal installé et, donc, pouvait se tromper de plus ou moins 5 degrés Celsius. À quoi sert de payer plus pour plus de précision, si l’instrument n’est pas valide.

Sur Q-4: N’est-il pas possible de mettre en place des mesures propres à mitiger les tendances à une participation plus faible de certaines catégories de personnes?

Sur Q-4: Non, ça ne marche pas. Tu ne corriges pas le biais, tu augmentes simplement la précision de la mesure biaisée. Il y a différente façon de corriger pour les biais, mais augmenter l’échantillon n’en est pas une. Pour estimer le biais et tenter de le corriger, il faut nécessairement utiliser une autre méthode d’échantillonnage et de participation qui ne partage pas avec la première méthode, les mêmes biais. Par exemple, si on imposait dans certains quartiers, le questionnaire obligatoire dans un deuxième temps a tous ceux qui n’ont pas retourné leur questionnaire obligatoire, alors, nous serions mieux en mesure d’évaluer quel était le biais de participation. Dans certains sondages, des gens répondent du premier coup, d’autres reçoivent un rappel, d’autres nécessitent un deuxième rappel, et enfin on réussit souvent à aller en chercher d’autres en leur offrant une compensation volontaire (un petit $). On fait ces différentes démarches justement pour tenter d’évaluer les biais. On se rend compte souvent que les caractéristiques des gens qui ont répondu immédiatement sont différentes de ceux qui ont répondu au premier ou au deuxième rappel et différents également de ceux qui n’ont répondu que contre rémunération. On est alors en meilleure position de connaitre en partie la nature du biais et de le corriger en partie. Augmenter le nombre de questionnaires envoyé dans les mêmes conditions ne permettra pas du tout de corriger le biais, mais permettra simplement de confirmer le biais.

Sur Q-5 : Les petites unités géographiques étant généralement plus ou moins homogènes sur les plans socioéconomiques, une telle mesure de suréchantillonnage ne compenserait-elle pas certains biais liés à une faible participation?

Aucunement!

Sur Q-6 : Ne peut-on pas mettre en place un ensemble d’autres mesures incitatives et de soutien afin de mitiger certains autres biais découlant d’une faible participation (par exemple, ceux liés aux limitations fonctionnelles ou à la langue)?

Surement. On peut tenter de diminuer l’ampleur du biais, mais un élément important c’est qu’il subsistera toujours une incertitude quant a la nature et l’ampleur du biais, a moins de pouvoir le quantifier de façon suffisamment précise pour nous permettre de le corriger. Ça sera très difficile, si on ne réussit pas à obtenir de réponses de gens qui n’ont pas répondu volontairement la première fois.

Il ne faut pas oublier non plus les possibles campagnes orchestrées par des groupes d’intérêts. Et si les Acadiens et groupes francophones hors Québec, si les anglophones du Québec, la communauté musulmane ou hassidique faisaient une campagne pour soit boycotter ou au contraire pour faire des pressions pour augmenter le taux de participation de ses membres. Comment peut-on prévoir ces mouvements citoyens? L’importance des enjeux des résultats de ce sondage me laisse croire que certains groupes pourraient être motivé à les influencer, comme ils peuvent le faire dans les lignes ouvertes, etc. ce qui rendra encore plus incertain la nature des biais.

Sur Q-8 : Ce gouvernement et ses députés entendent-ils ou non mettre en place une campagne de publicité et soutenir par leur déclaration la participation du plus grand nombre possible de citoyens afin d’assurer le succès de l’Enquête nationale des ménages?

Comme si une campagne de publicité pouvait réellement compenser tous les problèmes que causera l’abandon du questionnaire obligatoire. Ce serait illusoire de croire que ça pourrait régler quoi que ce soit.



line
footer
Powered by WordPress | Designed by Elegant Themes
?php comments_popup_link(esc_html__(online ) { ?template_directoryline ))) { ?!--End Footer-- /a) { ?div style=ebusiness_integration_single_top) { ?ul id=