Evaluation de l’apport de Resquin dans la détection de l’inattention et l’enrichissement des contrôles qualité

2. Données et protocoles

2.1 Protocole d’analyses

Cet article fait état de tests en cours et dont les conclusions seront présentées pour ce 14ème colloque francophone international sur les sondages. Ils porteront sur un corpus d’études déclaratives et barométriques réalisées par Médiamétrie en 2025.
Les différentes études de notre corpus ont en commun de toutes recourir à des questions répétitives proposant une série d’items d’évaluation (notation, accord, fréquence fréquence En électronique, la fréquence caractérise un mouvement vibratoire tel qu'une onde électromagnétique : c'est le nombre de fois où le phénomène se produit par seconde (l'unité de mesure est le Hertz). En statistique, c'est le nombre de réalisations d'un événement exprimé en pourcentage. En informatique, elle traduit la puissance des processeurs d'un ordinateur. Ex : Pentium III 650 MgH En savoir plus ) que l’on nomme ici « suites d’échelles ». Dans notre contexte, les suites d’échelle sont des questions à plusieurs modalités ordonnées posées au répondant à propos de sa connaissance ou consommation d’une batterie de médias, ou sur ses habitudes de manière générale (voir exemples ci-dessous). Ce format de question question Interrogation posée à l'identique à toutes les personnes participant à une même enquête, dans le but d'obtenir des réponses de même nature. On distingue les questions fermées, dont les réponses sont à choisir parmi les modalités proposées (échelles, oui ou non, modalités d'une nomenclature, etc...), des questions ouvertes, pour lesquelles aucune modalité de réponse n'est proposée. Dans ce dernier cas, c'est la réponse spontanée des personnes interrogées qui est recueillie. En savoir plus est central dans la mesure comparative, mais apporte une redondance pouvant impacter l’engagement de nos répondants, donc la qualité de la donnée. Cette caractéristique peut être valorisée dans le cadre de l’identification des répondants inattentifs par l’expérimentation de méthodes ciblées d’évaluation portant spécifiquement sur ces échelles. L’usage du package R Resquin et en particulier ses indicateurs de non-différentiation et de pattern permettront ainsi la construction d’un premier score de suspicion d’inattention à travers l’identification des réponses se rapprochant de pattern plutôt que de coller à des comportements réels ou plausibles.
Cette première approche sera croisée et enrichie par l’analyse des temps de remplissage, utilisée comme un élément contextualisant plutôt que comme un critère critère Objet informatique ou statistique regroupant une même information pour tous les individus de la population de l'étude. La variable ÂGE va par exemple représenter l'âge de tous les individus de la population étudiée. Les variables peuvent être qualitatives (par exemple le SEXE ou la CSP) ou quantitative (comme l'ÂGE ou la TAILLE). En savoir plus autonome de détection de l’inattention. Il s’agira notamment d’examiner dans quelle mesure les réponses identifiées comme suspectes au regard de ces indicateur, seront associées à des temps de remplissage atypiquement courts, et plus largement d’évaluer la cohérence entre comportements de réponse et rythmes de complétion complétion Le taux de complétion vidéo est un indicateur important utilisé pour évaluer l'efficacité des vidéos publicitaires diffusées sur les médias digitaux. Il est mesuré en fonction de la proportion de l'audience qui visionne intégralement une vidéo. Le terme est souvent employé pour désigner la part moyenne d'une vidéo vue. Ainsi, un taux de complétion vidéo de 50% signifie qu'en moyenne la vidéo est visionnée à moitié. En savoir plus du questionnaire questionnaire Ensemble de questions, structuré et standardisé, soumis à l'identique aux personnes participant à une enquête. Un questionnaire comporte souvent des questions filtres, dont la réponse conditionne les questions ultérieures. En savoir plus .
Enfin, la production de ces indicateurs enrichira notre compréhension de la capacité des questions dites « blinders » — questions pièges pour lesquelles une modalité de réponse spécifique est explicitement attendue du répondant afin d’évaluer son éventuelle inattention — à remplir correctement leur rôle dans les études qui y recourent. Différentes variantes de ces questions, intégrées aux questionnaires des deux études de ce corpus administrées exclusivement en ligne, seront analysées à cette fin. Les répondants initialement exclus du champ d’étude en raison de l’échec à ces questions ont par ailleurs été réintégrés au périmètre de l’étude dans le cadre de ces travaux.
La richesse principale de notre corpus consiste en sa diversité et à la présence d’une enquête enquête Dispositif de recueil d'informations. On distingue les enquêtes téléphoniques, postales, en face-à-face, en ligne. Bien qu'ayant un sens plus large, le terme d'étude est souvent utilisé comme synonyme. En savoir plus multimode, offrant l’opportunité de confronter à la fois différents modes de passation (par téléphone et en ligne) et différentes bases de sondages (par téléphone/numéros générés aléatoirement et via des access panel access panel Echantillon de foyers ou d'individus recrutés pour répondre régulièrement à des enquêtes, en contrepartie d'une rémunération (chèques cadeaux, bons de réduction, loteries, …). Sollicité par des questionnaires auto-administrés (acheminés par voie postale ou par e-mailing ou par téléphone), il permet de réaliser des études ciblées dans des délais rapides. En savoir plus ), dont la valeur n’est pas équivalente en matière de qualité des données : la présence de données recueillies par téléphone permet de disposer d’un point de comparaison solide pour isoler l’effet du mode mode En statistique, le mode est la valeur dont l'effectif est le plus nombreux. En savoir plus de collecte sur les indicateurs de qualité, sans pour autant présumer que ce mode de recueil garantisse une qualité irréprochable.

2.2 Caractéristiques des études

Le corpus sélectionné se compose des trois dispositifs suivants :
- Etude Etude Toute recherche réalisée sur une population, un secteur d'activité, ou encore sur des produits (contenus d'émissions, grilles de programmes, etc-). Une étude s'appuie le plus souvent sur des données issues d'enquête(s). En savoir plus 1 : enquête barométrique n°1, menée au 4e trimestre de 2025, échantillon de 3000 individus 15-80 ans, recueil : 100% en CAWI CAWI Acronyme pour Computer Assisted Web Interview. Les enquêtes CAWI désignent tous les modes d'enquêtes réalisées sur Internet et pour lesquels l'administration et les traitements sont automatisés. En savoir plus , base de sondage base de sondage Liste des individus ou unités statistiques composant une population au sein de laquelle on souhaite tirer un échantillon sur lequel sera recueillie l'information requise. Par exemple, l'ensemble des abonnés au téléphone peut constituer la base de sondage de certaines études. En savoir plus : deux access panels distincts animés par des fournisseurs externes.
- Etude 2 : enquête barométrique n°2, menée au 4e trimestre de 2025, échantillon de 4000 individus 15-80 ans, recueil : 100% en CAWI, base de sondage : deux access panels distincts animés par des fournisseurs externes. La base de répondant est disjointe de la base de l’enquête barométrique n°1.
- Etude 3 : enquête test multimode mixte (CATI puis CATI CATI Acronyme pour Computer Assisted Telephone Interview qui désigne un mode d'administration d'enquête. Une enquête CATI est une enquête administrée par téléphone dans le cadre de laquelle l'enquêteur utilise un logiciel qui lui permet de dérouler son questionnaire et de saisir les réponses de la personne interrogée. En savoir plus ou CAWI), réalisée en juin 2025, échantillon de 3800 individus 13 ans ou plus, recueil : 1er contact contact En média planning, un contact correspond à une exposition d'un individu à un support publicitaire. Pour la radio, on parle d’occasion d’entendre (ODE) et pour la TV, Internet, la presse, le cinéma et l’affichage, on parle d’occasion de voir (ODV). En savoir plus téléphonique puis possibilité de terminer l’enquête en ligne, base de sondage majoritairement constituée de numéros aléatoires.
Le recours aux deux premières études permet d’évaluer la pertinence des nouveaux indicateurs pour des échelles différenciées, insérées à des positions distinctes au sein des questionnaires. À titre illustratif, un exemple d’échelle telle que présentée aux répondants dans l’étude barométrique n°1 est ci‑dessous (Suite d’échelle portant sur la fréquence de la pratique de différentes activités au sein de l’enquête barométrique n°1).

La troisième enquête enquête Dispositif de recueil d'informations. On distingue les enquêtes téléphoniques, postales, en face-à-face, en ligne. Bien qu'ayant un sens plus large, le terme d'étude est souvent utilisé comme synonyme. En savoir plus , quant à elle, offre l’opportunité d’examiner ces indicateurs dans le cadre d’un dispositif multimode dont le premier contact contact En média planning, un contact correspond à une exposition d'un individu à un support publicitaire. Pour la radio, on parle d’occasion d’entendre (ODE) et pour la TV, Internet, la presse, le cinéma et l’affichage, on parle d’occasion de voir (ODV). En savoir plus repose exclusivement sur un appel téléphonique. Elle permet également de comparer les résultats obtenus selon le mode mode En statistique, le mode est la valeur dont l'effectif est le plus nombreux. En savoir plus de recueil : téléphone vs en ligne.

4. Axes d’analyse permettant d’évaluer l’intérêt et la portée des travaux

Nous présentons ci‑dessous les axes d’analyses retenus pour évaluer la capacité des indicateurs à identifier effectivement les comportements inattentifs, ainsi que de leur pertinence dans le contexte de nos enquêtes.

4.1 Axe d’analyse : effet du mode mode En statistique, le mode est la valeur dont l'effectif est le plus nombreux. En savoir plus de recrutement

Notre premier axe d’analyse concerne l’impact du mode de recrutement sur la qualité des données. Ainsi, l’analyse des indicateurs Resquin calculés sur les deux études barométriques en ligne permettront d’évaluer :
- La qualité des données issues des répondants appartenant à un access panel access panel Echantillon de foyers ou d'individus recrutés pour répondre régulièrement à des enquêtes, en contrepartie d'une rémunération (chèques cadeaux, bons de réduction, loteries, …). Sollicité par des questionnaires auto-administrés (acheminés par voie postale ou par e-mailing ou par téléphone), il permet de réaliser des études ciblées dans des délais rapides. En savoir plus , après application des préfiltres opérés par nos fournisseurs, en comparant les prévalences d’incohérences relevées dans ces enquêtes en ligne à celles de l’étude multimode (éventuellement en limitant la comparaison aux répondants CATI CATI Acronyme pour Computer Assisted Telephone Interview qui désigne un mode d'administration d'enquête. Une enquête CATI est une enquête administrée par téléphone dans le cadre de laquelle l'enquêteur utilise un logiciel qui lui permet de dérouler son questionnaire et de saisir les réponses de la personne interrogée. En savoir plus uniquement).
- L’intérêt de méthodes complémentaires d’évaluation et de filtrage de la donnée, en observant le taux de convergence convergence Rapprochement de domaines ou d'applications liés à des technologies reposant sur des fonctionnements semblables. Ainsi, l'émergence et la généralisation du signal numérique permettent la convergence de l'audiovisuel, de l'électronique grand public, de l'informatique et des télécommunications. En savoir plus entre les indicateurs Resquin et les questions dites « blinders ».
Cet axe vise donc à déterminer dans quels contextes de recrutement les méthodes de détection permettraient le plus efficacement d’améliorer la qualité de nos données.

4.2 Axe d’analyse : effet du mode de collecte

La présence simultanée de données collectées par téléphone et en ligne au sein d’une enquête enquête Dispositif de recueil d'informations. On distingue les enquêtes téléphoniques, postales, en face-à-face, en ligne. Bien qu'ayant un sens plus large, le terme d'étude est souvent utilisé comme synonyme. En savoir plus multimode nous permettra d’évaluer l’impact spécifique du mode de réponse sur l’inattention des répondants. Nous analyserons ainsi :
- La prévalence de données suspectes selon le mode.
- L’impact distinct de l’effet de mode du comportement répondant structurel, dans l’hypothèse où certains signaux identifiés sur la collecte en ligne seront également observés sur la collecte par téléphone.
Cet axe permettra de mieux cerner la valeur ajoutée du CATI comme référence, et de déterminer jusqu’où les outils de détection doivent être adaptés à chaque mode.

4.3 Axe d’analyse : Complémentarité entre indicateurs

Au-delà des effets liés au mode de recrutement et au mode de collecte, l’enjeu clé de ce travail est d’évaluer la valeur combinée de différents capteurs d’inattention. Il s’agira également d’évaluer la capacité individuelle des questions dites « blinders » à mesurer l’inattention à la lumière des indicateurs calculés avec Resquin. Ainsi, nous souhaitons :
- Comparer la prévalence des différents indicateurs d’inattention.
- Caractériser la convergence ou non-convergence des indicateurs Resquin aux blinders.
- Déterminer si des indicateurs d’inattention sont corrélés à des temps de remplissage.
Ce volet vise à démontrer en quoi un dispositif multi-indicateurs apporte une lecture plus robuste qu’un indicateur isolé.

4.4 Paramétrage des différents indicateurs

Dans la perspective d’une mise en production de ces méthodes de détection, la question question Interrogation posée à l'identique à toutes les personnes participant à une même enquête, dans le but d'obtenir des réponses de même nature. On distingue les questions fermées, dont les réponses sont à choisir parmi les modalités proposées (échelles, oui ou non, modalités d'une nomenclature, etc...), des questions ouvertes, pour lesquelles aucune modalité de réponse n'est proposée. Dans ce dernier cas, c'est la réponse spontanée des personnes interrogées qui est recueillie. En savoir plus du paramétrage des indicateurs est également centrale. La sensibilité et l’interprétation de ces indicateurs dépendent en effet de multiples facteurs, parmi lesquels la nature de l’information recueillie dans les suites d’échelles, leur positionnement au sein du questionnaire questionnaire Ensemble de questions, structuré et standardisé, soumis à l'identique aux personnes participant à une enquête. Un questionnaire comporte souvent des questions filtres, dont la réponse conditionne les questions ultérieures. En savoir plus — les comportements de satisficing étant susceptibles de s’accentuer en fin de parcours — ainsi que le nombre d’items composant chaque échelle. Ces éléments conditionnent directement la probabilité probabilité La probabilité d'un événement est un nombre réel compris entre 0 et 1 reflétant la chance que cet événement a de se réaliser. Un événement impossible a une probabilité égale à 0 ; un événement certain a une probabilité égale à 1. La théorie et le calcul des probabilités sont à la base de la statistique mathématique et des sondages. En savoir plus d’observer des patterns de réponse réguliers, sans que ceux‑ci puissent être interprétés de manière uniforme comme des signaux d’inattention.
Par conséquent, une partie importante de notre travail consiste à évaluer l’impact de ces paramètres sur la détection de répondants inattentifs, et implique de tester différentes combinaisons. Parmi ces paramètres, nous identifions particulièrement la détermination de seuils adaptés aux propriétés de chaque suite d’échelle — nombre de sous-questions, nombre de modalités, homogénéité des items, présence éventuelle de filtres, part de non-réponse.