8. Výsledky z následného zberu údajov

Pri analýze údajov vedci identifikovali dva problémy, ktoré mohli ovplyvniť závery štúdie. Po prvé, prieskum bol navrhnutý tak, aby sa mohol spravovať rovnakým spôsobom pre každý zo šiestich online zdrojov. Po ukončení rozhovorov však vedci zistili, že existuje nezrovnalosť v tom, či respondenti môžu otázky preskakovať. Respondenti v dvoch vzorkách so vzorkou adries a v jednej vzorkovanej vzorke neboli povinní odpovedať na každú otázku, ale respondenti vo vzorkách, do ktorých sa prihlásili. To predstavovalo potenciálny problém, pretože nútenie respondentov odpovedať na každú otázku by mohlo myslieť na ich správanie a najmä na pravdepodobnosť ich odpovede, ktorá ich označila za falošného respondenta. Vedci potrebovali vedieť, či sa tento rozdiel dá pripísať vyššiemu výskytu falošných respondentov vo vzorkách prihlásených. Aby sme našli odpoveď, bolo potrebné prieskum zamerať znova na zdroje prihlásenia, tentokrát bez toho, aby sme nútili respondentov odpovedať na každú otázku.

Druhá otázka sa týkala schémy odpovedí na schválenie všetkého. Ako je uvedené v kapitole 2, malý podiel respondentov odpovedal pri každej otázke kladne alebo kladne. Toto správanie bolo koncentrované vo vzorkách prihlásenia. Ako vysvetľuje táto správa, najpravdepodobnejším vysvetlením je, že prieskumy typu „opt-in“ sa primárne používajú na prieskum trhu, a preto je ponúkanie opakovaných „schvaľovacích“ odpovedí logické za predpokladu, že by takéto odpovede potešili zadávateľa. Toto je kľúčové zistenie, pretože demonštruje, že falošní respondenti, skôr než len pridaním šumu, sú zaujatí určitými odhadmi.

Alternatívnym vysvetlením štýlu odpovede Schváliť všetko je to, čo je v dotazovaní známe ako primátny efekt. Efekt nadradenosti je tendencia niektorých respondentov vyberať odpovede zobrazené v hornej časti zoznamu odpovedí alebo v jej blízkosti. Napríklad pri otázke týkajúcej sa výkonu práce prezidenta bola prvou voľbou odpovede „dôrazne schváliť“ a posledná možnosť „dôrazne nesúhlasím“. Je možné, že respondenti so všetkým súhlasom mohli jednoducho vyberať odpovede na samom vrchole, čo sa v tejto štúdii javí ako pozitívne vyvážené. Aby sme to otestovali, bolo potrebné prieskum uskutočniť znova, tentokrát najskôr s výberom negatívnych odpovedí. Ak by sa pozorovalo správanie typu schváliť všetko, aj keby sa takéto odpovede zobrazovali zdola, ukázalo by to, že správanie je účelné a že striedanie možností odpovedí nepomáha.

Vedci riešili obidva potenciálne problémy poľným zberom následných údajov. Prieskum sa opätovne uskutočnil od 2. do 7. decembra 2019 s 10 122 rozhovormi z panelu prihlásených 1 a 10 165 rozhovormi z panelu prihlásených 3. Respondenti prvého prieskumu neboli pre následnú štúdiu oprávnení. Panel vyjadrenia súhlasu 2 sa nepoužil, pretože nebol potrebný na zodpovedanie dvoch otázok uvedených vyššie. Miera falošných odpovedí a štýl odozvy na schválenie všetkého boli podobné v prípade všetkých troch zdrojov prihlásenia. Ak by sme sa dozvedeli, že umožnenie respondentom preskočiť otázky alebo otáčaním možností schváliť / zamietnuť zvýšilo kvalitu údajov v paneloch 1 a 3, bolo by veľmi rozumné predpokladať, že by to platilo aj pre panel 2. Všetky tri panely prihlásených všeobecne fungovali o rovnaký.

Dôležitý rozdiel medzi hlavnou štúdiou a následnou štúdiou bol dvojnásobný. Najskôr bolo respondentom umožnené preskočiť otázky. Po druhé sa uskutočnil experiment rozdelenej formy. Náhodných 50% respondentov dostalo rovnaké poradie odpovedí ako hlavná štúdia s pozitívnymi (schválenými / priaznivými) odpoveďami zobrazenými ako prvé a ďalších náhodných 50% respondentov dostalo opačné poradie s negatívnymi (zamietnuť / nepriaznivé) odpovede zobrazenými ako prvé. Následná štúdia kládla rovnaké otázky ako hlavná štúdia, až na dve malé výnimky. Pretože medzi prvým a druhým zberom údajov nastúpil do funkcie nový britský premiér, v otázke sa aktualizoval názov (Theresa May, Boris Johnson). Bola tiež pridaná otázka jazykových preferencií, aby bolo možné lepšie priradiť angličtinu k španielčine.

Schválenie všetkého je reakciou nielen na prvenstvoKeby bolo správanie „schváliť všetko“ iba efektom nadradenosti (nie je účelné), následná štúdia by zistila nižšiu mieru správania, keď by sa negatívne odpovede zobrazovali ako prvé, na rozdiel od druhého. To sa ale nestalo.



Výskyt respondentov, ktorí poskytli jednotne „súhlasné / priaznivé“ odpovede, bol v zásade rovnaký bez ohľadu na poradie výberu odpovede. V paneli prihlásených 3 3% respondentov súhlasilo so všetkým, keď sa najskôr zobrazili pozitívne odpovede, a rovnaká suma to urobila, keď sa najskôr zobrazili negatívne odpovede. Vzor bol rovnaký pre panel prihlásených 1, hoci obe sadzby boli nižšie.

Tento výsledok naznačuje, že malý, ale merateľný podiel volených respondentov, ktorí zjavne súhlasia bez ohľadu na to, na čo sa od nich žiada, tak robia zámerne. Pozitívne odpovede hľadali, aj keď ich museli hľadať. Nevyberali lenivo prvú zobrazenú odpoveď. To naznačuje, že randomizácia možností odpovede by tento zdroj zjavného skreslenia nevylúčila. Je zaujímavé, že celkový výskyt tohto správania bol v následnej štúdii rovnaký ako v hlavnej štúdii. To zvyšuje dôveru v zovšeobecniteľnosť hlavných zistení štúdie.

Existuje niekoľko ďalších údajových bodov, ktoré stoja za zmienku, ktoré diskreditujú predstavu, že vzor schválenia všetkého je iba primátnym účinkom. Dalo by sa očakávať, že tí, čo odpovedajú, bez ohľadu na otázku, súhlasia / uprednostňujú, vždy vyberú ikonunajprvvýber odpovede. Napríklad na štvorbodovej škále (napr. „Veľmi priaznivá“, „väčšinou priaznivá“, „väčšinou nepriaznivá“ a „veľmi nepriaznivá“), možno vždy schvaľujúce prípady neustále vyberajú najpozitívnejšiu dostupnú odpoveď “(veľmi priaznivá '). Nie je to tak. Napríklad keď sa v hlavnej štúdii požadovalo celkové stanovisko Vladimíra Putina, 45% vždy schvaľujúcich respondentov hovorí „veľmi priaznivo“, zatiaľ čo 55% hovorí „väčšinou priaznivo“. Väčšina respondentov, ktorí schválili všetko, si vybrala druhú, nie prvú možnosť. Rovnaký vzorec bol pozorovaný aj pri otázkach týkajúcich sa Merkelovej, Macrona a May.

Navyše, ak by respondenti so všetkým súhlasili len s výberom odpovedí na vrchole každej otázky, väčšina by odpovedala na kontrolu pozornosti (alebo otázku pasce) nesprávne. V skutočnosti 93% prípadov, ktoré vždy schválili, odpovedalo na túto kontrolu pozornosti správne v hlavnej štúdii a takmer identických 94% prípadov, ktoré vždy schválili, tak urobilo v následnom sledovaní. Stručne povedané, veľa randomizovaných a nerandomizovaných údajov naznačilo, že správanie typu „schváliť všetko“ je do veľkej miery účelné. Môže sa to zhoršiť, keď sa najskôr ponúknu pozitívne voľby, ale následná štúdia ukázala, že aj keď sa pozitívne voľby neponúkajú ako prvé, táto malá časť respondentov, ktorí sa prihlásili, ich bude hľadať.

V následnej štúdii sa tiež testovalo, či by umožnenie respondentom, ktorí sa prihlásili, preskočiť otázky, znížilo falošný výskyt. Vedci vytvorili v následnej štúdii príznak pre falošné prípady s rovnakou definíciou ako hlavná štúdia. V jednom paneli prihlásenia bola falošná mieravyššiekedy mohli respondenti preskočiť, zatiaľ čo na druhom paneli bola nižšia. Pre panel opt-in 3 bol výskyt falošných prípadov 6% v hlavnej štúdii, ktorá zakazovala preskakovanie pre respondentov, ktorí sa prihlásili, a 8% v následnej štúdii, ktorá respondentom umožnila preskočiť. Pokiaľ ide o panel opt-in 1, bol výskyt falošných prípadov v hlavnej štúdii, ktorá zakazovala preskakovanie respondentom, ktorí sa prihlásili, 6% a v následnej štúdii to bolo 3%, čo respondentom umožnilo preskočenie. Ani v jednom prípade nebola miera falošných respondentov taká nízka ako v prípade panelov prijímaných na adresu (1%).

Prieskumy typu opt-in majú stále vyššiu mieru falošných údajov, keď môžu respondenti položky preskočiť

Všeobecne vzorka následnej štúdie z panelu prihlásených 1 preukázala lepšiu kvalitu údajov ako hlavná vzorka štúdie. Výskyt nesekvenovaných otvorených častí a hlásení o živote mimo USA bol v následnom sledovaní nižší. V prípade panelu prihlásených 3 mala naopak následná vzorka horšiu kvalitu údajov ako vzorka hlavnej štúdie. Výskyt nesekvenčných odpovedí a hlásení o živote mimo USA bol v následnom sledovaní vyšší. Je zaujímavé, že zatiaľ čo žiadny z respondentov z panelu 3, ktorí sa prihlásili, plagiátoval otvorenú odpoveď v hlavnej štúdii, 15 respondentov z tohto panelu tak urobilo v následnej štúdii (pozri prílohu D). Vyberali z niekoľkých zdrojov sledovaných v hlavnej štúdii, vrátane webových stránok pre Mount Vernon a zákonodarné orgány štátu Washington, ako aj webovej stránky, ktorá pomáha neanglickým hovorcom odpovedať na otázku „Ako sa dnes cítite“?

Ak by umožnenie respondentom preskočiť otázky bolo kľúčom k dosiahnutiu dobrej kvality údajov, potom by sme v následnej štúdii videli pokles falošných sadzieb v obidvoch paneloch prihlásených, možno na nízku úroveň pozorovanú pri prijímaní adries vzorky. Ale to sa nestalo. Panel vyjadrenia súhlasu 1 mal lepšiu výkonnosť, keď sa nevyžaduje odpoveď, ale výskyt falošných prípadov bol stále významne vyšší ako úrovne pozorované vo vzorkách získaných pomocou adresy. Medzitým sa panel 3 prihlásených zhoršil, pričom výskyt falošných prípadov sa v sledovaní vyšplhal na zarážajúcich 8%.

Vzhľadom na to, že jeden panel prihlásených sa zhoršil, keď bolo povolené preskakovanie, ale iný panel dosiahol lepšie výsledky, nie je zrejmé, že vyžadovanie odpovede od respondentov na otázky má silný a systematický vplyv na výskyt falošných prípadov. Stojí za zmienku, že respondenti z panelov opt-in 1 a 3 reagujú na zdroje z mnohých rovnakých spoločností tretích strán. Len v tejto štúdii zahŕňajú zdroje použité v obidvoch paneloch 1 a 3 panely CashCrate, A&K International, DISQO, Market Cube, MySoapBox, Persona.ly, Tellwut a TheoremReach. Rozdiel v kvalite údajov môže mať spoločné viac s relatívnym podielom respondentov pochádzajúcich z týchto zdrojov, ako je to nevyhnutne v prípade nastavenia nútenej reakcie. Toto je téma hodná budúceho vyšetrovania.

V sledovaní boli predovšetkým replikované všetky kľúčové zistenia z hlavnej štúdie. Napríklad väčšina falošných respondentov (76%) v hlavnej štúdii absolvovala kontrolu pozornosti aj kontrolu rýchlosti. Podiel falošných prípadov, ktoré prešli rovnakými dvoma kontrolami v následných opatreniach, bol podobný (70%). Podobne podozrivo vysoký podiel falošných prípadov v hlavnej štúdii uvádzal hispánsky (30%). Pri sledovaní bola táto miera 31%. Následná štúdia tiež replikovala zistenie, že falošní respondenti môžu mať malý systematický vplyv na otázky typu schválenia. Napríklad odhadovaný podiel vyjadrujúci priaznivý názor na Vladimíra Putina klesol o štyri percentuálne body (z 20% na 16%) v následnej štúdii, keď boli falošní respondenti odstránení zo vzorky panelu opt-in 3, a tento odhad klesol o jeden percentuálneho bodu, keď boli falošní respondenti odstránení zo vzorky panelu opt-in 1 (od 14% do 13%).

Facebook   twitter