3. Demografické, politické a záujmové profily
Mnoho dodávateľov vzoriek bez pravdepodobnosti má schopnosť poskytnúť vzorky respondentov, ktorí sú zámerne nútení prispôsobiť sa charakteristikám populácie USA. Týmito charakteristikami sú často demografické údaje, ako napríklad pohlavie a vek, hoci niektorí predajcovia používajú aj nedemografické premenné. Keď predajca vynúti, aby vzorka zodpovedala populácii s konkrétnou charakteristikou (napr.% Žien), odhad prieskumu pre túto charakteristiku už nie je informačný o kvalite vzorky, pretože bol vopred určený. Je to analogické so situáciou v prieskumoch založených na pravdepodobnosti, keď váženie premennej tak, aby zodpovedala konkrétnemu rozdeleniu pomocou hrabania, znamená, že premennú už nie je možné považovať za informačnú výslednú premennú.
Väčšina vzoriek v menšej miere podstatne menej reprezentuje menej vzdelaných dospelých
Zatiaľ čo schopnosť predurčovať demografický profil vzorky je pri webových prieskumoch bez pravdepodobnosti bežná, predajcovia sa dramaticky líšia v tom, aké premenné na to používajú. V dôsledku toho vykazujú nevážené demografické profily 10 vzoriek veľké rozdiely.
Jedným pozoruhodným vzorom je, že všetky nevážené vzorky, s výnimkou vzorky I, v podstate nedostatočne zastúpia dospelých s menej formálnym vzdelaním.12Podľa prieskumu amerického spoločenstva Census Bureau má 40% dospelých v USA stredoškolské vzdelanie alebo menej. Spomedzi 10 tu skúmaných vzoriek bol priemerný nevážený výskyt dospelých v tejto vzdelávacej skupine asi polovičný (21%). Ďalším bežným, aj keď menej konzistentným, vzorom v týchto vzorkách je nadmerné zastúpenie nehispánskych bielych a dospelých vo veku 65 rokov a starších. Pokyny týchto nevážených demografických predsudkov sú v amerických prieskumoch celkom bežné, a to nielen v prípade online vzorcov bezporuchovosti.
Dobre vyzerajúca vzorka sa nemusí prejaviť v lepších odhadoch prieskumu
Nevážené demografické profily odhaľujú zvláštny vzor. Demografická reprezentatívnosť vzorky z väčšej časti nie je z hľadiska pohlavia, veku, rasy, etnického pôvodu a vzdelania silným prediktorom toho, ako dobre si táto vzorka viedla pri porovnávaní alebo regresnej analýze. Vzorky D a A sa v porovnávacích a regresných analýzach umiestnili najhoršie, ale v priemernej odchýlke od referenčných hodnôt v prípade piatich demografických skupín sa umiestnili na druhom a treťom mieste.
To znamená, že vzorka, ktorú som zaradil na prvé miesto vo všetkých troch: benchmarking, regresia a nevážená reprezentatívnosť vzorky. Z toho vyplýva, že dôležité je, že respondenti v každej demografickej kategórii odrážajú svoje náprotivky v cieľovej populácii. Správne okrajové rozloženie hispáncov nie je veľmi dobré, ak sa sledovaní hispánci systematicky líšia od hispáncov vo väčšej populácii.
Opatrenia týkajúce sa politických postojov a angažovanosti
Veľká časť práce Pew Research Center sa zameriava na politicky relevantné postoje a správanie vrátane občianskej angažovanosti. Na tieto témy sa zameralo niekoľko otázok v aktuálnej štúdii. Tri položky týkajúce sa politickej angažovanosti: registrácia voličov, účasť voličov v miestnych voľbách a kontaktovanie voleného úradníka. Päť položiek týkajúcich sa občianskej angažovanosti vrátane účasti v komunite, občianskych alebo rekreačných skupinách alebo združeniach; dobrovoľníctvo; a spolupráca s ostatnými pri riešení problému v komunite. Medzi opatrenia politických postojov patrila príslušnosť k strane, ideologická identifikácia a názor na pôsobnosť federálnej vlády. Všetkých päť položiek občianskej angažovanosti má porovnateľné vládne kritériá, rovnako ako dve položky politickej angažovanosti. Pre opatrenia politických postojov nie sú k dispozícii žiadne referenčné hodnoty.
Známou zaujatosťou v politických prieskumoch založených na vzorkách pravdepodobnosti je to, že prevažujú nad politicky angažovanými. Táto zaujatosť pramení najmenej z troch zdrojov. Po prvé, téma politických prieskumov sa považuje za najvýraznejšiu pre politicky angažovaných jednotlivcov, čo vedie k ich vyššej pravdepodobnosti účasti na pohovore.13Predpojatosť v oblasti sociálnej vhodnosti môže tiež zaviesť chybu merania tým, že povedie respondentov k tomu, že sú viac politicky angažovaní ako v skutočnosti. Všeobecnejšie je, že prieskumy majú tendenciu nedostatočne zastupovať mladých a menej vzdelaných, skupiny, ktoré sa menej zaujímajú o politiku a angažujú sa v nej ako je priemer. Váženie nemusí toto skreslenie úplne napraviť. Všetky tri z týchto faktorov môžu byť prítomné aj vo vzorkách bez pravdepodobnosti. Zdá sa, že všetky vzorky v tejto štúdii zahŕňajú viac politicky a občiansky angažovaných jednotlivcov, ako by mali uvádzať referenčné hodnoty.
Spomedzi všetkých referenčných položiek má väčšina opatrení v oblasti občianskej a politickej angažovanosti nadpriemernú tendenciu, pričom položky v rámci občianskej angažovanosti vykazujú väčšie predsudky ako politické položky.14Účasť na dobrovoľníckej činnosti pre skupinu alebo prostredníctvom skupiny za posledných 12 mesiacov je položkou s najväčším skreslením zo všetkých 20 referenčných opatrení v porovnaní s touto štúdiou, priemerne 23,1 percentuálnych bodov a pohybuje sa od 13 do 33 bodov. Ešte väčšie zaujatie v relatívnych - aj keď nie absolútnych - pojmoch je vidieť v otázke spolupráce s ostatnými pri riešení problému v komunite alebo susedstve; priemerné nadhodnotenie bolo 20,4 bodu (v porovnaní s referenčnou hodnotou 7,7%) a pohybovalo sa od 13 do 26 bodov.
Účasť v každom z troch typov združení tiež odráža značné predsudky v relatívnom vyjadrení, pričom podiel, ktorý uvádza, že sa zúčastnili na činnostiach pre službu alebo občianske združenie, dosahuje v priemere takmer dvojnásobok referenčnej hodnoty (priemerná hodnota 13% oproti referenčnej hodnote 6%). Jedna zo vzoriek pravdepodobnosti (vzorka I) skutočne zodpovedala kritériu účasti v rekreačnej alebo športovej organizácii a do 1 bodu bola účasť v školskej skupine, susedstve alebo komunitnom združení.
Opatrenia v oblasti politickej angažovanosti boli predmetom podobných, aj keď menších predsudkov. Registrácia voličov je nadsadená v ôsmich z deviatich vzorcov pravdepodobnosti a v americkom paneli trendov, pričom prieskumy poskytujú odhady vyššie ako referenčná hodnota 69%; priemerná absolútna odchýlka je 5,7 percentuálneho bodu. Vzorka I vyprodukovala odhad 62%, ale vážila údaje tak, aby zodpovedali uvedenému číslu. Pokiaľ ide o pravidelnosť hlasovania v miestnych voľbách, všetky vzorky vykázali odhad vyšší ako referenčná hodnota (32% uviedlo, že hlasujú „vždy“), s priemernou odchýlkou 8,1 percentuálneho bodu.
Online vzorky poskytujú zhruba podobné výsledky pri opise počítadiel politických postojov USA
Pre tri otázky týkajúce sa politických postojov neexistujú žiadne kritériá: príslušnosť k strane, ideológia sebaidentifikovaná a názor na vhodný rozsah vlády. Väčšina vzoriek priniesla relatívne podobné odhady demokratického a republikánskeho podielu verejnosti, pričom demokratov vo všetkých vzorkách prevýšili počet republikánov. Všetky online vzorky priniesli vyšší odhadovaný podiel dospelých, ktorí sa identifikovali ako demokrati, ako sa zistilo v analýze telefonických prieskumov spoločnosti Pew Research Center RDD uskutočnených v rokoch 2015 a 2016. Väčšina online vzoriek priniesla tiež menej nezávislých (respondenti, ktorí sa odmietli pridružiť k jednému dvoch hlavných strán), ako sa zistilo v analýze nedávnych telefonických prieskumov. Môže ísť o efekt režimu, aj keď v randomizovanom experimente centra uskutočnenom v roku 2014 s mnohými rovnakými respondentmi nedošlo k štatisticky významnému účinku režimu na pridruženie k strane.
Odhady liberálno-konzervatívnych rozdielov boli naprieč online vzorkami podobné, pričom konzervatívci v každej vzorke prevyšovali liberálov. Všetky vzorky bez pravdepodobnosti priniesli odpovede, ktoré boli politicky liberálnejšie ako konzervatívne, pokiaľ ide o otázku, ktorá sa respondentov pýtala na ich preferencie týkajúce sa rozsahu vlády.
Panel amerických trendov zistil, že 48% uprednostňuje vládu, ktorá sa viac snaží riešiť problémy (skôr ako verí, že vláda robí príliš veľa vecí lepšie pre podniky a jednotlivcov), zatiaľ čo všetky vzorky, ktoré nie sú pravdepodobné, zistili, že tento podiel je vyšší ako 50%, s priemerom 54%.
Kľúčová otázka v súčasných politických prieskumoch sa týka toho, ako polarizované sú určité názory podľa príslušnosti k strane. Aj keď pre porovnanie nie je k dispozícii žiadna referenčná hodnota, môžeme skúmať, ako sa demokrati a republikáni líšia v postojoch nameraných v prieskume. Očakávame, že republikáni sa označia za konzervatívnych a že budú veriť, že vláda robí príliš veľa vecí, zatiaľ čo u demokratov je väčšia pravdepodobnosť, že sa budú označovať za liberálov, a že budú uprednostňovať vládu, ktorá robí viac vecí.
Všetky vzorky ukazujú očakávanú diskrimináciu medzi demokratmi a republikánmi v súvislosti s týmito dvoma opatreniami, ale rozsah rozdelenia sa značne líši. Vzorka I vykazuje najväčšiu diskrimináciu, 82% republikánov tvrdí, že vláda robí príliš veľa vecí, zatiaľ čo 76% demokratov tvrdí, že vláda by mala robiť viac. Vzorka A mala v tejto otázke najmenší ideologický rozdiel, keď 68% demokratov zaujalo liberálne postavenie a 66% republikánov zaujalo konzervatívny postoj. Veľký telefonický prieskum Pew Research Center uskutočnený koncom roku 2015 zistil, že 74% republikánov tvrdí, že vláda robí príliš veľa vecí, zatiaľ čo 69% demokratov je presvedčených, že vláda by mala robiť viac. Tento výsledok telefonického prieskumu spadá zhruba do polovice výsledkov online vzoriek.
Záujmy a koníčky sú vo všetkých vzorkách spravidla konzistentné
Mnoho prieskumov sa snaží merať postoje a charakteristiky životného štýlu. Aj keď sa dá povedať, že pre tieto druhy otázok neexistujú žiadne skutočné referenčné hodnoty, dalo by sa očakávať, že budú konzistentné naprieč zdrojmi vzoriek, ak prieskumy presne reprezentujú rovnakú populáciu. V tejto štúdii sme respondentom predložili zoznam 11 rôznych aktivít a záujmov (napr. Čítanie Biblie, záhradníctvo, cvičenie, správy o slávnych osobnostiach a klebety) a požiadali sme ich, aby vybrali každú z vecí, ktoré ich zaujímajú. Respondenti si tiež mohli zvoliť možnosť „Žiadne z vyššie uvedeného“.
Výsledky boli zhruba konzistentné v rámci rôznych zdrojov. Vypracovanie bolo najvyššie položenou položkou pre všetky okrem vzorky F, v ktorej sa umiestnilo na druhom mieste. Záhradníctvo bolo druhou najvyššie položenou položkou vo všetkých vzorkách okrem F a E, kde sa umiestnilo na treťom a prvom mieste. Rebríček najmenej populárnych položiek bol tiež pomerne stabilný. U všetkých vzoriek sa tri položky s najnižším hodnotením skladajú iba zo štyroch položiek: NBA, NASCAR, hip-hop a „nič z vyššie uvedeného“. Žiadna z vyššie uvedených možností nebola konzistentne najmenej často vybranou položkou, s výnimkou vzoriek E, G a I, pre ktoré bola najmenej bežne vybranou položkou NASCAR. Naj premenlivejšou kategóriou bol záujem o cestovanie, ktoré sa pohybovalo od tretieho vo vzorkách B a H po ôsme vo vzorke A. Umenie a divadlo boli podobne premenlivé a pohybovali sa od druhého vo vzorke E po šieste vo vzorkách F a H.
Ďalším spôsobom, ako hodnotiť tieto položky, je konzistencia párového porovnania medzi jednotlivými položkami (napr. Ktorá je populárnejšia, čítanie Biblie alebo lov a rybolov?). Porovnanie každej položky s každou ďalšou položkou prináša celkovo 66 porovnaní. Z týchto 66 možných porovnaní sa všetkých 10 vzoriek zhoduje na najobľúbenejšej položke pre 48 z nich (73%). Napríklad čítanie Biblie je vo všetkých 10 vzorkách populárnejšie ako lov a rybolov a medzinárodné cestovanie je vždy populárnejšie ako hip-hop. Osemnásť porovnaní, v ktorých vzorky úplne nesúhlasia, sú položky, ktoré sa vo väčšine vzoriek zvyčajne nachádzajú navzájom v rozmedzí niekoľkých percentuálnych bodov. Napríklad hip-hop je populárnejší ako NASCAR v siedmich z 10 vzoriek a ich príslušné úrovne záujmu sú zvyčajne v niekoľkých bodoch od seba v každej vzorke.
Napriek všeobecnej zhode sú v niektorých vzorkách zrejmé niektoré vzorce. Panel amerických trendov a vzorka E vykazujú tendenciu respondentov uprednostňovať možnosti, ako sú umenie a divadlo a medzinárodné cestovanie. Vzorka E hodnotí country hudbu a NASCAR nižšie ako ostatné vzorky (na 18%, respektíve 8%). NASCAR a country hudba vysoko pre vzorku A, zatiaľ čo vzorka D vyniká záujmom v NBA a hip-hopu. To naznačuje, že aj napriek relatívne dobrej celkovej zhode relatívnych porovnaní a hodnotení sú výstrednosti v zložení vzoriek zrejmé, keď sa na položky pozrieme v absolútnom vyjadrení.
