Umfragedaten sind von entscheidender Bedeutung: Sie sagen uns, wer wir sind und was in den Händen der politischen Entscheidungsträger zu tun ist. Brady West, Experte für Umfragemethodik an der University of Michigan, Ann Arbor, war schon lange klar, dass die Vorteile von Umfragedaten mit einem Mangel an Schulung in deren korrekter Interpretation einhergingen, insbesondere wenn es um Sekundäranalysen ging. Forscher analysieren erneut Umfragedaten, die im Rahmen einer früheren Studie gesammelt wurden.

„Bei meiner Beratungstätigkeit für Organisationen und Unternehmen kamen Leute herein und sagten: ‚Nun, hier ist meine Schätzung, wie oft etwas in einer Bevölkerung vorkommt‘, beispielsweise die Rate einer Krankheit oder die Präferenzen für eine politische Partei. Und sie würden wissen wollen, wie sie das interpretieren sollen. Ich würde antworten: „Haben Sie die Gewichtung in den von Ihnen verwendeten Umfragedaten berücksichtigt – oder haben Sie das Stichprobendesign berücksichtigt?“ Und ich würde sagen, dass sie mich wahrscheinlich in 90 Prozent der Fälle ansahen und keine Ahnung hatten, wovon ich redete. Sie hatten in ihren Standardkursen zur Einführung in die Statistik nie etwas über die Grundprinzipien der Arbeit mit Umfragedaten gelernt.“

Als Umfragemethodologe fragte sich West, ob seine Erfahrung auf ein systemisches Problem hindeutete. Es gab nicht viel in der wissenschaftlichen Literatur, um diese Frage zu beantworten, also untersuchten er und seine Kollegen Joseph Sakshaug und Guy Aurelien 250 Artikel, Berichte und Präsentationen – alle online verfügbar und führten Sekundäranalysen von Umfragedaten durch –, um zu sehen, ob dies der Fall ist Analysefehler waren in der Tat häufig.

„Es war ziemlich schockierend“, sagt West. „Nur etwa die Hälfte dieser Analysen gab an, die Gewichtung zu berücksichtigen, der Einfluss von Stichprobendesigns auf Varianzschätzungen wurde weitgehend missverstanden und es gab keine Anzeichen für eine Verbesserung dieser Probleme im Laufe der Zeit.“ Am schlimmsten war jedoch, dass diese Probleme in der Peer-Review-Literatur ihrer Stichprobe ebenso häufig auftraten wie in technischen Berichten und Konferenzpräsentationen. „Das hat mich wirklich am meisten schockiert“, sagt West. „Der Peer-Review-Prozess konnte diese Fehler nicht erkennen.“

Ein alarmierendes Beispiel dafür, was passieren kann, wenn Sie eine Schätzung berechnen, aber die Umfragegewichtung ignorieren, finden Sie in der National Survey of College Graduates (NSCG) 2010. „Dies ist eine große landesweite Umfrage unter Hochschulabsolventen, und in ihrer Dokumentation heißt es wörtlich, dass sie Personen mit naturwissenschaftlichen und technischen Abschlüssen zu stark befragt“, sagt West. „Wenn man die Gewichtung berücksichtigt, die diese Überbelegung korrigiert, erhalten etwa 30 Prozent der Menschen einen Abschluss in Naturwissenschaften und Technik; Wenn man die Gewichtung vergisst, extrapoliert man die Überstichprobe auf die gesamte Bevölkerung, und plötzlich haben 55 Prozent der Menschen einen Abschluss in Naturwissenschaften und Ingenieurwesen.“

Ironischerweise könnte eine bessere Stichprobenauswahl bei wenig untersuchten Bevölkerungsgruppen das Problem verschärfen. „Es besteht großes Interesse an unterrepräsentierten Bevölkerungsgruppen wie den Hispanics“, sagt West. „Daher werden bei vielen nationalen Umfragen diese und andere Gruppen zu stark abgetastet, um eine ausreichend große Stichprobe zu schaffen, damit Forscher sie angemessen untersuchen können. Aber wenn Average Joe Researcher alle Daten erfasst – nicht nur die Daten der Teilpopulation, an der sie interessiert sind, sondern alle, Weiße, Afroamerikaner und Hispanoamerikaner – und dann versucht, alle diese Daten kollektiv zu analysieren, kann es zu einer Überstichprobe kommen Eine schreckliche Auswirkung auf das Gesamtbild, wenn dieses Merkmal des Musterdesigns bei der Schätzung nicht korrekt berücksichtigt wird.“

Es gibt viele benutzerfreundliche Softwaretools, die die mit Umfragedaten verbundenen Komplexitäten bei der Stichprobenziehung und Gewichtung problemlos berücksichtigen können, aber die Tatsache, dass sie nicht verwendet werden, verdeutlicht das zugrunde liegende Problem.

„Dieses Problem rührt daher, dass die Leute, die diese Artikel veröffentlichen, in ihrer Ausbildung einfach nichts davon erfahren“, sagt West. „Seit fast einem Jahrhundert wissen wir um die Bedeutung der Gewichtung von Umfragen – aber irgendwie ist der Umgang mit gewichteten Umfragedaten noch nicht in den Statistikkursen verankert, die Forscher im Bachelor- oder Masterstudium belegen. Wir geben ein Vermögen für nationale Umfragen aus – und wer weiß, wie viel uns die Fehlinterpretation dieser Daten kostet.“