Repräsentativität in der Marktforschung – nach wie vor ein Mysterium

Repräsentativität gibt es nicht. Oder doch?

„Im Sinne der klassischen Statistik gibt es ‚Repräsentativität‘ in Befragungsstudien nicht“, positioniert sich Daniel Althaus, Leiter der Quantitativen Marktforschung bei SPLENDID RESEARCH. Warum? Weil sich die dafür geforderten statistischen Voraussetzungen nicht realisieren lassen. Und wenn man darüber einen Moment nachdenkt, dann merkt man schnell, dass das so schwer zu verstehen gar nicht ist.

Zufälligkeit wichtigste Grundlage für die „Repräsentativität“

Wichtigstes Attribut der Repräsentativität ist die Zufälligkeit der Stichprobe. „Jedes Element, oder in unserem Fall, jede Person, muss die Möglichkeit haben, in unsere Stichprobe zu gelangen.“

Vor der Verbreitung des Internets wurden dazu zufällig ausgesuchte Personen von Interviewern angerufen oder persönlich besucht – sogenannte CATI und Face-to-Face-Interviews. Auch heute werden noch viele Umfragen so durchgeführt. Allerdings lehnen es nach der Marktforschungs- und Marketingflut der 2000er-Jahre viele Menschen ab, angerufen oder angesprochen zu werden oder sie sind über diese Kanäle nur noch sehr schwer erreichbar. Dadurch, dass diese Menschen gar nicht mehr in Stichproben gelangen, ist die Repräsentativität bei telefonischen und persönlichen Befragungen nicht mehr gegeben.

Online-Befragungen haben hier einen großen Vorteil, denn Einladungen über E-Mail oder mobile Apps sind weitgehend akzeptierte Kontaktarten. Ihr Nachteil ist allerdings, dass es kein öffentliches Register für E-Mail-Adressen gibt und eine App heruntergeladen werden muss. In den sogenannten Online Access-Panels müssen sich Teilnehmer für Befragungen deshalb zunächst anmelden. Durch diesen Effekt – man spricht von Selbstselektivität – ist das Panel dann wiederum nicht zufällig zustande gekommen und damit auch nicht repräsentativ.

Bröckelt das Fundament der modernen Marktforschung?

„Wenn man es mit der klassischen Statistik sieht, sind telefonische und persönliche Interviews nicht-repräsentative Befragungen einer repräsentativ ausgesuchten Gruppe von Personen, und Online-Interviews sind repräsentative Befragungen einer nicht-repräsentativen Gruppe von Personen“, fasst Daniel Althaus das Dilemma zusammen. Die Marktforschung begegnet diesen Verzerrungen mit der Quotierung und Gewichtung der Datensätze, die wissenschaftliche Sozialforschung betrachtet das allerdings nur unter strengen Voraussetzungen als zulässig. „Wenn die Teilnahme an Studien freiwillig sein soll, können wir innerhalb des Paradigmas keine verallgemeinerbare Befragungsforschung mehr machen“, fasst Althaus die Situation zusammen. „Wir haben es hier mit einem grundsätzlichen Problem zu tun und benötigen eine sinnvolle, neue Definition von ‚Repräsentativität‘“, so Althaus. Die Lösung besteht interessanterweise in der umgangssprachlichen, nicht in der wissenschaftlichen Bedeutung von Repräsentativität. Demnach ist eine Stichprobe repräsentativ, wenn sie in wesentlichen Merkmalen für die Grundgesamtheit steht – bei einer repräsentativen Stichprobe für 18-69-Jährige in Deutschland zum Beispiel, wenn der Anteil von Frauen rund 51 Prozent beträgt. Das ist eben gerade nicht charakteristisch für eine Zufallsstichprobe, in der der Frauenanteil auch einmal 47 oder 54 Prozent betragen kann – zufällig eben. „Mit einer repräsentativen Stichprobe bauen wir ein Modell, das die Grundgesamtheit in wesentlichen Merkmalen möglichst genau abbildet“, erläutert Althaus.

Repräsentativität beschränkt sich immer auf wenige Merkmale

“Klar kann man niemals alle relevanten Merkmalen kontrollieren“, so der Leiter. Entscheidend sei es daher, mindestens die jeweils für die individuelle Untersuchung entscheidenden Merkmale zu kontrollieren, also zum Beispiel die Mitgliedschaft in sozialen Netzwerken bei Studien zur Wirkung von Influencern oder den beruflichen Status bei Geschäftsreisen.

Wie wichtig ist die Fallzahl?

Was explizit hervorgehoben werden soll, ist, dass die Anzahl der Befragten nichts mit der Repräsentativität zu tun haben muss. Die Fallzahl beeinflusst nur die Genauigkeit der Ergebnisse. Repräsentativität sei auch bei kleiner Fallzahl möglich und auch manchmal gar nicht anders machbar, nämlich dann, wenn es „sich um sehr spezifische Gruppen handelt, die wir untersuchen wollen“, so Althaus. Beispiel: Wir befragen die Vorstände aller 30 DAX-Unternehmen zur erwarteten wirtschaftlichen Entwicklung. Auch bei einer hervorragenden Teilnahmequote von 50 Prozent werden wir nur etwa 100 Interviews realisieren. Trotzdem sind die 100 Meinungen repräsentativ und schätzen die allgemeine Stimmung bei nur 201 Dax-Vorständen sogar ziemlich genau.

Ein Kampf der Welten: frequentistischer versus bayesscher Wahrscheinlichkeitsbegriff

Fragwürdig ist es, ob Bevölkerungsbefragungen als unendlich oft wiederholbare Zufallsexperimente wie Münz- und Würfelwürfe interpretiert werden können. Althaus ist der Ansicht, dass es eines anderen Wahrscheinlichkeitsbegriffs bedarf, um auch künftig mit dem Begriff der Repräsentativität zu arbeiten: das Verständnis von Wahrscheinlichkeit als Grad der Überzeugung, der bei einem bestimmten Wissensstand gerechtfertigt ist. Entwickelt wurde die subjektivistische Wahrscheinlichkeitstheorie bereits im 18. Jahrhundert vom englischen Mathematiker Thomas Bayes, aber die meisten praktischen Anwendungen wurden erst mit dem Vorhandensein leistungsfähiger Computer in den 1990er-Jahren verfügbar. Die konsequente Kombination von Wahrscheinlichkeitsverteilungen und bestehendem Wissen kennzeichnet demnach die bayessche Statistik.

Althaus ist der Überzeugung, dass damit die Probleme in Sachen Repräsentativität gelöst werden könnten. „Im Gegensatz zur objektiven Wahrscheinlichkeit kombiniert die Formel von Bayes eine bestehende Erkenntnis über eine zu untersuchende Variable mit neuen Erkenntnissen aus den Daten“, erläutert Althaus. „Der Ansatz liefert uns dann eine verbesserte Erkenntnis und stellt die Grundlage dar, auf der die Zuverlässigkeit von Ergebnissen beurteilt werden kann.“ Quotierungen und Gewichtungen seien im Frequentismus Gefährdungen der reinen Zufallsstichprobe, im Bayesianismus hingegen produktive Möglichkeiten, bestehendes Wissen systematisch in neue Forschung einfließen zu lassen. „Das erklärt, warum die Ergebnisse der Markt- und Sozialforschung trotz der Verletzung so vieler Annahmen der klassischen Statistik immer noch erstaunlich genau sind. Der Wechsel des Paradigmas wird sich letztlich positiv auf die Entwicklung der modernen Marktforschung auswirken“, ist sich Althaus sicher.