Artikel zum Thema: Datenqualität

Unsere Antworten auf die 28 ESOMAR-Fragen zur Qualität von Online-Panels

Hier erhalten Sie detaillierte Einsicht in unsere Arbeit

4.8/5 Bewertung (14 Stimmen)

Die 28 Fragen von ESOMAR.

Wie steht es um die Qualität von Online-Panels? Mit Hilfe der 28 ESOMAR-Fragen sollen Marktforscher und Kunden darauf verständlich und einfach Antworten erhalten, denn so können sie die unterschiedlichen Dienstleister besser vergleichen. Das Besondere: Nicht nur anhand des Preises können Interessierte die Anbieter so beurteilen; die Fragen ermöglichen ihnen insbesondere einen Vergleich anhand vieler weiterer detaillierter Kriterien. Sie berücksichtigen sowohl rechtliche und ethische Themen als auch den in der Branche so wichtigen Datenschutz und lassen zudem auch neue Technologien nicht außer Acht.

Die Antworten liefern eine hohe Transparenz der Arbeit eines Online-Panel-Anbieters, sie bieten Hilfestellung bei der Bewertung der Qualität eines Anbieters und beleuchten unterschiedliche Aspekte der Online-Marktforschung.

Die Vision von ESOMAR.

Der Internationale Verhaltenskodex der Marktforschung soll die Standards des ethischen Verhaltens in der Markt- und Meinungsforschung fördern und sichern. Außerdem soll er das Vertrauen der Öffentlichkeit in die Branche stärken, stützen und ausbauen.

Die 28 Fragen von ESOMAR fassen den Kodex auf das Wesentliche zusammen und die Antworten bieten ihrem Leser ein umfassendes Bild des jeweiligen Online-Panel-Anbieters, in diesem Fall von uns

Fordern Sie das White Paper mit unseren Antworten auf die 28 ESOMAR-Fragen an und erhalten Sie sofort einen umfangreichen Einblick in unsere Philosophie und unsere Standards:

White Paper: ESOMAR 28

Geben Sie bitte Ihren Namen und Ihre E-Mail-Adresse ein. Sie erhalten das White Paper dann unmittelbar per E-Mail.

Ich habe die Datenschutzerklärung zur Kenntnis genommen. Ich stimme zu, dass meine Angaben und Daten zur Beantwortung meiner Anfrage elektronisch erhoben und für Newsletter von SPLENDID RESEARCH verwendet werden.

Hat Ihnen der Beitrag gefallen? Dann teilen Sie uns dies gern mit.

Welche Skala ist die richtige für mich?

Gerade versus ungerade Skala

5.0/5 Bewertung (20 Stimmen)

Die Wahl der optimalen Antwortskala ist eine vieldiskutierte Frage, der wir uns im Folgenden widmen. Wir beschränken uns auf den Unterschied zwischen einer geraden sowie einer ungeraden Skala und erläutern Ihnen die Vor- und Nachteile beider. Ganz allgemein dient eine Ratingskala zunächst einmal dazu, Bewertungen entsprechenden Zahlen bzw. Rängen zuzuordnen. Mit ihrer Hilfe können wir also rangbasierte Aussagen von Teilnehmern erfassen und auswerten. Bei einer Ratingskala ist es notwendig, dass zumindest Anfang und Ende mit einem Text versehen sind, sodass der Befragte überhaupt in der Lage ist, aus der Auswahl der Optionen eine Antwort zu wählen. Zudem nehmen wir bei einer Skala den immer gleich großen Abstand zwischen den einzelnen Bewertungsschritten an. Soweit zu den formalen Aspekten einer jeden Ratingskala.

Finden Sie die optimale Skalenlänge

„Die Wahl der Skalenpunkte ist immer auch abhängig vom Projekt und seinem Anspruch", konstatiert unsere Junior-Projektleiterin Nadine Corleis. "Eine allgemeingültige Aussage die optimale Anzahl betreffend, ist schlichtweg nicht möglich." Allerdings führten zu viele Stufen – beispielsweise eine Zwölferskala - häufiger zu Überforderung der Befragten, da diese Art der Skala zu komplex sei. „Es kommt dann vor, dass die Teilnehmer nicht mehr differenzieren können, ob sie z.B. ein Produkt mit einer sieben oder einer acht bewerten sollen“, so Corleis. Gleichwohl bietet eine Skala mit vielen Stufen die Möglichkeit der feineren Abstufung und besseren Differenzierung (Weiteres zum Thema Konzipierung eines Fragebogens finden Sie übrigens hier.)

Als optimal hätten sich Abstufungen zwischen fünf und sieben erwiesen, so die Junior-Projektleiterin weiter. Nun gilt es „nur noch“, zu wählen, ob man sich für eine gerade oder eine ungerade Skala entscheidet.

Eindeutigkeit erhalten durch die gerade Skala

Die Vorteile einer geraden Skala sind gleichzeitig die Nachteile der ungeraden. Eine gerade Skala bietet eine eindeutige positive bzw. negative Verteilung. Jede Antwort ist somit ausdrücklich zustimmend oder ablehnend. Der Nachteil besteht jedoch darin, dass eine Antwort erzwungen wird, obgleich ein Befragter evtl. eine weder positive noch negative Meinung hat. Zudem birgt dieser Umstand die Gefahr der wahllosen Falschangabe, da die passende Antwort ja nicht zur Verfügung steht. Ein Lösungsansatz ist es, eine Antwortoption wie „Weiß ich nicht“ oder „Kann ich nicht beurteilen“ einzubauen. Misst man beispielsweise das Markenimage, kommt es nämlich schon vor, dass die Befragten keine Meinung dazu haben, beispielsweise, weil sie ein Unternehmen gar nicht gut genug kennen, um bestimmte Aspekte des Images beurteilen zu können

Dieser Lösungsansatz birgt aber gleichzeitig auch die Gefahr der Falschantwort. „Möchte es sich ein Proband einfach machen, kreuzt er diese Möglichkeit der undifferenzierten Antwort an“, so die Junior-Projektleiterin. Dafür müsse er nicht viel nachdenken und spare Zeit. Zudem werde diese Antwortoption manchmal auch von denjenigen Befragten genutzt, die eigentlich eine Meinung haben, sich jedoch nicht als Experte auf dem Gebiet wahrnehmen und daher eingeschüchtert sind. Auch hier entstünde dann letztlich ein falscher Datensatz. Ob man sich also dazu entschließen sollte, eine alternative Antwortoption in eine gerade Skala einzubauen, hängt vom gesamten Projekt und den daran geknüpften Erwartungen ab. Dies kann Ihnen ein professionelles Institut allerdings beantworten.

Grafik: Die ungerade Skala enthält stets einen neutralen Mittelwert

Pluspunkt ungerade Skala: Befragte können neutrale Antworten geben  

Der geraden Skala steht die ungerade Skala gegenüber. „Hier hat der Befragte stets die Möglichkeit, eine neutrale Antwort anzugeben“, erklärt Corleis. Die ungerade Skala verhindert somit das Erzwingen einer bestimmten Antwort. Gleichzeitig besteht hier natürlich wieder das Problem der Tendenz zur Mitte: Der Befragte vermeidet im schlechtesten Fall extrem positive sowie negative Bewertungen. Zudem erleichtere der „Fluchtpunkt“ den Befragten es, sich in ihre Unsicherheit sowie in ihre Bequemlichkeit zu ergeben und „schnell mal die neutrale Antwort zu wählen“.

Gerade Skala oder ungerade Skala? Die Antwort ist eindeutig

Um auf die Eingangsfrage zurückzukommen: Entscheiden Sie sich für die Skala, die am besten zu Ihrer Fragestellung passt! Es ist von Fall zu Fall ganz unterschiedlich, welche Ratingskala die optimale ist. Ein Profi sollte Ihren Einzelfall unbedingt genau analysieren und dementsprechend eine gerade Skala oder aber eine ungerade Skala wählen. Denn dann klappt es auch mit den Ergebnissen.

Hat Ihnen der Beitrag gefallen? Dann teilen Sie ihn gern.

Happy birthday, R!

DIE Programmiersprache für Datenwissenschaftler wird 25

5.0/5 Bewertung (23 Stimmen)

Dieser Tage jährt er sich zum 25sten Mal: Der Tag, an dem die beiden Wissenschaftler aus Neuseeland bzw. Kanada, Ross Ihaka und Robert Gentleman, die Programmiersprache R vorstellten.

Man schrieb das Jahr 1993, als die Sprache in einer Sammelstelle der Carnegie Mellon University für statistische Software hochgeladen wurde. Hier konnten und können Menschen ihr Feedback zu einer Software oder einer Programmiersprache geben.

Die Ursprünge dieser neuen Sprache finden sich allerdings bereits ein Jahr zuvor, als die beiden Statistiker auf der Grundlage der Programmiersprache S nach einer neuen Alternative suchten, um statistische Berechnungen und Grafiken darstellen zu können. Die Syntax von R orientiert sich dabei an S und beide sind weitgehend auch miteinander kompatibel, während sich die Semantik auf Scheme bezieht. Als Open-Source-Entwicklungsumgebung für die Statistik ist R vergleichbar mit SPSS Statistics oder auch MATLAB.

Ab 1995 stand R dann zur freien Distribution zur Verfügung und nach und nach sammelten sich immer mehr Interessierte in einer Mailingliste, um die Sprache weiter zu verfeinern. Es sollten noch weitere zwei Jahre vergehen, bis das R Core Team sich formierte – es kümmert sich bis heute um die Weiterentwicklung von R. Im selben Jahr startete CRAN (Comprehensive R Archive Network). Dabei handelt es sich um eine Plattform, auf der Anwender ihre selbst geschriebenen Funktionen mit anderen Interessierten teilen können.

Ein unscheinbares Tool mit einem kurzen Namen bestimmt die gesamte Umwelt

Als Standardsprache in der Statistik ist R dieser Tage das Mittel der Wahl, um statistische Probleme mit Hilfe einer Sprache zu lösen. Dies gilt übrigens für Wirtschaft als auch Wissenschaft gleichermaßen – R ist die Nummer eins! Von Packungsfarben bis hin zu Werbebannern basiert so Einiges auf dieser Programmiersprache. Bedenkt man nämlich, dass wir bspw. die Werbewirkung auf Basis statistischer Auswertungen für ein Plakat oder einen Spot ermitteln, so steckt letztlich auch R dahinter.

Vorteile von R

Was können wir mit R anfangen? Kurz gesagt erlaubt R es uns, Datensätze aus ganz unterschiedlichen Datenquellen zusammenzutragen, sie umzuwandeln und zu guter Letzt zu untersuchen. Dieser Ablauf dient dann beispielsweise dazu, Vorhersagemodelle zu entwickeln.

Ein weiterer klarer Vorteil von R ist, dass bei dieser Sprache die Programmierfähigkeiten des Nutzers in den Hintergrund fallen können. So ist es theoretisch jedem möglich, auch den Nicht-Informatikern unter uns, diese Sprache zu nutzen, um ein bestimmtes statistisches Problem zu lösen: Der Anwender kann mit ihr unter anderem und nachdem er seine Daten exportiert und transformiert hat, auf Wahrscheinlichkeitsverteilungen und mathematische Funktionen zugreifen und diese dann am Ende visuell ansprechend aufbereiten.

Unser Junior-Projektleiter Kolja Turkiewicz fasst zusammen: „R ist eine flexible Statistikprogrammiersprache, mit der man nicht nur selbst seine eigenen Analysemethoden programmieren und individualisieren kann, sondern auch Teil einer internationalen Community aus verschiedenen Fachbereichen wird, die stets an weiteren Analysemethoden und Erkenntnissen in der Statistik arbeitet.“

Man sieht also, dass die Programmiersprache R viele Vorteile bietet – kein Zufall übrigens, dass sie R heißt. Ihre stolzen Entwickler Ross und Robert ließen es sich nämlich nicht nehmen, ihre Anfangsbuchstaben in dieser neuen, innovativen Sprache zu verewigen.

Hat Ihnen der Beitrag gefallen? Dann teilen Sie ihn gern.

Wie wir die Qualität von Onlinepanels sichern können

Unser Geschäftsführer Andre Wolff klärt auf

4.8/5 Bewertung (29 Stimmen)

Neue Methoden erfordern neue Maßnahmen: Im Hinblick auf die Digitalisierung und die damit verbundene Ausweitung der Online-Marktforschung treten auch neue Herausforderungen auf, die es gilt, anzunehmen. Das Grundproblem ist das folgende: Das klassische Geflecht aus Auftraggeber, Institut und Panelanbieter, das die Datenqualität sicherstellt, wird heutzutage häufig durch andere oder komplexere Einkaufsketten ersetzt. Beispielsweise gibt es reine Projektvermittler, die die intransparente Situation am Markt mit seinen Qualitäts- und Preisunterschieden für sich ausnutzen.

Qualität kostet Geld: Onlinepanel ist nicht gleich Onlinepanel

„Es existieren im Bereich der Onlinepanel-Forschung mehrere Entwicklungen, denen ein einzelnes Institut sich schwer entgegenstellen kann“, fasst Andre Wolff, unser Geschäftsführer, knapp zusammen. Und: „Entgegen dem Markttrend höhere Preise zu verlangen, ist problematisch.“ Doch genau die höheren Preise sind es, die letztlich die exzellente Qualität der erhobenen Daten sichern.

Gleichwohl betont Wolff, dass die in der Marktforschung zu beobachtenden Entwicklungen nicht alle per se schlecht seien. „Wir können als Branche durchaus auch davon profitieren“, so Wolff. Aber, und dies ist Fakt: Es gibt schwarze Schafe und diese trügen dazu bei, den gesamten Zweig in Verruf zu bringen und die Qualität der Erhebungen zu senken.

Onlinepanel: Im Idealfall stellt ein professionelles Institut die Qualität der Prozesse sicher

Doch wo genau liegen die Probleme? Der Idealfall sieht wie folgt aus: Ein professionelles Institut stellt die Qualität eines Marktforschungsprojekts sicher, indem es Kontrolle über den gesamten Verlauf hat – von der Beratung des Kunden, die Konzeption und die Fragebogenprogrammierung über die Durchführung der Datenerhebung bis hin zur Analyse der Ergebnisse sowie der weiterführenden Beratung des Klienten.

Schlechte Projektvermittler und mundtote Panelanbieter sorgen für mangelhafte Qualität

Und hier kommt das große Aber: Die Branche entwickelt sich nunmehr dahingehend, dass reine Projektvermittler wie Pilze aus dem Boden schießen, die unter anderem die Möglichkeit nutzen, Befragungsteilnehmer wahllos aus unterschiedlichen Quellen in einer Studie zusammenzuführen – auf Kosten der Qualität.

Gleichzeitig haben die Panelanbieter, also diejenigen, die sich lediglich und ausschließlich darum kümmern, die richtige Zielgruppe oder auch die passenden Probanden zu organisieren, auf viele Bereiche des gesamten Prozesses gar keinen Einfluss. Stattdessen bekommen sie zumeist lediglich einen Link zum fertigen Fragebogen, für den sie dann die passenden Teilnehmer liefern müssen. Im selben Atemzug haben diese Anbieter jedoch einen elementaren Einfluss auf die Qualität der Onlinebefragungen, da sie ja die dazugehörigen Teilnehmer bereitstellen. Und das bedeutet im Ergebnis, dass „eine gelungene Interpretation von falschen Daten zu einer falschen Entscheidung führt“, konstatiert Wolff.

Wie der so genannte Paneleffekt entsteht: drei Beispiele

Im Folgenden wollen wir uns drei Entwicklungen näher ansehen, und anhand dieser erläutern, durch welche Gegenmaßnahmen wir die Qualität der Umfragen sicherstellen können. Das Hauptproblem aller drei Fälle lässt sich mit einem Wort beschreiben: PANELEFFEKT. Damit ist die zu häufige Befragung der Teilnehmer und ein damit einhergehendes ungenügendes Antwortverhalten gemeint.

  1. Teilnehmervermittler

Wer die Wahl hat…Die Vielzahl an unterschiedlichen Panels verlockt die Teilnehmer, sich in mehreren unterschiedlichen Panels anzumelden. Selbst erklärte „Vergleichsportale“ listen die Panelanbieter auf, allerdings sind diese Rankings wenig aussagekräftig, da derjenige Anbieter „am besten gelistet wird, der die höchsten Werbeausgaben finanzieren kann“, erläutert Wolff das Problem. Eine solche Liste sagt, entgegen der allgemeinen Annahme unerfahrener Panelisten, aber rein gar nichts über die Qualität eines Panels aus.

Des Weiteren ist es unmöglich, die Teilnahmehäufigkeit in irgendeiner Weise zu regulieren. „Die anderen Anbieter kann ich schlichtweg nicht kontrollieren“, so unser Geschäftsführer. Wenn wir die Qualität an oberste Stelle stellen, dann müssen die Teilnehmer so ausgewählt werden, dass sie in wenigen bis gar keinem weiteren Panel angemeldet sind. Die Lösung: „Das bedeutet den Verzicht auf affiliategesteuerte Teilnehmervermittler“, so Wolff. Dies führe dann zu einer Senkung der Befragungshäufigkeit der eigenen Teilnehmer und zu einer erheblich besseren Datenqualität.

  1. Automatisierter Sampleaustausch

Programmierschnittstellen, so genannte Automated Programming Interfaces (APIs), bieten Großabnehmern die Möglichkeit, automatisiert Samples einzukaufen. Das Problem dabei: Mehrfachanmeldungen. Ein Panelanbieter kauft über eine API bei einem anderen ein. Der eingekaufte Teilnehmer kann jedoch in beiden Panels angemeldet sein und wird dann doppelt befragt. „Dies kann bspw. durch Fingerprinting verhindert werden“, schlägt Wolff vor.

Des Weiteren bestehe durch die Automatisierung noch die Gefahr schlechter Fragebögen, da die wichtige Kontrollinstanz eines Projektmanagers wegfällt. „Da der Prozess ja automatisch und nicht händisch von Statten geht, wird das häufig noch nicht einmal bemerkt und schlechte Fragebögen werden auf gut Glück im Partnerpanel ausgesandt“, so Wolff. Wenn die Panelanbieter bei ihren Kooperationen auf hohe Qualitätsstandards setzen, dann biete die Automatisierung aber auch große Chancen und erhebliches Potenzial.

  1. Projektmarktplätze

Auf einem Marktplatz können die Käufer ihre gewünschte Stichprobe sowie den Preis angeben und die Lieferanten können unmittelbar ihr Angebot abgeben. „Diese Methode ist allerdings eindimensional“, so Wolff, „da sie ausschließlich über den Preis funktioniert.“ Der billigste Anbieter profitiere systematisch. Dass die Qualität auf der Strecke bleibt, liegt nahe. Besonders heikel ist zudem, dass „der Lieferant evt. noch nicht einmal selbst liefert, sondern den Auftrag an einen Sublieferanten weitergibt, da dieser einen noch günstigeren Preis anbietet als den geforderten“, so Wolff. In diesem Fall hat der Lieferant mit dem Zuschlag selbst nicht einmal mehr einen Überblick und auch keinen Einfluss auf die Panelisten-Zusammenstellung.

Weiteres Problem: Da praktisch jedes Mal eine Art Auktion auf dem Marktplatz stattfindet, sieht es aus, als biete jeder Anbieter dasselbe an. „Diese Annahme ist jedoch grundlegend falsch“, so Wolff. „Am Ende sterben nicht die billigen, qualitativ minderwertigen, sondern die alteingesessenen Anbieter weg“, so Wolff. Darunter leide natürlich die Qualität. Der Branche wäre geholfen, wenn, so Wolff, wenige „Marktforschungsinstitute die Panels betreiben, dafür mit einem umfassenden, professionellen und qualitätsorientierten Panel Management.“

Diese sieben Schritte steigern die Qualität eines Onlinepanels erheblich

Panelanbieter müssen entsprechend ihrer Funktion Experten für die Qualitätssicherung sein. Dies kann funktionieren, wenn sie sich folgende Schritte zu Herzen nehmen und auf diese sieben Punkte eingehen:

  • Auf Teilnehmer fokussieren, die ausschließlich im eigenen Panel angemeldet sind
  • Alle Teilnehmer gleichwertig behandeln und nicht diejenigen bevorzugen, die am schnellsten antworten
  • Klare Zuständigkeiten von Fragebogenkonzeption, Fragebogenprogrammierung und Datenbereinigung definieren
  • Bei Kooperationen nach dem Motto handeln: Qualität vor Quantität
  • Wenn APIs, dann auf die Überschaubarkeit der Konstellation achten
  • Rückmeldung hinsichtlich der Antwortqualität bei den Panelanbietern einfordern
  • Zusammenarbeit aufkündigen mit Auftraggebern, die wissentlich falsche Angaben über Screener oder Quoten machen

Wenn Sie noch mehr über dieses Thema wissen möchten, empfehlen wir Ihnen das folgende Buch, an dem auch unser Geschäftsführer mitgewirkt hat: Keller, Bernhard; Klein, Hans-Werner; Wirth, Thomas (Hrsg.): Qualität und Data Science in der Marktforschung. Prozesse, Daten und Modelle der Zukunft. Springer Gabler. 2018. ISBN-13: 978-3658196592

Hier können Sie diesen Beitrag kostenfrei und sofort per E-Mail anfordern:

White Paper: Qualität von Onlinepanels

Laden Sie sich hier den gesamten Text kostenlos herunter.

Geben Sie bitte Ihren Namen und Ihre E-Mail-Adresse ein. Sie erhalten das White Paper dann unmittelbar per E-Mail.

Ich habe die Datenschutzerklärung zur Kenntnis genommen. Ich stimme zu, dass meine Angaben und Daten zur Beantwortung meiner Anfrage elektronisch erhoben und für Newsletter von SPLENDID RESEARCH verwendet werden.

Hat Ihnen der Beitrag gefallen? Dann teilen Sie ihn gern.

„Repräsentativität“ – Ein Mysterium der Marktforschung

Eine Stichprobe ist repräsentativ, wenn das Ergebnis der Stichprobenerhebung stellvertretend für die Gesamtheit steht. Tatsächlich? Tatsächlich möglich?

4.9/5 Bewertung (15 Stimmen)

Es ist ein Grundlagenproblem in der Forschung und wird häufig doch nicht als eines behandelt: Der Begriff der „Repräsentativität“. Ob Ottonormalverbraucher oder Statistik-Experte – jeder denkt zu wissen, was damit gemeint ist. Doch stimmt das wirklich? Beantworten Sie sich doch zunächst einmal selbst die Frage, wie Sie den Begriff „Repräsentativität“ definieren würden? Vermutlich würden Sie so etwas in der Art antworten wie „Stellvertreter seiner Art“ oder „stellvertretend für eine Gesamtheit stehend.“ Oder wenn Sie meinen, richtig viel Ahnung zu haben: „Eine Stichprobe bildet die Grundgesamtheit ab.“ So weit, so gut erstmal.

Repräsentativität gibt es nicht. Oder doch?

„Im Sinne der klassischen Statistik gibt es ‚Repräsentativität‘ in Befragungsstudien nicht“, positioniert sich Daniel Althaus, Leiter der Quantitativen Marktforschung bei SPLENDID RESEARCH. Warum? Weil sich die dafür geforderten statistischen Voraussetzungen nicht realisieren lassen. Und wenn man darüber einen Moment nachdenkt, dann merkt man schnell, dass das so schwer zu verstehen gar nicht ist.

Zufälligkeit wichtigste Grundlage für die „Repräsentativität“

Wichtigstes Attribut der Repräsentativität ist die Zufälligkeit der Stichprobe. „Jedes Element, oder in unserem Fall, jede Person, muss die Möglichkeit haben, in unsere Stichprobe zu gelangen.“

Vor der Verbreitung des Internets wurden dazu zufällig ausgesuchte Personen von Interviewern angerufen oder persönlich besucht – sogenannte CATI und Face-to-Face-Interviews. Auch heute werden noch viele Umfragen so durchgeführt. Allerdings lehnen es nach der Marktforschungs- und Marketingflut der 2000er-Jahre viele Menschen ab, angerufen oder angesprochen zu werden oder sie sind über diese Kanäle nur noch sehr schwer erreichbar. Dadurch, dass diese Menschen gar nicht mehr in Stichproben gelangen, ist die Repräsentativität bei telefonischen und persönlichen Befragungen nicht mehr gegeben.

Online-Befragungen haben hier einen großen Vorteil, denn Einladungen über E-Mail oder mobile Apps sind weitgehend akzeptierte Kontaktarten. Ihr Nachteil ist allerdings, dass es kein öffentliches Register für E-Mail-Adressen gibt und eine App heruntergeladen werden muss. In den sogenannten Online Access-Panels müssen sich Teilnehmer für Befragungen deshalb zunächst anmelden. Durch diesen Effekt – man spricht von Selbstselektivität – ist das Panel dann wiederum nicht zufällig zustande gekommen und damit auch nicht repräsentativ.

Bröckelt das Fundament der modernen Marktforschung?

„Wenn man es mit der klassischen Statistik sieht, sind telefonische und persönliche Interviews nicht-repräsentative Befragungen einer repräsentativ ausgesuchten Gruppe von Personen, und Online-Interviews sind repräsentative Befragungen einer nicht-repräsentativen Gruppe von Personen“, fasst Daniel Althaus das Dilemma zusammen. Die Marktforschung begegnet diesen Verzerrungen mit der Quotierung und Gewichtung der Datensätze, die wissenschaftliche Sozialforschung betrachtet das allerdings nur unter strengen Voraussetzungen als zulässig. „Wenn die Teilnahme an Studien freiwillig sein soll, können wir innerhalb des Paradigmas keine verallgemeinerbare Befragungsforschung mehr machen“, fasst Althaus die Situation zusammen. „Wir haben es hier mit einem grundsätzlichen Problem zu tun und benötigen eine sinnvolle, neue Definition von ‚Repräsentativität‘“, so Althaus. Die Lösung besteht interessanterweise in der umgangssprachlichen, nicht in der wissenschaftlichen Bedeutung von Repräsentativität. Demnach ist eine Stichprobe repräsentativ, wenn sie in wesentlichen Merkmalen für die Grundgesamtheit steht – bei einer repräsentativen Stichprobe für 18-69-Jährige in Deutschland zum Beispiel, wenn der Anteil von Frauen rund 51 Prozent beträgt. Das ist eben gerade nicht charakteristisch für eine Zufallsstichprobe, in der der Frauenanteil auch einmal 47 oder 54 Prozent betragen kann – zufällig eben. „Mit einer repräsentativen Stichprobe bauen wir ein Modell, das die Grundgesamtheit in wesentlichen Merkmalen möglichst genau abbildet“, erläutert Althaus.

Repräsentativität beschränkt sich immer auf wenige Merkmale

“Klar kann man niemals alle relevanten Merkmalen kontrollieren“, so der Leiter. Entscheidend sei es daher, mindestens die jeweils für die individuelle Untersuchung entscheidenden Merkmale zu kontrollieren, also zum Beispiel die Mitgliedschaft in sozialen Netzwerken bei Studien zur Wirkung von Influencern oder den beruflichen Status bei Geschäftsreisen.

Wie wichtig ist die Fallzahl?

Was explizit hervorgehoben werden soll, ist, dass die Anzahl der Befragten nichts mit der Repräsentativität zu tun haben muss. Die Fallzahl beeinflusst nur die Genauigkeit der Ergebnisse. Repräsentativität sei auch bei kleiner Fallzahl möglich und auch manchmal gar nicht anders machbar, nämlich dann, wenn es „sich um sehr spezifische Gruppen handelt, die wir untersuchen wollen“, so Althaus. Beispiel: Wir befragen die Vorstände aller 30 DAX-Unternehmen zur erwarteten wirtschaftlichen Entwicklung. Auch bei einer hervorragenden Teilnahmequote von 50 Prozent werden wir nur etwa 100 Interviews realisieren. Trotzdem sind die 100 Meinungen repräsentativ und schätzen die allgemeine Stimmung bei nur 201 Dax-Vorständen sogar ziemlich genau.

Ein Kampf der Welten: frequentistischer versus bayesscher Wahrscheinlichkeitsbegriff

Fragwürdig ist es, ob Bevölkerungsbefragungen als unendlich oft wiederholbare Zufallsexperimente wie Münz- und Würfelwürfe interpretiert werden können. Althaus ist der Ansicht, dass es eines anderen Wahrscheinlichkeitsbegriffs bedarf, um auch künftig mit dem Begriff der Repräsentativität zu arbeiten: das Verständnis von Wahrscheinlichkeit als Grad der Überzeugung, der bei einem bestimmten Wissensstand gerechtfertigt ist. Entwickelt wurde die subjektivistische Wahrscheinlichkeitstheorie bereits im 18. Jahrhundert vom englischen Mathematiker Thomas Bayes, aber die meisten praktischen Anwendungen wurden erst mit dem Vorhandensein leistungsfähiger Computer in den 1990er-Jahren verfügbar. Die konsequente Kombination von Wahrscheinlichkeitsverteilungen und bestehendem Wissen kennzeichnet demnach die bayessche Statistik.

Althaus ist der Überzeugung, dass damit die Probleme in Sachen Repräsentativität gelöst werden könnten. „Im Gegensatz zur objektiven Wahrscheinlichkeit kombiniert die Formel von Bayes eine bestehende Erkenntnis über eine zu untersuchende Variable mit neuen Erkenntnissen aus den Daten“, erläutert Althaus. „Der Ansatz liefert uns dann eine verbesserte Erkenntnis und stellt die Grundlage dar, auf der die Zuverlässigkeit von Ergebnissen beurteilt werden kann.“ Quotierungen und Gewichtungen seien im Frequentismus Gefährdungen der reinen Zufallsstichprobe, im Bayesianismus hingegen produktive Möglichkeiten, bestehendes Wissen systematisch in neue Forschung einfließen zu lassen. „Das erklärt, warum die Ergebnisse der Markt- und Sozialforschung trotz der Verletzung so vieler Annahmen der klassischen Statistik immer noch erstaunlich genau sind. Der Wechsel des Paradigmas wird sich letztlich positiv auf die Entwicklung der modernen Marktforschung auswirken“, ist sich Althaus sicher.

Wenn Sie noch mehr zum Thema Repräsentativität wissen möchten, fordern Sie hier unser kostenloses White Paper an:

White Paper: Repräsentativität

Unser kostenloses White Paper zeigt Ihnen, worauf es beim Thema Repräsentativität ankommt.

Geben Sie bitte Ihren Namen und Ihre E-Mail-Adresse ein. Sie erhalten das White Paper dann unmittelbar per E-Mail.

Ich habe die Datenschutzerklärung zur Kenntnis genommen. Ich stimme zu, dass meine Angaben und Daten zur Beantwortung meiner Anfrage elektronisch erhoben und für Newsletter von SPLENDID RESEARCH verwendet werden.

SPLENDID RESEARCH Marktforschung

Wir sind Mitglied bei der wichtigsten Organisation für Marktforschung.

Esomar
SPLENDID RESEARCH GmbH
Barmbeker Str. 7a
22303 Hamburg
Germany

Tel.: +49 40/69 45 366-0
Diese E-Mail-Adresse ist vor Spambots geschützt! Zur Anzeige muss JavaScript eingeschaltet sein!

Bleiben Sie in Kontakt und erhalten Sie unseren Newsletter mit interessanten Studien und exklusiven Angeboten:

Ich habe die Datenschutzerklärung zur Kenntnis genommen. Ich stimme zu, dass meine Angaben und Daten zur Beantwortung meiner Anfrage elektronisch erhoben und für Newsletter von SPLENDID RESEARCH verwendet werden.

©  SPLENDID RESEARCH GmbH | Marktforschung aus Hamburg für die ganze Welt.
Kontakt

SPLENDID RESEARCH GmbH

Barmbeker Str. 7a
22303 Hamburg

Telefon:
+49 (0) 40/69 45 366-0

E-Mail:
Diese E-Mail-Adresse ist vor Spambots geschützt! Zur Anzeige muss JavaScript eingeschaltet sein!

Schreiben Sie uns