Wie wir die Qualität von Onlinepanels sichern können

Gleichwohl betont Wolff, dass die in der Marktforschung zu beobachtenden Entwicklungen nicht alle per se schlecht seien. „Wir können als Branche durchaus auch davon profitieren“, so Wolff. Aber es gibt auch schwarze Schafe und diese tragen dazu bei, den gesamten Zweig in Verruf zu bringen und die Qualität der Erhebungen zu senken.

Onlinepanel: Im Idealfall stellt ein professionelles Institut die Qualität der Prozesse sicher

Doch wo genau liegen die Probleme? Im Idealfall stellt ein professionelles Institut die Qualität eines Marktforschungsprojekts sicher, indem es die Kontrolle über den gesamten Verlauf hat. Von der Beratung des Kunden, der Konzeption und die Fragebogenprogrammierung über die Durchführung der Datenerhebung bis hin zur Analyse der Ergebnisse sowie der weiterführenden Beratung des Klienten.

Schlechte Projektvermittler und mundtote Panelanbieter sorgen für mangelhafte Qualität

Die Branche entwickelt sich jedoch mehr und mehr dahingehend, dass reine Projektvermittler wie Pilze aus dem Boden schießen, die unter anderem die Möglichkeit nutzen, Befragungsteilnehmer wahllos aus unterschiedlichen Quellen in einer Studie zusammenzuführen – oft auf Kosten der Qualität.

Gleichzeitig haben die Panelanbieter, also diejenigen, die sich lediglich und ausschließlich darum kümmern, die richtige Zielgruppe oder auch die passenden Probanden zu organisieren, auf viele Bereiche des gesamten Prozesses gar keinen Einfluss. Stattdessen bekommen sie zumeist lediglich einen Link zum fertigen Fragebogen, für den sie dann die passenden Teilnehmer liefern müssen. Diese Anbieter haben jedoch einen elementaren Einfluss auf die Qualität der Onlinebefragungen, da sie die dazugehörigen Teilnehmer bereitstellen. „Das kann dazu führen, dass eine gelungene Interpretation von falschen Daten zu einer falschen Entscheidung führt.“, so Wolff.

Wie der so genannte Paneleffekt entsteht: drei Beispiele

Im Folgenden wollen wir uns drei Entwicklungen näher ansehen, und anhand dieser erläutern, durch welche Gegenmaßnahmen wir die Qualität der Umfragen sicherstellen können. Das Hauptproblem aller drei Fälle lässt sich mit einem Wort beschreiben: PANELEFFEKT. Damit ist die zu häufige Befragung der Teilnehmer und ein damit einhergehendes ungenügendes Antwortverhalten gemeint.

1. Teilnehmervermittler

Wer die Wahl hat…Die Vielzahl an unterschiedlichen Panels verlockt die Teilnehmer, sich in mehreren unterschiedlichen Panels anzumelden. Selbst erklärte „Vergleichsportale“ listen die Panelanbieter auf, allerdings sind diese Rankings wenig aussagekräftig, da derjenige Anbieter „am besten gelistet wird, der die höchsten Werbeausgaben finanzieren kann“, erläutert Wolff das Problem. Eine solche Liste sagt, entgegen der allgemeinen Annahme unerfahrener Panelisten, aber rein gar nichts über die Qualität eines Panels aus.

Des Weiteren ist es unmöglich, die Teilnahmehäufigkeit in irgendeiner Weise zu regulieren, da man die anderen Anbieter schlichtweg nicht kontrollieren kann. Wenn wir die Qualität an oberste Stelle stellen, dann müssen die Teilnehmer so ausgewählt werden, dass sie in wenigen bis gar keinem weiteren Panel angemeldet sind. Die Lösung: „Das bedeutet den Verzicht auf affiliategesteuerte Teilnehmervermittler“, erklärt Wolff. Dies führe dann zu einer Senkung der Befragungshäufigkeit der eigenen Teilnehmer und zu einer erheblich besseren Datenqualität.

2. Automatisierter Sampleaustausch

Programmierschnittstellen, so genannte Automated Programming Interfaces (APIs), bieten Großabnehmern die Möglichkeit, automatisiert Samples einzukaufen. Das Problem dabei: Mehrfachanmeldungen. Ein Panelanbieter kauft über eine API bei einem anderen ein. Der eingekaufte Teilnehmer kann jedoch in beiden Panels angemeldet sein und wird dann doppelt befragt. Dies kann bspw. durch Fingerprinting verhindert werden.

Des Weiteren bestehe durch die Automatisierung noch die Gefahr schlechter Fragebögen, da die wichtige Kontrollinstanz eines Projektmanagers wegfällt. „Da der Prozess ja automatisch und nicht händisch von Statten geht, wird das häufig noch nicht einmal bemerkt und schlechte Fragebögen werden auf gut Glück im Partnerpanel ausgesandt“, so Wolff. Wenn die Panelanbieter bei ihren Kooperationen auf hohe Qualitätsstandards setzen, dann biete die Automatisierung aber auch große Chancen und erhebliches Potenzial.

3. Projektmarktplätze

Auf einem Marktplatz können die Käufer ihre gewünschte Stichprobe sowie den Preis angeben und die Lieferanten können unmittelbar ihr Angebot abgeben. „Diese Methode ist allerdings eindimensional“, so Wolff, „da sie ausschließlich über den Preis funktioniert.“ Der billigste Anbieter profitiere systematisch. Dass die Qualität auf der Strecke bleibt, liegt nahe. Besonders heikel ist zudem, dass „der Lieferant evt. noch nicht einmal selbst liefert, sondern den Auftrag an einen Sublieferanten weitergibt, da dieser einen noch günstigeren Preis anbietet als den geforderten“, so Wolff. In diesem Fall hat der Lieferant mit dem Zuschlag selbst nicht einmal mehr einen Überblick und auch keinen Einfluss auf die Panelisten-Zusammenstellung.

Weiteres Problem: Da praktisch jedes Mal eine Art Auktion auf dem Marktplatz stattfindet, sieht es aus, als biete jeder Anbieter dasselbe an. Diese Annahme ist jedoch grundlegend falsch. „Am Ende sterben nicht die billigen, qualitativ minderwertigen, sondern die alteingesessenen Anbieter weg“, befürchtet Wolff. Darunter leide natürlich die Qualität. Der Branche wäre laut Wolff geholfen, wenn wenige „Marktforschungsinstitute die Panels betreiben, dafür mit einem umfassenden, professionellen und qualitätsorientierten Panel Management.“

Diese sieben Schritte steigern die Qualität eines Onlinepanels erheblich

Panelanbieter müssen entsprechend ihrer Funktion Experten für die Qualitätssicherung sein. Dies kann funktionieren, wenn sie sich folgende Schritte zu Herzen nehmen und auf diese sieben Punkte eingehen:

• Auf Teilnehmer fokussieren, die ausschließlich im eigenen Panel angemeldet sind
• Alle Teilnehmer gleichwertig behandeln und nicht diejenigen bevorzugen, die am schnellsten antworten
• Klare Zuständigkeiten von Fragebogenkonzeption, Fragebogenprogrammierung und Datenbereinigung definieren
• Bei Kooperationen nach dem Motto handeln: Qualität vor Quantität
• Wenn APIs, dann auf die Überschaubarkeit der Konstellation achten
• Rückmeldung hinsichtlich der Antwortqualität bei den Panelanbietern einfordern
• Zusammenarbeit aufkündigen mit Auftraggebern, die wissentlich falsche Angaben über Screener oder Quoten machen

Wenn du noch mehr über dieses Thema wissen möchtest, empfehlen wir dir das folgende Buch, an dem auch unser Geschäftsführer mitgewirkt hat: Keller, Bernhard; Klein, Hans-Werner; Wirth, Thomas (Hrsg.): Qualität und Data Science in der Marktforschung. Prozesse, Daten und Modelle der Zukunft. Springer Gabler. 2018. ISBN-13: 978-3658196592