Wie wir die Qualität von Onlinepanels sichern können

Unser Geschäftsführer Andre Wolff klärt auf

4.8/5 Bewertung (27 Stimmen)

Neue Methoden erfordern neue Maßnahmen: Im Hinblick auf die Digitalisierung und die damit verbundene Ausweitung der Online-Marktforschung treten auch neue Herausforderungen auf, die es gilt, anzunehmen. Das Grundproblem ist das folgende: Das klassische Geflecht aus Auftraggeber, Institut und Panelanbieter, das die Datenqualität sicherstellt, wird heutzutage häufig durch andere oder komplexere Einkaufsketten ersetzt. Beispielsweise gibt es reine Projektvermittler, die die intransparente Situation am Markt mit seinen Qualitäts- und Preisunterschieden für sich ausnutzen.

Qualität kostet Geld: Onlinepanel ist nicht gleich Onlinepanel

„Es existieren im Bereich der Onlinepanel-Forschung mehrere Entwicklungen, denen ein einzelnes Institut sich schwer entgegenstellen kann“, fasst Andre Wolff, unser Geschäftsführer, knapp zusammen. Und: „Entgegen dem Markttrend höhere Preise zu verlangen, ist problematisch.“ Doch genau die höheren Preise sind es, die letztlich die exzellente Qualität der erhobenen Daten sichern.

Gleichwohl betont Wolff, dass die in der Marktforschung zu beobachtenden Entwicklungen nicht alle per se schlecht seien. „Wir können als Branche durchaus auch davon profitieren“, so Wolff. Aber, und dies ist Fakt: Es gibt schwarze Schafe und diese trügen dazu bei, den gesamten Zweig in Verruf zu bringen und die Qualität der Erhebungen zu senken.

Onlinepanel: Im Idealfall stellt ein professionelles Institut die Qualität der Prozesse sicher

Doch wo genau liegen die Probleme? Der Idealfall sieht wie folgt aus: Ein professionelles Institut stellt die Qualität eines Marktforschungsprojekts sicher, indem es Kontrolle über den gesamten Verlauf hat – von der Beratung des Kunden, die Konzeption und die Fragebogenprogrammierung über die Durchführung der Datenerhebung bis hin zur Analyse der Ergebnisse sowie der weiterführenden Beratung des Klienten.

Schlechte Projektvermittler und mundtote Panelanbieter sorgen für mangelhafte Qualität

Und hier kommt das große Aber: Die Branche entwickelt sich nunmehr dahingehend, dass reine Projektvermittler wie Pilze aus dem Boden schießen, die unter anderem die Möglichkeit nutzen, Befragungsteilnehmer wahllos aus unterschiedlichen Quellen in einer Studie zusammenzuführen – auf Kosten der Qualität.

Gleichzeitig haben die Panelanbieter, also diejenigen, die sich lediglich und ausschließlich darum kümmern, die richtige Zielgruppe oder auch die passenden Probanden zu organisieren, auf viele Bereiche des gesamten Prozesses gar keinen Einfluss. Stattdessen bekommen sie zumeist lediglich einen Link zum fertigen Fragebogen, für den sie dann die passenden Teilnehmer liefern müssen. Im selben Atemzug haben diese Anbieter jedoch einen elementaren Einfluss auf die Qualität der Onlinebefragungen, da sie ja die dazugehörigen Teilnehmer bereitstellen. Und das bedeutet im Ergebnis, dass „eine gelungene Interpretation von falschen Daten zu einer falschen Entscheidung führt“, konstatiert Wolff.

Wie der so genannte Paneleffekt entsteht: drei Beispiele

Im Folgenden wollen wir uns drei Entwicklungen näher ansehen, und anhand dieser erläutern, durch welche Gegenmaßnahmen wir die Qualität der Umfragen sicherstellen können. Das Hauptproblem aller drei Fälle lässt sich mit einem Wort beschreiben: PANELEFFEKT. Damit ist die zu häufige Befragung der Teilnehmer und ein damit einhergehendes ungenügendes Antwortverhalten gemeint.

  1. Teilnehmervermittler

Wer die Wahl hat…Die Vielzahl an unterschiedlichen Panels verlockt die Teilnehmer, sich in mehreren unterschiedlichen Panels anzumelden. Selbst erklärte „Vergleichsportale“ listen die Panelanbieter auf, allerdings sind diese Rankings wenig aussagekräftig, da derjenige Anbieter „am besten gelistet wird, der die höchsten Werbeausgaben finanzieren kann“, erläutert Wolff das Problem. Eine solche Liste sagt, entgegen der allgemeinen Annahme unerfahrener Panelisten, aber rein gar nichts über die Qualität eines Panels aus.

Des Weiteren ist es unmöglich, die Teilnahmehäufigkeit in irgendeiner Weise zu regulieren. „Die anderen Anbieter kann ich schlichtweg nicht kontrollieren“, so unser Geschäftsführer. Wenn wir die Qualität an oberste Stelle stellen, dann müssen die Teilnehmer so ausgewählt werden, dass sie in wenigen bis gar keinem weiteren Panel angemeldet sind. Die Lösung: „Das bedeutet den Verzicht auf affiliategesteuerte Teilnehmervermittler“, so Wolff. Dies führe dann zu einer Senkung der Befragungshäufigkeit der eigenen Teilnehmer und zu einer erheblich besseren Datenqualität.

  1. Automatisierter Sampleaustausch

Programmierschnittstellen, so genannte Automated Programming Interfaces (APIs), bieten Großabnehmern die Möglichkeit, automatisiert Samples einzukaufen. Das Problem dabei: Mehrfachanmeldungen. Ein Panelanbieter kauft über eine API bei einem anderen ein. Der eingekaufte Teilnehmer kann jedoch in beiden Panels angemeldet sein und wird dann doppelt befragt. „Dies kann bspw. durch Fingerprinting verhindert werden“, schlägt Wolff vor.

Des Weiteren bestehe durch die Automatisierung noch die Gefahr schlechter Fragebögen, da die wichtige Kontrollinstanz eines Projektmanagers wegfällt. „Da der Prozess ja automatisch und nicht händisch von Statten geht, wird das häufig noch nicht einmal bemerkt und schlechte Fragebögen werden auf gut Glück im Partnerpanel ausgesandt“, so Wolff. Wenn die Panelanbieter bei ihren Kooperationen auf hohe Qualitätsstandards setzen, dann biete die Automatisierung aber auch große Chancen und erhebliches Potenzial.

  1. Projektmarktplätze

Auf einem Marktplatz können die Käufer ihre gewünschte Stichprobe sowie den Preis angeben und die Lieferanten können unmittelbar ihr Angebot abgeben. „Diese Methode ist allerdings eindimensional“, so Wolff, „da sie ausschließlich über den Preis funktioniert.“ Der billigste Anbieter profitiere systematisch. Dass die Qualität auf der Strecke bleibt, liegt nahe. Besonders heikel ist zudem, dass „der Lieferant evt. noch nicht einmal selbst liefert, sondern den Auftrag an einen Sublieferanten weitergibt, da dieser einen noch günstigeren Preis anbietet als den geforderten“, so Wolff. In diesem Fall hat der Lieferant mit dem Zuschlag selbst nicht einmal mehr einen Überblick und auch keinen Einfluss auf die Panelisten-Zusammenstellung.

Weiteres Problem: Da praktisch jedes Mal eine Art Auktion auf dem Marktplatz stattfindet, sieht es aus, als biete jeder Anbieter dasselbe an. „Diese Annahme ist jedoch grundlegend falsch“, so Wolff. „Am Ende sterben nicht die billigen, qualitativ minderwertigen, sondern die alteingesessenen Anbieter weg“, so Wolff. Darunter leide natürlich die Qualität. Der Branche wäre geholfen, wenn, so Wolff, wenige „Marktforschungsinstitute die Panels betreiben, dafür mit einem umfassenden, professionellen und qualitätsorientierten Panel Management.“

Diese sieben Schritte steigern die Qualität eines Onlinepanels erheblich

Panelanbieter müssen entsprechend ihrer Funktion Experten für die Qualitätssicherung sein. Dies kann funktionieren, wenn sie sich folgende Schritte zu Herzen nehmen und auf diese sieben Punkte eingehen:

  • Auf Teilnehmer fokussieren, die ausschließlich im eigenen Panel angemeldet sind
  • Alle Teilnehmer gleichwertig behandeln und nicht diejenigen bevorzugen, die am schnellsten antworten
  • Klare Zuständigkeiten von Fragebogenkonzeption, Fragebogenprogrammierung und Datenbereinigung definieren
  • Bei Kooperationen nach dem Motto handeln: Qualität vor Quantität
  • Wenn APIs, dann auf die Überschaubarkeit der Konstellation achten
  • Rückmeldung hinsichtlich der Antwortqualität bei den Panelanbietern einfordern
  • Zusammenarbeit aufkündigen mit Auftraggebern, die wissentlich falsche Angaben über Screener oder Quoten machen

Wenn Sie noch mehr über dieses Thema wissen möchten, empfehlen wir Ihnen das folgende Buch, an dem auch unser Geschäftsführer mitgewirkt hat: Keller, Bernhard; Klein, Hans-Werner; Wirth, Thomas (Hrsg.): Qualität und Data Science in der Marktforschung. Prozesse, Daten und Modelle der Zukunft. Springer Gabler. 2018. ISBN-13: 978-3658196592

Hier können Sie diesen Beitrag kostenfrei und sofort per E-Mail anfordern:

White Paper: Qualität von Onlinepanels

Laden Sie sich hier den gesamten Text kostenlos herunter.

Geben Sie bitte Ihren Namen und Ihre E-Mail-Adresse ein. Sie erhalten das White Paper dann unmittelbar per E-Mail.

Ich habe die Datenschutzerklärung zur Kenntnis genommen. Ich stimme zu, dass meine Angaben und Daten zur Beantwortung meiner Anfrage elektronisch erhoben und für Newsletter von SPLENDID RESEARCH verwendet werden.

Hat Ihnen der Beitrag gefallen? Dann teilen Sie ihn gern.

SPLENDID RESEARCH Marktforschung

Wir sind Mitglied bei der wichtigsten Organisation für Marktforschung.

Esomar
SPLENDID RESEARCH GmbH
Barmbeker Str. 7a
22303 Hamburg
Germany

Tel.: +49 40/69 45 366-0
Diese E-Mail-Adresse ist vor Spambots geschützt! Zur Anzeige muss JavaScript eingeschaltet sein!

Bleiben Sie in Kontakt und erhalten Sie unseren Newsletter mit interessanten Studien und exklusiven Angeboten:

Ich habe die Datenschutzerklärung zur Kenntnis genommen. Ich stimme zu, dass meine Angaben und Daten zur Beantwortung meiner Anfrage elektronisch erhoben und für Newsletter von SPLENDID RESEARCH verwendet werden.

©  SPLENDID RESEARCH GmbH | Marktforschung aus Hamburg für die ganze Welt.
Kontakt
SPLENDID RESEARCH GmbH
Barmbeker Str. 7a
22303 Hamburg

Tel. +49 (0) 40/69 45 366-0

Diese E-Mail-Adresse ist vor Spambots geschützt! Zur Anzeige muss JavaScript eingeschaltet sein!

Melden Sie sich für unseren Newsletter an und verpassen sie keine neuen Beiträge mehr.

Ich habe die Datenschutzerklärung zur Kenntnis genommen. Ich stimme zu, dass meine Angaben und Daten zur Beantwortung meiner Anfrage elektronisch erhoben und für Newsletter von SPLENDID RESEARCH verwendet werden.