Artikel zum Thema: Mystery Shopping

Können Mystery Checks die CI überprüfen?

Wir erklären, worauf es ankommt.

4.5/5 Bewertung (8 Stimmen)

Corporate Identity (CI): Telekom in Magenta, das gelbe M von McDonald’s oder die Produktphilosophie bei Apple: Ziel eines Unternehmens ist es, sich durch den eigenen Wiedererkennungswert eindeutig von der Konkurrenz abzuheben. Eine eigene, positive CI schafft einen bisweilen hohen Bekanntheitsgrad und trägt auch dazu bei, Vertrauen in eine Marke zu schaffen, positive Emotionen hervorzurufen und den Kunden dadurch letztlich emotional zum Kauf anzuregen.

Dass die Corporate Identity einer Firma sowie ihre Positionierung im Wertsystem einen wesentlichen Einfluss auf die Kaufentscheidung haben, ist unumstritten. Doch wie kann ein Unternehmen sicherstellen, dass die eigene CI auf allen Ebenen eingehalten wird, dass z.B. bestimmte Werte von allen Mitarbeitern gelebt werden oder dass eine bestimmte Unternehmensfarbe konsequent eingesetzt wird?

Mystery Shopping als Tool zur CI-Überprüfung

„Eine Methode, dies zu überprüfen, ist das Mystery Shopping", erläutert unsere Geschäftsführerin Kathleen Mahrenholz. „Es bietet Unternehmen die Möglichkeit, mit Hilfe von geschulten Testern nach einheitlichen Vorgaben die eigene Servicequalität vor Ort in den Filialen oder aber auch online zu checken.“ Auch die Einhaltung der CI eines Unternehmens kann der Testkunde so bewerten.

Mystery Shopping bietet vielerlei Anwendungsmöglichkeiten: So gibt es die Store Checks, während derer der geschulte Testkunde Lage, Gestaltung oder Sauberkeit in den Filialen prüft und sich vom Mitarbeiter zu bestimmten Produkten beraten lässt. Des Weiteren können Mystery Calls, Mails, Dining, Guesting und Online Checks zum Einsatz kommen.

Realistische Testerszenarien erzielen realistische Ergebnisse

Die Vorteile des Mystery Shoppings sind offensichtlich: Durch eine intensive Schulung der Testkäufer sind die Ergebnisse sehr genau. Des Weiteren erfolgt die Beurteilung der Dienstleistung in einem natürlichen Umfeld und entspricht dem alltäglichen Ablauf in einer Firma oder in einem Geschäft.

Wie kann beispielsweise das Corporate Behaviour getestet werden? Der Mystery Shopper besucht eine Filiale eines Unternehmens und prüft, wie der Mitarbeiter ein Beratungsgespräch führt oder wie er auf eine Beschwerde oder eine Reklamation reagiert. Mittels eines Testanrufs oder einer Testmail wiederum findet er heraus, wie die Begrüßung am Telefon lautet, wie schnell ein Support zur Verfügung steht oder wie lange es dauert, bis eine E-Mail beantwortet wird. Das Unternehmen erhält so letztlich die Information, ob die Werte, die es verfolgt und die der Erreichung des Unternehmensziels dienen, auch eingehalten werden.

Ein anderes Beispiel ist das Corporate Design, also die gesamte äußere Erscheinung eines Unternehmens – von der Farbgebung bis hin zum Corporate Sound – welches der Mystery Shopper bewertet: Er überprüft, ob die Mitarbeiter korrekte und einheitliche Arbeitskleidung tragen, wie die Gestaltung eines Geschäfts aussieht oder ob aktuelle Broschüren – dem CD entsprechend – ausgelegt sind.

Fazit: Durch Mystery Shopping kann die Einhaltung der CI exakt überprüft werden

Ob Ansprache des Kunden, Umgang mit Beschwerden oder einheitliche Gestaltung der Filialen – all das und mehr, die CI betreffend, kann ein Mystery Shopper problemlos überprüfen. Für Unternehmen bietet dies somit ein großes Potenzial, eine genaue Beurteilung seiner Dienstleistung zu erhalten und die Einhaltung seiner Corporate Identity im Unternehmen dauerhaft sicherzustellen.

Weitere Informationen zum Thema Mystery Checks und Corporate Identity finden Sie in unserem kostenlosen White Paper, das Sie hier anfordern können:

White Paper: Mystery Checks und Corporate Identity

Unser kostenloses White Paper zeigt Ihnen, wie Sie mit Hilfe von Mystery Checks Ihre CI überprüfen.

Geben Sie bitte Ihren Namen und Ihre E-Mail-Adresse ein. Sie erhalten das White Paper dann unmittelbar per E-Mail.

Ich habe die Datenschutzerklärung zur Kenntnis genommen. Ich stimme zu, dass meine Angaben und Daten zur Beantwortung meiner Anfrage elektronisch erhoben und für Newsletter von SPLENDID RESEARCH verwendet werden.

Hat Ihnen der Beitrag gefallen? Dann teilen Sie ihn gern.

Selektionskriterien für den richtigen Mystery Shopping-Anbieter

Wie wählt man den richtigen Mystery Shopping-Anbieter aus?

4.6/5 Bewertung (14 Stimmen)

Aus unseren Blogbeiträgen zu Qualitätssicherungsmaßnahmen bei Mystery Shopping lassen sich Kriterien ableiten, die Auftraggebern eine Beurteilung der Leistungsfähigkeit von Mystery Shopping-Anbietern erleichtern.

Auswahlkriterien Mystery Shopping-Anbieter

Auswahlkriterien Mystery Shopping-Anbieter

Konzeption

  • Lassen Sie sich Beobachtungsbögen aus vergangenen Projekten zeigen, um einen Eindruck der Konzeptionsqualität zu erhalten.
  • Prüfen Sie, ob bei den Items eindeutige objektive Bewertungsmaßstäbe zu Grunde gelegt werden oder ob – wie bei einer Kundenbefragung – subjektive Bewertungen mit viel Spielraum verwendet werden.
  • Ermitteln Sie, ob vom Mystery Shopping-Anbieter im Rahmen der Konzeption Pre-Tests durchgeführt werden.

Tester-Panel

  • Informieren Sie sich genau über den Rekrutierungsprozess des Panels allgemein und der bei Ihrem Projekt eingesetzten Tester: Lassen Sie sich Profile zeigen, um einen möglichst detaillierten Eindruck zu erhalten, wer Ihr Mystery Shopping durchführt.
  • Quantität ist hier zwar auch nicht gleich Qualität, allerdings ist ein großes Panel mit mehr als 10.000 aktiven Testern sinnvoll um beispielsweise Fahrtkosten reduziert werden, da Tester am Wohnort eingesetzt werden können.
  • Lassen Sie sich zeigen, welche Kriterien zu Grunde gelegt werden, um einen Tester in das Panel aufzunehmen.

Feldarbeit

  • Lassen Sie sich zeigen, wie die Tester auf ihre Aufgabe vorbereitet werden. Besuchen Sie den Anbieter und verschaffen sich einen Eindruck, ob Briefings tatsächlich mindestens schriftlich und telefonisch durchgeführt werden.
  • Der Anbieter sollte einen Helpdesk einrichten, um ständig mit dem Feld verbunden zu sein, um bei unvorhergesehenen Ereignissen unmittelbar gegenzusteuern.
  • Die Durchführung der Tests sollte verifiziert werden, idealerweise durch Mitnahme von Visitenkarten/ Werbemitteln und einem Digitalfoto mit Zeitstempel.

Analyse und Berichtslegung

  • Lassen Sie sich zeigen, wie die von den Mystery Shoppern übermittelten Daten verifiziert werden.
  • Achten Sie darauf, dass Freitexte hinsichtlich Rechtschreibung und Grammatik geprüft und geglättet werden.

Maßnahmen der Qualitätssicherung bei Mystery Shopping

Welche Maßnahmen sind für eine saubere Methodik erforderlich?

5.0/5 Bewertung (8 Stimmen)

Damit die Messung von Dienstleistungsqualität beim Mystery Shopping richtig durchgeführt werden kann, bedarf es hoher Qualitätsstandards im gesamten Prozess von der Konzeption über die Durchführung bis zur Analyse der gewonnenen Daten. Daneben sollte die Qualität des Tester-Panels durch verschiedene Maßnahmen gesichert werden.

Qualitätssicherung bei Mystery Shopping

Qualitätssicherung Mystery Shopping

Qualitätssicherung bei der Konzeption

Bei der Konzeption einer Mystery Shopping-Studie sollte die Qualität durch Beachtung der Gütekriterien sozialwissenschaftlicher Methoden Repräsentativität, Validität und Reliabilität gesichert werden.

Eine Stichprobe kann als repräsentativ betrachtet werden, wenn das Ergebnis der Stichprobenerhebung stellvertretend für die Gesamtheit gewertet werden kann. Bei Mystery Shopping lässt sich dies erreichen, indem beispielsweise Mindestfallzahlen vorgegeben werden, damit die Erhebung nicht nur eine zufällige Momentaufnahme ist. Ferner sollten die Tests an mehreren Tagen stattfinden, wobei Zeitzonen und Ausschlusszeiten zu benennen sind.

Validität beschreibt, ob tatsächlich das gemessen wird, was gemessen werden soll. Zur Erreichung ist ein realistischer Gesprächsleitfaden zu erstellen, der treffend für die zu testende Dienstleistung ist. Die Befragungsinhalte sind adäquat zu operationalisieren, d.h. sie sind in messbare Beobachtungskriterien umzusetzen. Die eingesetzten Mystery Shopper sollten der Zielgruppe entsprechen und müssen folglich aus der Zielgruppe des zu testenden Unternehmens rekrutiert werden. Die Teststrategie ist unauffällig zu gestalten, damit der Mystery Shopper nicht enttarnt wird oder sich das Verhalten des Mitarbeiters ändert.

Mit Reliabilität wird letztlich beschrieben, dass die Ergebnisse reproduzierbar und zufällige Einflüsse ausgeschlossen sind. Es sind objektive oder objektivierte Bewertungskataloge zu entwickeln, die die Äußerung einer subjektiven Meinung ausschließen. Für die Beobachtungen sind Skalenstufen zu entwickeln, die eine eindeutige Beurteilung ermöglichen. Es ist ein homogenes Testszenario anzusetzen, damit die Ergebnisse der unterschiedlichen Mystery Shopper miteinander vergleichbar sind. Letztlich sind die Mystery Shopper durch gleiche Vorgaben und idealerweise ein Testerhandbuch sowie eine Bewertungseinübung zu eichen, damit gleiche Situationen auch gleich bewertet werden.

Aus den drei Kriterien Repräsentativität, Validität und Reliabilität wird deutlich, dass die Konzeption eines Mystery Shopping-Projektes komplex ist und viele wichtige Einzelaspekte zu beachten sind, um zu möglichst wahren Ergebnissen zu gelangen. Diese Leistung erfordert Sachverstand in unterschiedlichen Bereichen. Eine Konzeption ist alles andere als trivial.

Qualität des Tester-Panels

Gute Mystery Shopper sind das Herzstück eines Mystery Shopping-Anbieters und eines jeden Mystery Shopping-Projekts. Was aber sind gute Mystery Shopper? Einerseits sind gute Tester schnell verfügbar, wenn ein Projekt ansteht. Andererseits sind sie gewissenhaft in der Vorbereitung, Durchführung und bei der Berichtslegung. Da vor einem Einsatz schwer abzuschätzen ist, ob ein Tester gute Arbeit leistet, gibt es einige Anhaltspunkte, die eine Einschätzung ermöglichen. So können Tester im Rahmen ihrer Bewerbung für die Teilnahme am Tester-Panel ihre Motivation in eigenen Worten schriftlich darlegen. Hierdurch kann in Erfahrung gebracht werden, ob der Tester hauptsächlich monetär motiviert ist oder sich vorrangig durch die Aufgabe angesprochen fühlt. Ferner erhält man eine Schreibprobe, deren Qualität hoch sein sollte, da Tester häufig Berichte in Fließtext zu schreiben haben. So kann schon im Vorwege mühsame und bei Projektleitern wenig beliebte Korrekturarbeit reduziert werden. Die Qualität des Testkundenfeldes kann durch eine Bewertung der Mystery Shopper während des gesamten Projektverlaufs (von Testannahme über Durchführung bis zur abschließenden Berichtslegung) sichergestellt werden. Der verstärkte Einsatz von Testern, die sich bereits bewährt haben, steigert langfristig die Qualität des Tester-Panels. Allerdings ist bei erfahrenen Testern darauf zu achten, dass die Gewissenhaftigkeit und Genauigkeit nicht durch vermeintliche Erfahrung leidet.

Qualität der Feldarbeit

Die Qualität der Organisation der Testdurchführung hängt eng mit den bereits im Rahmen der Konzeption vorbereiteten Punkten zur Sicherstellung von Repräsentativität, Validität und Reliabilität zusammen. Allerdings sind in der Feldphase einige ergänzende Maßnahmen sinnvoll und erforderlich:

Der Beobachtungsbogen sollte vor dem Einsatz mit ausgewählten Testern überprüft werden. Im Rahmen solcher Pre-Tests wird geklärt, ob der Test plausibel, durchführbar und vollständig ist und ob die Situation vor Ort im Rahmen der Konzeption richtig eingeschätzt wurde.

Bei einer entsprechend großen Datenbank können Tester am entsprechenden Zielort nach Zielgruppenrelevanz, Wohnort und demographischen Anforderungen ausgewählt werden.

Briefingunterlagen sollten durch ein persönliches oder mindestens telefonisches Briefing ergänzt werden. Neben der Sicherstellung des Verständnisses und der Klärung offener Fragen wird so auch ein hohes Maß an Verbindlichkeit bei den Testern aufgebaut. Wie oben ausgeführt, zeigen die Ergebnisse der Studie „Mystery Shopper Monitor“ allerdings, dass nahezu die Hälfte der Mystery Shopping-Anbieter lediglich ein schriftliches Briefing durchführt. Die Ergebnisse sind dann nur mit gebotener Skepsis zu bewerten.

Sobald alle Tester im Feld sind, sollte ein Helpdesk vorgehalten werden, damit Unklarheiten und Unvorhergesehenes schnell beseitigt werden können. Durch Fotos, die die Tester am Testort mit Zeitstempel machen, kann sichergestellt werden, dass der Test auch tatsächlich zum vereinbarten Zeitpunkt durchgeführt wurde. Sofern Tester nicht zum verabredeten Zeitpunkt vor Ort waren und ihre Daten geliefert haben, ist ein Nachbesetzungsprocedere zu implementieren, damit die Feldphase fristgerecht abgeschlossen werden kann.

Qualität der Analyse und Berichtslegung

Die Daten sollten von den Testern am Tag des Checks online übermittelt werden. Einerseits können die Daten so einfacher weiterverarbeitet werden, andererseits kann schon bei der Eingabe die Qualität überprüft werden. Allerdings erübrigt dies keinesfalls eine händische Überprüfung der Daten. Alle Datensätze sind auf Plausibilität zu überprüfen und aus Gesamt-Projektsicht zu validieren. Auftretende Ungereimtheiten sind direkt mit den Testern zu klären. Nach Prüfung eines Datensatzes sollte eine Zweitprüfung durch einen anderen Projektleiter erfolgen. Gerade Freitexte sollten erst nach einer sorgfältigen Grammatik- und Rechtschreibprüfung an den Auftraggeber weitergeleitet werden. Grund ist die fehlende Akzeptanz getesteter Mitarbeiter, wenn ein Mystery Shopper das Erlebte nicht fehlerfrei wiedergeben kann.

Die Ausführungen verdeutlichen, dass die Qualitätssicherung von Mystery Shopping vielschichtig sein kann und muss, damit Daten generiert werden, auf denen Auftraggeber guten Gewissens aufbauen können. Für Auftraggeber ist es aufgrund der am Markt sehr unterschiedlich praktizierten Qualitätssicherung ratsam, sich die genauen Maßnahmen des jeweiligen Mystery Shopping Feldinstituts zeigen zu lassen.

Erfahren Sie in unserem dritten Teil zur Qualitätssicherung bei Mystery Shopping, wie Sie den richtigen Anbieter auswählen: Selektionskriterien für den richtigen Mystery Shopping-Anbieter

Qualitätssicherung bei Mystery Shopping

Mystery Shopping Markt und Marktumfeld

5.0/5 Bewertung (10 Stimmen)

Mystery Shopping wird insbesondere eingesetzt, um die Dienstleistungsqualität von Unternehmen zu ermitteln. Damit diese Messung richtig durchgeführt werden kann, ist das Instrument nach den Gütekriterien sozialwissenschaftlicher Methoden einzusetzen. Daneben sind weitere Maßnahmen zur Qualitätssicherung im gesamten Projektverlauf hilfreich und sinnvoll. Für Unternehmen, die Mystery Shopping bei Instituten oder Agenturen in Auftrag geben, ist es ratsam, sich von diesen die qualitätsbildenden Maßnahmen zeigen zu lassen, um den Grad der Leistungsqualität des durchführenden Instituts einschätzen zu können.

Nachfolgend wird der Status Quo der Qualitätssicherung bei durchführenden Marktteilnehmern skizziert.

Der Status Quo im Markt für Mystery Shopping

Anbieter von Mystery Shopping sind bzw. waren klassischerweise Marktforschungsinstitute. Während 1997 lediglich drei Institute im BVM-Verzeichnis zu finden waren, waren es 2007 bereits 20, 2013 gar 95 Institute und 2017 gar 99 der insgesamt 272 dort aufgeführten Institute. Allerdings gibt es daneben noch zahlreiche weitere Anbieter unterschiedlicher Herkunft. So finden sich bei einer Internetrecherche neben reinen Mystery Shopping-Agenturen insbesondere Unternehmensberatungen, Trainingsanbieter und Promotion-Agenturen, die Mystery Shopping-Dienstleistungen in ihrem Portfolio haben. Das Marktvolumen und seine Verteilung sind schwierig einzustufen. Ja nach befragtem Experten, wird von einem jährlichen Volumen zwischen 30 und 75 Mio. Euro für Deutschland ausgegangen. Um eine Verteilung auf die verschiedenen Anbietertypen zu ermitteln, können die Daten des jährlichen Mystery Shopper Monitor zu Grunde gelegt werden, der von uns federführend durchgeführt wird. Der Mystery Shopper Monitor liefert auf Basis einer Befragung von über 1.500 Menschen, die in ihrer Freizeit als Testkunde tätig sind, Aufschluss über unterschiedliche Aspekte des Marktes.

Abbildung 1: Mystery Shopping-Anbieter in Deutschland

Mystery Shopping Anbieter in Deutschland

Abbildung 1 zeigt, dass 70 Prozent der befragten Mystery Shopper hauptsächlich für ein Unternehmen tätig sind, das als reines Mystery Shopping-Unternehmen eingestuft wird. Jeder Vierte sieht in seinem Hauptanbieter ein Marktforschungsinstitut. Es ist davon auszugehen, dass viele Tester nicht genau über das Leistungsspektrum der beauftragenden Unternehmen Bescheid wissen oder ein hinter der Agentur stehendes Institut erkennen. Gleichwohl ist davon auszugehen, dass Mystery Shopping überwiegend nicht von klassischen Marktforschungsinstituten erbracht wird, sondern vielmehr von reinen Mystery Shopping-Anbietern.

Die tatsächliche Arbeitsweise der unterschiedlichen Marktteilnehmer ist wenig transparent. Allerdings liefert der jährliche „Mystery Shopper Monitor“ auch hier Aufschluss. Jährlich wird untersucht, wie der Kontakt zwischen Mystery Shopper und Forscher sich gestaltet (siehe Abbildung 2). Zu Grunde gelegt wird einerseits der erste Auftrag, den ein Testkunde von einem Anbieter erhalten hat. Dabei wird gefragt, ob ein persönlicher Kontakt (mindestens telefonisch) mit dem Anbieter hergestellt wurde. Anhand des zuletzt ausgeführten Auftrages wird ferner erhoben, wie vom Auftraggeber überprüft wird, ob der Testkunde verstanden hat, was bewertet werden soll.

Abbildung 2: Kontakt zwischen Mystery Shopper und Forschungsinstitut

Kontakt zwischen Mystery Shopper und Forschungsinstitut

Lediglich gut 73 Prozent der befragten Mystery Shopper hatte vor dem ersten Auftrag mindestens telefonischen Kontakt zum Anbieter. Bei gut einem Viertel wurde der erste Einsatz allerdings komplett online/ schriftlich ohne persönlichen Kontakt abgewickelt. Dies belegt, dass ein erheblicher Anteil der Anbieter lediglich rudimentäre Daten seiner Mystery Shopper kennt, die vor dem Einsatz nicht verifiziert werden. Der Grad der reinen onlinegestützten bzw. schriftlichen Abwicklung hat sich allerdings seit unserer ersten Erhebung im Jahr 2009 deutlich verbessert. Wir hoffen, dass unsere Studie und ihre medienwirksame Veröffentlichung zur Entschärfung der Situation beigetragen hat. Allerdings gibt es immer noch zu viele Anbieter, die Mystery Shopper ohne Kennenlernen und damit auch ohne Eindruck ihrer Einsatzfähigkeit einsetzen. Dabei wird scheinbar bewusst an der Qualitätssicherung gespart. Das genaue Ausmaß der Güteeinbußen ist jedoch nicht bekannt. Derartige Fehler lassen sich mit nachträglicher Qualitätssicherung nur schwer bereinigen. Im schlimmsten Fall könnte das Projekt durch Enttarnung des Testkunden gefährdet werden. Hier sollten Qualitätsanbieter bemüht sein, nicht an der falschen Stelle zu sparen, um bestmögliche Ergebnisse vorweisen zu können.

Anhand der Frage nach dem Ablauf beim zuletzt ausgeführten Auftrag zeichnet sich ein ähnlich erschreckendes Bild der Qualitätssicherung durch die Anbieter. Der Trend, Mystery Shopper lediglich mit Unterlagen auszustatten, um sie auf ihre Aufgabe vorzubereiten, setzt sich seit 2010 stetig fort. Bei inzwischen nahezu der Hälfte der in Deutschland durchgeführten Mystery Shopping-Projekte werden die Tester ohne Verständnisprüfung ins Feld geschickt. Somit verlassen sich die Forscher auf die Professionalität ihrer Tester, was sicherlich nur teilweise guten Gewissens möglich ist. Da der Nutzen eines zumindest telefonischen Kontakts unbestritten sein dürfte, liegen die Gründe der ausführenden Unternehmen vermutlich schlicht in Kosteneinsparungen. Somit kann in vielen Studien nicht gewährleistet werden, dass Tester dieselben Maßstäbe bei der Bewertung zu Grunde legen. Die Ergebnisgüte von Studien ohne bzw. ohne ausreichende Testervorbereitung darf angezweifelt werden. Dies ist für die Entscheider in den beauftragenden Unternehmen ein schlechtes Zeichen, denn möglicherweise sind auf Basis ungenauer Ergebnisse (falsche) Entscheidungen getroffen worden. Es ist zu konstatieren, dass die Situation bei der Vorbereitung von Testern auf ihre Aufgabe aus forscherischer Sicht höchst bedenklich ist: Auf Basis dieser Befragungsergebnisse ist die Aussagekraft von gut der Hälfte der in Deutschland durchgeführten Mystery Shopping-Studien anzuzweifeln.

Erfahren Sie in unserem zweiten Teil zur Qualitätssicherung, welche Grundlagen der Qualitätssicherung für ein methodisch sauberes Mystery Shopping erforderlich und möglich sind: Maßnahmen der Qualitätssicherung bei Mystery Shopping

SPLENDID RESEARCH Marktforschung

Wir sind Mitglied bei der wichtigsten Organisation für Marktforschung.

Esomar
SPLENDID RESEARCH GmbH
Barmbeker Str. 7a
22303 Hamburg
Germany

Tel.: +49 40/69 45 366-0
Diese E-Mail-Adresse ist vor Spambots geschützt! Zur Anzeige muss JavaScript eingeschaltet sein!

Bleiben Sie in Kontakt und erhalten Sie unseren Newsletter mit interessanten Studien und exklusiven Angeboten:

Ich habe die Datenschutzerklärung zur Kenntnis genommen. Ich stimme zu, dass meine Angaben und Daten zur Beantwortung meiner Anfrage elektronisch erhoben und für Newsletter von SPLENDID RESEARCH verwendet werden.

©  SPLENDID RESEARCH GmbH | Marktforschung aus Hamburg für die ganze Welt.
Kontakt

SPLENDID RESEARCH GmbH

Barmbeker Str. 7a
22303 Hamburg

Telefon:
+49 (0) 40/69 45 366-0

E-Mail:
Diese E-Mail-Adresse ist vor Spambots geschützt! Zur Anzeige muss JavaScript eingeschaltet sein!

Schreiben Sie uns