Sprachliche vs. schriftliche Online-Befragung in der Marktforschung

Bis es jedoch soweit ist, wurden in der Studie von SPLENDID RESEARCH vorerst die wichtigsten Methoden der Online-Befragung miteinander verglichen. In diesem Zusammenhang wurde analysiert, wie ausführlich die Probanden auf offene Fragen antworten, wie ehrlich sie dabei sind, wie gut ihnen die Befragung gefällt, wie viel Zeit die Befragung in Anspruch nimmt und wie hoch der Anteil an Abbrechern ist. Auf diesem Wege sollte im Grundsatz ermittelt werden, welche Vor− und Nachteile die einzelnen Befragungsarten mit sich bringen und wo ihre Potenziale liegen.

Wie sieht das Studiendesign aus?

Die Erkenntnisse wurden aus zwei Studien mit jeweils zwei Versuchsgruppen gewonnen. Die erste Studie wurde im September 2019 durchgeführt, während die zweite im Mai 2020 stattfand. Insgesamt wurden 1.614 Personen aus Deutschland befragt, welche in vier Versuchsgruppen unterteilt wurden. Die erste Gruppe bestand aus Teilnehmern, die schriftlich am Desktop, Tablet oder Smartphone teilgenommen haben und umfasste insgesamt 994 Personen. Die zweite Versuchsgruppe beantwortete den identischen Fragebogen vollständig per Spracheingabe mit dem Sprachassistenten Alexa. Im Rahmen der zweiten Befragung wurden die offenen Fragen von den entsprechenden Vesuchsgruppen per Spracheingabe am Desktop, Laptop und Tablet beantwortet und die geschlossenen Fragen per schriftlicher Eingabe. Diese dritte und vierte Versuchsgruppe unterscheiden sich dahingehend voneinander, dass bei der einen Gruppe der gesprochene Text gleichzeitig verschriftlicht angezeigt wurde („speech−to−text“). Bei den anderen hingegen erfolgte keine für den Teilnehmer sichtbare Rückmeldung.

Welche Unterschiede konnten festgestellt werden?

Die Ergebnisse zeigen, dass die Gruppen 3 und 4 (sprachliche Befragung am Desktop) deutlich ausführlichere Antworten gegeben haben als die anderen beiden Versuchsgruppen. Während die schriftlich befragten Teilnehmer durchschnittlich 4,92 Wörter in den offenen Fragen gebrauchten und die Teilnehmer über Alexa insgesamt 4,47 Wörter, umfassten die Antworten der sprachlichen Befragung am Desktop mit „speech−to−text“ 11,91 Wörter und die jener ohne Rückmeldung sogar 13,56 Wörter. Hier zeigt sich, dass die sprachliche Befragung am Desktop oder Laptop einen deutlichen Vorteil im Hinblick auf die Ausführlichkeit der Antworten mit sich bringt. Da mit diesen meist ein höherer Informationsgehalt einhergeht, lässt sich von einem deutlichen Mehrwert bei den Ergebnissen ausgehen.

Ein weiterer Vorteil der sprachlichen Befragung zielt auf die Zeitinvestition ab. Die Dauer der Befragung lag durchschnittlich zwischen 09:06 Minuten und 10:06 Minuten und unterscheidet sich zwischen den Versuchsgruppen nicht signifikant. Das zeigt, dass bei der sprachlichen Variante über Desktop und Laptop mehr Inhalt bei gleicher Zeit generiert wird. Dementsprechend ist diese effizienter gegenüber anderen Methoden, wenn man die Relation zwischen der Ausführlichkeit der Antworten und der benötigten Zeit betrachtet.

Doch auch die Methode der schriftlichen Befragung bringt ihre Vorteile mit sich: Beim Abbruchverhalten ist die Quote der Abbrecher hier mit Abstand am geringsten. In dieser Gruppe haben nur 9 Prozent die Umfrage vorzeitig beendet. Bei der sprachlichen Befragung über den Desktop waren es in der Variante „speech−to−text“ 19 Prozent und in der Variante ohne Text 23 Prozent. Die Befragungen unter Verwendung von Alexa haben indes sogar 30 Prozent der Teilnehmer abgebrochen. Ferner zeigt sich bei der Analyse des Abbruchzeitpunkts, dass über die Hälfte der Abbrecher aus den Versuchsgruppen 3 und 4 bei der ersten offenen Frage abbrechen. Hier scheint es an der Bereitschaft zu fehlen, per Spracheingabe zu antworten. Da die Nutzung digitaler Sprachassistenten in den letzten Jahren gestiegen ist, ist ein Anstieg der generellen Teilnahmebereitschaft mit zunehmender Entwicklung und Nutzung von Sprache allerdings denkbar.

In puncto Ehrlichkeit der Teilnehmer lassen sich anhand der Studie keine nennenswerten Unterschiede erkennen. Folglich ist bei der Befragung mittels Sprache von einer gleichermaßen hohen Antwortqualität auszugehen, wie bei schriftlichen Befragungen. Die Ehrlichkeit wurde dabei über die Zustimmung von sozial erwünschten Aussagen gemessen, da bei einer erhöhten Zustimmung von unehrlichen Antworten ausgegangen werden kann. Auch bei der Bewertung der Studie seitens der Teilnehmer konnten keine Unterschiede festgestellt werden. Es fällt allerdings auf, dass die Umfrage von allen Versuchsgruppen mit einer durchschnittlichen Bewertung von mindestens 4,13 auf einer fünfstufigen Skala auffallend positiv bewertet worden ist. Daraus lässt sich schließen, dass den Teilnehmern die sprachliche Befragung gut gefallen hat und sie in Zukunft weiterhin an derartigen Befragungen teilnehmen würden.

Wo liegt das Potenzial von sprachlichen Befragungen?

Laut den Ergebnissen der Studie liegt das Potenzial der sprachlichen Befragung über Laptop und Desktop insbesondere in der Ausführlichkeit der Antworten auf offene Fragen sowie dem damit einhergehenden Mehrwert durch einen höheren Informationsgehalt. Dies ist vor allem für Unternehmen von Bedeutung, die sich für tiefergehende Antworten interessieren, aber dennoch eine quantitative Durchführung anstreben. Neben dem großen Vorteil einer sprachlichen Befragung, der durch die Erkenntnisse der Studie deutlich hervorgebracht wurde, bringt diese Art der Befragung zum jetzigen Zeitpunkt der Entwicklung aber auch Herausforderungen mit sich. Diese liegen vorrangig in der automatischen Transkription. Denn je besser diese ist, desto exakter können die Daten ausgewertet werden. Da die Transkription aber noch nicht fehlerfrei erfolgt, wird die Analyse der Daten erschwert. Es ist an dieser Stelle anzunehmen, dass sich die Technik auch in dieser Hinsicht mit der Zeit weiterentwickeln wird.

Fazit: Insgesamt wird sich zeigen, welche Entwicklungen noch vor uns liegen und wie weit eine akkurate Stimmanalyse der aufgezeichneten Audio−Dateien noch entfernt liegt. SPLENDID RESEARCH jedenfalls glaubt stark daran, dass Voice in der Marktforschung bald aus den Kinderschuhen herausgewachsen ist und engagiert sich als Teil dieser Entwicklung für eine innovative Zukunft mit neuen Methoden.