Der Chatbot ChatGPT ist in aller Munde und viele haben die teils erstaunlichen Fähigkeiten von ChatGPT bereits selbst ausprobiert. Das Erzeugen und Korrigieren von Programmcode, das Verfassen von Blogartikeln und Fachbeiträgen oder praktische Hilfe beim SEO-Marketing sind nur einige Einsatzgebiete des Chatbots im beruflichen Kontext.
Auch die Marktforschungspraxis wird von dieser und den zukünftigen Entwicklungen im Bereich der künstlichen Intelligenz und des maschinellen Lernens nicht unberührt bleiben. An dieser Stelle möchte ich daher – ohne den Anspruch auf Vollständigkeit – skizzieren, in welchen Bereichen der berufliche Alltag von Marktforschenden von Entwicklungen und Tools wie ChatGPT profitieren kann. Ich beschränke mich dabei aufgrund meiner eigenen beruflichen Fokussierung auf die quantitative Marktforschung, auch wenn im Bereich der qualitativen Marktforschung eine ganze Reihe von sinnvollen Anwendungsfeldern – zum Beispiel bei der textbasierten Inhaltsanalyse – denkbar sind.
Grundsätzlich kommt der Einsatz von KI-basierten Tools wie ChatGPT für fast alle Phasen eines quantitativen Marktforschungsprojekts infrage. Im Folgenden werde ich für die wesentlichen Schritte einer quantitativen Marktforschungsstudie jeweils mit Hilfe von Beispielen erläutern, wie die KI unterstützend eingesetzt werden kann und an welcher Stelle der Nutzen (noch) eingeschränkt ist.
Konzeption von Studiendesigns
Bittet man den Chatbot, ein Design für eine Studie zum Nutzungsverhalten von ChatGPT in Deutschland zu erstellen, erhält man eine durchaus brauchbaren Anregung für ein einfaches, aber mögliches Vorgehen (siehe Screenshot 1).
Zugegeben, das Studiendesign für diese Fragestellung ist recht naheliegend und wenig herausfordernd, aber auch für andere Fragestellungen und insbesondere im weiterführenden Dialog mit Rückfragen und detaillierten Anweisungen, in welche Richtung ChatGPT sich bei den Antworten orientieren soll, sind die Ergebnisse oft erstaunlich praxisorientiert. Bei meinen bisherigen Tests wurden allerdings keine neuen Erkenntnisse oder Vorschläge generiert, die nicht schon bei der ursprünglichen Planung eines Studiendesigns berücksichtigt worden wären. Das Rad neu erfinden kann ChatGPT also hier sicherlich nicht. Für Personen, die mit der Entwicklung von Studiendesigns noch nicht so vertraut sind, bietet ChatGPT aber eine gute Möglichkeit, ein erstes Grobkonzept für ein Marktforschungsprojekt zu skizzieren. Das Feintuning und das Entwickeln von Studiendesigns für komplexere Fragestellungen wird – zumindest noch – weiterhin vom Menschen übernommen werden müssen.
Entwicklung von Erhebungsinstrumenten
ChatGPT sträubt sich auf Anfrage auch nicht, einen ganzen Fragebogen zu entwickeln. Im Beispiel wird ein Fragebogenentwurf erstellt, der sich im Dialog mit ChatGPT noch weiter verfeinern lässt (siehe Screenshot 2).
Auch hier ist die Ausgangsfragestellung allerdings nicht allzu herausfordernd für die Auswahl der richtigen Fragen (bzw. wurden diese bei der Nennung des Studienziels schon mehr oder weniger vorgegeben). Zudem weist bereits dieser kurze Fragebogenentwurf zwei grobe handwerkliche Fehler auf: Zum einen ist die Skala bei der Abfrage der Nutzungshäufigkeit nicht konsistent (die Option "Selten" passt nicht zu den übrigen Antwortkategorien) und die Antwortoptionen bei der Frage nach dem Nutzungszweck sind nicht trennscharf (Informationsbeschaffung und Arbeit) und bei weitem nicht erschöpfend dargestellt. Daneben fehlen bei den ersten Fragen die Antwortkategorien völlig und werden erst auf Nachfrage erzeugt.
Nichtsdestotrotz liegt im Bereich der Entwicklung von Erhebungsinstrumenten eine besondere Stärke von ChatGPT darin, im Sinne eines Brainstormings Anregungen für eine vollständige Betrachtung einer Fragestellung oder eines Sachverhalts zu liefern. Es schadet auf jeden Fall nicht, nach der eigenen Entwicklung der Fragestellung, der Dimensionen des zu untersuchenden Konstrukts und der Ableitung geeigneter Indikatoren nochmal zu prüfen, ob ChatGPT nicht noch etwas zu ergänzen hat. Die eigentliche Konzeption des Fragebogens bleibt dann doch eher wieder Handarbeit, da die KI zwar durchaus umfragetaugliche Fragen liefern kann, aber im Hinblick auf die korrekte Formulierung und Definition von Skalen und Antwortoptionen, den Aufbau (Motivation der Befragten!) sowie die Verzweigungslogik des Fragebogens noch etwas überfordert erscheint.
Datenerhebung
Für Desk Research und Sekundärdatenanalyse ist ChatGPT definitiv eine große Unterstützung – und das vermutlich in noch deutlich stärkerem Maße, wenn die Datenbank des Bots mit dem Internet verknüpft und durchgehend auf dem neuesten Stand gehalten wird. Derzeit kommt die KI, auch aufgrund der etwas veralteten Datenbasis, leider noch oft an ihre Grenzen (siehe Screenshot 3).
Dennoch kann ChatGPT schon jetzt bei Recherchen und zeitaufwendigen repetitiven Aufgaben eine wertvolle Hilfe darstellen.
Für die umfragebasierte Erhebung von Primärdaten bleibt dem Markforschenden allerdings zunächst kein anderer Weg, als selbst tätig zu werden und die Umfrage in einem externen Tool zu erstellen und durchzuführen. Allerdings wäre auch hier die Verknüpfung von ChatGPT mit entsprechender Umfrage-Software per Programmierschnittstelle (API) möglich. ChatGPT könnte dann beispielsweise im Rahmen der Primärdatenerhebung als Online-Interviewer fungieren, der durch den Fragebogen leitet und seine Fragen individuell an die Antworten der Befragten anpasst und Hilfestellungen bei Nachfragen gibt.
Statistische Datenanalyse und Ergebnisinterpretation
Bei der statistischen Analyse von (Umfrage-)Daten ist ChatGPT dann besonders hilfreich, wenn es darum geht, Fehler im Code (zum Beispiel bei der Datenanalyse mit Python) zu finden oder Codevorschläge zur Beantwortung verschiedener Fragestellungen zu machen (siehe Screenshot 4).
Daneben kann ChatGPT nach eigener Aussage auch diverse statistische Tests selbst durchführen. Inwiefern die so erzeugten Ergebnisse korrekt und nutzbar sind, habe ich noch nicht überprüft. Gegenüber anderen Auswertungstools ist ChatGPT allerdings hier schon allein wegen der nicht vorhandenen Möglichkeit der Datenspeicherung und des Datenmanagements (Datenbank) – die zu analysierenden Daten können nur in das zeichenbegrenzte Textfeld kopiert werden – deutlich unterlegen. Eine Verknüpfung mit einer Statistik-Software mittels API wäre zwar prinzipiell möglich, für die Durchführung der in der Statistik-Software bereits verfügbaren statistischen Tests und Methoden ergibt sich dadurch aber wohl kein wesentlicher Vorteil. Der Grad der Automatisierung ließe sich mittels ChatGPT vermutlich noch weiter steigern, das würde aber auf die Kosten der Nachvollziehbarkeit des Zustandekommens der statistischen Resultate durch den Marktforschenden gehen.
Anders sieht es bei der Analyse von großen Textmengen, zum Beispiel von umfangreichen Antworten zu offenen Fragen einer Umfrage aus: Hier ist ChatGPT für einfache Auszählungen und Zusammenfassungen bestens geeignet und perspektivisch ist der Einsatz von KI für die vollständige Übernahme auch komplexerer inhaltanalytischer Aufgaben (Entwickeln von Kategoriensystemen etc.) nur ein Frage der Zeit.
Bei Fragen zu speziellen Verfahren oder zur Interpretation von ausgefalleneren statistischen Kennzahlen kann ChatGPT gute, auf Wunsch auch leicht verständliche Antworten liefern, aber auch hier ist der Mehrwert gegenüber dem "klassischen" Googlen eher gering.
Fazit
Die ersten Tests und Nutzungserfahrungen mit ChatGPT zeigen, dass das KI-Tool auch für die Marktforschungspraxis und den beruflichen Alltag von Marktforschenden gewinnbringend eingesetzt werden kann. Insbesondere die Verknüpfung von ChatGPT mittels API an bestehende Softwarelösungen der Marktforschungspraxis (zum Beispiel Umfragesoftware) eröffnet zukünftig vielversprechende neue funktionale Möglichkeiten.
Nach regelmäßiger Nutzung zeigt sich aber auch, dass vieles von dem, was ChatGPT bislang ausgibt, nicht immer hundertprozentig korrekt, "handwerklich" schlecht oder unvollständig ist, so dass bei vielen Fragestellungen eine manuelle Nachprüfung durch den Forschenden unerlässlich bleibt und ChatGPT für viele Anwendungsfälle bestenfalls ergänzend genutzt werden kann.
ChatGPT ist nicht das erste KI-basierte Tool, das in den Marktforschungsalltag Einzug hält. Gerade im Bereich der Datenanalyse und der Datenvisualisierung werden schon seit längerer Zeit KI-Tools eingesetzt. Anwendungen wie ChatGPT erweitern nun die bisherige Nutzung von KI in der Marktforschung und werden zukünftig eine immer wichtigere Rolle bei der Umsetzung von Marktforschungsprojekten spielen – auf jeden Fall bleibt die weitere Entwicklung spannend und die nächsten, möglicherweise noch leistungsfähigeren Chatbots wie Googles LaMDA stehen für die öffentliche Nutzung schon in den Startlöchern.