NEWS
October 2nd 2023

Mixed Mode Research

Das Beste aus zwei Welten

Das Telefon als Mittel der Marktforschung? Ist bereits seit Jahrzehnten als zuverlässiges und schnelles Instrument für hochwertige Erhebungen etabliert. Und das Internet? Ergänzte schon wenige Jahre nach seiner Massenkompatibilität Anfang der 2000er die damaligen Befragungsstandards – für technisch affine Zielgruppen, die einer telefonischen Erhebung entweder abgeneigt oder per Telefon nur schwer zu erreichen waren und zudem Zeitpunkt und Tempo der Erhebung selbst bestimmen wollten.

Erhebungen per Telefon – Computer Assisted Telephone Interview (CATI) sowie per Web – Computer Assisted Web Interview (CAWI) sind also seit langem anerkannt und haben beide ihre Vorzüge, wenn es um die Erforschung bestimmter Zielgruppen, Produkte oder Meinungen geht. Beide Methoden eigenen sich zudem hervorragend bei Themen, für die größere Stichproben erforderlich sind, vor allem über Ländergrenzen hinweg.

Aber sowohl Telefon als auch Web haben ihre methodischen blinden Flecke.

Die Antwort auf sinkende Teilnahmebereitschaft und heterogene Zielgruppen:
Mixed Mode

Dass seit Jahren die grundsätzliche Teilnahmebereitschaft quer durch alle Zielgruppen sinkt, ist kein Geheimnis, sondern ein Problem, denen wir Marktforschungsinstitute uns jeden Tag stellen. Das gilt besonders für kleine Nischen-Stichproben, für die Repräsentativität nur noch mit erheblichem Aufwand erreichbar ist. Darüber hinaus reduzieren Auftraggeber zunehmend ihre Budgets, erwarten aber dennoch gleichbleibende Qualität bei am besten erhöhter Schnelligkeit.

An dieser Stelle präsentieren wir, AMR Advanced Market Research und moweb research nun einen innovativen, weil methodenübergreifenden Ansatz, der die vorgenannten Herausforderungen adressiert: Mixed Mode Research.

Mixed Mode beschreibt den gleichzeitigen Einsatz von Telefon- sowie Online-Erhebungen im Rahmen eines einzelnen Marktforschungsprojektes. Das Ziel: Die Vorteile der jeweiligen Methode kombinieren und das Beste der verschiedenen Welten vereinen, um somit größere Reichweite, bessere Stichprobenausschöpfung und noch höhere Daten-Qualität zu generieren.

Das gilt nicht nur für Nischen-Zielgruppen, sondern ebenso für besonders heterogene Probanden, die für eine Erhebung befragt werden sollen. Heterogen bedeutet an dieser Stelle, dass sowohl mit der einen als auch mit der anderen Methode nicht oder nur mit sehr viel Aufwand eine ausreichend repräsentative Stichprobe erreicht wird.

Mit Mixed Mode haben Probanden die Wahl - und nehmen deshalb häufiger teil

Mixed Mode arbeitet mit der parallelen oder sequentiellen Nutzung von Online- und Telefonumfragen. Wir geben unseren Teilnehmern die Wahl: Entweder die persönliche Umfrage, durchgeführt durch einen telefonischen Interviewer oder das selbstständige Ausfüllen eines Fragebogens am digitalen Endgerät – unter Umständen sogar beides!

Wir schaffen nicht nur die Möglichkeit der Methoden-Wahl, sondern die Gelegenheit, noch während einer laufenden Befragung das Medium zu wechseln bzw. den Prozess mit der präferierten Erhebungsalternative später fortzusetzen bzw. abzuschließen. Schon diese flexible Wahlfreiheit schätzen Testpersonen als Service, was ihre Teilnahmebereitschaft zusätzlich positiv beeinflussen kann.

Ihr Gewinn an Flexibilität bedeutet auf unserer Seite – als Institut – eine Zunahme von Einfluss. Mit sogenannten »CATI Follow-ups« können wir zum Beispiel die Teilnehmer nach ihrer Online-Rekrutierung telefonisch an die (Wieder-)Aufnahme einer Befragung erinnern. Mit »CAWI Follow-ups« meinen wir den Reminder per E-Mail, wenn der Telefonkontakt erfolglos blieb – mit der Aufforderung bzw. dem Angebot eines telefonischen Rückrufs.

Mixed Mode erreicht selbst heterogene Zielgruppen - am Beispiel einer Schule

Eine Schule zählt vermutlich nicht zu den ersten Projekten, wenn man an anspruchsvolle und heterogene Zielgruppen denkt. Unser Kunde stellte uns jedoch vor die Aufgabe, drei Zielgruppen aus einer vorgegebenen Schulform in einem bestimmten Bundesland in ganz bestimmten Klassenstufen zu befragen.

Der Gegenstand der Erhebung: Das im Unterricht verwendete Lehrmaterial aus einem bestimmten Fächerkanon, d.h. die Meinung zu deren Auswahl sowie die Beurteilung des Materials. Befragt werden sollte – mit jeweils eigenem Fragebogen – eine repräsentative Stichprobe der Teilgruppen Eltern, Schüler und Lehrkräfte.

Strukturell betrachtet sind Schüler, Eltern und Lehrer alles andere als homogen. Schüler, also junge Menschen, sind stark onlineaffin. Für ihre Lehrer – was zum Teil auch für die Generation der Eltern zutrifft – gilt das nur sehr eingeschränkt. Eltern und Lehrer sind daher über digitale Medien deutlich schwieriger zu erreichen als Schüler. Zahlenmäßig sind Lehrer zudem erheblich kleiner als die beiden anderen Gruppen.

Mixed Mode erhöht Ausschöpfungsrate & Repräsentativität - für mehr Qualität

Alle drei Zielgruppen sind somit klar definiert und unterscheidbar, jedoch stark heterogen in ihrer Stichprobengröße sowie Medienaffinität und -zugänglichkeit. Solch differierende Befragungsvorlieben standen dem Ansatz „online-only“ (CAWI) also im Weg. Eine reine Telefonbefragung kam jedoch ebenso nicht in Frage, das machte ein zu geringes Budget des Kunden unmöglich.

An dieser Stelle setzten wir daher Mixed Mode aus CATI und CAWI ein, in einem dreistufigen Prozess:

1. Die Ansprache aller drei Gruppen über digitale Medien (CAWI).
2. Die Ansprache der online nicht erreichbaren Lehrer per Telefon (CATI).
3. Der Abschluss der Feldphase mit einer Mindeststichprobe von Eltern und Schülern per CATI, als Abgleich und Verifizierung der zuvor erhobenen Antworten.

Auf diese Weise erreichten wir im Rahmen der Budget- und Zeitvorgaben die nötige Repräsentativität aller drei Untergruppen und lieferten unserem Kunden durch die dritte Feldphase eine noch höhere Antwort- und damit Datenqualität.

Mixed Mode-Umfragen erfordern eine sensible Konzipierung

Wie beschrieben ermöglicht Mixed Mode effektive Markt- und Meinungsforschung vor allem bei schwierigen Zielgruppensituationen. Diese Methode ist jedoch alles andere als trivial und erfordert gezielte technische, personelle und organisatorische Voraussetzungen.

Die Datensätze aus zwei verschiedenen Erhebungsquellen (CATI & CAWI) können zum Beispiel erst dann kohärent integriert, analysiert und bearbeitet werden, wenn sie zueinander kompatibel sind. Das erfordert ein ausgereiftes Datenmanagement durch entsprechende Softwarelösungen.

Des Weiteren ist für die Gewinnung valider Umfrageergebnisse die Identifizierung und Eliminierung von Duplikaten sowie Mehrfach-Teilnehmern ein weiteres wesentliches Kriterium. Betrügerische Probanden versuchen jedoch auch »multi-modal« über verschiedene Erhebungsformen hinweg ihre Meinung in EINER Umfrage MEHRFACH auszudrücken. Dieser Herausforderung wirken wir mit aufwändigem Teilnehmer-Tracking bzw. De-Duplizierung der Daten effektiv entgegen.

Biase als Herausforderung & Harmonisierung von Fragebögen

Eine weitere sensible Problematik über alle Erhebungsformen hinweg: Verzerrungen im Antwortverhalten von Probanden. Geschulte Interviewer wissen um den berühmten Social Desirability Bias, also die Gefahr, dass Befragte tendenziell eher Antworten geben, die sozial erwünscht sind und die damit gegebenenfalls von ihrer tatsächlichen Meinung abweichen. Ein solcher Bias (es gibt noch viele weitere – hier eine kleine Übersicht) kann vermieden oder wenigstens reduziert werden – und zwar bereits durch das Design des Fragebogens.

Im Vergleich zur Telefonumfrage hat eine Online-Erhebung speziell mit dem Social Desirability Bias weniger ein Problem, denn hier „befreit“ die Anonymität des Internets sowie die Tatsache unbeobachtet zu sein, den Teilnehmer in der Regel spürbar von beeinflussendem sozialen Druck.

Klar ist aber: Biase spielen sowohl beim persönlichen Interviewer als auch bei der unpersönlichen Online-Befragung eine Rolle, sind jedoch in ihrer jeweiligen Ausprägung unterschiedlich. Der Einsatz von Mixed Mode schafft uns die Chance, die Nachteile der einen Methode mit den Vorteilen bei der anderen aufzuwiegen. Aber Achtung: Das Ganze muss gelingen, ohne am Ende mit zu unterschiedlichen Fragebögen zu operieren. Durch eine exakt darauf abgestimmte und übergreifende Gestaltung können wir jedoch gewährleisten, dass sich die Antworten anschließend zusammenführen lassen.

Mixed Mode für eine bessere »Respondent Experience« (RX)

Methodenübergreifende Erhebungen erfordern ein Höchstmaß an Erfahrung und Kompetenz bei Planung, Durchführung und Auswertung. AMR Advanced Market Research und moweb research sind etablierte Institute und jeweils maßgebend mit ihren Produkten rund um telefonische (AMR) und internetbasierte Digitalumfragen (moweb). Durch die gemeinsame Führung beider Unternehmen bündeln wir nicht nur die entsprechenden Kompetenzen professioneller Marktforscher, Interviewer und Programmierer, sondern haben auch das Schnittstellenmanagement für das beschriebene Mixed-Mode-Verfahren zur Marktreife gebracht.

Umfragen mit stark heterogenen Zielgruppen, die jede für sich mit unterschiedlichen Medienformen angesprochen werden müssen, erfordern neue Ansätze, um trotzdem zu validen, schnellen und kostengünstigen Ergebnissen zu kommen. Mixed Mode liefert genau das: Hohe Ausschöpfungs- und Rücklaufraten, wenn einzelne Befragungsmethoden an ihre quantitativen und qualitativen Grenzen stoßen. Die Schwächen einzelner Modi werden somit nicht nur aufgefangen, am Ende führt dieser Weg sogar zu einer besseren »Respondent Experience«.

Fazit: Mixed Mode für erhöhte Datenqualität

In Zeiten sinkender Budgets bei dennoch steigenden Erwartungen dürfen wir an unserem Anspruch – das bestmögliche Ergebnis für unsere Businesskunden – nicht rütteln: Und zwar indem wir unsere Ressourcen und Kompetenzen als Markt- und Meinungsforscher immer wieder neu vermessen, einsetzen und optimieren.

Notwendig ist das außerdem nicht zuletzt, weil Gesellschaft, Märkte und technische Rahmenbedingungen (Stichwort: KI) an Komplexität stetig zunehmen und wir auch diesen Herausforderungen mit neuen Lösungen begegnen müssen.

In diesem Kontext ist Mixed Mode hier nur eine weitere Produktinnovation, um auf diese Entwicklung zu reagieren und den Wünschen unserer Kunden auch in Zukunft gerecht werden zu können.