BLOG
3. Juni 2022

Herberts Welt #3

Die dritte Ausgabe von Herberts Welt entstand nicht aus heiterem Himmel. Nein nein. Vielmehr provozierte eine bekannte TV-Show die Replik durch unseren Geschäftsführer Herbert Höckel. Die Kolumne erschien am 24. Mai - wie immer auf marktforschung.de - oder eben hier:

Was erlauben Böhmermann?!

Ja, genau das hätte er gerufen, der Giovanni Trapattoni. Sie werden es mitbekommen haben: Jan Böhmermann ist in seiner Show, dem ZDF Magazin Royal vom 13. Mai, über uns Meinungs- und Marktforscher hergefallen. Was fällt dem denn ein? Gibt's nicht genug andere, wichtigere Probleme auf der Welt, um die sich seine aufgeblasene, teure und vor allem öffentlich-rechtlich finanzierte Redaktion kümmern sollte? Was für eine Sauerei und Schweinerei! RACHE!

Beleidigt sein? Rache? Nein, natürlich nicht.

Wie viele Coachings lehren uns schließlich, bei Kritik auf der Sach- statt auf der emotionalen Ebene zu bleiben und vor allem erst einmal zuzuhören. Und sogar DANKE zu sagen. Immerhin hat sich da einer bzw. eine ganze Abteilung mit unserer Thematik auseinandergesetzt und zumindest aus deren Sicht einiges an kritischen und fragwürdigen Punkten zusammengetragen. Jetzt beleidigt zu sein und verbal zurückzuschlagen? Wie un-souverän wäre das denn?

Ich sage tatsächlich laut: DANKE lieber Jan.

Danke, dass Du und Dein Team von außen in unsere Branche hineingeschnüffelt hast, um sie zu analysieren, zu prüfen, zu bewerten sowie schlussendlich zu verurteilen. Ob richtig oder falsch: Ganz grundsätzlich ist jede andere Perspektive als unsere eigene immer eine Bereicherung. Punkt!

Aber der Reihe nach. Was für Problematiken hat das Magazin denn zum Thema Meinungsumfragen aufs Tableau gebracht?

• Das Problem der Suggestivfragen: Mehrfach forderte der Moderator seine Zuschauer auf, mit zuvor verteilten Abstimmungsgeräten ("Abstimmungnauten") auf diverse Fragen per Knopfdruck zu antworten. Dabei demonstrierte er den verzerrenden Einfluss von Suggestivfragen. Natürlich stark überzeichnet aber im Kontext von Satire und Comedy ist das wohl völlig okay. Hier das Beispiel zur Abstimmung, ob das Böhmermann-Magazin künftig den Sendeplatz der "heute-show" übernehmen sollte.
• Mit Umfragen wird Politik gemacht: Diese These besagt, dass Meinungsumfragen Politiker, Medien und Gesellschaft beeinflussen. Das stimmt wohl. Wer kann schon bestreiten, dass die Politiker unserer Zeit wohlgesonnene Umfragen für ihre Agenda nutzen, kritische Ergebnisse aber herunterspielen? Ist ein Problem. klar. Und zwar für alle Figuren in diesem Spiel, die mit unterschiedlich redlichen Motiven ihre Ziele verfolgen und damit am Ende den Bürger irritieren, manipulieren oder mindestens strapazieren.
• In dieselbe Kerbe schlägt die Feststellung, dass zu viele Institute um Aufmerksamkeit buhlen. Hier nennt das Magazin stellvertretend forsa, INSA, Allensbach, CIVEY, YouGov, die Forschungsgruppe Wahlen und infratest dimap. Alles große Player, die sich in verschiedensten Ausprägungen einen TV-Sender "halten". Oder wars umgekehrt?
• Weiter gings mit dem guten alten Festnetztelefon: Wurden früher große Befragungen meistens über diese Anschlüsse durchgeführt und darüber auch die Repräsentativität gewährleistet, geht das ja bekanntlich schon lange nicht mehr. Böhmermann platzierte dafür ein schönes altes Retro-Telefon auf seinem Tisch, um zu demonstrieren, dass DAS ja nun wirklich von gestern ist und daher heutzutage alles online laufen muss. Als entsprechender Repräsentant dafür musste CIVEY herhalten, nur um sie sogleich mit einem aktuellen Umfragebeispiel (auf SPIEGEL.de) zu diskreditieren, bei dem CIVEY in der Fußnote eine Fehlertoleranz von 11,8% einräumen musste. Ist das zu viel für eine Veröffentlichung? Zumindest Böhmermann ließ daran keinen Zweifel.
• Die geheimnisvollen Methoden: Von einem Experten der FU Berlin, Thorsten Faas, wurden weitere marktforschungskritische Aspekte per Einspieler geäußert. Z.B. wie die Institute eigentlich zu ihren Zahlen kommen. Genauso wie die konkrete Erhebungsmethode bleibt das aber ein Geheimnis. Der Moderator kommt daraufhin zu dem Schluss, dass Meinungsforschung keine Meinungen misst, sondern lediglich Launen. Launen, die heute so aber morgen anders sind und sich wiederum durch die veröffentlichten Forschungsergebnisse beeinflussen lassen. Da beißt sich doch die Katze …
• Die personelle Verquickung diverser Institute mit bestimmten Parteien: Beispiel Manfred Güllner von forsa und die SPD. Oder Hermann Binkert von INSA mit der AFD. Ich selbst mag dieser Tatsache hinzufügen, dass solchen Konstellationen nicht erst seit heute nachgesagt wird, eine ganz eigene Agenda zu verfolgen und mit "leicht eingefärbten" Fragemethoden exakt die Ergebnisse zu erreichen, die ihnen in den Kram passen.

Ein weiterer Kritikpunkt betrifft die Aufmachung von Umfrageergebnissen, die mit offensichtlich präzisen Prozentpunkten und wissenschaftlich anmutenden Diagrammen und Grafiken Seriosität vorgaukeln, was aber allzu oft nicht wirklich nachvollzogen werden kann - siehe mangelnde Transparenz bei Methoden und Prozessen.

Soweit diese kleine Magazin-Inventur, denn hier soll nichts unter den Teppich gekehrt werden. Zu allen Punkten möchte ich auch gar nicht Stellung nehmen. Wie in jeder Branche gibt es gute und schlechter Performer, Trittbrettfahrer und sogar korrupte Gesellen. In solchen Fällen darf es natürlich nie bei kritischen Stimmen von außen bleiben, da müssen wir auch selbst immer wieder unsere Stimme erheben. Schließlich geht es um unser wichtigstes Gut, das Vertrauen in unsere Leistungen. Sowie unser Renommee, das von Blendern in Geiselhaft genommen wird.

20 Minuten sind natürlich denkbar knapp, um auf unterhaltsame Weise einen sehr komplexen Stoff zu behandeln. Wohl auch deswegen sind manche Themenfelder doch arg verkürzt und auch fehlerhaft dargestellt. Daher erlaube ich mir an dieser Stelle nun einige kleine Richtigstellungen für alle nicht-marktforschenden Leser dieser Kolumne - übrigens ausdrücklich ohne den Tenor der Sendung als Ganzes in Frage zu stellen.

Das Festnetz

Die Thematik rund ums olle Festnetztelefon hat die Show so ausgetreten, als wären wir ein Haufen technischer Analphabeten, die die Zeichen der Zeit nicht erkannt haben. Und die Alternative der Erhebungen per Internet wird so dargestellt, als gäbe es das nur zum Preis von indiskutablen Fehlertoleranzen.

Also liebe ZDF-Redaktion, die meisten Institute, die früher Befragungen ausschließlich mittels Telefon-Interviews (CATI - Computer Assisted Telephone Interview) geführt haben, sind längst zu mixed-mode-Methoden ge-switched. Neben Telefon-Interviews werden hier andere Teilnehmer auf der digitalen Ebene erreicht bzw. befragt, um so die Probleme der Repräsentativität zu lösen. Wer's genau(er) wissen will: Hier weitere Erläuterung dazu.

Läuft eine Erhebung dennoch ausschließlich telefonisch, verfügt eine Mehrheit heute zwar über keinen Festnetzanschluss mehr, dafür aber in der Regel über ein Mobiltelefon. Das sind die sogenannten "Mobile-Onlys". Am Ende wird eine Erhebungsstichprobe dann zum Teil aus dem Festnetz abgedeckt, der andere Teil aus dem Mobilfunknetz. Beide Stichproben müssen noch korrekt gewichtet werden, fertig ist das "Dual-Frame-Verfahren" vom Arbeitskreis Deutscher Markt- und Sozialforschungsinstitute (ADM). Das war jetzt SEHR vereinfacht dargestellt, deswegen hier die etwas ausführlichere Erläuterung.

Zur Erinnerung: Wir machen das ja beruflich, also Meinungsforschung. Für alle Methoden, Verfahren und Design-Prozesse haben wir deshalb Experten, um eben genau jene Probleme anzugehen und zu lösen, die in der Sendung gestreift wurden. Und zumindest für jeden seriösen Marktforscher kann ich reklamieren, dass alle ihre Leistungen an den folgenden vier Gütekriterien ausrichten:

• Objektivität: Die Befragungsergebnisse dürfen nicht vom Fragenden beeinflusst werden.
• Reliabilität: Sprich Zuverlässigkeit. Die Wiederholung der Befragung unter gleichen Bedingungen muss das gleiche Ergebnis haben
• Validität: Kann man die Resultate als gültig bezeichnen? Ist das erfasst worden, was auch Gegenstand der Untersuchung war?
• Repräsentativität: Entsprechen die Befragten in Struktur und Zusammensetzung der sogenannten Grundgesamtheit? Auch hier ein freundlicher Link zum weiter-informieren.

Letzter Punkt: Die Suggestivfragen.

Hier nur so viel: Jeder seriöse Marktforscher wird bestmöglich versuchen, die Erhebung so un-suggestiv wie möglich zu halten. Denn sonst - da benennt Böhmermann einen wichtigen Punkt - ist die Antwort die Grafik nicht wert, auf der solche Angaben am Ende landen.

Qualität, Qualität, Qualität! Genau darauf kommt es an. Immer. Von der sorgfältigen Planung zur exakten Durchführung, der präzisen Analyse bis hin zur tragfähigen Interpretation der Daten.

Zurück zum Anfang - zum Nicht-Beleidigt sein: Liebes ZDF-Team: Nochmals Danke für Eure Kritik, selbst wenn sie in Teilen recht oberflächlich rüberkam. Ich zumindest habe mich gut unterhalten gefühlt und spüre noch mehr als sonst die Motivation, mich und mein Institut zu hinterfragen und zu prüfen: Wo müssen wir uns den Vorwürfen stellen und Prozesse verbessern?

Und wir sollten immer auch über den aktuellen Status Quo hinausblicken, denn die Welt um uns herum bleibt ja nicht stehen. Dazu ein kleiner Kalenderspruch: Die Methoden von heute sind schon morgen die von gestern! Unsere Entwicklung darf folglich nie stehenbleiben. Auch die Qualifizierung und Integrität der Marktforscher selbst gilt es stets von neuem zu beleuchten. An meine Zunft gerichtet: Bitte lasst uns regelmäßig die Frage stellen, welche Rolle wir im Spektrum von Politik, Gesellschaft und Wirtschaft denn tatsächlich spielen möchten?

Ich lade Euch ein!

Zurück zu Dir, Jan & Team: Wie wärs denn mit einer Einladung zu mir nach Düsseldorf, wo ich Euch bei einer Runde leckerem Altbier meine Welt der Marktforschung präsentiere? Damit Ihr mit eigenen Augen seht, dass sicherlich nicht alles schlecht ist in unserer Branche. Für diesen Einblick muss man aber auch bereit sein, ganz in die Materie einzutauchen. Seid Ihr das? Einladung hiermit ausgesprochen!

Und hey, vielleicht macht Ihr in einem Jahr noch mal eine Sendung über das Thema? Für eine hoffentlich positive Vorher-Nachher-Betrachtung helfe ich auch bei der Recherche - ganz neutral natürlich! Soweit also mein Kommentar zu Eurer Sendung. Ich habe fertig!

Euer Herbert Höckel

---