Seit es das Internet gibt, hat sich die Zahl der Statistiken und statistisch basierten Studien gefühlt vertausendfacht. Kaum ein Thema, kaum ein Stichwort, bei dem nicht wer auch immer eine vermeintlich oder tatsächlich belastbare Erkenntnis gewonnen hat – die dann natürlich entsprechend lautstark proklamiert wird.
Marktentwicklung Wärmeerzeuger bis August 2015. Quelle: BDH Zwischen 11,6 Millionen (!!) deutschen Haushalten herrscht beispielsweise Krieg (Quelle: billiger.de). Ist für dieses Ergebnis vielleicht das befragte Umfeld entscheidend – vor allem, wenn man die zugrundeliegenden Kriterien für den Ärger sieht. An Position 10 beispielsweise zu große Balkon-Rabatten, an Position 12 gar „Sex“? Oder aus unserer Branche: Sagenhafte 100 Prozent aller Handwerker, die Schiebefittings einsetzen, sind damit vollauf zufrieden (Quelle: Querschiesser). Kein einziger, nicht einer, der meckert! Über die erste Nachricht kann man noch grinsen; bei der zweiten müsste man es eigentlich auch, wenn man nicht an seinem eigenen Sachverstand zweifeln würde. 100 Prozent aller Dalmatiner sind der Meinung, dass schwarze Flecken auf weißem Fell das Nonplusultra tierischer Bekleidungsformen sind…
Die beiden genannten sind zwei willkürlich ausgewählte Beispiele, die aber einmal mehr bestätigen: Traue keiner Statistik, die Du nicht selber „gefälscht“ hast. Churchill wird dieser Satz zugeschrieben. Allerdings ohne Anführungsstriche – und ob er es wortgetreu so oder ein wenig anders oder gar jemand anderes es noch wieder anders gesagt hat, spielt in diesem Zusammenhang eigentlich nur eine nachgeordnete Rolle. Entscheidend ist vielmehr gerade angesichts der Informationsflut, die durch gedruckte und elektronische Medien erzeugt wird: Wie wirken eigentlich diese Zahlen auf den flüchtigen Betrachter?
Kurz zusammengefasst: verheerend. Weil sie gerade durch das inflationäre Auftreten häufig nur noch am Rande und dann auch nur mit den plakativsten Ergebnissen wahrgenommen werden. Inwieweit die Datenbasis repräsentativ ist oder quantitativ und qualitativ belastbar, tritt da genauso in den Hintergrund wie die zugrunde gelegte Erhebungsmethodik.
Dabei ist der Ansatz von Studien doch eigentlich ganz einfach: "Wahr ist nur, was nachgekocht werden kann", brachte es Wolfgang Löwer, der Ombudsman für die Wissenschaft beim deutschen Wissenschaftsrat, jüngst in einem Interview mit der Tageszeitung „Die Welt“ (19.Mai 2015) auf den Punkt. Und weiter heißt es da: Dies ist das Kernprinzip von Wissenschaft und Fortschritt. Doch es wird massenhaft missachtet. Rund 70 Prozent aller Studien in den Biowissenschaften sollen nicht reproduzierbar sein. Warum soll es dann im wissenschafts-ferneren TGA-Umfeld anders aussehen?
Aber hier wie da suchen die Entscheider nach Entscheidungshilfen. Und wenn letztere dann auch noch im pseudowissenschaftlichen Kleid daher kommen – umso besser. Verifizieren kann die Analysemethodik und die Datenbasis ohnehin kaum ein Außenstehender, wenn sie denn überhaupt angegeben wird.
Zudem: Wie ist es eigentlich um die Signifikanz der Daten bestellt? Und wenn sich diese bestätigt: Was lässt sich daraus für eine praktische Bedeutung ableiten? Der australische Psychologe Geoff Cumming von der La Trobe University in Melbourne spricht beispielsweise von der "Verführungskraft der p-Werte“. Seiner Meinung nach täuschen sie zwar Sicherheit vor, lassen jedoch die eigentlich interessanten Fragen außer Acht. Wir sollten uns fragen 'Wie groß ist der Effekt, mit dem wir es zu tun haben?' und nicht: 'Gibt es überhaupt einen Effekt?“, heißt es sinngemäß bei dem Australier.
Noch einen Schritt weiter geht der Psychologe Uri Simonsohn von der University of Pennsylvania. Er unterstellt häufig eine gezielte Datenmassage ("P-Hacking"; Quelle: Nature 506, 2014; www.spektrum.de). Das komme mittlerweile sehr häufig vor, sagt Simonsohn, weil oft nach sehr geringen Effekten in verrauschten Daten gesucht werde. Wie weit verbreitet das Problem ist, sei schwer zu beziffern, die Lage aber vermutlich ernst.
Der kritische Geist scheint also mehr denn je gefragt, wenn es um die Bewertung von Statistiken und Studien geht. Vor allem, wenn aus den daraus gewonnenen Erkenntnissen Unternehmensentscheidungen abgeleitet werden…
Hier und heute beschränkt sich die HTD-Redaktion daher auch auf eine rein erhebende Statistik – und gibt die Entwicklung des Wärmemarktes bis August 2015 bekannt, rein quantitativ und prozentual zueinander. Das kann auch jeder selber nachrechnen.