Wer was beweisen will, der verweist auf eine Studie. Und wer das Gegenteil beweisen will, der macht das auch. Wie verlässlich ist eigentlich "eine Studie"?

Von "Amerikanische Wissenschaftler haben festgestellt …" bis "Glaube nur der Studie, die du selbst gefälscht hast!": Wenn es um Wissenschaft geht, geht es oft auch um Studien. Die werden dann häufig zitiert und sind in aller Munde. Nur: Was sagt uns eigentlich eine Studie? Geben wir es zu: selbst Experten manchmal wenig und dem Laien oft nichts.

Das ist aufschlussreich, wenn man bedenkt, dass der Verweis auf Studien gerade im Bereich Gesundheit und Medizin meist Expertise demonstrieren, Vertrauen schaffen, Sicherheit und Autorität verleihen soll. Und ebendas wird ab und an regelrecht ausgenutzt, wenn es um alternative Heilverfahren geht. Allerdings fehlt Patienten praktisch immer eine wirkliche Grundlage, um den Informationsgehalt der Studien, mit denen sie umworben werden, einschätzen zu können.

Da werden dann Studienergebnisse angeführt, als seien sie ein ultimativer Beweis für dieses Mittel oder jene Methode, ohne dass dies bei näherer Betrachtung zutrifft. Das aufzudecken ist nicht immer leicht: Auch für mich als Ärztin war das lange Zeit ein relativ steiniges Terrain, und ich habe das Studienlesen und -interpretieren mühsam lernen müssen. Wichtig für mich war vor allem zu erkennen, wo die Fallstricke liegen – und dass nicht alles, was sich Studie nennt, diesen Namen überhaupt verdient.

Ein bekannter Psychologe, Prof. Tilmann Betsch, der unter anderem die Grundlagen unserer Entscheidungs- und Urteilsfindung erforscht, erklärt es in einem seiner Heuristikseminare so: Gerade dann, wenn viele Studien zu einem Thema vorliegen, ist es entscheidend, zu überprüfen, wie hoch die "Mülldichte" der Studien ist. Denn längst nicht alle Studien sind methodisch gut gemacht und halten, was sie uns glauben machen wollen. Dabei darf man nicht übersehen, dass auch bei vielen schlechten Studien einzelne gute und zukunftsweisende Ergebnisse dabei sein können. Eine Generalverurteilung darf nicht vorschnell stattfinden. Andererseits darf erst recht nicht aus einem einzelnen Ergebnis gleich ein Generalbeweis gemacht werden. Der sprichwörtliche Elefant aus der Mücke – leider wird uns der oft viel zu schnell in hellstem Licht präsentiert.

Sehen wir uns zum Beispiel aktuelle Studien zur Homöopathie an. Vorweg: Selbst Homöopathen, die sich mit der Analyse der Forschung auf diesem Gebiet beschäftigen, geben zu, dass die Qualität der allermeisten Studien grottenschlecht ist. Für ein aktuelles systematisches Review hat der britische Homöopath Robert Mathie im Jahr 2017 insgesamt 75 klinische, placebokontrollierte, randomisierte Studien untersucht und dabei nur eine einzige von guter Qualität gefunden. In 49 fand er dagegen einen "high risk of bias", also eine hohe Irrtumswahrscheinlichkeit und Voreingenommenheit auf Grund methodischer Mängel.

Homöopathie wirkt nicht über den Placeboeffekt hinaus

Betrachtet man die Ergebnisse der Studien für sich – und ohne dieses tiefere Wissen –, so mag es zunächst scheinen, als habe die Homöopathie eine positive Wirkung über den Placeboeffekt hinaus. Wenn man jedoch die Qualität der Studien mitberücksichtigt und aus alledem ein Gesamtergebnis ableitet (das geschieht in so genannten Reviews oder Metaanalysen), so verschwindet dieser Eindruck – und der Effekt kann sich manchmal sogar in sein Gegenteil umkehren. Es fehlt also ein wissenschaftlich wasserdichter Nachweis darüber, dass die Homöopathie über den Placeboeffekt hinaus wirkt.

Schlimmer als echte Lügen oder klare Fälschungen – die auch für Laien leichter zu erkennen sind – wirken sich in Akademikersprech verklausulierte Halbwahrheiten aus, die zum Beispiel durch das unredliche "Herauspicken" passender Einzelergebnisse herbeigeredet werden können. In solchen Fällen muss man sich schon gut auskennen: Es hilft unter anderem, den Unterschied zwischen "statistischer Signifikanz" und "Effektstärke" zu kennen, also der Irrtums- oder Zufallswahrscheinlichkeit des Ergebnisses und der Größe des statistischen Effekts, will sagen seiner praktischen Relevanz. Oder wie der Psychologe Betsch sagt: dem "Wumms". Für Sie als Patient ist es deshalb wichtig, nicht jedem zitierten Studienergebnis zu vertrauen, selbst dann, wenn Ihnen plausibel und glaubwürdig vorkommt, was Ihnen vorgestellt wird. "Wissenschaftlich geprüft" und "Eine Studie ergab …" sind zunächst einmal Botschaften mit unklarem Informationsgehalt.

Dazu kommt: Auch Wissenschaftler können sich täuschen – natürlich. Es ist ganz einfach: Wissenschaft funktioniert zum größten Teil durch Hinterfragen, Überprüfen und – durch das Erkennen und Beheben von Irrtümern – das Anhäufen von neuem Wissen. Deshalb ist auch die Vorstellung falsch, die Wissenschaft könne (und wolle) "absolute Beweise" vorlegen. Wissenschaft denkt in Wahrscheinlichkeiten, oder besser: in Wahrscheinlichkeitsgraden. Entsprechend ist der "Arroganzvorwurf" gegen die Wissenschaft, die behaupte, "alles zu wissen", unsinnig. Nein, die Wissenschaft weiß nicht alles, und kein ernst zu nehmender Wissenschaftler behauptet das. Wissenschaft "glaubt" auch nicht unbeirrbar sich selbst – sie lebt vom Zweifel und vom Hinterfragen ihrer eigenen Ergebnisse.

Studien haben in diesem Prozess eine ganz bestimmte Rolle: Sie sind die Bausteine im Gebäude fortschreitender wissenschaftlicher Erkenntnis. Studienergebnisse müssen sorgfältig bewertet und eingeordnet werden. Wir müssen Ergebnisse der Wissenschaft in Relation zueinander stellen. Wir müssen fragen, wie die Erkenntnislage vor der Studie aussah, die wir betrachten. Sind die Ergebnisse außergewöhnlich? Wenn ja, bedarf es auch außergewöhnlich starker Belege. Wie sieht es mit einer Wiederholung aus, einer Replizierung des Ergebnisses durch unabhängige, andere Forscher? Eine einzelne medizinische Studie ist nie ein "Beweis", eher ein Hinweis darauf, dass "etwas dran sein könnte". Studien werden veröffentlicht, um von anderen Forschern unter die Lupe genommen und kritisiert zu werden. Wer sich diesem Prozess nicht stellt, wer nur nach Bestätigung auf dem Markt der Meinungen sucht, betreibt keine Wissenschaft, sondern beschreibt lediglich Papier.

Gut belastbares Wissen erlangen wir in der Medizin, indem wir fragen, wie stark (oder eben nicht) etwas im Verhältnis zu etwas anderem wirkt. Das ist ein plausibler und effektiver Ansatz, mit dem die Wirkung jedes Mittels oder jeder Methode getestet werden kann. Es lässt sich schon klären, ob da etwas ist oder nicht – unter Ausschalten aller Fremdeinflüsse und im Rahmen eines möglichst aussagekräftigen, aufwändigen Studiendesigns. In der medizinischen Forschung testen wir Medikamente deshalb gegen Scheinmedikamente (Placebo) oder gegen bereits bewährte Arzneimittel, und das möglichst nicht nur einmal. Sehen wir dann wiederholt – und mit "Wumms" –, dass es Patienten mit dem getesteten Mittel besser geht: Fein, wir haben einen Elefanten gefunden. Sehen wir es wieder und wieder und wieder nicht, dann machen auch mehr und mehr und mehr Mücken keinen Elefanten. Auch in der Homöopathie nicht.