Medizinstudien produzieren oft zweifelhafte Ergebnisse

Die beiden Untersuchungen fallen in eine Zeit, in der sich mehr und mehr Experten über mangelnde Transparenz und Qualitätssicherung von Studien beklagen. So wurde etwa im vergangenem August das Fazit eines internationalen Großprojekts im Fachjournal "Science" publiziert, wonach sich die meisten Ergebnisse aus psychologischen Studien nicht reproduzieren lassen.

Die Zweifel, die diese Analyse am Wissenschaftsbetrieb insgesamt weckte, werden durch die beiden neuen Untersuchungen nun noch weiter verstärkt. So überprüften Forscher um Constance Holman und Ulrich Dirnagl vom Uniklinikum Charite in Berlin Hunderte Schlaganfall- und Krebsstudien und konzentrierten sich insbesondere auf die dabei verwendeten Versuchstiere. In der Mehrzahl der Artikel wurde die Zahl der Ratten und Mäuse nicht exakt angegeben.

Noch erstaunlicher ist, dass bei vielen Studien Versuchstiere über die Dauer der Experimente "verschwanden". Das Team versuchte nun, die Gründe für dieses Verschwinden zu rekonstruieren. "Der Verdacht liegt nahe, dass Tiere aus den Versuchen herausgenommen werden, wenn sie etwa eine besonders schwere Krankheitsausprägung zeigen", sagte Schlaganfallforscher Dirnagl. Das Problem: Mit der Herausnahme gehe das Tier auch nicht mehr in die Analyse ein, das Studienergebnis werde somit verfälscht. "Für mich ein typischer Fall von Bias", erklärte er. Unter Bias werde hier der Wunsch des Wissenschaftlers verstanden, dass seine Substanz wirke. Es gehe also nicht um bewusst betrügerische Absichten, sondern vielmehr um "Wunschdenken".

Ein weiteres Problem sei die oft zu geringe Gruppengröße in der medizinischen Grundlagenforschung, die im Mittel gerade einmal acht Tiere betrage. "Nehmen Sie dann ein Tier aus dem Versuch heraus, dann kommt das Ergebnis Würfeln gleich", betont der Neurologe.

Wie es auch anders geht, macht die klinische Forschung bereits seit Jahren vor. Hier gelten strenge Standards für die Anzahl von untersuchten Patienten und deren etwaige Herausnahme aus einem Versuch, die etwa im sogenannten Consort-Statement festgehalten sind. Vor einer Veröffentlichung in einem renommierten Fachblatt werde dieses Statement von den Autoren abgefragt, erläutert Dirnagl, der sich ähnliche Standards für die Grundlagenforschung wünscht.

So sollte im Methodenteil von Studien exakt beschrieben werden, wie viele Tiere Teil des Versuchs waren und welche im Voraus bestimmten Kriterien für eine Herausnahme dieser Tiere galten. Zudem sollten die Experimente verblindet erfolgen, also ohne dass die beteiligten Forscher wüssten, welche Tiere behandelt wurden und welche zur Kontrollgruppe gehörten. Eine weitere Möglichkeit sei die Präregistrierung von Studien, bei denen Wissenschafter ihr Forschungsvorhaben und dessen Ziele im Voraus beschrieben.

Laut Dirnagl zeigt der Artikel seines Teams nur die Spitze des Eisbergs: "Es gibt mittlerweile eine Vielzahl von Untersuchungen die belegen, dass Qualitätsprobleme in allen biomedizinischen Feldern bestehen."

Diese pessimistische Einschätzung wird durch die zweite in "PLOS Biology" veröffentlichte Studie noch gestützt: Forscher der US-Universitäten Emory und Stanford prüften die Reproduzierbarkeit und Transparenz von 441 Studien, die von 2000 bis 2014 Eingang in die biomedizinische Datenbank PubMed fanden. Ergebnis: Die meisten Studien gaben weder Rohdaten noch vollständige Versuchsprotokolle an und erwähnten auch nicht, wer die Arbeit finanziert hatte oder ob mögliche Interessenskonflikte bestanden.

Befunde wie jene erschüttern die Glaubwürdigkeit der medizinischen Grundlagenforschung. Laut Dirnagl zeigen sie jedoch auch eine substanzielle Ressourcenverschwendung im Wissenschaftsbetrieb, unter der nicht zuletzt der Steuerzahler leide. Hier seien Veränderungen bei Universitäten, Förderorganisationen und Institutionen gefragt. "Wissenschaftliche Karrieren werden derzeit gemacht, wenn Sie etwas Neues, Spektakuläres finden. Das ist der Weg um Professor zu werden", bilanziert Dirnagl. Es spiele dagegen jedoch keine Rolle, ob man seine Fallzahlen genau angebe oder neutrale Ergebnisse produziere.

Daher sollten bei der Berufung von Professoren in Zukunft zusätzliche Kriterien gelten, fordert der Neurologe. Zudem sollte die Qualitätssicherung von wissenschaftlicher Arbeit auch Teil der Ausbildung sein. Aber auch die Journale müssten strengere Standards für die Veröffentlichung von Artikeln durchsetzen. "PLOS Biology" will nun mit einer neuen Abteilung datenbasierte Meta-Forschung voranbringen. "Somit unterstreichen wir, dass Forschung über Forschung ein wichtiges Gebiet der Wissenschaft ist", erklärt "PLOS-Biology"-Redakteurin Stavroula Kousta.