Ein weiterer Klassiker unter den BMJ-Weihnachtspaper ist die Fallschirm-Metaanalyse von Smith et al. aus dem Jahr 2003. Knapp 20 Jahre vor dem Ausbruch der Corona-Pandemie zeigten die Autoren einen fast schon prophetischen Blick für das kommende Paper-Bullshit-Bingo. Oder waren die Probleme wissenschaftlicher Veröffentlichungen im Jahr 2003 und zwischen 2020 und 2023 am Ende doch recht ähnlich?

Referenz:

Smith GCS. Parachute use to prevent death and major trauma related to gravitational challenge: systematic review of randomised controlled trials. BMJ. 2003;327(7429):1459-1461.

Worum geht es?

Eigentlich um Studien-, bzw. Metanalysen-Kritik und um (ein bisschen) EBM-Schelte. Die Autoren untersuchen im Stil einer gängigen Metanalyse die seinerzeit verfügbare Evidenz für die Wirksamkeit von Fallschirmen bei einem Sprung aus großer Höhe Verletzungen und Tod zu vermeiden. Sie umreißen den Zweck der Studie damit, dass es bis dato nur anekdotische Evidenz für die Schutzwirkungen von Fallschirmen und dass es eben auch Beispiele für glimpflich ausgegangene Stürze aus großer Höhe gäbe.

Was kam raus?

Die Autoren konnten in einer Datenbankrecherche mit den Suchworten „parachute“ und „trial“ keine Studien identifizieren, die Stürze aus großer Höhe (>100 m) mit und ohne Verwendung eines Fallschirms untersucht hätten, also über eine Kontrollgruppe verfügten.

Gegen die Annahme der anekdotischen Evidenz – dass Fallschirme vor Verletzungen und Tod schützen würden – sprächen folgende Punkte:

• der healthy cohort effect: Personen, die ohne Fallschirm aus einem Flugzeug aus großer Höhe springen würden, seien vermutlich signifikant öfter psychiatrisch relevant erkrankt (suizidal), als die, die einen Fallschirm benutzen
• ein bias durch Ärzte, die die weitverbreitete Verwendung von Fallschirmen unterstützen würden, um ihre Obsession in Prävention weiter ausleben zu können
• ein systemischer bias durch die Interessen der Fallschirm-Industrie, die kein erkennbares Interesse zeige ihre Produkte einer systematischen Überprüfung zu unterziehen.
• Die Autoren schließen mit der Feststellung „As with many interventions intended to prevent ill health, the effectiveness of parachutes has not been subjected to rigorous evaluation by using randomised controlled trials. Advocates of evidence based medicine have criticised the adoption of interventions evaluated by using only observational data. We think that everyone might benefit if the most radical protagonists of evidence based medicine organised and participated in a double blind, randomised, placebo controlled, crossover trial of the parachute“.

Was seither geschah

Seit 2003 ist viel Wasser die Ochtum hinunter geflossen und wenn man heute die Suche von damals wiederholt kommen doch einige Veröffentlichungen mehr zusammen.

Exemplarisch stell ich hier drei weitere Fallschirm-Paper kurz vor.

RCT mit Puppen

Aus dem UKE kommt die bahnbrechende Arbeit von 2016, die die Schwierigkeit eine Ethikkomitee-Freigabe für eine randomisierte Fallschirm-Studie zu bekommen dadurch umgehen konnte, dass sie einfach Puppen als Probanden nahm.

Referenz:

Czorlich P, Burkhardt T, Buhk JH, et al. Does usage of a parachute in contrast to free fall prevent major trauma?: a prospective randomised-controlled trial in rag dolls. Eur Spine J. 2016;25(5):1349-1354.

Wie wurde die Studie durchgeführt und was kam raus?

Die Forscher verwendeten eine handelsübliche Stoffpuppe namens Erwin, der kleine Patient, bei der sie die Stoffeingeweide durch wassergefüllte Ballons ersetzten, zudem eine Wirbelsäule aus Lego und einen Reisverschluss, um den Retroperitonealraum abzugrenzen einfügten.

Maßstabsgetreu erfolgten Stürze nicht aus >100 m, sondern aus gut 25 m Höhe. Die Puppen, die ohne Fallschirm hinunter fielen, verletzten sich signifikant öfter schwer, vor allem an der Wirbelsäule (> 90% aller Stürze ohne Fallschirm), am Becken (92%) und an Leber und Milz. Die Ergebnisse waren hochsignifikant.

RCT mit echten Menschen

2018 erschien dann die lang ersehnte randomisierte Studie mit Menschen.

Referenz:

Yeh RW, Valsdottir LR, Yeh MW, et al. Parachute use to prevent death and major trauma when jumping from aircraft: randomized controlled trial. BMJ. Published online December 13, 2018:k5094.

Wie wurde die Studie durchgeführt und was kam raus?

Von 92 gescreenten Flugzeug-Passagieren erklärten sich 23 bereit an der Studie teilzunehmen. Die Aufgabe war – nicht verblindet – aus einem Flugzeug oder Hubschrauber zu springen, entweder mit einem Fallschirm oder einem leeren Rucksack auf dem Rücken. Der Studien-Endpunkt war ein kombinierter Endpunkt (Tod oder schweres Trauma) durch den Aufprall auf den Boden.

Erstaunlicherweise schützen Fallschirme nicht besser als ein leerer Rucksack vor Verletzungen. In beiden Gruppen kam es in 0% der Fälle zum Studienendpunkt.

Was war passiert? Das Kleingedruckte: Während die gescreenten Teilnehmer sich in Flugzeugen auf einer Höhe von ca. 9150 m befanden, sprangen die Studienteilnehmer aus einer Höhe von 0,6 m bei einer Geschwindigkeit von 0 km/h (gegenüber 800 km/h im Screening).

Warum ist die Studie wichtig?

Wegen den Schlussfolgerungen der Autoren. Erstens der Karl-Lauterbach-Gedächtnis-Anmerkung:

The PARACHUTE trial does suggest, however, that their accurate interpretation requires more than a cursory reading of the abstract. Rather, interpretation requires a complete and critical appraisal of the study.

Und auf Grund eines Effektes, den wir in abgeschwächter Form in vielen ernstgemeinten Studien tatsächlich regelmäßig sehen:

When beliefs regarding the effectiveness of an intervention exist in the community, randomized trials evaluating their effectiveness could selectively enroll individuals with a lower likelihood of benefit, thereby diminishing the applicability of trial results to routine practice.

Die aktuelle Metanalyse (von Zitaten)

Eine ganz aktuelle Arbeit untersucht die Verwendung des ersten Papers und der RCT mit echten Menschen in verschiedenen wissenschaftlichen Veröffentlichungen.

Die Referenz:

Xu A, Prasad V. The use and meaning of the parachute metaphor in biomedicine: a citation analysis of a systematic review and a randomized trial of the parachute for freefall. J Comp Eff Res. 2022;11(6):383-390

Wie wurde die Studie durchgeführt und was kam raus?

Es handelte sich um eine Metanalyse, die die Verwendung der Paper von Smith und Yeh et al. in der wissenschaftlichen Literatur untersuchte. Die Autoren konnten die verwendeten Zitate verschiedenen Grundaussagen zuordnen.

Auffallend war, dass die Studie von Smith vor allem dann verwendet wurde, wenn argumentiert wurde, dass es für einige etablierte Interventionen keine randomisierten Studien bräuchte, die von Yeh et al. als Beispiel für unsaubere Studiendesigns diente. In einem weiteren Schritt überprüften die Autoren, ob es bei Aussagen bei denen es nach Smith keiner randomisierten Studien bedürfe in im Verlauf doch angefertigten Studien zu einer Bestätigung oder Widerlegung der These kam. In einem Drittel der Fälle konnte die angenommene Hypothese bestätigt werden, in den anderen Fällen nicht (hier konnte also eine randomisierte Studie eine vermeintliche Gewissheit widerlegen).

Fazit

Mit Fallschirm-Vergleichen sollte man vorsichtig sein, es kommt hier – genau wie bei allen anderen wissenschaftlichen Arbeiten – auf das Kleingedruckte (die wissenschaftlichen Methoden) an. Niemals ist es ausreichend nur das Abstract einer Studie zu lesen.