Corona und das Paper-Bullshit-Bingo: Warum Wissenschaft gerade ein riesiges Qualitätsproblem hat

Vorneweg

Ja, ich weiß, eigentlich sollte es um critical illness Polyneuropathie gehen, aber ich bin schon wieder innerlich getrieben, was zu COVID zu schreiben. Beim nächsten Mal geht’s dann aber wirklich (ehrlich wahr) um die critical illness Polyneuropathie.

Worum geht es in diesem Beitrag eigentlich nicht?

Unter anderem hierum, obwohl es (zumindest für mich) ein Riesenthema ist:

https://www.tagesschau.de/investigativ/monitor/ausgangssperren-103.html

Was ist der Hintergrund? Mal wieder ein Preprint, welches man hier findet: Link und in dem verschiedene Regierungsmaßnahmen in der zweiten COVID-Welle (also im Herbst/Winter) und ihre Wirkung auf die Infektionszahlen-Entwicklung untersucht wurden. Und was dann passiert ist so furchtbar pathognomonisch für die derzeitige Situation: Die Ergebnisse werden vom jeweiligen politischen Akteur in ihrem oder seinen Sinne gedeutet und sofort mit Bedeutung aufgeladen und als Forderung für politische Maßnahmen oder als Begründung für deren Umsetzung verwendet:

Das Skurrile ist, dass es von Anfang an Stimmen gegeben hat, die – aus Gründen – davor gewarnt haben, die Studie als 1:1-Rechtfertigung für weitere Beschränkungen zu verwenden, z.B. populärwissenschaftlich und für alle einsehbar hier: Link, aber genau diese Deutung ist dann passiert. Und nun gibt es – und da kommen wir zum Tagesschau-Artikel zurück – eine öffentliche Korrektur der politischen Interpretation der Studienergebnisse durch Autoren der Studie.

Wie kann das passieren?

Zum Einen sicherlich durch die Politisierung von Wissenschaft, die zum Einen aus der Politik kommt, die Wissenschaftler für ihre Zwecke und Meinungen vereinnahmt; zum Anderen von Wissenschaftlern selber, die ihre Forschungsergebnisse mit konkreten politischen Forderungen oder Visionen von Gesellschaftsmodellen verbinden. Ein Beispiel hierfür wäre sicherlich Melanie Brinkmann, die man bei Twitter hier findet: https://twitter.com/BrinkmannLab

Oder – der von mir schon beim Long Covid-Thema zitierte – Dirk Brockmann: https://twitter.com/DirkBrockmann

Am anderen Ende der COVID-Interpretationsskala gilt das aber sicherlich auch für Klaus Stöhr: https://twitter.com/stohr_klaus

Ein zweiter relevanter Punkt ist, dass wissenschaftliche Arbeiten als Quelle und Begründung für politische Forderungen dienen und zitiert werden, beim genaueren Hinsehen man aber den Eindruck haben muss, dass die- oder derjenige die Arbeit entweder gar nicht gelesen, nicht zu Ende gelesen oder nicht verstanden hat. Ein prominentes Beispiel hierzu ist die im Long-Covid-Artikel erwähnte Internetfragebogen-Selbstbeobachtungsstudie, die ja auch mit einer Bedeutung aufgeladen wurde, die sie schlicht und einfach nicht haben kann:

Das dritte Problem ist sicherlich das unglaublich miserable Pandemiemonitoring, wie wir es in Deutschland betreiben, was zu extrem großen Problemen bei der Prognoseabschätzung der Infektionszahlenentwicklung und ihrer Implikation auf das Gesundheitssystem führt, amüsant nachzulesen zum Beispiel hier:

Und hier:

Wie tief dieses Defizit reicht und welche Ausmaße es hat, hat Jan-Martin Wiarda, der u.a. für den Tagesspiegel schreibt, recherchiert und hier aufgeschrieben, die Lektüre lohnt sich allemal:

https://www.jmwiarda.de/2021/04/28/die-datenerhebungskatastrophe/

Aber das soll alles eigentlich gar nicht das Thema sein.

Die Flut der Veröffentlichungen zum Thema COVID19

Sondern es soll um Paper gehen, die – zum Teil sogar den Peer Review-Prozess absolviert haben – und die in unendlich großer Zahl Tag für Tag veröffentlicht werden. Die Zahl ist so groß, dass wenn man bei pubmed einfach nur COVID19 eingibt (Link) über 123.000 Veröffentlichungen findet. Das kann kein Mensch überblicken. Niemals. Deshalb gibt es Dinge wie den Journal Club zum Thema COVID19 meiner Fachgesellschaft, der Deutschen Gesellschaft für Neurologie. Den findet man hier: Link. Und auch hier kann man sich aktuell bis zu Seite 50 durchklicken. Wenn man alleine das versucht zu verfolgen, wird einem Angst und Bange. Und zwar nicht auf Grund der ganzen Katastrophennachrichten, die man dort erfahren würde, sondern weil man selbst als mittelmäßig begabter Neurologe durchschauen kann, dass viele Dinge, die dort vorgestellt und besprochen werden (immer im Konjunktiv, was erfreulicherweise die nötige Distanz schafft) so hanebüchen sind, dass man nicht verstehen kann, warum sie überhaupt den Weg an die Öffentlichkeit gefunden haben. Eigentlich fasst dieser Tweet das Ganze schon zusammen

https://twitter.com/PhilWMagness/status/1388869227151560706

aber ich versuche mal ein paar Beispiele zu geben und eine Art Charakterisierung der drei häufigsten Phänomene vorzunehmen:

Zeitliche Korrelation vs. Kausalität: Guillain-Barré-Syndrom und COVID-19

Schon im April 2020 wurden erste Fallberichte veröffentlicht, in denen von Patienten berichtet wurde, welche nicht nach einer COVID19-Infektion ein Guillain-Barré- oder ein Miller-Fisher-Syndrom entwickelt hatten, sondern bei denen das Guillain-Barré-Syndrom zur stationären Aufnahme geführt hatte und bei denen sekundär die Diagnose einer COVID19-Erkrankung gestellt wurde, entweder weil die Patienten dann typische COVID19-Symptome entwickelten oder auch als symptomarmer oder asymptomatischer Verlauf bei Reihentestung der Patienten, sozusagen als parainfektiöses GBS. Die ersten Fallberichte wurden sehr hochrangig veröffentlicht, in Lancet Neurology, Neurology und dem New England Journal of Medicine, vergleiche hier: Link. Alle Erkrankungen in den ersten Fallserien verliefen relativ mild, IVIG halfen in der Regel gut, oft waren keine Gangliosid-Antikörper nachweisbar, in keinem Fall SARS-CoV2-RNA im Liquor.

Aus Deutschland wurde dann im Sommer 2020 ein Fallbericht (Lampe et al.) veröffentlicht, der ebenfalls von einem Patienten berichtete, bei dem sich sehr rasch nach COVID19-Symptombeginn ein ebenfalls mildes Guillain-Barré-Syndrom entwickelte. Der Patient hatte zwar ca. vier Wochen vor GBS-Beginn einen Atemwegsinfekt gehabt, der antibiotisch behandelt worden war, die Autoren gehen dennoch auf Grund der zeitlichen Korrelation zur COVID19-Infektion von einem parainfektiösen GBS aus. Die Option, dass es sich um ein mildes „normales“ GBS nach dem durchgemachten Atemwegsinfekt vier Wochen zuvor handeln könnte, wird in einem Nebensatz abgehandelt. Der Artikel gipfelt in der Feststellung:

Moreover, it substantiates the evidence of a potential association between SARS-CoV-2 and GBS.

Ebenfalls im Sommer 2020 wurde eine Zusammenfassung von 24 derartigen parainfektiösen GBS publiziert (Finsterer et al.), hier wurden auch schwerere Verläufe berichtet. An der direkten parainfektiösen Genese wurde auch hier kein Zweifel geäußert, es wurden Vermutungen über ein direktes molekulares Mimikry zwischen SARS-CoV2 und neuronalen Oberflächenstrukturen als Auslöser vermutet. Auffällig war allerdings eine geringere Häufigkeit des parainfektiösen GBS gegenüber dem „normalen“ GBS. Auch in diesem Paper ist die Zusammenfassung besonders interessant:

It is concluded that SARS‐CoV‐2 can cause GBS. The CSF is free of virus‐RNA in SARS‐CoV‐2‐associated GBS. If SARS‐CoV‐2 is truly the cause of GBS in all cases included in this review, remains speculative since a strong causative relation was not established in each case.

Im Dezember 2020 wurde dann hochrangig publiziert in Brain zurückgerudert (Lunn et al.). Zum Einen konnte eine deutlich geringere GBS-Inzidenz in Großbritannien in der ersten COVID19-Welle gegenüber den Vorjahren nachgewiesen und nachvollziehbar herausgearbeitet werden, dass durch die Lockdown-Maßnahmen die typischen Auslöser des GBS, die Infektionen mit Campylobacter jejuni und CMV, deutlich zurückgegangen waren. Auch konnten die Autoren die Idee des molekularen Mimikry von SARS-CoV2 und peripheren Nervenoberflächen-Proteinen aufwändig widerlegen.

Was ist hier passiert?

Peter Berlit hat das Thema schon in diesem Editorial (Link) aufgegriffen, hier die wichtigsten Punkte:

Zunächst einmal wurde der alte Grundsatz der evidenzbasierten Medizin „Correlation does not imply causation“ (Link Wikipedia, Link Universität Duisburg) nicht beachtet. Peter Berlit schreibt hierzu:

Ein ausschließlich zeitlicher Zusammenhang neurologischer Manifestationen mit neuartigen Erkrankungen (wie COVID-19) rechtfertigt zunächst einmal keine kausale Verknüpfung

Dann wurde eine Erkrankungs-Serie mit sehr kleiner Fallzahl (24 Patienten) mit einer aktuell, sehr, sehr häufigen Erkrankung assoziiert, was statistisch ein relativ problematisches Unterfangen ist, wenn man das gut machen will. Bei der Influenza konnte eine Assoziation zwischen der Impfung gegen den Serotyp H1N1 und einem GBS nach Impfung erst im letzten Jahr in einer großen Metaanalyse (Petráš et al.) widerlegt werden. Mehrere Studien zuvor hatten einen (vermeintlichen) Zusammenhang gezeigt. Und dann wurde zumindest in der Arbeit von Lampe et al. (und die ist mir am vertrautesten) ein möglicher Zusammenhang des GBS mit dem vier Wochen zuvor durchgemachten antibiotisch behandelten Atemwegsinfekt offenbar bewusst kleingeredet, wobei dieser vom zeitlichen Horizont her viel plausibler zu dem beschriebenen GBS passt. Dafür kann man die weiter oben zitierte Zusammenfassung, in der ein Beweis für eine neue COVID19-Krankheitsentität gesehen wird, dann wohl als gepflegte Selbstüberschätzung auffassen.

Gleiches Problem: EEG-Veränderungen bei schweren COVID-Verläufen

Zumindest in der Neurologie wurde das Thema (kurzzeitig) intensiver diskutiert , nachdem in einer ersten Arbeit retrospektiv bei Patienten mit schweren COVID-Verläufen ein erhöhter Anteil von pathologischen EEG-Veränderungen, insbesondere scharfen Wellen und rhythmischen Delta-Wellen-Entladungen, gefunden worden war. Dieses Thema hat sich mit einer größeren Datenbasis und der Berücksichtigung der Schwere der einzelnen zunächst berichteten Krankheitsverläufe komplett egalisiert, vergleiche auch hier und hier.

Wo man weiterlesen kann

Lampe, A., Winschel, A., Lang, C., & Steiner, T. (2020). Guillain-Barré syndrome and SARS-CoV-2. Neurological Research and Practice, 2(1), 19. https://doi.org/10.1186/s42466-020-00066-0

Finsterer, J., Scorza, F. A., & Ghosh, R. (2021). COVID‐19 polyradiculitis in 24 patients without SARS‐CoV‐2 in the cerebro‐spinal fluid. Journal of Medical Virology, 93(1), 66–68. https://doi.org/10.1002/jmv.26121

Petráš, M., Králová Lesná, I., Dáňová, J., & Čelko, A. M. (2020). Is an Increased Risk of Developing Guillain–Barré Syndrome Associated with Seasonal Influenza Vaccination? A Systematic Review and Meta-Analysis. Vaccines, 8(2), 150. https://doi.org/10.3390/vaccines8020150

Keddie, S., Pakpoor, J., Mousele, C., Pipis, M., Machado, P. M., Foster, M., Record, C. J., Keh, R. Y. S., Fehmi, J., Paterson, R. W., Bharambe, V., Clayton, L. M., Allen, C., Price, O., Wall, J., Kiss-Csenki, A., Rathnasabapathi, D. P., Geraldes, R., Yermakova, T., … Lunn, M. P. (2021). Epidemiological and cohort study finds no association between COVID-19 and Guillain-Barré syndrome. Brain, 144(2), 682–693. https://doi.org/10.1093/brain/awaa433

Berlit, P., Lehmann, H.C.) Vorsicht vor kausalen Verknüpfungen. DGNeurologie 4, 149–150 (2021). https://doi.org/10.1007/s42451-021-00340-8

Paper, die allgemeine Weisheiten transportieren: Delir und COVID-19

Ein echtes Ärgernis sind Veröffentlichungen, die so gar nichts neues beitragen können, aber so tun als ob. Und die gibt es reichlich. Ein gutes Beispiel ist die Arbeit von Kennedy et al. zum Thema Delir bei älteren Patienten mit COVID19. Hier wurde gezeigt, dass ein Delir Erstsymptom einer COVID19-Erkrankung sein kann und den respiratorischen Symptomen vorausgehen kann. Knapp 30% der untersuchten älteren Patienten wiesen im Rahmen der COVID-Infektion ein Delir auf. Das Delir trat häufiger auf bei Patienten jenseits des 75. Lebensjahrs, bei Patienten, die in Pflegeeinrichtungen wohnen, die mit psychoaktiven Substanzen oder Neuroleptika vorbehandelt waren, die schlecht Hören oder Sehen konnten, in der Vorgeschichte einen Schlaganfall erlitten hatten oder an Parkinson erkrankt waren. Das Auftreten des Delirs war mit einer höheren Mortalität und schweren Krankheitsverläufen assoziiert. Jetzt gibt es viele gute Arbeiten zum Thema Delir, auch der erste Blogbeitrag ging darum: Link, aber alle Kollegen, mit denen ich über diese Arbeit gesprochen habe, hatten nur ein spöttisches Lachen übrig. Was nicht wundert, da wirklich jeder Ärztin und jedem Arzt die schon einmal in einer Notaufnahme gearbeitet haben oder die allgemeinmedizinisch tätig sind klar ist, dass ein Delir bei multimorbiden älteren Patienten bei jedem Infekt Erstsymptom sein kann und auch häufig Erstsymptom ist. Und zwar egal bei welchem Infekt, viral oder bakteriell, die Atemwege, den Harntrakt oder auch mal den Bauch betreffend. Allen ist klar, dass man bei einem Patienten mit einem Delir einen Infekt ausschließen und wenn dieser vorliegt, den Fokus suchen muss. Und natürlich gilt das auch für COVID19. Und genau, die beschriebenen Risikofaktoren sind die Faktoren, die für ein Delir bei jedem Infekt prädisponieren. Und ja, ein Delir ist immer mit einem schweren und längeren Krankheitsverlauf und mit einer erhöhten Mortalität verbunden. Aber für diese Erkenntnis braucht es kein neues Paper zum Thema COVID19, da reichen auch die vorhandenen (guten) Arbeiten zum Delir.

Ähnliches gilt auch für die Arbeit zum Thema Delir bei schwer kranken COVID19-Patienten von Bun et al. Auch hier werden am Ende die ganz normalen Fakten zum ganz normalen Delir berichtet. Ungefähr 50% der im Schnitt 64-jährigen Patienten entwickelten ein Delir, maschinelle Beatmung, mechanische Fixierung, Neuroleptika- und Benzodiazepingabe erhöhten das Delirrisiko, Verwandtenbesuche senkten es. Insbesondere Männer im höheren Lebensalter, sowie alkoholkranke Patienten hatten schwerere Delirverläufe.

Warum gibt es derartige Veröffentlichungen?

Ich weiß es nicht, der Mehrwert dieser Arbeiten beträgt exakt 0%. Vielleicht ist es der in uns allen wohnende Geltungsdrang (ohne diesen gäbe es allerdings auch diesen Blog nicht), vielleicht ist es nur gut gemeint und der Versuch auch (vermeintliche) Selbstverständlichkeiten mit Daten zu unterfüttern.

Wo man weiterlesen kann

Kennedy, M., Helfand, B. K. I., Gou, R. Y., Gartaganis, S. L., Webb, M., Moccia, J. M., Bruursema, S. N., Dokic, B., McCulloch, B., Ring, H., Margolin, J. D., Zhang, E., Anderson, R., Babine, R. L., Hshieh, T., Wong, A. H., Taylor, R. A., Davenport, K., Teresi, B., … Inouye, S. K. (2020). Delirium in Older Patients With COVID-19 Presenting to the Emergency Department. JAMA Network Open, 3(11), e2029540. https://doi.org/10.1001/jamanetworkopen.2020.29540

Pun, B. T., Badenes, R., Heras La Calle, G., Orun, O. M., Chen, W., Raman, R., Simpson, B.-G. K., Wilson-Linville, S., Hinojal Olmedillo, B., Vallejo de la Cueva, A., van der Jagt, M., Navarro Casado, R., Leal Sanz, P., Orhun, G., Ferrer Gómez, C., Núñez Vázquez, K., Piñeiro Otero, P., Taccone, F. S., Gallego Curto, E., … Sarwal, A. (2021). Prevalence and risk factors for delirium in critically ill patients with COVID-19 (COVID-D): a multicentre cohort study. The Lancet Respiratory Medicine, 9(3), 239–250. https://doi.org/10.1016/S2213-2600(20)30552-X

Paper, mit steilen Thesen

Im Rahmen der ganzen Fallberichte und kleinen Fallserien finden sich erstaunlich viele Arbeiten mit – sagen wir mal – gewagten Hypothesen. Diese besagen meistens, dass die gerade beschriebene Erkrankung mit einer COVID19-Infektion zusammenhängen muss. Das Problem mit der zeitlichen Korrelation und der Kausalität haben wir dabei ja weiter oben schon thematisiert.

Zum Beispiel diese Arbeit aus Italien (Karvigh et al.), in der von einem 73-jährigen Patienten berichtet wird, der 2017 einen linkshirnigen Schlaganfall erlitten hatte. Im Rahmen einer COVID19-Infektion mit relativ leichten Symptomen kam es nun zu einem linkshirnig generierten epileptischen Anfall, im Verlauf auch zu einem fokalen Anfallsstatus. Im Liquor dieses Patienten ließ sich tatsächlich SARS-CoV2-RNA nachweisen (was ja in den allermeisten anderen Untersuchungen nicht gelang), daher schließen die Autoren auf eine direkte Genese des epileptischen Anfalls durch die COVID-Infektion mit Gehirnbeteiligung. Ketzerisch würde ich mal einwenden, dass ein epileptischer Anfall bei einer vorbestehenden kortikalen Narbe im Rahmen eines systemischen Infektes nichts außergewöhnliches ist.

Oder die Arbeit von Kim et al. Hier wird ein Patient mit einer drei Monate zuvor durchgemachten COVID19-Infektion und einer Hinterstrangschädigung sowie einer höhergradigen zervikalen spinalen Enge allerdings ohne Myelopathiesignal berichtet, bei dem eine Dekompressions-Operation zunächst keinen Erfolg brachte. Der Patient entwickelte postoperativ ein langstreckiges T2-hyperintenses Signal im zervikalen Myelon im Bereich der Hinterstränge. Nach intensiver Rehabilitation besserten sich die Beschwerden des Patienten. Eine umfangreiche serologische Diagnostik incl. AQP4-AK und MOG-AK blieb nicht wegweisend. Die Autoren postulieren einen Zusammenhang mit der COVID-Infektion und nennen das Krankheitsbild Post-COVID-19 Enzephalomyelitis, wobei mir die Gehirnbeteiligung nicht ganz klar ist. Auch hier gilt das Problem mit der zeitlichen Assoziation und der Kausalität, zudem gibt es mit der spinalen Enge eine mindestens genauso plausible andere Ursache mit zeitlicher Korrelation.

Wo man weiterlesen kann

Karvigh, S. A., Vahabizad, F., Mirhadi, M. S., Banihashemi, G., & Montazeri, M. (2021). COVID-19-related refractory status epilepticus with the presence of SARS-CoV-2 (RNA) in the CSF: a case report. Neurological Sciences, 2, 0–3. https://doi.org/10.1007/s10072-021-05239-6

Kim, J., Abdullayev, N., Neuneier, J., Fink, G. R., & Lehmann, H. C. (2021). Post-COVID-19 encephalomyelitis. Neurological Research and Practice, 3(1), 18. https://doi.org/10.1186/s42466-021-00113-4

Hier braucht es ein Fazit

So können wir nicht weitermachen. Und zwar auf allen Ebenen nicht. Nicht beim ersten Thema, dem mindestens fahrlässigen Gebrauch von Papern, um einen eigenen Standpunkt zu verdeutlichen, egal ob die zitierte Quelle das hergibt oder nicht. Nicht beim Thema Politisierung von Wissenschaft, vor allem was das Thema confirmation bias und zu COVID-forschende Wissenschaftler, die aus persönlicher Überzeugung politisch aktiv sind, betrifft. Sonst sind uns potentielle Interessenkonflikte immer wichtig, das muss dann gerade bei so einem aufgeladenen Thema wie COVID19 auch gelten. Nicht was die Diskussionskultur betrifft, in der man nur noch Querdenker oder No Covid-Jünger sein kann. Und ganz sicher nicht, was das Thema Paper betrifft. Hier braucht es ganz dringend eine geringere Schlagzahl, dafür hochwertigere und aussagekräftigere Arbeiten, die vielmehr ihre eigenen Grenzen erkennen. Es ist nicht schlimm, wenn man eine gerade politisch diskutierte Frage nicht mit der passenden wissenschaftlichen Arbeit unterfüttern kann. Es ist gar nicht verkehrt zu sagen: Hierzu können wir gerade keine belastbare Aussage treffen (nicht wahr, liebe STIKO bezüglich des Themas Zweitimpfung mit einem mRNA-Impstoff nach Erstimpfung mit AstraZeneca). In einem anderen Editorial (Link) im Dezember 2020 haben Peter Berlit und Hans-Christoph Diener (als graue Eminenzen der Neurologie in Deutschland) geschrieben, dass der Wissenschaft deutlich mehr gedient gewesen wäre, wenn es nur ein Viertel der bisherigen Veröffentlichungen zu COVID19 gegeben hätte, diese aber von besserer Qualität gewesen wären. Dem ist nichts hinzuzufügen.

Wo man weiterlesen kann

Diener, HC., Berlit, P. COVID-19: Risiko für gute Wissenschaft. InFo Neurologie 22, 3 (2020). https://doi.org/10.1007/s15005-020-1567-z

5 Gedanken zu „Corona und das Paper-Bullshit-Bingo: Warum Wissenschaft gerade ein riesiges Qualitätsproblem hat“

  1. Herzerfrischender Klartext wie man ihn selten findet. Weg vom Hype, hin zu solider Arbeit an der Wurzel des Übels. Bin Diplom Mathematikerin mit ein wenig Erfahrung in Medizinischer Statistik und habe immer wieder Zweifel an der Aussagekraft von Veröffentlichungen. Vielen Dank für Ihren Blog.

    Like

  2. Fast jeder Mensch möchte wichtig und berühmt werden – auch (vielleicht sogar insbesondere) ein Wissenschaftler. Und bekanntermaßen „publicity can demoralize“.

    Like

Kommentar verfassen

Trage deine Daten unten ein oder klicke ein Icon um dich einzuloggen:

WordPress.com-Logo

Du kommentierst mit deinem WordPress.com-Konto. Abmelden /  Ändern )

Facebook-Foto

Du kommentierst mit deinem Facebook-Konto. Abmelden /  Ändern )

Verbinde mit %s