Die frühe COVID-19-Forschung ist mit mangelhaften Methoden und qualitativ minderwertigen Ergebnissen behaftet – ein Problem für die Wissenschaft, das die Pandemie zwar verschlimmert, aber nicht geschaffen hat

Estimated read time 8 min read

Zu Beginn der COVID-19-Pandemie, Forscher überflutete Zeitschriften mit Studien über das damals neuartige Coronavirus. Viele Veröffentlichungen haben den Peer-Review-Prozess für COVID-19-Artikel gestrafft und gleichzeitig die Akzeptanzquoten relativ hoch gehalten. Man ging davon aus, dass politische Entscheidungsträger und die Öffentlichkeit in der Lage sein würden, aus einer sehr großen Menge schnell verbreiteter Informationen gültige und nützliche Forschungsergebnisse zu identifizieren.

Bei meiner Überprüfung von 74 COVID-19-Artikeln, die im Jahr 2020 in den Top 15 der in Google Scholar gelisteten allgemeinen Fachzeitschriften für öffentliche Gesundheit veröffentlicht wurden, stellte ich jedoch fest, dass viele dieser Studien verwendet wurden minderwertige Methoden. Einige andere Rezensionen von Studien veröffentlicht in medizinischen Fachzeitschriften haben auch gezeigt, dass in vielen frühen COVID-19-Forschungsprozessen schlechte Forschungsmethoden zum Einsatz kamen.

Einige dieser Arbeiten wurden mehrfach zitiert. Zum Beispiel die am häufigsten zitierte Publikation zum Thema öffentliche Gesundheit, die bei Google Scholar gelistet ist verwendete Daten aus einer Stichprobe von 1.120 Personen, hauptsächlich gut ausgebildete junge Frauen, die größtenteils über drei Tage über soziale Medien rekrutiert wurden. Erkenntnisse, die auf einer kleinen, selbst ausgewählten Convenience-Stichprobe basieren, können nicht auf eine breitere Bevölkerung übertragen werden. Und da die Forscher mehr als 500 Analysen der Daten durchgeführt haben, sind viele der statistisch signifikanten Ergebnisse wahrscheinlich Zufallsereignisse. Diese Studie wurde jedoch zitiert über 11.000 Mal.

Eine häufig zitierte Arbeit bedeutet, dass viele Leute sie in ihrer eigenen Arbeit erwähnt haben. Eine hohe Anzahl von Zitaten ist es jedoch nicht stark mit der Forschungsqualität verknüpft, da Forscher und Zeitschriften diese Kennzahlen manipulieren und manipulieren können. Eine häufige Zitierung minderwertiger Forschungsergebnisse erhöht die Wahrscheinlichkeit, dass mangelhafte Evidenz zur Information politischer Maßnahmen genutzt wird, was das Vertrauen der Öffentlichkeit in die Wissenschaft weiter untergräbt.

Methodik ist wichtig

Ich bin ein Forscher im Bereich der öffentlichen Gesundheit mit einem langjährigen Interesse an Forschungsqualität und -integrität. Dieses Interesse beruht auf der Überzeugung, dass die Wissenschaft zur Lösung wichtiger sozialer und öffentlicher Gesundheitsprobleme beigetragen hat. Im Gegensatz zur Anti-Wissenschafts-Bewegung Verbreitung von Fehlinformationen Wenn es um so erfolgreiche Maßnahmen im Bereich der öffentlichen Gesundheit wie Impfstoffe geht, glaube ich, dass rationale Kritik für die Wissenschaft von grundlegender Bedeutung ist.

Die Qualität und Integrität der Forschung hängt in erheblichem Maße von ihren Methoden ab. Jede Art von Studiendesign muss bestimmte Merkmale aufweisen, damit sie gültige und nützliche Informationen liefern kann.

Zum Beispiel haben Forscher seit Jahrzehnten bekannt dass für Studien, die die Wirksamkeit einer Intervention bewerten, a Kontrollgruppe Es ist erforderlich zu wissen, ob beobachtete Effekte auf die Intervention zurückzuführen sind.

Systematische Bewertungen Beim Zusammentragen von Daten aus bestehenden Studien sollte beschrieben werden, wie die Forscher identifizierten, welche Studien einbezogen werden sollten, ihre Qualität bewerteten, die Daten extrahierten und ihre Protokolle vorregistrierten. Diese Funktionen sind notwendig, um sicherzustellen, dass die Rezension alle verfügbaren Beweise abdeckt und dem Leser sagt, welche es wert sind, beachtet zu werden und welche nicht.

Bestimmte Arten von Studien, wie z. B. einmalige Erhebungen von Convenience-Stichproben, die nicht repräsentativ für die Zielgruppe sind, sammeln und analysieren Daten auf eine Weise, die es den Forschern nicht ermöglicht, festzustellen, ob eine Variable vorliegt zu einem bestimmten Ergebnis geführt hat.

Bei systematischen Überprüfungen geht es darum, Informationen aus vorhandenen Forschungsergebnissen gründlich zu identifizieren und zu extrahieren.

Alle Studiendesigns haben Standards die Forscher konsultieren können. Aber die Einhaltung von Standards verlangsamt die Forschung. Mit einer Kontrollgruppe verdoppelt sich die Datenmenge, die gesammelt werden muss, und die Identifizierung und gründliche Überprüfung aller Studien zu einem Thema erfordert mehr Zeit als die oberflächliche Überprüfung einiger Studien. Repräsentative Stichproben sind schwieriger zu generieren als Convenience-Stichproben, und das Sammeln von Daten zu zwei Zeitpunkten ist aufwändiger als das Sammeln aller Daten gleichzeitig.

Vergleichende Studien COVID-19-Papiere mit Nicht-COVID-19 In denselben Zeitschriften veröffentlichte Arbeiten ergaben, dass die Methoden zu COVID-19 tendenziell von geringerer Qualität waren und die Berichtsstandards weniger eingehalten wurden als bei Nicht-COVID-19-Artikeln. In COVID-19-Studien gab es selten vorher festgelegte Hypothesen und Pläne dafür, wie sie über ihre Ergebnisse berichten oder ihre Daten analysieren würden. Dies bedeutete, dass es keine Schutzmaßnahmen dagegen gab Ausbaggern der Daten um „statistisch signifikante“ Ergebnisse zu finden, die selektiv gemeldet werden könnten.

Solche methodischen Probleme wurden in der Studie wahrscheinlich übersehen erheblich verkürzt Peer-Review-Prozess für COVID-19-Papiere. In einer Studie wurde die durchschnittliche Zeit von der Einreichung bis zur Annahme von 686 Arbeiten zu COVID-19 geschätzt 13 Tage im Vergleich zu 110 Tagen in 539 Artikeln aus der Zeit vor der Pandemie aus denselben Zeitschriften. In meiner Studie habe ich herausgefunden, dass zwei Online-Zeitschriften, die eine sehr große Menge an methodisch schwachen COVID-19-Artikeln veröffentlichten, einen Peer-Review-Prozess hatten etwa drei Wochen.

Kultur des Veröffentlichens oder Untergehens

Diese Qualitätskontrollprobleme gab es bereits vor der COVID-19-Pandemie. Die Pandemie hat sie einfach auf Hochtouren gebracht.

Zeitschriften bevorzugen tendenziell positive, „neue“ Erkenntnisse: Das sind Ergebnisse, die einen statistischen Zusammenhang zwischen Variablen zeigen und angeblich etwas bisher Unbekanntes identifizieren. Da die Pandemie in vielerlei Hinsicht neu war, bot sie einigen Forschern die Gelegenheit, mutige Behauptungen darüber aufzustellen, wie sich COVID-19 verbreiten würde, welche Auswirkungen es auf die psychische Gesundheit haben würde, wie es verhindert und wie es behandelt werden könnte.

Viele Forscher verspüren den Druck, Arbeiten zu veröffentlichen, um ihre Karriere voranzutreiben.
South_agency/E+ über Getty Images

Wissenschaftler haben in einem gearbeitet veröffentlichen oder zugrunde gehen Anreizsystem Seit Jahrzehnten ist die Anzahl der von ihnen veröffentlichten Artikel Teil der Kennzahlen zur Bewertung von Beschäftigung, Beförderung und Anstellung. Der Flut von COVID-19-Informationen unterschiedlicher Qualität boten die Gelegenheit, die Anzahl ihrer Veröffentlichungen zu erhöhen und die Zitierkennzahlen zu verbessern, da Zeitschriften nach COVID-19-Artikeln suchten und diese schnell überprüften, bei denen die Wahrscheinlichkeit höher war, dass sie zitiert wurden als bei Nicht-COVID-Artikeln.

Auch das Online-Publizieren hat zur Verschlechterung der Forschungsqualität beigetragen. Beim herkömmlichen wissenschaftlichen Publizieren konnte nur eine begrenzte Menge an Artikeln generiert werden, da Zeitschriften in einem gedruckten, physischen Dokument verpackt waren, das normalerweise nur einmal im Monat erstellt wurde. Im Gegensatz dazu einige heute online Mega-Zeitschriften veröffentlichen jeden Monat Tausende von Artikeln. Studien von geringer Qualität, die von seriösen Fachzeitschriften abgelehnt wurden, können immer noch eine Verkaufsstelle finden, die sie gerne gegen eine Gebühr veröffentlicht.

Gesunde Kritik

Kritik an der Qualität veröffentlichter Forschungsergebnisse birgt Risiken. Es kann fehlinterpretiert werden, als würde man Öl ins tobende Feuer der Anti-Wissenschaft gießen. Meine Antwort ist, dass eine kritische und rationale Herangehensweise an die Wissensproduktion tatsächlich von grundlegender Bedeutung für die Ausübung der Wissenschaft selbst und für das Funktionieren einer Wissenschaft ist offene Gesellschaft in der Lage, komplexe Probleme wie eine weltweite Pandemie zu lösen.

Veröffentlichung einer großen Menge an als Wissenschaft getarnten Fehlinformationen während einer Pandemie verdeckt wahres und nützliches Wissen. Im schlimmsten Fall kann dies zu einer schlechten Praxis und Politik im Bereich der öffentlichen Gesundheit führen.

Richtig durchgeführte Wissenschaft liefert Informationen, die es Forschern und politischen Entscheidungsträgern ermöglichen, die Welt besser zu verstehen und Ideen zu testen, wie sie verbessert werden kann. Das beinhaltet die Qualität kritisch hinterfragen des Designs, der statistischen Methoden, der Reproduzierbarkeit und der Transparenz einer Studie, nicht der wie oft es zitiert wurde oder darüber getwittert.

Die Wissenschaft hängt von a ab langsames, durchdachtes und sorgfältiges Vorgehen zur Datenerhebung, -analyse und -präsentation, insbesondere wenn damit Informationen für die Umsetzung wirksamer Maßnahmen im Bereich der öffentlichen Gesundheit bereitgestellt werden sollen. Ebenso ist ein sorgfältiges und sorgfältiges Peer-Review bei Arbeiten unwahrscheinlich, die erst drei Wochen nach der ersten Einreichung zur Begutachtung in gedruckter Form erscheinen. Disziplinen, die die Quantität der Forschung über die Qualität stellen, schützen die wissenschaftliche Integrität in Krisenzeiten weniger wahrscheinlich.

Zwei Wissenschaftler pipettieren Flüssigkeiten unter einem Abzug, während ein anderer Wissenschaftler im Hintergrund eine Probe untersucht

Strenge Wissenschaft erfordert sorgfältige Überlegung und Aufmerksamkeit, nicht Eile.
Assembly/Stone über Getty Images

Die öffentliche Gesundheit stützt sich stark auf Disziplinen, die dies tun erleben Reproduzieren Krisen, wie Psychologie, Biomedizin und Biologie. Es ist ähnlich wie bei diesen Disziplinen im Hinblick auf seine Anreizstruktur, Studiendesigns und Analysemethoden sowie mangelndes Augenmerk auf transparente Methoden und Replikation. Viele Untersuchungen im Bereich der öffentlichen Gesundheit zu COVID-19 zeigen, dass es unter ähnlich minderwertigen Methoden leidet.

Eine erneute Untersuchung, wie die Disziplin ihre Wissenschaftler belohnt und ihre Stipendien bewertet, kann ihr helfen, sich besser auf die nächste Krise der öffentlichen Gesundheit vorzubereiten.



Image Source

You May Also Like

More From Author

+ There are no comments

Add yours