Bevor beispielsweise neue Medikamente auf den Markt kommen, werden sie in klinischen Studien getestet, in denen oft eine Gruppe von Versuchspersonen die neue Therapie erhält und eine andere die bisherige Standardtherapie. Die Ergebnisse solcher Studien werden für die Marktzulassung und anschließend auch für sogenannte Nutzenbewertungen benötigt, in denen die Vor- und Nachteile der neuen und der bisherigen Behandlung verglichen werden: Wirkt die neue Therapie besser, hat sie leichtere oder schwerere Nebenwirkungen, wie geht es den Patientinnen und Patienten im Anschluss und so weiter. Schneidet die neue Therapie insgesamt besser ab, so hat sie einen „Zusatznutzen“.
Wenn zu einer medizinischen Fragestellung mehrere Studien vorliegen, werden für die Nutzenbewertung Metaanalysen durchgeführt. Metaanalysen sind statistische Verfahren, in denen Daten aus mehreren Studien zusammengefasst werden, um eine möglichst sichere Aussage über den Nutzen oder Schaden einer Behandlung zu treffen. Voraussetzung für eine Metaanalyse ist, dass sich die Studien hinreichend ähneln, damit man nicht Äpfel mit Birnen vergleicht. Beispielsweise sollten die Patientinnen und Patienten vergleichbar schwer erkrankt sein, und die Studien sollten möglichst ähnlich durchgeführt worden sein. Häufig unterscheiden sich die Studien aber zumindest ein wenig bezüglich dieser oder weiterer Aspekte, was dazu führt, dass die Wirksamkeit der Behandlung von Studie zu Studie etwas variiert. Man spricht hier von einer Heterogenität in den Behandlungseffekten. Oft eignen sich nur wenige Studien für die Bewertung, was insbesondere bei vorliegender Heterogenität dazu führt, dass eine gewisse Unsicherheit bezüglich der Einschätzung des Nutzens besteht.
In diesen Situationen kam im Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) bislang ein komplexes Verfahren zum Einsatz: Mehrere sogenannte frequentistische Metaanalysen wurden berechnet und anschließend verglichen. Hierbei wurden jeweils unterschiedliche Annahmen bezüglich der Heterogenität der Behandlungseffekte zwischen den verschiedenen Studien gemacht. Wenn der Vergleich der Metaanalysen auf Basis der unterschiedlichen Annahmen kein eindeutiges Gesamtergebnis zeigte, schloss sich daran eine rein qualitative Zusammenfassung der Studienergebnisse an. Dies bedeutet, dass die Studien nicht statistisch in einer Auswertung zusammengefasst, sondern nur einzeln beschrieben werden konnten. Das Ausmaß des Zusatznutzens war dann aber nicht quantifizierbar: viel Aufwand für ein oftmals unbefriedigend vages Ergebnis.
Ein Team um Prof. Dr. Ralf Bender aus dem IQWiG und Prof. Dr. Tim Friede aus der Universitätsmedizin Göttingen (UMG) hat nun ein einfacheres Verfahren entwickelt, in dem nur eine einzige Metaanalyse durchgeführt werden muss und die Chancen auf quantifizierbare Nutzenaussagen höher sind: In sogenannten bayesschen Random-Effects-Metaanalysen können bereits vorhandene Informationen über die Heterogenität aus früheren Analysen mit ähnlichen Studien einbezogen werden. Um die Heterogenität der Studien weder zu groß noch zu klein anzunehmen, leitet man die dafür benötigten Informationen aus früheren Nutzenbewertungen ab, die in einer IQWiG-Datenbank gesammelt wurden. „Das macht das Vorgehen für alle Beteiligten dann zukünftig deutlich einfacher“, sagt Prof. Bender, Leiter des Ressorts Medizinische Biometrie im IQWiG. „Zudem führt der neue empirische Ansatz zu einem standardisierten und transparenten Vorgehen, da die Vorinformationen aus früheren Nutzenbewertungen stammen. Das sollte in Zukunft auch die eine oder andere Diskussion zum Vorgehen ersparen“, ergänzt Prof. Friede, Direktor des Instituts für Medizinische Statistik der UMG.
Heterogenitätsannahmen abgeleitet und erfolgreich getestet
Ein entsprechendes Modell zur Ableitung der benötigten Vorinformationen (sogenannte A-priori-Verteilungen) hat das Team bereits Anfang 2023 publiziert. Daran schließt die neue Veröffentlichung in der Fachzeitschrift Research Synthesis Methods an: Aus einer Datenbank mit allen Metaanalysen aus IQWiG-Nutzenbewertungen bis Ende 2021 wurden nun Empfehlungen für plausible Heterogenitätsannahmen für verschiedene Effektmaße abgeleitet, nämlich für Hazard Ratio, Risk Ratio, Odds Ratio und standardisierte Mittelwertdifferenz. Im Vergleich zu ähnlichen Publikationen anderer Forschungsgruppen decken die empfohlenen Verteilungen tendenziell kleinere Werte der Heterogenität ab. Als Grund vermuten die Autorinnen und Autoren die präziseren Einschlusskriterien in IQWiG-Nutzenbewertungen: Die Studien genügen alle dem sogenannten PICO-Schema (Population, Intervention, Comparison, Outcome), untersuchen also zum Beispiel klar definierte Patientenpopulationen und Interventionen. Daher ähneln sie einander stärker, als dies in vielen anderen medizinischen Metaanalysen der Fall ist.
Ein Vergleich der Effektschätzer und Konfidenzintervalle anhand der alten, aufwendigen und der neuen, vereinfachten Metaanalyse-Methode zeigt: Die Ergebnisse stimmen insgesamt gut überein. Während oftmals ein Präzisionsgewinn zu beobachten ist, liefern die bayesschen Metaanalysen bisweilen auch vorsichtigere, konservativere Schlussfolgerungen. Daher plädieren die Autorinnen und Autoren dafür, weiterhin auch eine qualitative Zusammenfassung der Studienergebnisse durchzuführen. Stimmen die qualitative Zusammenfassung und die bayessche Metaanalyse im Ergebnis bezüglich des Effekts überein, kann dieser nun mithilfe der bayesschen Analysen quantifiziert werden.
Dieses Vorgehen verringert den Anteil der Metaanalysen mit nicht quantifizierbaren Ergebnissen spürbar: Waren es bei dem alten Verfahren auf Basis von drei oder vier Studien in den bisherigen IQWiG-Nutzenbewertungen noch 23 Prozent, so sind es nun nur noch 6 Prozent.
Work in progress
Das Fazit der Gruppe: Gibt es nur zwei Studien für eine Fragestellung, liefert die bayessche Metaanalyse keine bedeutsamen Vorteile; daher bleibt es dann in der Regel beim frequentistischen Vorgehen. Bei drei oder vier Studien sollte eine bayessche Metaanalyse mit den vorgeschlagenen A-priori-Verteilungen für die Heterogenität durchgeführt und mit einer qualitativen Zusammenfassung verglichen werden. Ab fünf Studien werden weiterhin frequentistische Metaanalysen durchgeführt. Auf diese Weise werden Metaanalysen auf Basis weniger Studien für das IQWiG einfacher und präziser.
Vermutlich eignet sich ein solches Vorgehen auch für andere Institutionen mit ähnlichem Aufgabenbereich. Gerade mit Blick auf die Implementierung der EU-HTA-Regulierung ist es wichtig, eindeutige empirisch fundierte A-priori-Verteilungen zur Verfügung zu haben, die sich für Nutzenbewertungen eignen, falls bayessche Verfahren in Metaanalysen zum Einsatz kommen sollen.
Eine Softwarelösung zur Einbindung des neuen Verfahrens in IQWiG-Berichte ist in Arbeit. Zudem wird die IQWiG-Metaanalysen-Datenbank fortgeschrieben, sodass sich die vorgeschlagenen A-priori-Verteilungen für die Heterogenitätsparameter weiterentwickeln können.
Wenn zu einer medizinischen Fragestellung mehrere Studien vorliegen, werden für die Nutzenbewertung Metaanalysen durchgeführt. Metaanalysen sind statistische Verfahren, in denen Daten aus mehreren Studien zusammengefasst werden, um eine möglichst sichere Aussage über den Nutzen oder Schaden einer Behandlung zu treffen. Voraussetzung für eine Metaanalyse ist, dass sich die Studien hinreichend ähneln, damit man nicht Äpfel mit Birnen vergleicht. Beispielsweise sollten die Patientinnen und Patienten vergleichbar schwer erkrankt sein, und die Studien sollten möglichst ähnlich durchgeführt worden sein. Häufig unterscheiden sich die Studien aber zumindest ein wenig bezüglich dieser oder weiterer Aspekte, was dazu führt, dass die Wirksamkeit der Behandlung von Studie zu Studie etwas variiert. Man spricht hier von einer Heterogenität in den Behandlungseffekten. Oft eignen sich nur wenige Studien für die Bewertung, was insbesondere bei vorliegender Heterogenität dazu führt, dass eine gewisse Unsicherheit bezüglich der Einschätzung des Nutzens besteht.
In diesen Situationen kam im Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) bislang ein komplexes Verfahren zum Einsatz: Mehrere sogenannte frequentistische Metaanalysen wurden berechnet und anschließend verglichen. Hierbei wurden jeweils unterschiedliche Annahmen bezüglich der Heterogenität der Behandlungseffekte zwischen den verschiedenen Studien gemacht. Wenn der Vergleich der Metaanalysen auf Basis der unterschiedlichen Annahmen kein eindeutiges Gesamtergebnis zeigte, schloss sich daran eine rein qualitative Zusammenfassung der Studienergebnisse an. Dies bedeutet, dass die Studien nicht statistisch in einer Auswertung zusammengefasst, sondern nur einzeln beschrieben werden konnten. Das Ausmaß des Zusatznutzens war dann aber nicht quantifizierbar: viel Aufwand für ein oftmals unbefriedigend vages Ergebnis.
Ein Team um Prof. Dr. Ralf Bender aus dem IQWiG und Prof. Dr. Tim Friede aus der Universitätsmedizin Göttingen (UMG) hat nun ein einfacheres Verfahren entwickelt, in dem nur eine einzige Metaanalyse durchgeführt werden muss und die Chancen auf quantifizierbare Nutzenaussagen höher sind: In sogenannten bayesschen Random-Effects-Metaanalysen können bereits vorhandene Informationen über die Heterogenität aus früheren Analysen mit ähnlichen Studien einbezogen werden. Um die Heterogenität der Studien weder zu groß noch zu klein anzunehmen, leitet man die dafür benötigten Informationen aus früheren Nutzenbewertungen ab, die in einer IQWiG-Datenbank gesammelt wurden. „Das macht das Vorgehen für alle Beteiligten dann zukünftig deutlich einfacher“, sagt Prof. Bender, Leiter des Ressorts Medizinische Biometrie im IQWiG. „Zudem führt der neue empirische Ansatz zu einem standardisierten und transparenten Vorgehen, da die Vorinformationen aus früheren Nutzenbewertungen stammen. Das sollte in Zukunft auch die eine oder andere Diskussion zum Vorgehen ersparen“, ergänzt Prof. Friede, Direktor des Instituts für Medizinische Statistik der UMG.
Heterogenitätsannahmen abgeleitet und erfolgreich getestet
Ein entsprechendes Modell zur Ableitung der benötigten Vorinformationen (sogenannte A-priori-Verteilungen) hat das Team bereits Anfang 2023 publiziert. Daran schließt die neue Veröffentlichung in der Fachzeitschrift Research Synthesis Methods an: Aus einer Datenbank mit allen Metaanalysen aus IQWiG-Nutzenbewertungen bis Ende 2021 wurden nun Empfehlungen für plausible Heterogenitätsannahmen für verschiedene Effektmaße abgeleitet, nämlich für Hazard Ratio, Risk Ratio, Odds Ratio und standardisierte Mittelwertdifferenz. Im Vergleich zu ähnlichen Publikationen anderer Forschungsgruppen decken die empfohlenen Verteilungen tendenziell kleinere Werte der Heterogenität ab. Als Grund vermuten die Autorinnen und Autoren die präziseren Einschlusskriterien in IQWiG-Nutzenbewertungen: Die Studien genügen alle dem sogenannten PICO-Schema (Population, Intervention, Comparison, Outcome), untersuchen also zum Beispiel klar definierte Patientenpopulationen und Interventionen. Daher ähneln sie einander stärker, als dies in vielen anderen medizinischen Metaanalysen der Fall ist.
Ein Vergleich der Effektschätzer und Konfidenzintervalle anhand der alten, aufwendigen und der neuen, vereinfachten Metaanalyse-Methode zeigt: Die Ergebnisse stimmen insgesamt gut überein. Während oftmals ein Präzisionsgewinn zu beobachten ist, liefern die bayesschen Metaanalysen bisweilen auch vorsichtigere, konservativere Schlussfolgerungen. Daher plädieren die Autorinnen und Autoren dafür, weiterhin auch eine qualitative Zusammenfassung der Studienergebnisse durchzuführen. Stimmen die qualitative Zusammenfassung und die bayessche Metaanalyse im Ergebnis bezüglich des Effekts überein, kann dieser nun mithilfe der bayesschen Analysen quantifiziert werden.
Dieses Vorgehen verringert den Anteil der Metaanalysen mit nicht quantifizierbaren Ergebnissen spürbar: Waren es bei dem alten Verfahren auf Basis von drei oder vier Studien in den bisherigen IQWiG-Nutzenbewertungen noch 23 Prozent, so sind es nun nur noch 6 Prozent.
Work in progress
Das Fazit der Gruppe: Gibt es nur zwei Studien für eine Fragestellung, liefert die bayessche Metaanalyse keine bedeutsamen Vorteile; daher bleibt es dann in der Regel beim frequentistischen Vorgehen. Bei drei oder vier Studien sollte eine bayessche Metaanalyse mit den vorgeschlagenen A-priori-Verteilungen für die Heterogenität durchgeführt und mit einer qualitativen Zusammenfassung verglichen werden. Ab fünf Studien werden weiterhin frequentistische Metaanalysen durchgeführt. Auf diese Weise werden Metaanalysen auf Basis weniger Studien für das IQWiG einfacher und präziser.
Vermutlich eignet sich ein solches Vorgehen auch für andere Institutionen mit ähnlichem Aufgabenbereich. Gerade mit Blick auf die Implementierung der EU-HTA-Regulierung ist es wichtig, eindeutige empirisch fundierte A-priori-Verteilungen zur Verfügung zu haben, die sich für Nutzenbewertungen eignen, falls bayessche Verfahren in Metaanalysen zum Einsatz kommen sollen.
Eine Softwarelösung zur Einbindung des neuen Verfahrens in IQWiG-Berichte ist in Arbeit. Zudem wird die IQWiG-Metaanalysen-Datenbank fortgeschrieben, sodass sich die vorgeschlagenen A-priori-Verteilungen für die Heterogenitätsparameter weiterentwickeln können.
