Untersuchung von Methoden zur Überprüfbarkeit von Ergebnissen von Studienpopulationen auf Teilpopulationen

mibe000189 10.3205/mibe000189 urn:nbn:de:0183-mibe0001896 Originalarbeit Untersuchung von Methoden zur Überprüfbarkeit von Ergebnissen von Studienpopulationen auf Teilpopulationen Analysis of methods for the transferability of results from study populations to subpopulations Beckmann Beckmann Lars L

Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG), Im Mediapark 8, 50670 Köln, DeutschlandInstitut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG), Köln, Deutschland

Lars.beckmann@iqwig.de author Grouven Grouven Ulrich U

Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG), Köln, Deutschland

author Kieser Kieser Meinhard M

Institut für Medizinische Biometrie und Informatik, Ruprecht-Karls-Universität, Heidelberg, Deutschland

author Sieben Sieben Wiebke W

Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG), Köln, Deutschland

author Skipka Skipka Guido G

Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG), Köln, Deutschland

author Bender Bender Ralf R

Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG), Köln, Deutschland

author German Medical Science GMS Publishing House

Düsseldorf

610 simulation study transferability subpopulation Simulationsstudie Übertragbarkeit Teilpopulation 20180830 germ This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). 1860-9171 14 2 GMS Medizinische Informatik, Biometrie und Epidemiologie GMS Med Inform Biom Epidemiol 63. Jahrestagung der GMDS. Das lernende Gesundheitssystem: forschungsbasiert, innovativ, vernetzend 11 Hintergrund: In Nutzenbewertungen kann der Fall auftreten, dass sich die Studienpopulation (SP) aus einer relevanten Zielpopulation (ZP) und Nicht-ZP (nZP) zusammensetzt und ein nicht statistisch signifikanter Behandlungseffekt in ZP und ein statistisch signifikanter Behandlungseffekt in SP vorliegt. Es stellt sich hier die Frage unter welchen Umständen und mit welcher Methodik das Ergebnis in SP auf ZP übertragen werden kann. Methoden: Wir haben drei Testprozeduren untersucht: eine Anhebung des Signifikanzniveaus αZP für ZP (Anhebungsregel, AHR), eine Testprozedur, die auf einem permutationsbasierten Test auf qualitative Interaktion zwischen ZP und nZP beruht (Erweiterungsregel, EWR) sowie eine Modifikation derselben. Die Testprozeduren wurden in einer Simulationsstudie bzgl. des empirischen Fehlers 1. Art und der empirischen Power verglichen. Ergebnisse: Die EWR zeigte für einzelne Datenkonstellationen eine nicht akzeptable Niveauüberschreitung (Median 5,8%, Maximum 15,9%). Die modifizierte EWR unter Berücksichtigung der Relation der Stichprobengrößen in ZP und nZP führte zwar zu einer Reduktion des empirischen Fehlers 1. Art (Median 5,5%, Maximum 10,2%). Ein Vergleich bezüglich empirischer Power und Fehler 1. Art mit der AHR mit einer Erhöhung des Signifikanzniveaus auf αZP=15% ließ jedoch insgesamt keine Vorteile erkennen. Schlussfolgerung: Bei Inkaufnahme einer geringen Niveauüberschreitung (Median 6,1%, Maximum 10,9% in den untersuchten Datenkonstellationen) stellt die AHR mit bedingter Erhöhung des Signifikanzniveaus auf αZP=15% unter Berücksichtigung des Fehlers 1. Art und der Power das geeignetste Verfahren dar. Background: When assessing the benefit of an intervention, the study population (SP) may consist of a relevant target population (ZP) and a non-relevant population (nZP). We consider the situation that a significant treatment effect is observed only in SP but not in ZP leading to the question if and how the effect in SP may be used for conclusions about the effect in ZP.Methods: We assessed three test procedures: the first increases the level of significance αZP for ZP (elevation rule, ER). The second procedure involves a permutation-based test for a qualitative interaction between ZP and nZP (extension rule, EWR). The third one is a modification of the EWR, which takes the relation between ZP and nZP into account. In a simulation study, we compared the empirical type 1 error and power for all three test procedures. Results: EWR unacceptably exceeds the significance level for some simulated parameter constellations (median 5.8%, maximum 15.9%). The modified version of EWR has a lower empirical type 1 error (median 5.5%, maximum 10.2%). But EWR has no advantages with respect to the empirical power and type 1 error compared to ER with an increased significance level of αZP=15%.Conclusion: ER, with an increased significance level of αZP=15%, is the appropriate procedure with respect to the empirical power, when accepting a slightly increased type 1 error (median 6.1%, maximum 10.9% over all simulated scenarios). HintergrundNutzenbewertungen des IQWiG haben zum Ziel, Nutzen und Schaden einer Prüfintervention im Vergleich zu einer Kontrollbehandlung zu bewerten. Es kann der Fall auftreten, dass für die Untersuchung einer konkreten Fragestellung lediglich eine Teilpopulation (TP) der gesamten Studienpopulation (SP) relevant ist. Eine besondere Situation liegt vor, wenn sich die SP aus der für die untersuchte Fragestellung relevanten Zielpopulation (ZP) und Nicht-ZP (nZP) zusammensetzt und eine Datenkonstellation wie in Abbildung 1 dargestellt vorliegt, d.h.:ein nicht statistisch signifikanter Behandlungseffekt in der ZPein gleichgerichteter Behandlungseffekt in der nZPein statistisch signifikanter Behandlungseffekt in der SPein nicht statistisch signifikanter Interaktionstest (pint≥5%)nicht zu unpräzise Effektschätzung in der ZP im Vergleich zur nZPEs stellt sich die Frage, ob der nicht statistisch signifikante Effekt in der ZP eine Folge zu geringer Power ist und unter welchen Umständen das Ergebnis der SP herangezogen werden kann. Ein nicht statistisch signifikanter Interaktionstest zu α=5% allein ist nicht hinreichend, um eine Aussage im Sinne der Gleichheit von Effekten abzuleiten und Aussagen zu einer ZP durch Heranziehen der Ergebnisse der gesamten SP zu treffen. So kann es trotz eines nicht statistisch signifikanten Interaktionstests zu Situationen kommen, in denen zwischen TPen relevant unterschiedliche Effekte geschätzt werden. Dies bedeutet, dass eine qualitative Interaktion zwischen der interessierenden ZP und der nZP mit ausreichender Sicherheit ausgeschlossen werden muss, um das Ergebnis der SP auf die ZP übertragen zu können . Eine mögliche Vorgehensweise bieten die Erweiterungsregel (EWR), die als Test auf eine qualitative Interaktion verstanden werden kann, sowie die Anhebungsregel (AHR), bei der das Signifikanzniveau für den Test in der ZP angehoben wird. Die Anwendung von mehrstufigen Testprozeduren, die die EWR oder die AHR enthalten, führen konstruktionsbedingt zu einer Niveauüberschreitung für den Test auf einen Effekt in der ZP. Folgende Fragestellungen sollen untersucht werden:Frage 1: Signifikanzniveau. Es soll die Stärke der Niveauüberschreitung quantitativ untersucht werden. Ziel ist es, einfache Anforderungen an die Parameter(konstellationen) zu formulieren, sodass eine Testprozedur mit entsprechend modifizierten Bedingungen mit akzeptabler Niveauüberschreitung angewendet werden kann.Frage 2: Power. Sofern eine Formulierung der Anforderungen wie unter Punkt 1 beschrieben gelingt, soll der Powergewinn durch die Anwendung der modifizierten Testprozedur untersucht werden. Frage 3: Es soll ein Vergleich der alternativen Testprozeduren hinsichtlich Fehler 1. Art und Power durchgeführt werden. Methodik & DatenHypotheseFolgendes Testproblem wird betrachtet:H0: θZP=0 vs. θZP≠0, mit θZP wahrer Effekt in ZP TestprozedurSchritt 1: Es wird zweiseitig getestet, ob für ZP eine statistisch signifikante Effektschätzung zum Niveau α=5% vorliegt.Falls ja: H0 wird abgelehnt.Falls nein: Führe Schritt 2 durch.Schritt 2: Es wird zweiseitig getestet, ob für SP eine statistisch signifikante Effektschätzung zum Niveau α=5% vorliegt.Falls ja: Führe Schritt 3 durch.Falls nein: H0 wird nicht abgelehnt.Schritt 3: Es wird geprüft, ob die Effektschätzungen von ZP und nZP dieselbe Effektrichtung haben.Falls ja: Führe Schritt 4 durch.Falls nein: H0 wird nicht abgelehnt.Schritt 4: Es wird getestet, ob zwischen ZP und nZP eine statistisch signifikante Interaktion zum Niveau α=5% vorliegt. Falls ja: H0 wird nicht abgelehnt.Falls nein: Führe Schritt 5 durch.Schritt 5: Wird dieser Schritt erreicht, so liegen hinreichend homogene Effektschätzungen für ZP und nZP mit derselben Effektrichtung vor, und der Effekt in der SP ist statistisch signifikant von Null verschieden. Unter diesen Voraussetzungen können weitere statistische Tests bzgl. der Hypothesen durchgeführt werden. Erweiterungsregel (EWR)Die Erweiterungsregel untersucht, wie wahrscheinlich das beobachtete Ergebnis ist, wenn in Wahrheit kein Effekt in der ZP vorliegt. Dabei werden die Effektschätzungen in den Populationen SP, ZP und nZP berücksichtigt, sowie die Heterogenität zwischen ZP und nZP. Somit kann die EWR auch als Test auf eine qualitative Interaktion verstanden werden. Jedoch ist zu beachten, dass hierbei in einer Population, ZP, auch der Nulleffekt berücksichtigt wird. Damit geht die betrachtete Situation über die bekannte Situation hinaus, in denen bei einer qualitativen Interaktion von zwei vom Nulleffekt verschiedenen und nicht gleichgerichteten Effekten ausgegangen wird .Die EWR beinhaltet die Simulation eines empirischen p-Wertes. Als Effektmaß wird die standardisierte Mittelwertdifferenz SMD (=Cohen’s d, θ) betrachtet.Für beobachtete Werte [, ] und [, ] in den Teilpopulationen ZP und nZP (mit ni,ZP und ni,nZP als Fallzahlen der zwei Gruppen in ZP bzw. nZP) werden die folgenden Schritte nrep-mal durchlaufen:1. Zufälliges Ziehen von a. , und , für ZPb. , und , für nZP bezeichnet dabei eine Zufallszahl aus einer Chi-Quadrat-Verteilung mit k Freiheitsgraden. Aus den Angaben kann in beiden Populationen die SMD mit zugehörigem Standardfehler geschätzt werden: c. mit und d. mit und 2. Durchführen eines Interaktionstests basierend auf [, ] und [, ] mit Ergebnis , p-Wert des Q-Tests auf Homogenität.3. Überprüfung: (i) und (ii) Ein empirischer p-Wert ergibt sich aus der Anzahl an Replikationen, in denen die beiden Bedingungen unter 3. erfüllt sind, geteilt durch die Gesamtzahl (nrep) an Replikationen. Als Signifikanzniveau wird α=2,5% gewählt. Die Anzahl an Replikationen beträgt nrep=100.000. Ist der empirische p-Wert kleiner als 2,5%, so wird das Ergebnis der Gesamtpopulation SP auf die jeweilige ZP übertragen, d.h. es wird geschlossen, dass der Behandlungseffekt auch in der Zielpopulation signifikant vom Nulleffekt verschieden ist.Das vorgestellte Verfahren kann mit entsprechenden Verteilungsananahmen auf weitere Effektmaße wie das relative Risiko, das Odds Ratio oder das Hazard Ratio angewendet werden.Anhebungsregel (AHR): Testprozedur mit bedingter Erhöhung des SignifikanzniveausDurchführung der Schritte 1 bis 4, in Schritt 5 wird erneut ein zweiseitiger Test auf einen Effekt in der ZP mit erhöhtem Signifikanzniveau αZP>5% durchgeführt.Standardprozedur (A5)Um darstellen zu können, welche Vor- und Nachteile mit den genannten Testprozeduren EWR und AHR einhergehen, wird als Referenz das Standardvorgehen A5, d.h. ein Test auf einen von Null verschiedenen Effekt in der ZP mit einem Signifikanzniveau von 5%, in den Vergleich der Testprozeduren mit einbezogen. SimulationsstudieIm Rahmen von Simulationsuntersuchungen werden empirischer Fehler 1. Art und Power der Testprozeduren untersucht. Gegenstand der im Folgenden beschriebenen Simulationsuntersuchungen ist die Anwendung der gesamten Testprozedur. Davon abzugrenzen ist die Simulation des empirischen p-Wertes im Rahmen der EWR, die Teil der Methodik der EWR ist.Tabelle 1 zeigt die geplanten Szenarien für die Simulationsuntersuchungen. Der Wertebereich der untersuchten Simulationsparameter wurde so gewählt, dass praxisrel</PlainText></TextGroup>evante Szenarien abgebildet sind. Jedes Szenario wird für die Untersuchung des empirischen Fehlers 1. Art <TextGroup><PlainText>und der</PlainText></TextGroup> empirischen Power 10.000 mal simuliert. Als Effektmaß wird die standardisierte Mittelwertdifferenz (<TextGroup><PlainText>Cohen’s d</PlainText></TextGroup>) verwendet. </Pgraph></TextBlock> <TextBlock linked="yes" name="Ergebnisse"> <MainHeadline>Ergebnisse</MainHeadline><SubHeadline>Empirischer Fehler 1. Art</SubHeadline><Pgraph>Für die Untersuchung des Fehlers 1. Art wurden insgesamt 594 Szenarien simuliert. Die Anzahl der Replikationen je Szenario betrug 10.000, von denen zufällig ausgewählt 6.667 als Trainingsdaten und die übrigen 3.333 Szenarien als Testdaten verwendet wurden.</Pgraph><Pgraph>Über alle Szenarien betrachtet ist der empirische Fehler 1. Art auf den Trainingsdaten in 5,56% der Szenarien größer als 10% (Abbildung 2 <ImgLink imgNo="2" imgType="figure"/>). Auch wenn Mittelwert und Median des Fehlers 1. Art mit 6,31% und 5,70% leicht erhöht sind, gibt die Häufigkeit einer großen Niveauüberschreitung Anlass, den Einsatz der EWR auf solche Szenarien zu beschränken, in denen nicht oder nur sehr selten mit einem Fehler 1. Art von mehr als 10% zu rechnen ist.</Pgraph><Pgraph>Das 97,5%-Quantil der Verteilung des empirischen Fehlers 1. Art der Testprozedur mit EWR bei einem Signifikanzniveau von 5% für den Interaktionstest ist 12,0%; d.h., in 2,5% der simulierten Szenarien ist ein empirischer Fehler 1. Art größer als dieser Wert zu erwarten.</Pgraph><Pgraph>Die Relation der Stichprobengrößen in ZP und nZP erweist sich als ein einfacher Ansatz, um Szenarien zu identifizieren, die nur in seltenen Fällen einen empirischen Fehler 1. Art größer als 10% aufweisen. </Pgraph><Pgraph>Die Hinzunahme weiterer Parameter brachte keine bedeutsame Verbesserung der Identifikation von Szenarien mit häufiger erhöhtem empirischen Fehler 1. Art.</Pgraph><Pgraph>Mit fallendem Wert der Relation der Stichprobengrößen ist mit einem zu häufig deutlich erhöhten empirischen Fehler 1. Art zu rechnen, sodass die EWR dann nicht mehr angewendet werden sollte. Es kann ein Cut off so bestimmt werden, dass folgendes gilt: Beschränkt man die Anwendung der EWR auf Szenarien, in denen die Relation der Stichprobengrößen größer gleich dem Cut-off ist, so haben weniger als 2,5% der Szenarien einen empirischen Fehler 1. Art von über 10%. Aus Tabelle 2 <ImgLink imgNo="2" imgType="table"/> kann für verschiedene Cut-offs entnommen werden, wie hoch der empirische Fehler 1. Art für die 2,5% mit dem größten empirischen Fehler 1. Art mindestens ist (97,5%-Quantile der Verteilung der simulierten Fehler 1. Art der Szenarien). Beschränkt man die Anwendung der EWR auf Szenarien, in denen die Relation der Stichprobengrößen ≥0,33 ist, so haben weniger als 2,5% der Szenarien einen empirischen Fehler 1. Art von über 10%. Bei einem Cut-off von 0,2 hätten mehr als 2,5% der Szenarien einen empirischen Fehler 1. Art von über 10%. Hieraus ergibt sich die Testprozedur EWR<Subscript>0,33</Subscript>: zusätzlich zu den unter den Schritten 1 bis 4 genannten Bedingungen wird 0,33 als Cut-off für die Relation der Stichprobengrößen <ImgLink imgNo="27" imgType="inlineFigure"/> als weitere Voraussetzung für die Anwendung der EWR gewählt.</Pgraph><Pgraph>Analog zum Vorgehen bei der EWR wird für die Anwendung der AHR die Erhöhung des Signifikanzniveaus so festgelegt, dass auch für diese Testprozedur das 97,5%-Quantil der Verteilung des Fehlers 1. Art für die Trainingsdaten kleiner als 10% ist. Aus Tabelle 3 <ImgLink imgNo="3" imgType="table"/> kann entnommen werden, dass dies bei einem Niveau von knapp unter 15% erfüllt ist. Das Niveau für den Test auf einen Effekt in der ZP innerhalb dieser Testprozedur wird daher auf 15% festgesetzt. Für die Testdaten ergibt sich für AHR<Subscript>15</Subscript> ein 97,5%-Quantil von 10,23% für die empirische Verteilung des Fehlers 1. Art.</Pgraph><Pgraph>Tabelle 4 <ImgLink imgNo="4" imgType="table"/> fasst die Simulationsergebnisse zum empirischen Fehler 1. Art zusammen. Die für den Trainingsdatensatz ermittelten Werte werden für den Testdatensatz bestätigt.</Pgraph><SubHeadline>Vergleich der Testprozeduren bzgl. der empirischen Power</SubHeadline><Pgraph>Die Größenordnung des Fehlers 1. Art der Testprozedur mit EWR (ohne zusätzliche Bedingungen) erwies sich in den Simulationsuntersuchungen als inakzeptabel hoch. Im Folgenden wird diese Testprozedur daher nicht weiter betrachtet. Die folgenden Vergleiche beziehen sich auf die Testprozeduren, EWR<Subscript>0.33</Subscript>, AHR<Subscript>15</Subscript> und A<Subscript>5</Subscript>. </Pgraph><Pgraph>Die mittlere empirische Power unterscheidet sich zwischen den Testprozeduren über alle 5.940 Szenarien kaum und liegt bei 82,9% für A<Subscript>5</Subscript>, bei 84,1% für EWR<Subscript>0,33</Subscript> und bei 85,3% für AHR<Subscript>15</Subscript>. Um Unterschiede bezüglich der empirischen Power näher zu untersuchen, wurden pro Szenarium die Differenzen in der Power von EWR<Subscript>0,33</Subscript> und AHR<Subscript>15</Subscript> im Vergleich zu A<Subscript>5</Subscript> betrachtet (Tabelle 5 <ImgLink imgNo="5" imgType="table"/>). Dabei sind deutliche Powergewinne in Szenarien zu beobachten, in denen die Standardprozedur A5 eine geringe Power hat. Es ergeben sich Powergewinne von EWR<Subscript>0,33</Subscript> im Median bis 3,1 Prozentpunkten und maximal von 22,0 Prozentpunkten. Für AHR15 ergeben sich im Median Powergewinne bis 11,8 Prozentpunkte und maximal 22,7 Prozentpunkte. Die 90%-Quantile (EWR<Subscript>0,33</Subscript>: 1,4 bis 15,8 Prozentpunkte; AHR<Subscript>15</Subscript>: 2,2 bis 20,4 Prozentpunkte) zeigen, dass deutliche Powergewinne nicht auf einzelne Szenarien zurückzuführen sind. Insgesamt erwies sich die Testprozedur AHR<Subscript>15</Subscript> als diejenige mit dem höchsten Powergewinn.</Pgraph><Pgraph>Die Testprozedur EWR<Subscript>0.33</Subscript> zeigt bezüglich der empirischen Power keine Vorteile, die ihren Einsatz trotz des erhöhten Rechenaufwands rechtfertigen. In der Abwägung von empirischem Fehler 1. Art, empirischer Power sowie Praktikabilität erweist sich die Anhebungsregel AHR<Subscript>15</Subscript> als das geeignetste Verfahren, insbesondere in Situationen mit zu erwartender niedriger Power.</Pgraph></TextBlock> <TextBlock linked="yes" name="Diskussion"> <MainHeadline>Diskussion</MainHeadline><Pgraph>Ausgangspunkt für die vorliegenden Untersuchungen war die Tatsache, dass in Nutzenbewertungen der Fall auftreten kann, dass für die Untersuchung konkreter Fragestellungen lediglich eine Teilpopulation aus einer vorliegenden Studienpopulation relevant ist. Die Auswertung der TP kann zu einer reduzierten Power zur Aufdeckung eines vorhandenen Behandlungseffekts führen. Es stellt sich die Frage, ob und unter welchen Umständen es gerechtfertigt ist, die gesamte SP für eine Aussage zur relevanten TP heranzuziehen. Für die Situation, dass eine spezifische Datenkonstellation vorliegt, wurde die EWR definiert mit dem Ziel, einen relevanten Powergewinn bei Inkaufnahme einer moderaten Niveauüberschreitung zu erzielen.</Pgraph><Pgraph>Die Untersuchung des Fehlers 1. Art bei Anwendung der Testprozedur mit EWR zeigte für einzelne Parameterkonstellationen eine nicht akzeptable Niveauüberschreitung. Es wurde eine modifizierte Testprozedur basierend auf der Relation der Stichprobengrößen EWR<Subscript>0.33</Subscript> definiert. </Pgraph><Pgraph>Die Anwendung der EWR<Subscript>0.33</Subscript> wurde mit einer Testprozedur mit bedingter Erhöhung des Signifikanzniveaus (AHR<Subscript>15</Subscript>) sowie mit dem Standardvorgehen A<Subscript>5</Subscript> hinsichtlich empirischem Fehler 1. Art und empirischer Power verglichen. </Pgraph><Pgraph>Deutliche Powergewinne lassen sich in den Szenarien erreichen, in denen A<Subscript>5</Subscript> eine geringe Power aufweist. </Pgraph><Pgraph>Insgesamt zeigte die Testprozedur EWR<Subscript>0.33</Subscript> weder bezüglich der empirischen Power noch bezüglich des empirischen Fehlers 1. Art Vorteile gegenüber der alternativen Testprozedur, die ihren Einsatz in Anbetracht des erhöhten Rechenaufwands rechtfertigen würden. In der Abwägung von Einbußen beim empirischen Fehler 1. Art, Zugewinn bei der empirischen Power sowie Praktikabilität erweist sich die Anhebungsregel AHR<Subscript>15</Subscript> insgesamt als das Verfahren der Wahl.</Pgraph><SubHeadline>Limitationen der Untersuchungen</SubHeadline><Pgraph>Die Abhängigkeit der Ergebnisse von den gewählten Szenarien stellt eine grundsätzliche Limitation von Simulationsuntersuchungen, so auch der vorliegenden, dar. Insbesondere die Tatsache, dass die Ergebnisse extremerer Szenarien mit der gleichen Gewichtung versehen wurden wie die in der Praxis üblicherweise auftretenden, schränkt möglicherweise die Übertragbarkeit der Simulationsergebnisse ein. Um diesem Problem zu begegnen, wurde durch die Wahl geeigneter Parameterwerte versucht, unrealistische Szenarien von vorneherein auszuschließen. Nur eine Gewichtung der Szenarien gemäß ihrer zu erwartenden Auftrittswahrscheinlichkeit hätte dieses Problem tatsächlich lösen können. Es hätte hierzu bekannt sein müssen, welche Parameterkonstellationen in der Realität (z.B. in den Bewertungen des IQWiG) wie häufig auftreten. </Pgraph></TextBlock> <TextBlock linked="yes" name="Schlussfolgerung"> <MainHeadline>Schlussfolgerung</MainHeadline><Pgraph>Die Testprozedur mit EWR zur Ableitung von Nutzenaussagen für die Zielpopulation unter Berücksichtigung der gesamten Studienpopulation zeigte für einzelne Datenkonstellationen eine nicht akzeptable Niveauüberschreitung. Eine modifizierte Testprozedur unter Berücksichtigung der Relation der Stichprobengrößen in ZP und nZP führte zwar zu einer Reduktion des empirischen Fehlers 1. Art. Ein Vergleich mit alternativen, einfacheren Testprozeduren AHR<Subscript>15</Subscript> bezüglich der empirischen Power und des Fehlers 1. Art ließ jedoch insgesamt keine Vorteile erkennen. Unter Berücksichtigung des Fehlers 1. Art, der Power sowie des Rechenaufwands liefert die Anhebungsregel AHR<Subscript>15</Subscript> die besten Ergebnisse. Die Anwendung der Methode erfordert die Abwägung zwischen Inkaufnahme eines erhöhten Fehlers 1. Art und erzielbarem Powergewinn.</Pgraph></TextBlock> <TextBlock linked="yes" name="Anmerkung"> <MainHeadline>Anmerkung</MainHeadline><SubHeadline>Interessenkonflikte</SubHeadline><Pgraph>Die Autoren erklären, dass sie keine Interessenkonflikte in Zusammenhang mit diesem Artikel haben.</Pgraph></TextBlock> <References linked="yes"> <Reference refNo="1"> <RefAuthor>Grouven U</RefAuthor> <RefAuthor>Beckmann L</RefAuthor> <RefAuthor>Bender R</RefAuthor> <RefAuthor>Lange S</RefAuthor> <RefTitle>Kriterien zur Überprüfbarkeit der Anwendung von Studienergebnissen [Präsentation]</RefTitle> <RefYear>2013</RefYear> <RefBookTitle>IQWiG im Dialog; 2013 Jun 21; Köln</RefBookTitle> <RefPage></RefPage> <RefTotal>Grouven U, Beckmann L, Bender R, Lange S. Kriterien zur Überprüfbarkeit der Anwendung von Studienergebnissen [Präsentation]. In: IQWiG im Dialog; 2013 Jun 21; Köln. Köln: Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG); 2013. Available from: https://www.iqwig.de/download/13-06-21_IQWiG_im_Dialog_Ulrich_Grouven_Kriterien_zur_Ueberpruefung_der_Anwendbarkeit_von_Studienergebnissen.pdf</RefTotal> <RefLink>https://www.iqwig.de/download/13-06-21_IQWiG_im_Dialog_Ulrich_Grouven_Kriterien_zur_Ueberpruefung_der_Anwendbarkeit_von_Studienergebnissen.pdf</RefLink> </Reference> <Reference refNo="2"> <RefAuthor>Gail M</RefAuthor> <RefAuthor>Simon R</RefAuthor> <RefTitle>Testing for qualitative interactions between treatment effects and patient subsets</RefTitle> <RefYear>1985</RefYear> <RefJournal>Biometrics</RefJournal> <RefPage>361-72</RefPage> <RefTotal>Gail M, Simon R. Testing for qualitative interactions between treatment effects and patient subsets. Biometrics. 1985 Jun;41(2):361-72. DOI: 10.2307/2530862</RefTotal> <RefLink>http://dx.doi.org/10.2307/2530862</RefLink> </Reference> </References> <Media> <Tables> <Table format="png"> <MediaNo>1</MediaNo> <MediaID>1</MediaID> <Caption><Pgraph><Mark1>Tabelle 1: Szenarien für die Simulationsuntersuchungen</Mark1></Pgraph></Caption> </Table> <Table format="png"> <MediaNo>3</MediaNo> <MediaID>3</MediaID> <Caption><Pgraph><Mark1>Tabelle 3: 97,5%-Quantil der Verteilung des empirischen Fehlers 1. Art der Testprozedur A</Mark1><Mark1><Subscript>Bed15</Subscript></Mark1><Mark1> für verschiedene Signifikanzniveaus des Tests auf einen von Null verschiedenen Effekt in der ZP (Trainingsdaten)</Mark1></Pgraph></Caption> </Table> <Table format="png"> <MediaNo>2</MediaNo> <MediaID>2</MediaID> <Caption><Pgraph><Mark1>Tabelle 2: 97,5%-Quantil der Verteilung des empirischen Fehlers 1. Art der Testprozedur mit EWR für verschiedene Cut-offs für die Relation der Stichprobengrößen (Trainingsdaten)</Mark1></Pgraph></Caption> </Table> <Table format="png"> <MediaNo>4</MediaNo> <MediaID>4</MediaID> <Caption><Pgraph><Mark1>Tabelle 4: Ergebnisse für den empirischen Fehler 1. Art (%) für die untersuchten Testprozeduren</Mark1></Pgraph></Caption> </Table> <Table format="png"> <MediaNo>5</MediaNo> <MediaID>5</MediaID> <Caption><Pgraph><Mark1>Tabelle 5: Mittlere empirische Power für die Testprozeduren in Abhängigkeit von der Power der Standardprozedur A</Mark1><Mark1><Subscript>5</Subscript></Mark1></Pgraph></Caption> </Table> <NoOfTables>5</NoOfTables> </Tables> <Figures> <Figure format="png" height="316" width="451"> <MediaNo>1</MediaNo> <MediaID>1</MediaID> <Caption><Pgraph><Mark1>Abbildung 1: Notwendige Datenkonstellation für die Übertragung der Ergebnisse für die Studienpopulation (SP) auf die Zielpopulation (ZP). </Mark1><LineBreak></LineBreak>Dargestellt ist die Effektschätzung in der jeweiligen Population mit zugehörigem 95%-KI, vertikaler Strich stellt Nulleffekt für das betrachtete Effektmaß dar. </Pgraph></Caption> </Figure> <Figure format="png" height="480" width="640"> <MediaNo>2</MediaNo> <MediaID>2</MediaID> <Caption><Pgraph><Mark1>Abbildung 2: Verteilung des empirischen Fehlers 1. Art der Testprozeduren über alle Szenarien (Trainingsdatensatz)</Mark1></Pgraph></Caption> </Figure> <NoOfPictures>2</NoOfPictures> </Figures> <InlineFigures> <Figure format="png" height="17" width="33"> <MediaNo>1</MediaNo> <MediaID>1</MediaID> <AltText>Formel</AltText> </Figure> <Figure format="png" height="17" width="44"> <MediaNo>2</MediaNo> <MediaID>2</MediaID> <AltText>Formel</AltText> </Figure> <Figure format="png" height="18" width="34"> <MediaNo>3</MediaNo> <MediaID>3</MediaID> <AltText>Formel</AltText> </Figure> <Figure format="png" height="18" width="43"> <MediaNo>4</MediaNo> <MediaID>4</MediaID> <AltText>Formel</AltText> </Figure> <Figure format="png" height="39" width="160"> <MediaNo>5</MediaNo> <MediaID>5</MediaID> <AltText>Formel</AltText> </Figure> <Figure format="png" height="35" width="162"> <MediaNo>7</MediaNo> <MediaID>7</MediaID> <AltText>Formel</AltText> </Figure> <Figure format="png" height="35" width="198"> <MediaNo>9</MediaNo> <MediaID>9</MediaID> <AltText>Formel</AltText> </Figure> <Figure format="png" height="36" width="168"> <MediaNo>11</MediaNo> <MediaID>11</MediaID> <AltText>Formel</AltText> </Figure> <Figure format="png" height="18" width="64"> <MediaNo>13</MediaNo> <MediaID>13</MediaID> <AltText>Formel</AltText> </Figure> <Figure format="png" height="37" width="134"> <MediaNo>14</MediaNo> <MediaID>14</MediaID> <AltText>Formel</AltText> </Figure> <Figure format="png" height="54" width="284"> <MediaNo>15</MediaNo> <MediaID>15</MediaID> <AltText>Formel</AltText> </Figure> <Figure format="png" height="37" width="284"> <MediaNo>16</MediaNo> <MediaID>16</MediaID> <AltText>Formel</AltText> </Figure> <Figure format="png" height="34" width="135"> <MediaNo>17</MediaNo> <MediaID>17</MediaID> <AltText>Formel</AltText> </Figure> <Figure format="png" height="53" width="305"> <MediaNo>18</MediaNo> <MediaID>18</MediaID> <AltText>Formel</AltText> </Figure> <Figure format="png" height="36" width="305"> <MediaNo>19</MediaNo> <MediaID>19</MediaID> <AltText>Formel</AltText> </Figure> <Figure format="png" height="18" width="35"> <MediaNo>20</MediaNo> <MediaID>20</MediaID> <AltText>Formel</AltText> </Figure> <Figure format="png" height="18" width="45"> <MediaNo>21</MediaNo> <MediaID>21</MediaID> <AltText>Formel</AltText> </Figure> <Figure format="png" height="18" width="36"> <MediaNo>22</MediaNo> <MediaID>22</MediaID> <AltText>Formel</AltText> </Figure> <Figure format="png" height="18" width="45"> <MediaNo>23</MediaNo> <MediaID>23</MediaID> <AltText>Formel</AltText> </Figure> <Figure format="png" height="18" width="38"> <MediaNo>24</MediaNo> <MediaID>24</MediaID> <AltText>Formel</AltText> </Figure> <Figure format="png" height="18" width="93"> <MediaNo>25</MediaNo> <MediaID>25</MediaID> <AltText>Formel</AltText> </Figure> <Figure format="png" height="19" width="91"> <MediaNo>26</MediaNo> <MediaID>26</MediaID> <AltText>Formel</AltText> </Figure> <Figure format="png" height="25" width="60"> <MediaNo>27</MediaNo> <MediaID>27</MediaID> <AltText>Formel</AltText> </Figure> <Figure format="png" height="39" width="242"> <MediaNo>6</MediaNo> <MediaID>6</MediaID> <AltText>Formel</AltText> </Figure> <Figure format="png" height="35" width="241"> <MediaNo>8</MediaNo> <MediaID>8</MediaID> <AltText>Formel</AltText> </Figure> <Figure format="png" height="35" width="254"> <MediaNo>10</MediaNo> <MediaID>10</MediaID> <AltText>Formel</AltText> </Figure> <Figure format="png" height="36" width="254"> <MediaNo>12</MediaNo> <MediaID>12</MediaID> <AltText>Formel</AltText> </Figure> <NoOfPictures>27</NoOfPictures> </InlineFigures> <Attachments> <NoOfAttachments>0</NoOfAttachments> </Attachments> </Media> </OrigData> </GmsArticle>