000285 10.3205/000285 urn:nbn:de:0183-0002850 Research Article Originalarbeit Die zukünftige Entwicklung intensivmedizinischer Qualitätsindikatoren – ein Methodenpapier Kumpf Kumpf Oliver O MD

Department of Anaesthesiology and Intensive Care Medicine, Campus Charité Mitte and Campus Virchow-Klinikum, Charité – Universitätsmedizin Berlin, corporate member of Freie Universität Berlin, Humboldt-Universität zu Berlin, and Berlin Institute of Health, Charitéplatz 1, 10117 Berlin, Germany, Phone: +49 30 450 631108Department of Anaesthesiology and Intensive Care Medicine, Campus Charité Mitte and Campus Virchow-Klinikum, Charité – Universitätsmedizin Berlin, corporate member of Freie Universität Berlin, Humboldt-Universität zu Berlin, and Berlin Institute of Health, Berlin, GermanyNational Steering Committee Peer Review, German Interdisciplinary Association for Intensive Care and Emergency Medicine (DIVI), Berlin, Germany

Klinik für Anästhesiologie mit Schwerpunkt operative Intensivmedizin, Campus Charité Mitte and Campus Virchow-Klinikum, Charité – Universitätsmedizin Berlin, corporate member of Freie Universität Berlin, Humboldt-Universität zu Berlin, and Berlin Institute of Health, Charitéplatz 1, 10117 Berlin, Deutschland Tel: 030 450 631108Klinik für Anästhesiologie mit Schwerpunkt operative Intensivmedizin, Campus Charité Mitte und Campus Virchow-Klinikum, Charité – Universitätsmedizin Berlin, corporate member of Freie Universität Berlin, Humboldt-Universität zu Berlin, and Berlin Institute of Health, DeutschlandNationale Steuerungsgruppe Peer Review, Deutsche Interdisziplinäre Vereinigung für Intensiv- und Notfallmedizin (DIVI), Berlin, Deutschland

oliver.kumpf@charite.de author Nothacker Nothacker Monika M

AWMF-Institute for Medical Knowledge Management c/o Philipps-Universität, Marburg, Germany

AWMF-Institut für Medizinisches Wissensmanagement, c/o Philipps-Universität, Marburg, Deutschland

nothacker@awmf.org author Braun Braun Jan J

Department of Anaesthesiology, Intensive Care Medicine and Pain Therapy, Martin-Luther-Krankenhaus, Berlin, Germany National Steering Committee Peer Review, German Interdisciplinary Association for Intensive Care and Emergency Medicine (DIVI), Berlin, Germany

Klinik für Anästhesiologie, Intensivmedizin und Schmerztherapie, Martin-Luther-Krankenhaus, Berlin, Deutschland Nationale Steuerungsgruppe Peer Review, Deutsche Interdisziplinäre Vereinigung für Intensiv- und Notfallmedizin (DIVI), Berlin, Deutschland

Jan-Peter.Braun@jsd.de author Muhl Muhl Elke E

Groß Grönau, Germany National Steering Committee Peer Review, German Interdisciplinary Association for Intensive Care and Emergency Medicine (DIVI), Berlin, Germany

Groß Grönau, Deutschland Nationale Steuerungsgruppe Peer Review, Deutsche Interdisziplinäre Vereinigung für Intensiv- und Notfallmedizin (DIVI), Berlin, Deutschland

elke045091252-0001@t-online.de author German Medical Science GMS Publishing House

Düsseldorf

610 Quality Management Qualitätsmanagement 20200131 20200429 20201030 engl germ This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). 1612-3174 18 GMS German Medical Science GMS Ger Med Sci 09 Einleitung: Medizinische Qualitätsindikatoren (QI) stellen ein wichtiges Werkzeug bei der Betrachtung medizinischer Qualität dar. Ihre Entwicklung unterliegt methodischen Anforderungen, die auch ihre praktische Anwendbarkeit einschließen. Dies gilt insbesondere für die Intensivmedizin mit ihren komplexen Prozessen und Interaktionen. Dieses Methodenpapier dient der Darstellung des Status quo und zeigt erforderliche methodische Weiterentwicklungen intensivmedizinischer QI auf. Dazu erfolgte eine Kooperation mit dem Institut für Medizinisches Wissensmanagement der Arbeitsgemeinschaft der Wissenschaftlichen Medizinischen Fachgesellschaften (AWMF-IMWi).Methodik: Rückgriff auf publizierte deutsche Manuale zur QI-Ableitung aus Leitlinien und narratives Review zu Qualitätsindikatoren mit Fokus auf die Beziehung zu evidenz- und konsensbasierten Leitlinienempfehlungen. Die notwendigen methodischen Anpassungen der Indikatorentwicklung wie Operationalisierbarkeit, Messbarkeit und Pilotierung werden dargestellt, und ein Vorschlag für einen Entwicklungsprozess wird erarbeitet.Ergebnisse: Die Entwicklung intensivmedizinischer Qualitätsindikatoren in Deutschland geschieht in einem etablierten Verfahren. Dieses soll künftig durch die Aufnahme zusätzlicher Bewertungskriterien (QUALIFY-Kriterien) u.a. zur Beurteilung der Evidenzbasierung erweitert werden. Ergänzend ist ein kontinuierlicher Austausch der für die QI verantwortlichen nationalen Steuerungsgruppe der DIVI mit den Leitliniengruppen geplant, die intensivmedizinische Fragestellungen bearbeiten.Schlussfolgerung: Intensivmedizinische Qualitätsindikatoren können durch einen verbesserten Entwicklungsprozess in Zukunft gestiegenen methodischen Anforderungen genügen. Die beschriebenen Weiterentwicklungen sollen den Erstellungsprozess besser strukturieren, wissenschaftlicher gestalten und in Zukunft mit Leitlinienprojekten vernetzen. Dadurch soll das Ziel einer flächendeckenden Anwendung der QI erreicht werden und schließlich ihre Relevanz für das Outcome bezogen auf Patienten und Einrichtungen geprüft werden. Introduction: Medical quality indicators (QI) are important tools in the evaluation of medical quality. Their development is subject to specific methodological requirements, which include practical applicability. This is especially true for intensive care medicine with its complex processes and their interactions. This methods paper presents the status quo and shows necessary methodological developments for intensive care QI. For this purpose, a cooperation with the Association of the Scientific Medical Societies’ Institute for Medical Knowledge Management (AWMF-IMWi) was established.Methodology: Review of published German manuals for QI development from guidelines and narrative review of quality indicators with a focus on evidence and consensus-based guideline recommendations. Future methodological adaptations of indicator development for improved operationalization, measurability and pilot testing are presented, and a development process is proposed.Results: The development of intensive care quality indicators in Germany is based on an established process. In the future, additional evaluation criteria (QUALIFY criteria) will be applied to assess the evidence base. In addition, a continuous exchange between the national steering committee of the DIVI responsible for QI development and guideline development groups involved in intensive care medicine is planned.Conclusion: Intensive care quality indicators will have to meet improved methodological requirements in the future by means of an improved development process. Future QI development is intended to improve the structure of the development process, with a focus on scientific evidence and a link to guideline projects. This is intended to achieve the goal of a broad application of QI and to further evaluate its relevance for patient outcome and performance of institutions. 1 IntroductionThe development of intensive care quality indicators (QI) in Germany was initiated by a working group within the German Society for Anaesthesiology and Intensive Care Medicine (DGAI), which aimed to develop evaluation tools for the quality of intensive care. A selection of core processes out of existing Spanish QI seemed to be adequate for this purpose . The selected 10 quality indicators were thought to be generally valid for all kinds of intensive care units, and at the same time provide a framework for all professional groups working there. Since 2009, the development of intensive care quality indicators has been carried out by the National Peer Review Steering Committee (NSPR) of the German Interdisciplinary Association for Intensive Care and Emergency Medicine (DIVI). The QI and the voluntary peer review for intensive care medicine were developed as core elements of quality assurance , . The QI developed in this process were based on the observation that there was relevant potential for improvement in intensive care processes that would have a significant effect on the quality of patient treatment. Therefore they were focused on these procedural problems. In a way, an existing problem was translated into an indicator. The achievement of a target value defined in the expert consensus, as far as possible in line with the current evidence, would correspond with good process quality, or otherwise could be used to measure improvement. The development of intensive care indicators followed a “bottom-up” principle, as they addressed practical problems perceived in daily clinical routine . The rationale for a QI could thus be understood by medical professionals in intensive care directly involved in patient treatment.This contrasts with the development of quality indicators, e.g. from treatment guidelines recommendations, in which the potential for quality improvement has to be determined beforehand (“top-down”) , , .In Germany, QI exist in different clinical settings. These are developed on a national level for external quality assurance by the Institute for Quality and Transparency in Health Care (IQTIG). Through legislation such as the Hospital Structure Act and through legal guidelines for quality assurance (G-BA directive), it is expected that QI become mandatory in intensive care medicine. It is evident that quality initiatives like the QI developed under the auspices of the DIVI should be integrated into this framework of external quality assurance. Since their first publication, these QI were perceived differently over time. At present, the recording of intensive care QI is voluntary, either through voluntary peer review or through institutional quality management. However, the importance of these QI is increasing, as they have already impacted structural directives for intensive care medicine, as can be seen from their influence on intensive care reimbursement rules . The demand for “evidence-based medicine” as a basis for the correct implementation of treatment processes made the development of the DIVI QI in their revisions increasingly labor-intensive, as the indicators were predominantly process indicators for which the underlying evidence frequently changes; and thus updates are required . This has resulted in three revisions so far, and there is already a need for changes for the next planned revision. A comparison of the different versions of the DIVI QI is shown in Table 1 . The future QI will have to meet increased demands on their own quality. Therefore, the National Steering Committee of the DIVI is planning to have the future development process methodically accompanied by the AWMF-IMWi. In order to ensure transparency in this context, this manuscript describes a potential development process and at the same time would like to induce a discussion about this revised methodology for the DIVI QI. This article explicitly does not address the medical content of single quality indicators. 1 EinleitungDie Entwicklung der intensivmedizinischen Qualitätsindikatoren (QI) in Deutschland geht auf eine Arbeitsgruppe innerhalb der Deutschen Gesellschaft für Anästhesiologie und Intensivmedizin (DGAI) zurück, die sich mit Bewertungshilfen für die Qualität von Intensivstationen beschäftigte. Eine überschaubare Auswahl von Kernprozessen basierend auf einer Auswahl spanischer QI erschien hierbei praktikabel. Die ausgewählten 10 Qualitätsindikatoren sollen Allgemeingültigkeit für alle fachlichen Ausprägungen von Intensivstationen besitzen und zugleich einen Orientierungsrahmen für alle Berufsgruppen auf Intensivstationen liefern. Seit 2009 wird die weitere Entwicklung der intensivmedizinischen Qualitätsindikatoren durch die Nationale Steuerungsgruppe Peer Review (NSPR) der Deutschen Interdisziplinären Vereinigung für Intensiv- und Notfallmedizin (DIVI) durchgeführt. Dabei werden die QI und das intensivmedizinische Peer Review als Kernelemente der Qualitätssicherung weiterentwickelt , . Die aus diesem Prozess entwickelten QI basieren auf der Beobachtung, dass es bei intensivmedizinischen Prozessen, die eine hohe Bedeutung für die Behandlungsqualität der Patienten haben, relevante Verbesserungspotenziale gab. Deshalb fokussieren sie auf diese prozessualen Probleme. Das bestehende Problem wurde in einen Indikator umgewandelt. Das Erreichen eines im Expertenkonsens möglichst im Einklang mit der aktuellen Evidenz festgelegten Zielwerts sollte einer guten Prozessqualität entsprechen oder auch eine Verbesserung darstellen. Die Entwicklung der intensivmedizinischen Indikatoren folgte insofern einem „Bottom-up“-Prinzip, da sie in der Praxis wahrgenommene Versorgungsprobleme aufnahm . Die Rationale für einen QI konnte so von seinen Anwendern nachvollzogen werden, da sie unmittelbar mit den Behandelnden zusammen bestimmt wurde.Dies steht im Gegensatz zur Entwicklung von Qualitätsindikatore</PlainText></TextGroup>n z.B. aus Leitlinienempfehlungen, bei denen das Verbesserungspotenzial meist erst bestimmt werden muss (Top-down-Prinzip) <TextLink reference="4"></TextLink>, <TextLink reference="5"></TextLink>, <TextLink reference="6"></TextLink>.</Pgraph><Pgraph>QI existieren in Deutschland f&#252;r unterschiedliche klinische Bereiche. Diese werden bundesweit f&#252;r die externe vergleichende Qualit&#228;tssicherung durch das Institut f&#252;r Qualit&#228;tssicherung und Transparenz im Gesundheitswesen (IQTIG) entwickelt. Da seitens des Gesetzgebers und der Selbstverwaltung hier bedeutende Festlegungen wie das Krankenhausstrukturgesetz und die QS-Richtlinie des GBA erfolgten, ist zu erwarten, dass &#252;ber kurz oder lang auch eine Verpflichtung zur Erfassung intensivmedizinscher QI entsteht. Es ist naheliegend, dass Qualit&#228;tsinitiativen wie die QI der DIVI in das Konzept der externen Qualit&#228;tssicherung integriert werden.</Pgraph><Pgraph>Die intensivmedizinischen QI haben seit ihrer ersten Ver&#246;ffentlichung eine Wandlung ihrer Wahrnehmung erfahren. Momentan erfolgt die Erfassung der intensivmedizinischen QI &#252;berwiegend freiwillig im Rahmen von Peer Review oder im internen Qualit&#228;tsmanagement. Doch die Bedeutung der QI nimmt zu, da sie auch Einfluss z.B. auf strukturelle Vorgaben f&#252;r die Intensivmedizin haben, wie an der Definition der intensivmedizinischen Komplexpauschalen ersichtlich wird <TextLink reference="7"></TextLink>.</Pgraph><Pgraph>Die Forderung nach expliziter &#8222;evidence-based medicine&#8220; als Grundlage f&#252;r die korrekte Durchf&#252;hrung von Behandlungsprozessen machte die Entwicklung der DIVI-QI in den Revisionen zunehmend arbeitsintensiver, da es sich bei den Indikatoren &#252;berwiegend um Prozessindikatoren handelte, bei denen sich h&#228;ufig die zugrundeliegende Evidenz &#228;nderte und somit Aktualisierungsbedarf bestand <TextLink reference="8"></TextLink>. Dies resultierte in bislang drei Revisionen, und auch f&#252;r die n&#228;chste geplante Revision besteht jetzt schon &#196;nderungsbedarf. Ein Vergleich der verschiedenen Fassungen der DIVI-QI ist in Tabelle 1 <ImgLink imgNo="1" imgType="table"/> dargestellt.</Pgraph><Pgraph>Die zuk&#252;nftigen QI werden den gestiegenen Anspr&#252;chen an ihre eigene Qualit&#228;t gen&#252;gen m&#252;ssen. Daher plante die Nationale Steuerungsgruppe der DIVI, die Erarbeitung des zuk&#252;nftigen Entwicklungsprozesses methodisch durch das AWMF-IMWi begleiten zu lassen. Um eine angemessene Transparenz in diesem Zusammenhang zu gew&#228;hrleisten, soll dieses Methodenpapier dazu beitragen, den vorgesehenen Entwicklungsprozess zu beschreiben und gleichzeitig eine Diskussion anzusto&#223;en, die die abschlie&#223;ende Festlegung der &#252;berarbeiteten Methodik der neuen DIVI-QI unterst&#252;tzen soll. In diesem Beitrag wird bewusst nicht auf konkrete medizinische Inhalte einzelner Indikatoren eingegangen.</Pgraph></TextBlock> <TextBlock language="en" linked="yes" name="2 Methods"> <MainHeadline>2 Methods</MainHeadline><SubHeadline>2.1 Current development process of QI in intensive care in Germany </SubHeadline><Pgraph>The National Steering Committee Peer Review (NSPR) of the DIVI is responsible for the development of the QI. In a Delphi process, the medical societies united in the DIVI submit proposals for topics relevant to them, which are then evaluated in the NSPR. For the first development in 2010, the number of indicators was set at ten for reasons of practicability. In the development of the individual QI of the three previous versions, the criteria of the RUMBA system were applied (relevant, understandable, measurable, behaviorable, achievable) <TextLink reference="9"></TextLink>. Topics were evaluated based on the following factors:</Pgraph><Pgraph><OrderedList><ListItem level="1" levelPosition="1" numString="1.">frequency of the process,</ListItem><ListItem level="1" levelPosition="2" numString="2.">changeability of behavior,</ListItem><ListItem level="1" levelPosition="3" numString="3.">magnitude of the potential for improvement,</ListItem><ListItem level="1" levelPosition="4" numString="4.">(general) validity for all areas of adult intensive care.</ListItem></OrderedList></Pgraph><Pgraph>Another important factor was the available evidence. If applicable, the existence of external regulations had to be taken into account. Too many changes in the topics would impair the QI implementation within individual institutions, as implementation and testing of these indicators may be associated with time and personnel costs <TextLink reference="10"></TextLink>. When determining the formulas for indicators and their respective target values, they were primarily based on existing values in the literature. If no data were available, a decision was made by expert consensus in the NSPR. With regard to the target value, an achievement value of 70&#37; appeared to be reasonable on the basis of existing examples <TextLink reference="11"></TextLink>. Necessary revisions or modifications of the QI were based on feedback from the voluntary peer reviews that were part of intensive care unit (ICU) evaluations. Changes resulted from direct assessments of relevance or applicability <TextLink reference="12"></TextLink>. Furthermore, a potential change in the evidence basis was taken into account for a given QI. In addition, the aforementioned RUMBA rules remained the key evaluation tools. When new quality indicators were selected, the focus was mainly on the relevance of the topic in terms of the expected impact on patient outcome. The RUMBA system was also applied here (Figure 1 <ImgLink imgNo="1" imgType="figure"/>, Table 2 <ImgLink imgNo="2" imgType="table"/>). The evidence base for the indicator was then the focus of the second step, but the evidence was not formally evaluated. Possible sources of evidence were guidelines (GL), preferably valid for the German health care system and published by the AWMF &#8211; due to the structured method of their development <TextLink reference="13"></TextLink>. When estimating the reliability of evidence, we assumed the best evidence from S3 guidelines, followed by recommendations from S2e guidelines and S2k guidelines. In the absence of guidelines in the AWMF register, systematic reviews or international evidence-based GL were used as a source of evidence. Finally, when no formal evidence was found, expert consensus within the steering committee was used to determine a QI based on primary literature known to the experts. As a part of the methodological framework of the DIVI peer review process, the measurement of the QI was more a random check of selective evaluations with a small number of cases (one day, one ICU) available <TextLink reference="12"></TextLink>, <TextLink reference="14"></TextLink>. Operationalization in the sense of a quantitative survey outside this peer review process was not the primary intention of the DIVI indicators.</Pgraph><SubHeadline>2.2 Adaptation of the QI development process </SubHeadline><Pgraph>In the continuous development process of QI in intensive care, different aspects have to be considered. On the one hand, relevant literature for QI development shows that more diligent methodological criteria should be used in the development of QI <TextLink reference="5"></TextLink>, <TextLink reference="15"></TextLink>, <TextLink reference="16"></TextLink>. In addition to these methodological requirements, fundamental quality dimensions such as safety, effectiveness, patient focus, timel<TextGroup><PlainText>ines</PlainText></TextGroup>s, efficiency and equity should be considered as important focal points <TextLink reference="17"></TextLink>. The importance of QI in quality assurance has already been mentioned, as well as the potential for the unwelcome instrumentalization of the DIVI QI for reimbursement schemes in the DRG system (definition of intensive care treatment complexity), among other things <TextLink reference="7"></TextLink>. This goes beyond a strictly medical evaluation of processes in intensive care and needs to be addressed with improved methodological quality in their development. The development process used to date has been described in the publications on DIVI QI <TextLink reference="18"></TextLink>, <TextLink reference="19"></TextLink>. The further development is based on various relevant publications, i.e. existing manuals for guideline development <TextLink reference="4"></TextLink>, <TextLink reference="5"></TextLink> for German-speaking countries as well as the QUALIFY evaluation tool developed in recent years <TextLink reference="20"></TextLink>. These serve as the basis of criteria used in guideline manuals. This method of the future development process of the DIVI QI thus includes an explicit scientific evaluation process and also takes into account requirements for quality thesholds <TextLink reference="6"></TextLink>, <TextLink reference="16"></TextLink>. Similar to the development process of guidelines, the disclosure of conflicts of interest is also relevant in the process of QI development.</Pgraph><Pgraph>In the following sections, the steps for the development of the next edition of QI, which will be published in 2021, are described and presented for discussion. The evaluation of existing indicators, the development of new indicators including pilot testing, the definition of suitable key figures, and the cooperation in the development process will be addressed.</Pgraph><SubHeadline>2.3 Evaluation of the previous QI </SubHeadline><Pgraph>As a first step in the development of the next version of intensive care QI, evaluation criteria were defined, which are based on the QI evaluation instrument QUALIFY <TextLink reference="20"></TextLink>. They include the following aspects:</Pgraph><Pgraph><OrderedList><ListItem level="1" levelPosition="1" numString="1.">importance for the health care system&#47;potential for improvement,</ListItem><ListItem level="1" levelPosition="2" numString="2.">risks of undesirable effects, </ListItem><ListItem level="1" levelPosition="3" numString="3.">clarity of definition, </ListItem><ListItem level="1" levelPosition="4" numString="4.">evidence- and consensus-based (in guidelines),</ListItem><ListItem level="1" levelPosition="5" numString="5.">potential to be influenced by health care providers. </ListItem></OrderedList></Pgraph><Pgraph>These rules differ from the RUMBA system used to date (Table 2 <ImgLink imgNo="2" imgType="table"/>). The comparison with the QUALIFY criteria and the criteria modified for guideline development show that factors beyond applicability have to be taken into account. A suitable evidence base for indicator development is needed. Ideally, the use of the indicator itself has a positive effect on patient outcome <TextLink reference="21"></TextLink>, <TextLink reference="22"></TextLink>.</Pgraph><Pgraph>As described in section 2.1, the methodological basis for indicator modification was not rigidly defined. By applying the criteria listed in Table 2 <ImgLink imgNo="2" imgType="table"/>, a systematic approach has to be developed which allows a direct comparison of QI for a particular topic, or further assessment of QI results over longer periods of time <TextLink reference="20"></TextLink>. The review of the QI may lead to their confirmation, modification or withdrawal. Modifications may also affect the reference value or reference range of the indicator measure. The QUALIFY instrument is also suitable for making changes of a QI or its withdrawal transparent and comprehensible, e.g. if the evidence basis is not consistent or an alternative indicator is available for a specific topic <TextLink reference="5"></TextLink>.</Pgraph><SubHeadline>2.4 Development of new indicators</SubHeadline><Pgraph>First a review is carried out in the NSPR on the basis of proposals for new indicator topics from the medical societies that are members of the DIVI. Figure 1 <ImgLink imgNo="1" imgType="figure"/> and <TextGroup><PlainText>Figure 2 </PlainText></TextGroup><ImgLink imgNo="2" imgType="figure"/> show the steps of the indicator development. One important change is the focus on evidence-based criteria derived from the QUALIFY instrument. As shown in Table 2 <ImgLink imgNo="2" imgType="table"/>, there is a clear difference between the previous method using the RUMBA system and the new one. The new, more systematic evidence research will also include estimates of potential for improvement of a treatment process on patient outcome. We postulate that if there is a high level of evidence for process adherence and a demonstrable positive outcome, the level of indicator evidence is high (provided that the positive patient outcome is the endpoint of the reviewed evidence). The available evidence is assessed as described above (guidelines, systematic reviews, meaningful primary literature) and largely follows the GRADE system (Grading of Recommendations Assessment, Development and Evaluation) <TextLink reference="23"></TextLink>, <TextLink reference="24"></TextLink>.</Pgraph><Pgraph>Based on the strength of the evidence, the indicator strength will mainly be determined by consensus. This makes sense, since a high level of indicator evidence may still be available if there is an obvious correlation between process fulfilment and outcome (e.g. if no direct studies are possible) <TextLink reference="20"></TextLink>.</Pgraph><SubHeadline>2.5 Pilot testing</SubHeadline><Pgraph>It is desirable that the aspects mentioned in sections 2.3 and 2.4 are pilot tested before a newly developed QI is generally applied. The test focuses on acceptance (by the user) and methodological suitability, including proof of validity, statistical aspects and indicator evidence <TextLink reference="8"></TextLink>. The statistical requirements such as ability to discriminate between &#8220;good&#8221; and &#8220;poor&#8221; practice and sensitivity to change are discussed below. Due to the previous use of QI in the peer review process of the DIVI, the development of rate-based QI with numerator and denominator and adaption of calculation rules if required as well as statistical aspects have so far been secondary. Quantitative or qualitative assessments of individual indicators should be carried out (Figure 2 <ImgLink imgNo="2" imgType="figure"/>) for that purpose. This is also necessary to check quality requirements for indicator function, i.e. relevance for outcome measures. Pilot testing can be obtained from existing data records. This is further explained in the following section.</Pgraph><SubHeadline>2.6 Further development and use of suitable key figures</SubHeadline><Pgraph>The definition of key figures and reference values has so far been based on expert consensus within the NSPR and was based on the existing literature or known indicators. Reference ranges (upper and lower limit values) were determined in a similar way. In the future, determination of indicator key figures and their limits is a central aspect for the development and use of indicators. Two aspects will be essential in this context:</Pgraph><Pgraph><OrderedList><ListItem level="1" levelPosition="1" numString="1.">collection of valid data to be able to calculate indicators,</ListItem><ListItem level="1" levelPosition="2" numString="2.">evaluation of the indicators in relation to the established reference ranges.</ListItem></OrderedList></Pgraph><Pgraph>As mentioned in the previous section, these questions are of particular importance when assessing QI in test phases. As shown in Table 2 <ImgLink imgNo="2" imgType="table"/>, comprehensibly collected data are important in the implementation and application of QI in order to strengthen the credibility of the measurement results, e.g. within an institution <TextLink reference="10"></TextLink>, <TextLink reference="16"></TextLink>. When the indicators are applied across institutions, further requirements such as content validity are added <TextLink reference="6"></TextLink>, <TextLink reference="25"></TextLink>. Easily measurable indicators would facilitate their application in settings outside a peer review process. The automated collection of data for the calculation of key figures would be an important step in initiating and evaluating quality improvement measures within an institution and in quality assurance. Of note, the development of such key figures is also challenging from a statistical point of view, as it is difficult to verify accuracy or the scale level due to scarcely available empirical data. Therefore it is critical to show validity of measurement characteristics by pilot testing, and QI results have to be interpreted by methodological and clinical experts.</Pgraph><SubHeadline>2.7 Cooperation in indicator development</SubHeadline><Pgraph>In the future, the evaluated indicators should be actively shared with guideline development groups working on intensive care topics (Figure 2 <ImgLink imgNo="2" imgType="figure"/>). This should enable a faster and more efficient definition of the quality indicators for the use in guidelines relevant to intensive care medicine. In cooperation with the guideline developers under the auspices of the AWMF-IMWi, these QI will be evaluated and, if necessary, combined with GL recommendations. The adapted QUALIFY criteria will already be applied in the guideline groups. In the future, guideline developers will be able to share relevant new evidence or derived GL recommendations to the NSPR of the DIVI. Furthermore, new GL recommendations that are based on new evidence and might lead to new indicators or new topics relevant for QI development might be shared with the NSPR. Overall, this exchange between the NSPR and guideline development groups will result in synergy effects. It results in synergy effects which both sides will benefit from in the future. The guideline development groups should also examine the extent to which health care data generated by the use of the established indicators can be used in the development and evaluation of future indicators.</Pgraph></TextBlock> <TextBlock language="de" linked="yes" name="2 Methode"> <MainHeadline>2 Methode</MainHeadline><SubHeadline>2.1 Der bisherige Entwicklungsprozess der intensivmedizinischen QI in Deutschland</SubHeadline><Pgraph>Die Entwicklung der QI obliegt der Nationalen Steuerungsgruppe Peer Review (NSPR) der DIVI. Dabei haben die in der DIVI zusammengeschlossenen Fachgesellschaften in einem Delphi-Verfahren Gelegenheit, f&#252;r sie relevante Themenvorschl&#228;ge vorzulegen, die dann in der NSPR gepr&#252;ft wurden. Bei der ersten Entwicklung 2010 wurde die Zahl der Indikatoren aus Gr&#252;nden der Praktikabilit&#228;t auf zehn festgelegt. Bei der Entwicklung der einzelnen QI der bisherigen drei Versionen wurden die Kriterien der RUMBA-Systematik angewandt (relevant, verst&#228;ndlich, messbar, &#228;nderbar, erreichbar) <TextLink reference="9"></TextLink>. Dabei wurden Themen anhand der folgenden Faktoren ber&#252;cksichtigt:</Pgraph><Pgraph><OrderedList><ListItem level="1" levelPosition="1" numString="1.">H&#228;ufigkeit des Prozesses,</ListItem><ListItem level="1" levelPosition="2" numString="2.">&#196;nderbarkeit des Verhaltens,</ListItem><ListItem level="1" levelPosition="3" numString="3.">Gr&#246;&#223;enordnung des Verbesserungspotenzials und</ListItem><ListItem level="1" levelPosition="4" numString="4.">(Allgemein-)G&#252;ltigkeit f&#252;r alle Bereiche der Erwachsenen-Intensivmedizin.</ListItem></OrderedList></Pgraph><Pgraph>Daneben war ein weiterer wesentlicher Faktor die vorliegende Evidenz. Gegebenenfalls musste das Vorliegen externer Regelungen ber&#252;cksichtigt werden. Eine zu h&#228;ufige &#196;nderung der Themen w&#228;re f&#252;r die Implementierung der QI innerhalb der einzelnen Einrichtungen hinderlich, da die Umsetzung und die Pr&#252;fung der Indikatoren mit zeitlichem und personellem Aufwand verbunden ist <TextLink reference="10"></TextLink>.</Pgraph><Pgraph>Bei der Festlegung der Formeln f&#252;r die Kennzahlen und deren Zielwerte wurden prim&#228;r durch Literatur belegte Ergebnisse bewertet, sofern vorhanden. Falls keine Daten verf&#252;gbar waren, wurde im Expertenkonsens der NSPR entschieden. In Bezug auf den Referenzbereich eines Zielwertes erschien anhand vorliegender Beispiele ein Erreichungswert von 70&#37; prinzipiell sinnvoll <TextLink reference="11"></TextLink>.</Pgraph><Pgraph>Bei den Revisionen der QI waren Kriterien zu deren &#196;nderung R&#252;ckmeldungen aus den Peer Reviews. &#196;nderungen ergaben sich hierbei aus unmittelbaren Bewertungen ihrer Relevanz und Anwendbarkeit <TextLink reference="12"></TextLink>. Weiterhin war eine &#196;nderung der Evidenz f&#252;r den einzelnen QI relevant. Daneben blieben die genannten Faktoren der RUMBA-Regeln g&#252;ltig.</Pgraph><Pgraph>Bei der Auswahl neuer Qualit&#228;tsindikatoren stand zun&#228;chst die Relevanz des Themas im Sinne des erwarteten Einflusses auf das Patienten-Outcome im Vordergrund. Auch hierbei wurde die RUMBA-Regel angewandt (Abbildung 1 <ImgLink imgNo="1" imgType="figure"/>, Tabelle 2 <ImgLink imgNo="2" imgType="table"/>). Die Evidenzbasis f&#252;r den Indikator war dann im zweiten Schritt im Fokus, diese wurde aber nicht formal bewertet.</Pgraph><Pgraph>M&#246;gliche Quellen der Evidenz waren Leitlinien (LL), bevorzugt f&#252;r den deutschen Versorgungskontext g&#252;ltige und &#252;ber das AWMF-Leitlinienregister publizierte, aufgrund der strukturierten Erstellungsmethodik <TextLink reference="13"></TextLink>. Bei der Einsch&#228;tzung der Aussagesicherheit der Evidenz nahmen wir die beste Evidenz f&#252;r S3-Leitlinien an, gefolgt von Empfehlungen aus S2e-Leitlinien und S2k-Leitlinien. Falls keine LL im AWMF-Register vorhanden waren, wurden neben internationalen evidenzbasierten LL systematische Reviews als Evidenzquelle genutzt. Schlie&#223;lich war in der QI-Findung auch der Expertenkonsens innerhalb der Steuerungsgruppe notwendig und sinnvoll, der auf Basis von Prim&#228;rliteratur gefunden wurde, die den Experten bekannt war.</Pgraph><Pgraph>Die Messbarkeit der QI wurde bei der Entwicklung im methodischen Rahmen des DIVI-Peer-Review-Verfahrens eher als stichprobenhafte &#220;berpr&#252;fung gesehen, wobei in der Routine nur punktuelle Bewertungen an kleinen Fallzahlen (ein Tag, eine Station) vorlagen <TextLink reference="12"></TextLink>, <TextLink reference="14"></TextLink>. Eine Operationalisierung im Sinne einer umfassenden quantitativen Erhebung au&#223;erhalb der Peer Reviews war nicht prim&#228;re Intention der DIVI-Indikatoren.</Pgraph><SubHeadline>2.2 Anpassung des QI-Entwicklungsprozesses</SubHeadline><Pgraph>Bei der Weiter- bzw. Neuentwicklung der intensivmedizinischen QI m&#252;ssen unterschiedliche Aspekte ber&#252;cksichtigt werden. Zum einen zeigt die relevante Literatur, dass bei der Entwicklung von QI differenziertere methodische Kriterien genutzt werden sollten <TextLink reference="5"></TextLink>, <TextLink reference="15"></TextLink>, <TextLink reference="16"></TextLink>. Dabei sollten neben den methodischen Anforderungen auch die grundlegenden Qualit&#228;tsdimensionen wie Sicherheit, Effektivit&#228;t, Patientenzentrierung, Zeitn&#228;he, Effizienz und Gleichbehandlung beachtet werden <TextLink reference="17"></TextLink>. Die Bedeutung der QI in der externen Qualit&#228;tssicherung sowie die ungewollte Instrumentalisierung der DIVI-QI u.a. zur Kl&#228;rung von Sachverhalten bei der Erl&#246;ssicherung im DRG-System (Definition der aufw&#228;ndigen intensivmedizinisch<TextGroup><PlainText>en K</PlainText></TextGroup>omplexbehandlung) wurde bereits dargestellt <TextLink reference="7"></TextLink>.</Pgraph><Pgraph>Diese auch &#252;ber eine rein medizinische Bewertung von intensivmedizinischen Prozessen hinausgehende Bedeutung macht es notwendig, mit besserer methodischer Qualit&#228;t bei ihrer Entwicklung zu reagieren. Das bisherige Entwicklungsverfahren ist in den Publikationen zu den DIVI-QI dargestellt worden <TextLink reference="18"></TextLink>, <TextLink reference="19"></TextLink>. Bei der Weiterentwicklung des Verfahrens wird im Folgenden auf verschiedene relevante Publikationen Bezug genommen. Dabei sind f&#252;r den deutschsprachigen Raum existierende Leitlinienmanuale <TextLink reference="4"></TextLink>, <TextLink reference="5"></TextLink> ebenso genutzt worden wie in den letzten Jahren entwickelte Bewertungswerkzeuge wie QUALIFY <TextLink reference="20"></TextLink>, das Grundlage der Kriterien f&#252;r die zitierten Leitlinienmanuale ist, und andere. &#196;hnlich zu dem Entwicklungsprozess von Leitlinien ist auch im Prozess der QI-Entwicklung die Offenlegung von Interessenkonflikten relevant.</Pgraph><Pgraph>Diese aktualisierte methodische Beschreibung eines Entwicklungsverfahrens der zuk&#252;nftigen DIVI-QI beinhaltet somit einen expliziten wissenschaftlichen Evaluationsprozess und ber&#252;cksichtigt dar&#252;ber hinaus Messanforderungen an Kennzahlen <TextLink reference="6"></TextLink>, <TextLink reference="16"></TextLink>. In den folgenden Abschnitten werden die geplanten methodischen Schritte f&#252;r die Entwicklung der f&#252;r 2021 erneut zur Publikation vorgesehenen Indikatoren beschrieben und zur Diskussion gestellt. Dabei wird auf die Bewertung bestehender Indikatoren, deren Neuentwicklung inklusive Pilotierung, die Definition geeigneter Kennzahlen und die Kooperation bei der Entwicklung eingegangen.</Pgraph><SubHeadline>2.3 Bewertung der bisherigen QI</SubHeadline><Pgraph>Als erster Schritt bei der Erarbeitung der n&#228;chsten Version der intensivmedizinischen QI wurden Bewertungskriterien festgelegt, die dem QI-Bewertungsinstrument QUALIFY entnommen sind <TextLink reference="20"></TextLink> und die folgenden Aspekte umfassen:</Pgraph><Pgraph><OrderedList><ListItem level="1" levelPosition="1" numString="1.">Bedeutung f&#252;r das Versorgungssystem&#47;Verbesserungspotenzial,</ListItem><ListItem level="1" levelPosition="2" numString="2.">Risiken f&#252;r unerw&#252;nschte Wirkungen,</ListItem><ListItem level="1" levelPosition="3" numString="3.">Klarheit der Definition,</ListItem><ListItem level="1" levelPosition="4" numString="4.">Evidenz- und Konsensbasierung (in Leitlinien),</ListItem><ListItem level="1" levelPosition="5" numString="5.">Beeinflussbarkeit durch die beurteilten Leistungserbringer.</ListItem></OrderedList></Pgraph><Pgraph>Diese Regeln unterscheiden sich von der bislang genutzten RUMBA-Systematik (Tabelle 2 <ImgLink imgNo="2" imgType="table"/>). Der Vergleich mit den QUALIFY-Kriterien und den f&#252;r die Leitlinienentwicklung modifizierten Kriterien zeigt, dass dabei &#252;ber die Anwendbarkeit hinausgehende Faktoren bedacht werden. Es wird eine geeignete Evidenzbasis bei der Indikatorentwicklung gefordert. Idealerweise bedeutet das, dass es durch den Einsatz des Indikators zu einem positiven Outcome-Effekt kommt <TextLink reference="21"></TextLink>, <TextLink reference="22"></TextLink>.</Pgraph><Pgraph>Wie in Abschnitt 2.1 dargestellt, waren die methodischen Grundlagen der Indikator&#228;nderung nicht starr festgelegt. Unter Anwendung der in Tabelle 2 <ImgLink imgNo="2" imgType="table"/> genannten Kriterien ergibt sich jetzt eine Systematik, die eine weitere Bewertung der QI im Vergleich auch &#252;ber die Zeit erm&#246;glicht <TextLink reference="20"></TextLink>. Das Ergebnis der &#220;berpr&#252;fung kann die Best&#228;tigung, Modifizierung oder Streichung eines Indikators sein, wobei &#196;nderungen z.B. auch den Referenzwert oder -bereich der Indikatorkennzahl betreffen k&#246;nnen. Das QUALIFY-Instrument kann auch genutzt werden, um &#196;nderungen oder Streichungen von QI transparent und nachvollziehbar machen, z.B. wenn die Evidenzlage zu uneinheitlich ist oder alternative Indikatoren f&#252;r das Thema zur Verf&#252;gung stehen <TextLink reference="5"></TextLink>.</Pgraph><SubHeadline>2.4 Neuentwicklung von Indikatoren</SubHeadline><Pgraph>Bei der Neuentwicklung wird in der NSPR auf der Basis von Vorschl&#228;gen zu neuen Indikatorthemen aus den in der DIVI zusammengeschlossenen Fachgesellschaften eine Themenpr&#252;fung durchgef&#252;hrt. In Abbildung 1 <ImgLink imgNo="1" imgType="figure"/> und Abbildung 2 <ImgLink imgNo="2" imgType="figure"/> sind die Schritte der Indikatorentwicklung dargestellt. Eine Ver&#228;nderung ist die aus der QUALIFY-Systematik abgeleitete Fokussierung auf das Kriterium Evidenzbasierung. Wie in Tabelle 2 <ImgLink imgNo="2" imgType="table"/> dargestellt, zeigt sich hier ein klarer Unterschied zwischen der bisherigen Methode und dem neuen Verfahren. Diese st&#228;rker systematisierte Evidenzbasierung beinhaltet dabei zus&#228;tzlich das Absch&#228;tzen von Verbesserungspotenzialen eines Prozesses auf das Patienten-Outcome, wobei postuliert wird, dass bei Vorliegen hoher Evidenzst&#228;rke f&#252;r Prozessadh&#228;renz und nachweislichem positivem Outcome auch eine hohe Indikatorevidenz besteht (sofern das positive Patienten-Outcome Endpunkt der Evidenzbasis ist). Die vorliegende Evidenz wird dabei wie in der oben beschriebenen Abstufung abgesch&#228;tzt (Leitlinien, systematische Reviews, aussagef&#228;hige Prim&#228;rliteratur) und folgt dabei weitgehend der GRADE-Systematik (Grading of Recommendations Assessment, Development and Evaluation) <TextLink reference="23"></TextLink>, <TextLink reference="24"></TextLink>. Auf Basis der Evidenzst&#228;rke wird dann die I<TextGroup><PlainText>ndikatorst&#228;r</PlainText></TextGroup>ke im Konsens festgelegt. Dies ist sinnvoll, da bei offensichtlichen Zusammenh&#228;ngen zwischen Prozesserf&#252;llung und Outc<TextGroup><PlainText>ome (wenn z.B. kei</PlainText></TextGroup>ne Studien m&#246;glich sind) dennoch eine hohe Indikatorevidenz vorliegen ka<TextGroup><PlainText>nn </PlainText></TextGroup><TextLink reference="20"></TextLink>.</Pgraph><SubHeadline>2.5 Pilotierung</SubHeadline><Pgraph>Grunds&#228;tzlich ist bei der Neuentwicklung von QI zu w&#252;nschen, dass vor ihrer generellen Anwendung im Sinne eines Probelaufs die in Abschnitt 2.3 und 2.4 genannten Aspekte getestet werden. Im Fokus stehen dabei Pr&#252;fung auf Akzeptanz (vor allem der Anwender) und methodische Eignung inkl. Nachweis der Validit&#228;t, statistische Aspekte und Indikatorevidenz. Validit&#228;t bezieht sich hierbei wesentlich auf die Inhaltsvalidit&#228;t. In den bisherigen QI ist diese nicht formalisiert gepr&#252;ft worden, allerdings ist diese, da haupts&#228;chlich Prozessindikatoren genutzt w<TextGroup><PlainText>erde</PlainText></TextGroup>n, sehr wahrscheinlich <TextLink reference="8"></TextLink>. Die Anforderungen an statistische Aspekte wie Diskriminierungsf&#228;higkeit und &#196;nderungssensitivit&#228;t werden in der Diskussion vertieft behandelt. Durch die bisherige Anwendung der QI im Peer-Review-Verfahren sind verh&#228;ltnisbasierte QI (mathematische Formel inkl. Z&#228;hler und Nenner) und ggf. eine Anpassung der Berechnungsregeln ebenso wie statistische Aspekte bisher eher nachrangig gewesen. Prinzipiell lie&#223;en sich aus vorhandenen Datens&#228;tzen solche Nachweise f&#252;hren. Anzustreben sind quantitative oder qualitative Bewertungen zu einzelnen Indikatoren (<TextGroup><PlainText>Abbildung 2 </PlainText></TextGroup><ImgLink imgNo="2" imgType="figure"/>). Dies ist notwendig, um auch Qualit&#228;tsanforderungen an die Funktion der Indikatoren zu pr&#252;fen, d.h. relevant f&#252;r das Behandlungsergebnis. Weitere Erl&#228;uterungen dazu sind im Folgeabschnitt beschrieben.</Pgraph><SubHeadline>2.6 Weiterentwicklung und Nutzung geeigneter Messgr&#246;&#223;en</SubHeadline><Pgraph>Die Festlegung von Messgr&#246;&#223;e und Referenzwert ist bislang im Expertenkonsens innerhalb der NSPR erfolgt und orientierte sich soweit m&#246;glich an vorhandener bzw. bekannter Literatur oder an bekannten Qualit&#228;tsindikatoren. Ebenso wurde mit den Referenzbereichen (obere und untere Grenzwerte) verfahren.</Pgraph><Pgraph>Zuk&#252;nftig wird die Festlegung geeigneter Kennzahlend<TextGroup><PlainText>efinition</PlainText></TextGroup>en und ihrer Grenzwerte von zentraler Bedeutung bei der Entwicklung und Nutzung von Indikatoren sein. Dabei werden zwei Aspekte wesentlich sein:</Pgraph><Pgraph><OrderedList><ListItem level="1" levelPosition="1" numString="1.">Erhebung valider Daten zu Berechnung der Kennzahlen,</ListItem><ListItem level="1" levelPosition="2" numString="2.">Bewertung der Kennzahlen bez&#252;glich der festgelegten Referenzbereiche. </ListItem></OrderedList></Pgraph><Pgraph>Wie im vorherigen Abschnitt angesprochen, sind gerade diese Fragen bei der Bewertung von QI im Rahmen von Pilotierungsphasen von Bedeutung.</Pgraph><Pgraph>Wie in Tabelle 2 <ImgLink imgNo="2" imgType="table"/> dargestellt, sind nachvollziehbar erhobene Daten bei der Implementierung und Anwendung von QI wichtig, um die Glaubw&#252;rdigkeit der Messergebnisse z.B. innerhalb einer Einrichtung zu st&#228;rken <TextLink reference="10"></TextLink>, <TextLink reference="16"></TextLink>.</Pgraph><Pgraph>Wenn die Indikatoren einrichtungs&#252;bergreifende Bedeutung erlangen, kommen weitere Anforderungen wie Inhaltsvalidit&#228;t hinzu <TextLink reference="6"></TextLink>, <TextLink reference="25"></TextLink>. Einfach messbare Kennzahlen w&#252;rden die Nutzung von QI in Settings au&#223;erhalb des Peer-Review-Verfahrens erleichtern. Die automatisierte Erfassung von Daten zur Berechnung von Messgr&#246;&#223;en w&#228;re ein wichtiger Schritt, um innerhalb einer Einrichtung und im externen Vergleich qualit&#228;tsverbessernde Ma&#223;nahmen zu initiieren und zu evaluieren. Es gilt, dass die Entwicklung solcher Kennzahlen aus statistischer Sicht eine Herausforderung ist, da die &#220;berpr&#252;fung der Messgenauigkeit oder des Skalenniveaus aufgrund kaum vorliegender empirischer Daten schwierig ist. Um die V<TextGroup><PlainText>alidit</PlainText></TextGroup>&#228;t der Messeigenschaften nachzuweisen, sind P<TextGroup><PlainText>ilottestu</PlainText></TextGroup>ngen unerl&#228;sslich und jedes QI-Ergebnis muss mit methodischer und klinischer Expertise interpretiert werden.</Pgraph><SubHeadline>2.7 Kooperation bei der Indikatorentwicklung</SubHeadline><Pgraph>K&#252;nftig sollen die bewerteten Indikatoren aktiv den Leitliniengruppen, die intensivmedizinische Themen bearbeiten, zur Verf&#252;gung gestellt werden (Abbildung 2 <ImgLink imgNo="2" imgType="figure"/>). Dies soll gerade f&#252;r diese intensivmedizinischen Versorgungsaspekte eine schnellere und effizientere Festlegung von Qualit&#228;tsindikatoren f&#252;r intensivmedizinisch relevante Leitlinien im Register der AWMF erm&#246;glichen. In Kooperation mit den Leitlinienerstellern unter dem Dach der AWMF sollen diese QI gepr&#252;ft und ggf. mit (weiteren) L<TextGroup><PlainText>L-Empf</PlainText></TextGroup>ehlungen hinterlegt werden. Dabei werden bereits in den Leitliniengruppen die adaptierten QUALIFY- Kriterien angewandt. Ebenfalls besteht k&#252;nftig f&#252;r Leitlinienersteller die M&#246;glichkeit, relevante neue Evidenz bzw. d<TextGroup><PlainText>arau</PlainText></TextGroup>f fu&#223;ende neue relevante Empfehlungen anzuzeigen und diese der NSPR der DIVI als neue Themen f&#252;r QI vorzuschlagen, wenn f&#252;r die adressierten Inhalte Versorgungsprobleme wahrgenommen werden. Insgesamt ist ein Austausch zwischen der NSPR der DIVI und den Gruppen, die intensivmedizinisch relevante Leitlinien e<TextGroup><PlainText>rstell</PlainText></TextGroup>en, sinnvoll. In diesem Rahmen ergeben sich Syn<TextGroup><PlainText>ergieeffekt</PlainText></TextGroup>e, bei der beide Seiten von der bisherigen Entwicklungsarbeit der anderen profitieren. Dabei ist auch in den Leitliniengruppen zu pr&#252;fen, inwieweit Versorgungsdaten, die z.B. bei der Nutzung der bisher festgelegten Indikatoren anfallen, bei der Indikatorentwicklung un<TextGroup><PlainText>d -b</PlainText></TextGroup>ewertung herangezogen werden k&#246;nnen.</Pgraph></TextBlock> <TextBlock language="en" linked="yes" name="3 Results"> <MainHeadline>3 Results</MainHeadline><Pgraph>The development and use of quality indicators aims to improve treatment processes and patient outcome. The QI for intensive care medicine of the DIVI meet these requirements. However, as is presented in this paper, there is potential for improvement in the development of the QI in some areas. These relate to the evidence basis of the QI at the patient level and the health care system level and also their definite operationalization to enable broad application. A considerable number of intensive care QI exist worldwide <TextLink reference="26"></TextLink>. Their most common feature is to evaluate important treatment processes in intensive care. However, there are no methodological standards for their development or their application <TextLink reference="27"></TextLink>. One main reason for this are context factors which have be taken into account when applying QI. This also applies to the intensive care quality indicators of DIVI, which were developed from the voluntary intensive care peer review process in order to identify potential for improvement in treatment processes on single sites in Germany.</Pgraph><SubHeadline>3.1 Evidence-based approach</SubHeadline><Pgraph>The postulated &#8220;lack of evidence basis&#8221; of QI mentioned in this paper is not intended to discredit the QI developed so far, but to emphasize that the transfer of guideline recommendations into QI is a very complex issue and should therefore be done in a structured and comprehensible way. The following general rule applies: The higher the published evidence for the implementation of a treatment process, the stronger is the evidence for the use of an indicator that evaluates this process. This basically refers to the strength of evidence, especially of guideline recommendations, where this basic principle is based on evaluation criteria from the GRADE system such as inaccuracy, indirectness and inconsistency, as well as others. The evaluation of GL according to the GRADE system cannot be applied directly to QI. However, the described assessment criteria for the transferability of study results into actual treatment recommendations can have an influence on the QI, since GL are the basis of the QI as described, and problems with study safety (&#61;certainty) affect the QI <TextLink reference="28"></TextLink>, <TextLink reference="29"></TextLink>. It may be possible that studies are not feasible for certain aspects of care, in which case the indicator may still be useful and effective <TextLink reference="15"></TextLink>. The selection of indicator topics for intensive care QI has not been based on the best evidence yet. It followed the approach of the DIVI NSPR described above on the basis of perceived quality deficits in daily patient care. A combination of the two strategies seems to make sense. In order to improve transparency and traceability of the development strategy, this must be justified and documented in a structured way as described by the QUALIFY method. There are various examples of the application of the QUALIFY method in the German-speaking countries for the preparation and assessment of QI <TextLink reference="30"></TextLink>, <TextLink reference="31"></TextLink>.</Pgraph><SubHeadline>3.2 Operationalization </SubHeadline><Pgraph>In Germany, the possibility of standardized data collection, ideally in a digital format, is not available across the country. For this reason, local measurability must currently be considered when developing indicators. The process indicators of the DIVI are well suited for this. However, in order to meet important statistical requirements for a broader application of QI, it is necessary to obtain sufficient data volumes. Here, the opportunities offered by digitalization must be used consistently. In a next step, questions of the statistical evaluability have to be focused on: the question of content validity &#8211; that the QI actually measures what it is intended for &#8211;, the ability to discriminate between institutions, and the sensitivity to measure change over time, e.g. to detect improvements or failure to improve. Finally, the data have to be consistent enough to evaluate an outcome effect of the indicator in use, since this effect should be as large as possible. The sufficient amount of data can only be collected through the broad implementation of patient data management systems (PDMS) in all ICUs. This would enable low-cost data collection and cross-sectoral data collection on patient-centred outcome parameters <TextLink reference="7"></TextLink>, <TextLink reference="32"></TextLink>. However, as long as the technical prerequisites for recording these data are not in place, intersectoral indicators cannot be measured either <TextLink reference="33"></TextLink>. In the long term, a comparison of institutions also on the basis of process indicators is a worthwhile goal. It seems re<TextGroup><PlainText>asonable to stri</PlainText></TextGroup>ve for these comparisons as well, if possible.</Pgraph><SubHeadline>3.3 Outcome benefits of quality indicators</SubHeadline><Pgraph>When a QI is implemented, it is necessary to evaluate whether the chosen indicator is reliable and valid, and whether its measurement can initiate a process of change within an institution or system, and how this is presented. Benefit assessments of QI have to state whether the conclusions drawn from the QI evaluation are reliable enough to prove a change in processes. For the use of QI &#8211; at least in intensive care medicine &#8211; a positive influence through the use of indicators on patient outcome has not been proven yet. It is also not known if QI can have a negative impact on patient outcome. For example, the application of sedation pauses, as is recommended, might increase the rate of self-extubation, which in itself might pose a risk to the patient. Valid data on this question do not exist. Therefore, a formal risk assessment should be integrated into the QI development process whenever possible. If necessary, an indicator must be withdrawn or amended in such a case.</Pgraph><Pgraph>The type of indicator used also plays a role in the benefit assessment. In intensive care, there are some arguments in favor of using process indicators, as they are easy to measure and do not require risk adjustment for disease severity. However, in the literature some indicators are referred to as &#8220;process indicators&#8221; even if they query a result, e.g. rate of ventilator-associated pneumonia (VAP) as an indicator of appropriate hand hygiene <TextLink reference="27"></TextLink>. This would mean that the VAP rate is exclusively or substantially influenced by the process hygiene behavior, which might not be true <TextLink reference="34"></TextLink>. There is also a difference in measurement of process adherence, i.e. the process itself is recorded (example: regular measurement of a delirium score), or a key figure for process adherence (here: number of measurements in a defined period of time) is measured. No formal assessment of this has been examined for an effect on patient outcome. The need to prove an outcome benefit of process indicators should be examined carefully. If the underlying evidence shows a direct and strong correlation of process and outcome, the effort to show this benefit might not be necessary. Otherwise, to proof the usefulness of a process QI with regard to outcome is relevant, and there should be a scientific concept of how to define and measure this outcome effect.</Pgraph><Pgraph>For the quality dimensions proposed by Donabedian, not only process indicators are considered useful to evaluate a quality problem, but also structure and outcome indicators <TextLink reference="35"></TextLink>. In the DIVI QI, the existence of a process standard, i.e. a structure indicator, may be required in association with a process indicator. The definition of evidence-based structural indicators is certainly difficult in most cases, as they are often based on experience or tradition, rather than on comparative studies. They can sometimes only be defined by expert consensus <TextLink reference="36"></TextLink>. In principle, a process can be performed well even without a standard in place. A process evaluation would then indicate whether standards are followed in daily routine. Outcome indicators are used, for example, in cross-institutional benchmarking. One problem of their application is the need for risk adjustment due to heterogeneous patient groups. Outcome indicators are also only of limited value when evaluating the implementation of a process. In case of a deviation from the reference value of the indicator, processes have to be examined in retrospect. Nevertheless, comparisons of institutions tend to use outcome indicators due to better data availability. Other outcome indicators, such as mortality &#8211; even if they are standardized for risk factors (SMR) &#8211; are not able to record actual process adherence <TextLink reference="37"></TextLink>. In addition, such indicators are at best only able to measure undesirable developments after longer periods of time (e.g. months), which may be due to incorrectly implemented processes or the failure to meet structural requirements <TextLink reference="38"></TextLink>. However, the measure is slow and may tend to miss relevant quality problems.</Pgraph></TextBlock> <TextBlock language="de" linked="yes" name="3 Ergebnisse"> <MainHeadline>3 Ergebnisse</MainHeadline><Pgraph>Die Entwicklung und Nutzung von Qualit&#228;tsindikatoren hat das Ziel, Behandlungsprozesse im Sinne des Patienten-Outcome zu verbessern. Diesen Anforderungen gen&#252;gen die intensivmedizinischen QI der DIVI, dennoch sind in einigen Bereichen Verbesserungspotenziale bei der Erstellung der QI in dieser Arbeit dargestellt. Diese beziehen sich auf die Evidenzbasierung der QI auf Patientenebene und auf Systemebene sowie ihre eindeutige Operationalisierung, um eine breite Anwendung zu erm&#246;glichen.</Pgraph><Pgraph>Weltweit existiert eine Vielzahl intensivmedizinischer QI <TextLink reference="26"></TextLink>. Ihnen ist gemein, dass sie wichtige Behandlungsprozesse abbilden. Allerdings gibt es weder f&#252;r ihre Erstellung noch f&#252;r ihre Anwendung einheitliche methodische Standards <TextLink reference="27"></TextLink>. Dies liegt u.a. daran, dass bei der QI-A<TextGroup><PlainText>nwendun</PlainText></TextGroup>g auch immer Kontextfaktoren zu ber&#252;cksichtigen sind. Dies gilt f&#252;r die intensivmedizinischen Qualit&#228;tsindikatoren der DIVI, die aus der Anwendung im intensivm<TextGroup><PlainText>edizinisch</PlainText></TextGroup>en Peer Review entstanden sind, um vor Ort Verbesserungspotenziale in Behandlungsprozessen zu identifizieren. </Pgraph><SubHeadline>3.1 Evidenzbasierung</SubHeadline><Pgraph>Der Begriff Evidenzbasierung in dieser Arbeit soll nicht die bisher entwickelten QI diskreditieren, sondern aufzeigen, dass die &#220;berf&#252;hrung von Leitlinienempfehlungen in QI komplex ist und soweit m&#246;glich strukturiert und nachvollziehbar erfolgen soll. Es gilt: Je h&#246;herwertiger die publizierte Evidenz f&#252;r die Durchf&#252;hrung eines Behandlungsprozesses ist, desto st&#228;rker ist die Evidenz f&#252;r die Anwendung eines Indikators, der den Prozess evaluiert. Damit ist im Grunde die Evidenzst&#228;rke v.a. von Leitlinienempfehlungen gemeint, bei denen dieses Grundprinzip anhand der Bewertung von Kriterien wie Ungenauigkeit, Indirektheit und Inkonsistenz erfolgt. Diese in der GRADE-Systematik abgebildete Bewertung von Evidenz f&#252;r Leitlinien kann nicht direkt auf QI angewandt werden. Die beschriebenen Bewertungskriterien der &#220;bertragbarkeit von Studienergebnissen in konkrete Behandlungsempfehlungen k&#246;nnen aber auf die QI Einfluss haben, da LL wie dargestellt die Basis der QI sind, und da sich Probleme bei der Studiensicherheit (&#61;certainty) auf die QI auswirken <TextLink reference="28"></TextLink>, <TextLink reference="29"></TextLink>. Es kann auch m&#246;glich sein, dass f&#252;r bestimmte Versorgungsaspekte keine Studien durchf&#252;hrbar sind; dann kann der Indikator dennoch sinnvoll und effektiv sein <TextLink reference="15"></TextLink>. Die Auswahl der Indikatorthemen der intensivmedizinischen QI wird bislang nicht anhand der besten Evidenzst&#228;rke vorgenommen. Sie folgte der eingangs dargestellten Vorgehensweise der NSPR der DIVI anhand wahrgenommener defizit&#228;rer Versorgungsaspekte. Eine Kombination der beiden Strategien erscheint augenscheinlich sinnvoll. Zur Verbesserung von Transparenz und Nachvollziehbarkeit der Entwicklungsstrategie muss die<TextGroup><PlainText>s i</PlainText></TextGroup>n einer strukturierten Weise begr&#252;ndet und dokumentiert werden, wie es die QUALIFY-Methode beschreibt. F&#252;r die Anwendung der QUALIFY-Methode gibt es f&#252;r den deutschsprachigen Raum diverse Beispiele bei der QI-Erstellung und -Bewertung <TextLink reference="30"></TextLink>, <TextLink reference="31"></TextLink>.</Pgraph><SubHeadline>3.2 Operationalisierung</SubHeadline><Pgraph>In Deutschland ist die M&#246;glichkeit der standardisierten Datenerfassung, idealerweise in digitaler Form, nicht fl&#228;chendeckend gegeben. Daher muss momentan bei der Indikatorentwicklung die lokale Messbarkeit ber&#252;cksichtigt sein. Die Prozessindikatoren der DIVI sind hierf&#252;r gut geeignet. Um wichtige statistische Anforderungen an QI zu erf&#252;llen, ist das Vorhalten ausreichender Datenmengen notwendig. Hier m&#252;ssen die Chancen der Digitalisierung konsequent genutzt werden. Danach spielen Fragen der statistischen Auswertbarkeit eine Rolle: die Frage nach Inhaltsvalidit&#228;t &#8211; dass der QI tats&#228;chlich misst, wof&#252;r er vorgesehen ist &#8211;, Diskriminationsf&#228;higkeit zwischen den Einrichtungen und die &#196;nderungssensivit&#228;t &#252;ber die Zeit, um z.B. Verbesserungen detektieren zu k&#246;nnen. Schlie&#223;lich muss ein Outcome-Effekt der Indikatornutzung m&#246;glichst bewertet werden k&#246;nnen, da dieser m&#246;glichst gro&#223; sein soll.</Pgraph><Pgraph>Die ausreichende Datenmenge kann erst durch die fl&#228;chendeckende Anwendung von Patientendatenmanagementsystemen (PDMS) erhoben werden. Erst dies w&#252;rde eine aufwandsarme Datenerfassung und auch sektoren&#252;bergreifende Datensammlung zu patientenzentrierten Outcome-Parametern f&#252;r die Intensivmedizin erm&#246;glichen <TextLink reference="7"></TextLink>, <TextLink reference="32"></TextLink>. Ans&#228;tze intersektoraler Indikatoren existieren, aber solange technische Voraussetzungen f&#252;r die Erfassung nicht gegeben sind, k&#246;nnen sie nicht fl&#228;chend<TextGroup><PlainText>ecke</PlainText></TextGroup>nd angewandt werden <TextLink reference="33"></TextLink>.</Pgraph><Pgraph>Es bleibt abzuwarten, ob die Evaluation von Prozessindikatoren z.B. durch digitale Datenerfassung einen Einrichtungsvergleich erm&#246;glicht, wie es aktuell nur durch Ergebnisindikatoren im Rahmen der externen Qualit&#228;tssicherung geschieht. Es erscheint sinnvoll, solche Vergleiche wenn m&#246;glich anzustreben. </Pgraph><SubHeadline>3.3 Nutzennachweis der Qualit&#228;tsindikatoren </SubHeadline><Pgraph>Bei der Bewertung anzuwendender QI muss der Frage nachgegangen werden, ob die gew&#228;hlte Kennzahl reliabel und valide ist, ob deren Messung und Evaluation einen Ver&#228;nderungsprozess innerhalb einer Einrichtung oder eines Systems in Gang setzen kann, und wie dies belegt wird. Es muss bei der Nutzenbewertung von QI gefragt werden, ob die Aussagen des QI-Ergebnisses sicher genug sind, um R&#252;ckschl&#252;sse auf Ver&#228;nderungen in Prozessen ziehen zu k&#246;nnen. Insgesamt ist die Datenlage daf&#252;r, dass die Nutzung von QI &#8211; zumindest im intensivmedizinischen Bereich &#8211; das Outcome positiv beeinflusst, unzureichend. Auch ist nicht bekannt, ob bestimmte Indikatoren einen negativen Einfluss auf das Outcome haben k&#246;nnen, z.B. ob die empfohlene Durchf&#252;hrung von Sedierungspausen die Rate der Selbstextubationen erh&#246;ht, die das Patientenrisiko erh&#246;hen. Valide Daten zu dieser Frage existieren nicht. Daher sollte eine formale Pr&#252;fung dieses Risikos nach M&#246;glichkeit in den Entwicklungsprozess von QI integriert werden. Gegebenenfalls muss ein Indikator aus einem solchen Grund gestrichen oder ge&#228;ndert werden.</Pgraph><Pgraph>Bei der Nutzenbewertung spielt auch eine Rolle, welche Art eines Indikators angewandt wird. In der Intensivmedizin sprechen einige Argumente f&#252;r die Anwendung von Prozessindikatoren, da sie leicht zu erfassen sind und keine Risikoadjustierung ben&#246;tigen. Im internationalen Sprachgebrauch werden Prozessindikatoren aber gelegentlich dann so genannt, wenn sie ein Ergebnis abfragen, z.B. die Rate von Ventilator-assoziierten Pneumonien (VAP) als Indikator f&#252;r den Prozess der angemessenen H&#228;ndehygiene <TextLink reference="27"></TextLink>. Wie bereits ausgef&#252;hrt, postuliert dies, dass diese Rate ausschlie&#223;lich oder wesentlich durch den Prozess Hygieneverhalten beeinflusst ist, was nicht zutrifft <TextLink reference="34"></TextLink>. Ob nur die Durchf&#252;hrung des Prozesses an sich erfasst wird (Beispiel: regelm&#228;&#223;ige Messung eines Delir-Scores), oder ob dezidiert eine Kennzahl f&#252;r die Prozessadh&#228;renz (hier: Anzahl der Messungen in einem definierten Zeitraum) abgefragt wird, ist nicht auf einen Effekt f&#252;r das Patienten-Outcome untersucht. Die Notwendigkeit, den Outcome-Nutzen von Prozessindikatoren nachzuweisen, sollte sorgf&#228;ltig gepr&#252;ft werden. Wenn die zugrundeliegende Evidenz eine direkte und starke Korrelation zwischen Prozess und Ergebnis zeigt, ist der Aufwand, diesen Benefit erneut zu zeigen, gegebenenfalls nicht erforderlich. Andernfalls ist der Nutzennachweis eines Prozessindikators im Hinblick auf das Ergebnis relevant, und es sollte ein wissenschaftliches Konzept vorliegen, wie dieser definiert und gemessen werden kann.</Pgraph><Pgraph>F&#252;r die von Donabedian vorgeschlagenen Qualit&#228;tsdimensionen sind neben Prozess- auch Struktur- und Ergebnisindikatoren vorgesehen <TextLink reference="35"></TextLink>. In den DIVI-QI wird das Vorliegen eines Prozessstandards als Strukturindikator abgefragt, jedoch fast immer mit der gleichzeitigen Abfrage eines dazugeh&#246;rigen Prozessindikators. Zuletzt ist die Definition evidenzbasierter Strukturindikatoren in den meisten F&#228;llen schwierig, da diese h&#228;ufig auf Erfahrung oder auch Tradition beruhen, weniger auf vergleichenden Studien. Sie k&#246;nnen teilweise nur im Expertenkonsens definiert werden <TextLink reference="36"></TextLink>. Prinzipiell kann ein Prozess auch ohne vorliegenden Standard gut ablaufen. Eine Prozessevaluation w&#252;rde dann anzeigen, ob in der t&#228;glichen Routine Standards etabliert sind.</Pgraph><Pgraph>Ergebnisindikatoren werden z.B. bei einrichtungs&#252;bergreifenden Bewertungen durch Benchmarking genutzt. Ein Problem ihrer Anwendung besteht in der Risikoadjustierung aufgrund heterogener Patientengruppen. Auch sind Ergebnisindikatoren nur bedingt geeignet, die Durchf&#252;hrung eines Prozesses konkret zu bewerten. Bei Abweichung vom Indikator m&#252;ssen Prozesse retrospektiv auf ihre Wirksamkeit untersucht werden. Einrichtungsvergleiche nutzen aufgrund der besseren Datenverf&#252;gbarkeit dennoch eher Ergebnisindikatoren. Weitere Ergebnisindikatoren wie z.B. Mortalit&#228;t &#8211; auch wenn sie auf Risikofaktoren standardisiert erfasst werden (standardized mortality ratio, SMR) &#8211; sind nicht in der Lage, tats&#228;chliche Prozessadh&#228;renz zu erfassen. Zudem sind solche Indikatoren im besten Falle erst nach Monaten in der Lage, Fehlentwicklungen anzuzeigen, die eventuell an falsch durchgef&#252;hrten Prozessen oder auch an mangelnder Erf&#252;llung von Strukturanforderungen liegen <TextLink reference="38"></TextLink>.</Pgraph></TextBlock> <TextBlock language="en" linked="yes" name="4 Conclusion"> <MainHeadline>4 Conclusion</MainHeadline><Pgraph>The following statement by Califf et al. represents an &#8220;ideal state&#8221; in quality management and quality assurance: &#8220;In an ideal clinical world, for every clinical decision there would be an indicator based on a guideline based on evidence from randomized trials&#8221; <TextLink reference="39"></TextLink>. It is unlikely that the costs and benefits of this approach can be reconciled. However, the sentence confirms that clinical decisions in a process-based approach can produce a positive treatment outcome in the patients&#8217; interest. This is the basic principle of the QI in intensive care of the DIVI. The methodology for the future development of intensive care QI presented here shows that these indicators will have a robust basis for use within a single institution as well as for other applications. The planned synergistic approach through a cooperation with AWMF guideline groups and the use of the criteria from the QUALIFY instrument should further strengthen the scientific basis of QI. The coordinated development process is intended to simplify the work of the NSPR of the DIVI, as well as of the respective guideline development groups working according to the AWMF-IMWi rules, especially by avoiding redundant development steps such as literature research and development of the key figures. In particular, the use of guideline-based QI should bring the patient perspective to the forefront of indicator development. This will be one of the biggest challenges in the future <TextLink reference="15"></TextLink>. The approach described also makes the intensive care indicators suitable for their use beyond single institutions, e.g. in external quality assurance. This would ensure that evaluation of intensive care treatment processes will remain under the control of their providers.</Pgraph></TextBlock> <TextBlock language="de" linked="yes" name="4 Schlussfolgerung"> <MainHeadline>4 Schlussfolgerung</MainHeadline><Pgraph>Der folgende Satz von Califf et al. repr&#228;sentiert einen m&#246;glichen &#8222;Idealzustand&#8221; des Qualit&#228;tsmanagements und der Qualit&#228;tssicherung: &#8222;In an ideal clinical world, for every clinical decision there would be an indicator based on a guideline based on evidence from randomized trials&#8220; <TextLink reference="39"></TextLink>.</Pgraph><Pgraph>Allerdings ist es unwahrscheinlich, dass der Aufwand und der Nutzen, der aus diesem Ansatz spricht, in &#220;bereinstimmung zu bringen sind. Der Satz begr&#252;ndet aber, dass es klinische Entscheidungen in einem prozessbasierten Ansatz sind, die im Sinne der Patienten ein positives Behandlungsergebnis bewirken. Dies ist das Grundprinzip der intensivmedizinischen QI.</Pgraph><Pgraph>Die hier dargestellte Methodik der zuk&#252;nftigen Weiterentwicklung der intensivmedizinischen QI stellt diese Indikatoren f&#252;r die Anwendung innerhalb einer einzelnen Einrichtung wie auch f&#252;r andere Anwendungen auf eine robuste Basis.</Pgraph><Pgraph>Der synergistische Ansatz durch die Zusammenarbeit mit dem AWMF-IMWi und die Nutzung der Kriterien aus QUALIFY sollen die wissenschaftliche Basis der QI weiter st&#228;rken. Der koordinierte Entwicklungsprozess soll sowohl f&#252;r die NSPR der DIVI als auch f&#252;r die jeweiligen Leitliniengruppen, die nach dem Regelwerk des AWMF-IMWi arbeiten, den Entwicklungsprozess vereinfachen, insbesondere durch die Vermeidung redundanter Entwicklungsschritte wie z.B. Literatursuche und Kennzahlenentwicklung. Insbesondere soll in der Zukunft mit der Nutzung leitlinienbasierter QI die Patientenperspektive st&#228;rker in den Vordergrund der Indikatorentwicklung r&#252;cken <TextLink reference="15"></TextLink>. Durch diesen Ansatz werden die intensivmedizinischen Indikatoren auch f&#252;r einen Einsatz &#252;ber einzelne Einrichtungen hinaus einsetzbar, z.B. in der externen Qualit&#228;tssicherung. Dadurch w&#228;re gew&#228;hrleistet, dass die Bewertung intensivmedizinischer Prozesse in der Hand ihrer Anwender bleibt.</Pgraph></TextBlock> <TextBlock language="en" linked="yes" name="Abbreviations"> <MainHeadline>Abbreviations</MainHeadline><Pgraph><UnorderedList><ListItem level="1">AWMF: Association of the Scientific Medical Societies</ListItem><ListItem level="1">DIVI: German Interdisciplinary Association for Intensive Care and Emergency Medicine</ListItem><ListItem level="1">GBA: Federal Joint Committee</ListItem><ListItem level="1">GL: guideline</ListItem><ListItem level="1">GRADE: Grading of Recommendations Assessment, Development and Evaluation</ListItem><ListItem level="1">IQTIG: Institute for Quality Assurance and Transparency in Health Care</ListItem><ListItem level="1">NSPR: National Steering Committee Peer Review</ListItem><ListItem level="1">NVL: national disease management guideline</ListItem><ListItem level="1">QI: quality indicator</ListItem><ListItem level="1">QS: quality assurance</ListItem><ListItem level="1">VAP: ventilator-associated pneumonia</ListItem></UnorderedList></Pgraph></TextBlock> <TextBlock language="de" linked="yes" name="Abk&#252;rzungen"> <MainHeadline>Abk&#252;rzungen</MainHeadline><Pgraph><UnorderedList><ListItem level="1">AWMF: Arbeitsgemeinschaft der Wissenschaftlichen Medizinischen Fachgesellschaften</ListItem><ListItem level="1">DIVI: Deutsche Interdisziplin&#228;re Vereinigung f&#252;r Intensiv- und Notfallmedizin</ListItem><ListItem level="1">GBA: Gemeinsamer Bundesausschuss</ListItem><ListItem level="1">GRADE: Grading of Recommendations Assessment, Development and Evaluation</ListItem><ListItem level="1">IQTIG: Institut f&#252;r Qualit&#228;tssicherung und Transparenz im Gesundheitswesen</ListItem><ListItem level="1">LL: Leitlinie</ListItem><ListItem level="1">NSPR: Nationale Steuerungsgruppe Peer Review</ListItem><ListItem level="1">NVL: Nationale Versorgungsleitlinie</ListItem><ListItem level="1">QI: Qualit&#228;tsindikator</ListItem><ListItem level="1">QS: Qualit&#228;tssicherung</ListItem><ListItem level="1">VAP: Ventilator-assoziierte Pneumonie</ListItem></UnorderedList></Pgraph></TextBlock> <TextBlock language="en" linked="yes" name="Notes"> <MainHeadline>Notes</MainHeadline><SubHeadline>Competing interests</SubHeadline><Pgraph>The authors declare that they have no competing interests.</Pgraph></TextBlock> <TextBlock language="de" linked="yes" name="Anmerkungen"> <MainHeadline>Anmerkungen</MainHeadline><SubHeadline>Interessenkonflikt</SubHeadline><Pgraph>Die Autoren erkl&#228;ren, dass sie keine Interessenkonflikte im Zusammenhang mit diesem Artikel haben.</Pgraph></TextBlock> <References linked="yes"> <Reference refNo="1"> <RefAuthor>Delgado M</RefAuthor> <RefAuthor>Pericas L</RefAuthor> <RefAuthor>Moreno J</RefAuthor> <RefAuthor>Torra L</RefAuthor> <RefAuthor>Varela J</RefAuthor> <RefAuthor>Suero F</RefAuthor> <RefAuthor>Navarro P</RefAuthor> <RefAuthor>Hinojosa F</RefAuthor> <RefTitle></RefTitle> <RefYear>2005</RefYear> <RefBookTitle>Quality Indicators in Critically Ill Patients</RefBookTitle> <RefPage></RefPage> <RefTotal>Delgado M, Pericas L, Moreno J, Torra L, Varela J, Suero F, Navarro P, Hinojosa F. Quality Indicators in Critically Ill Patients. Madrid: SEMICYUC; 2005.</RefTotal> </Reference> <Reference refNo="2"> <RefAuthor>Braun JP</RefAuthor> <RefAuthor>Bause H</RefAuthor> <RefAuthor>Bloos F</RefAuthor> <RefAuthor>Geldner G</RefAuthor> <RefAuthor>Kastrup M</RefAuthor> <RefAuthor>Kuhlen R</RefAuthor> <RefAuthor>Markewitz A</RefAuthor> <RefAuthor>Martin J</RefAuthor> <RefAuthor>Mende H</RefAuthor> <RefAuthor>Quintel M</RefAuthor> <RefAuthor>Steinmeier-Bauer K</RefAuthor> <RefAuthor>Waydhas C</RefAuthor> <RefAuthor>Spies C</RefAuthor> <RefAuthor> NeQuI (quality network in intensive care medicine)</RefAuthor> <RefTitle>Peer reviewing critical care: a pragmatic approach to quality management</RefTitle> <RefYear>2010</RefYear> <RefJournal>Ger Med Sci</RefJournal> <RefPage>Doc23</RefPage> <RefTotal>Braun JP, Bause H, Bloos F, Geldner G, Kastrup M, Kuhlen R, Markewitz A, Martin J, Mende H, Quintel M, Steinmeier-Bauer K, Waydhas C, Spies C; NeQuI (quality network in intensive care medicine). Peer reviewing critical care: a pragmatic approach to quality management. Ger Med Sci. 2010 Oct;8:Doc23. DOI: 10.3205&#47;000112</RefTotal> <RefLink>https:&#47;&#47;doi.org&#47;10.3205&#47;000112</RefLink> </Reference> <Reference refNo="3"> <RefAuthor>Bause H</RefAuthor> <RefAuthor>Braun J</RefAuthor> <RefAuthor>Brinkmann A</RefAuthor> <RefAuthor>Muhl E</RefAuthor> <RefTitle>Peer-Review-Intensivmedizin und Qualit&#228;tsindikatoren der DIVI &#8211; eine historische Perspektive</RefTitle> <RefYear>2019</RefYear> <RefJournal>DIVI</RefJournal> <RefPage>10-4</RefPage> <RefTotal>Bause H, Braun J, Brinkmann A, Muhl E. Peer-Review-Intensivmedizin und Qualit&#228;tsindikatoren der DIVI &#8211; eine historische Perspektive. DIVI. 2019;10(1):10-4.</RefTotal> </Reference> <Reference refNo="4"> <RefAuthor>Leitlinienprogramm Onkologie</RefAuthor> <RefAuthor> Deutsche Krebsgesellschaft</RefAuthor> <RefAuthor> Deutsche Krebshilfe</RefAuthor> <RefAuthor> AWMF</RefAuthor> <RefTitle></RefTitle> <RefYear>2017</RefYear> <RefBookTitle>Entwicklung von leitlinienbasierten Qualit&#228;tsindikatoren. Methodenpapier f&#252;r das Leitlinienprogramm Onkologie</RefBookTitle> <RefPage></RefPage> <RefTotal>Leitlinienprogramm Onokogie; Deutsche Krebsgesellschaft; Deutsche Krebshilfe; AWMF. Entwicklung von leitlinienbasierten Qualit&#228;tsindikatoren. Methodenpapier f&#252;r das Leitlinienprogramm Onkologie. Version 2.1. 2017. Available from: https:&#47;&#47;www.leitlinienprogramm-onkologie.de&#47;fileadmin&#47;user&#95;upload&#47;Downloads&#47;Methodik&#47;QIEP&#95;OL&#95;2017&#95;Version&#95;2.1.pdf</RefTotal> <RefLink>https:&#47;&#47;www.leitlinienprogramm-onkologie.de&#47;fileadmin&#47;user&#95;upload&#47;Downloads&#47;Methodik&#47;QIEP&#95;OL&#95;2017&#95;Version&#95;2.1.pdf</RefLink> </Reference> <Reference refNo="5"> <RefAuthor>Altenhofen L</RefAuthor> <RefAuthor>Blumenstock G</RefAuthor> <RefAuthor>Diel F</RefAuthor> <RefAuthor>D&#246;bler K</RefAuthor> <RefAuthor>Geraedts M</RefAuthor> <RefAuthor>J&#228;ckel WH</RefAuthor> <RefAuthor>Klakow-Franck R</RefAuthor> <RefAuthor>Kleudgen S</RefAuthor> <RefAuthor>Kopp I</RefAuthor> <RefAuthor>Nothacker M</RefAuthor> <RefAuthor>Ollenschl&#228;ger G</RefAuthor> <RefAuthor>Reiter A</RefAuthor> <RefAuthor>Weinbrenner S</RefAuthor> <RefAuthor>Zorn U</RefAuthor> <RefTitle></RefTitle> <RefYear>2009</RefYear> <RefBookTitle>Qualit&#228;tsindikatoren &#8211; Manual f&#252;r Autoren</RefBookTitle> <RefPage></RefPage> <RefTotal>Altenhofen L, Blumenstock G, Diel F, D&#246;bler K, Geraedts M, J&#228;ckel WH, Klakow-Franck R, Kleudgen S, Kopp I, Nothacker M, Ollenschl&#228;ger G, Reiter A, Weinbrenner S, Zorn U. Qualit&#228;tsindikatoren &#8211; Manual f&#252;r Autoren. Berlin: &#196;rztliches Zentrum f&#252;r Qualit&#228;t in der Medizin (&#196;ZQ); 2009. (Programm f&#252;r Nationale Versorgungsleitlinienvon B&#196;K, KBV und AWMF; 36). Available from: https:&#47;&#47;www.aezq.de&#47;mdb&#47;edocs&#47;pdf&#47;schriftenreihe&#47;schriftenreihe36.pdf</RefTotal> <RefLink>https:&#47;&#47;www.aezq.de&#47;mdb&#47;edocs&#47;pdf&#47;schriftenreihe&#47;schriftenreihe36.pdf</RefLink> </Reference> <Reference refNo="6"> <RefAuthor>Altenhofen L</RefAuthor> <RefAuthor>Brech W</RefAuthor> <RefAuthor>Brenner G</RefAuthor> <RefAuthor>Geraedts M</RefAuthor> <RefAuthor>Gramsch E</RefAuthor> <RefAuthor>Kolkmann FW</RefAuthor> <RefAuthor>Krumpaszky G</RefAuthor> <RefAuthor>Lorenz W</RefAuthor> <RefAuthor>Oesingmann U</RefAuthor> <RefAuthor>Ollenschl&#228;ger G</RefAuthor> <RefAuthor></RefAuthor> <RefTitle>Beurteilung klinischer Messgr&#246;&#223;en des Qualit&#228;tsmanagements. Qualit&#228;tskriterien und -indikatoren in der Gesundheitsversorgung. Konsenspapier von B&#196;K, KBV und AWMF</RefTitle> <RefYear>2002</RefYear> <RefJournal>Z Arztl Fortbild Qualitatssich</RefJournal> <RefPage>2-15</RefPage> <RefTotal>Altenhofen L, Brech W, Brenner G, Geraedts M, Gramsch E, Kolkmann FW, Krumpaszky G, Lorenz W, Oesingmann U, Ollenschl&#228;ger G, et al. Beurteilung klinischer Messgr&#246;&#223;en des Qualit&#228;tsmanagements. Qualit&#228;tskriterien und -indikatoren in der Gesundheitsversorgung. Konsenspapier von B&#196;K, KBV und AWMF. Z Arztl Fortbild Qualitatssich. 2002;96(5):2-15.</RefTotal> </Reference> <Reference refNo="7"> <RefAuthor>Riessen R</RefAuthor> <RefAuthor>Hermes C</RefAuthor> <RefAuthor>Bodmann KF</RefAuthor> <RefAuthor>Janssens U</RefAuthor> <RefAuthor>Markewitz A</RefAuthor> <RefTitle>Verg&#252;tung intensivmedizinischer Leistungen im DRG-System: Aktuelle Probleme und L&#246;sungsvorschl&#228;ge</RefTitle> <RefYear>2018</RefYear> <RefJournal>Med Klin Intensivmed Notfmed</RefJournal> <RefPage>13-23</RefPage> <RefTotal>Riessen R, Hermes C, Bodmann KF, Janssens U, Markewitz A. Verg&#252;tung intensivmedizinischer Leistungen im DRG-System: Aktuelle Probleme und L&#246;sungsvorschl&#228;ge &#91;Reimbursement of intensive care services in the German DRG system: Current problems and possible solutions&#93;. Med Klin Intensivmed Notfmed. 2018 Feb;113(1):13-23. DOI: 10.1007&#47;s00063-017-0390-x</RefTotal> <RefLink>https:&#47;&#47;doi.org&#47;10.1007&#47;s00063-017-0390-x</RefLink> </Reference> <Reference refNo="8"> <RefAuthor>Berenholtz SM</RefAuthor> <RefAuthor>Dorman T</RefAuthor> <RefAuthor>Ngo K</RefAuthor> <RefAuthor>Pronovost PJ</RefAuthor> <RefTitle>Qualitative review of intensive care unit quality indicators</RefTitle> <RefYear>2002</RefYear> <RefJournal>J Crit Care</RefJournal> <RefPage>1-12</RefPage> <RefTotal>Berenholtz SM, Dorman T, Ngo K, Pronovost PJ. Qualitative review of intensive care unit quality indicators. J Crit Care. 2002 Mar;17(1):1-12. DOI: 10.1053&#47;jcrc.2002.33035</RefTotal> <RefLink>https:&#47;&#47;doi.org&#47;10.1053&#47;jcrc.2002.33035</RefLink> </Reference> <Reference refNo="14"> <RefAuthor>Braun JP</RefAuthor> <RefAuthor>Mende H</RefAuthor> <RefAuthor>Bause H</RefAuthor> <RefAuthor>Bloos F</RefAuthor> <RefAuthor>Geldner G</RefAuthor> <RefAuthor>Kastrup M</RefAuthor> <RefAuthor>Kuhlen R</RefAuthor> <RefAuthor>Markewitz A</RefAuthor> <RefAuthor>Martin J</RefAuthor> <RefAuthor>Quintel M</RefAuthor> <RefAuthor>Steinmeier-Bauer K</RefAuthor> <RefAuthor>Waydhas C</RefAuthor> <RefAuthor>Spies C</RefAuthor> <RefAuthor> NeQuI (quality network in intensive care medicine)</RefAuthor> <RefTitle>Quality indicators in intensive care medicine: why&#63; Use or burden for the intensivist</RefTitle> <RefYear>2010</RefYear> <RefJournal>Ger Med Sci</RefJournal> <RefPage>Doc22</RefPage> <RefTotal>Braun JP, Mende H, Bause H, Bloos F, Geldner G, Kastrup M, Kuhlen R, Markewitz A, Martin J, Quintel M, Steinmeier-Bauer K, Waydhas C, Spies C; NeQuI (quality network in intensive care medicine). Quality indicators in intensive care medicine: why&#63; Use or burden for the intensivist. Ger Med Sci. 2010 Sep;8:Doc22. DOI: 10.3205&#47;000111</RefTotal> <RefLink>https:&#47;&#47;doi.org&#47;10.3205&#47;000111</RefLink> </Reference> <Reference refNo="18"> <RefAuthor>Braun JP</RefAuthor> <RefAuthor>Kumpf O</RefAuthor> <RefAuthor>Deja M</RefAuthor> <RefAuthor>Brinkmann A</RefAuthor> <RefAuthor>Marx G</RefAuthor> <RefAuthor>Bloos F</RefAuthor> <RefAuthor>Kaltwasser A</RefAuthor> <RefAuthor>Dubb R</RefAuthor> <RefAuthor>Muhl E</RefAuthor> <RefAuthor>Greim C</RefAuthor> <RefAuthor>Bause H</RefAuthor> <RefAuthor>Weiler N</RefAuthor> <RefAuthor>Chop I</RefAuthor> <RefAuthor>Waydhas C</RefAuthor> <RefAuthor>Spies C</RefAuthor> <RefTitle>The German quality indicators in intensive care medicine 2013 &#8211; second edition</RefTitle> <RefYear>2013</RefYear> <RefJournal>Ger Med Sci</RefJournal> <RefPage>Doc09</RefPage> <RefTotal>Braun JP, Kumpf O, Deja M, Brinkmann A, Marx G, Bloos F, Kaltwasser A, Dubb R, Muhl E, Greim C, Bause H, Weiler N, Chop I, Waydhas C, Spies C. The German quality indicators in intensive care medicine 2013 &#8211; second edition. Ger Med Sci. 2013;11:Doc09. DOI: 10.3205&#47;000177</RefTotal> <RefLink>https:&#47;&#47;doi.org&#47;10.3205&#47;000177</RefLink> </Reference> <Reference refNo="19"> <RefAuthor>Kumpf O</RefAuthor> <RefAuthor>Braun JP</RefAuthor> <RefAuthor>Brinkmann A</RefAuthor> <RefAuthor>Bause H</RefAuthor> <RefAuthor>Bellgardt M</RefAuthor> <RefAuthor>Bloos F</RefAuthor> <RefAuthor>Dubb R</RefAuthor> <RefAuthor>Greim C</RefAuthor> <RefAuthor>Kaltwasser A</RefAuthor> <RefAuthor>Marx G</RefAuthor> <RefAuthor>Riessen R</RefAuthor> <RefAuthor>Spies C</RefAuthor> <RefAuthor>Weimann J</RefAuthor> <RefAuthor>W&#246;bker G</RefAuthor> <RefAuthor>Muhl E</RefAuthor> <RefAuthor>Waydhas C</RefAuthor> <RefTitle>Quality indicators in intensive care medicine for Germany &#8211; third edition 2017</RefTitle> <RefYear>2017</RefYear> <RefJournal>Ger Med Sci</RefJournal> <RefPage>Doc10</RefPage> <RefTotal>Kumpf O, Braun JP, Brinkmann A, Bause H, Bellgardt M, Bloos F, Dubb R, Greim C, Kaltwasser A, Marx G, Riessen R, Spies C, Weimann J, W&#246;bker G, Muhl E, Waydhas C. Quality indicators in intensive care medicine for Germany &#8211; third edition 2017. Ger Med Sci. 2017;15:Doc10. DOI: 10.3205&#47;000251</RefTotal> <RefLink>https:&#47;&#47;doi.org&#47;10.3205&#47;000251</RefLink> </Reference> <Reference refNo="9"> <RefAuthor>Wilson CRM</RefAuthor> <RefTitle></RefTitle> <RefYear>1987</RefYear> <RefBookTitle>Hospital-wide Quality Assurance: Models for Implementation and Development</RefBookTitle> <RefPage></RefPage> <RefTotal>Wilson CRM. Hospital-wide Quality Assurance: Models for Implementation and Development. Toronto: Saunders; 1987.</RefTotal> </Reference> <Reference refNo="10"> <RefAuthor>van der Voort PH</RefAuthor> <RefAuthor>van der Veer SN</RefAuthor> <RefAuthor>de Vos ML</RefAuthor> <RefTitle>The use of indicators to improve the quality of intensive care: theoretical aspects and experiences from the Dutch intensive care registry</RefTitle> <RefYear>2012</RefYear> <RefJournal>Acta Anaesthesiol Scand</RefJournal> <RefPage>1084-91</RefPage> <RefTotal>van der Voort PH, van der Veer SN, de Vos ML. The use of indicators to improve the quality of intensive care: theoretical aspects and experiences from the Dutch intensive care registry. Acta Anaesthesiol Scand. 2012 Oct;56(9):1084-91. DOI: 10.1111&#47;j.1399-6576.2012.02687.x</RefTotal> <RefLink>https:&#47;&#47;doi.org&#47;10.1111&#47;j.1399-6576.2012.02687.x</RefLink> </Reference> <Reference refNo="11"> <RefAuthor>Nachtigall I</RefAuthor> <RefAuthor>Tamarkin A</RefAuthor> <RefAuthor>Tafelski S</RefAuthor> <RefAuthor>Deja M</RefAuthor> <RefAuthor>Halle E</RefAuthor> <RefAuthor>Gastmeier P</RefAuthor> <RefAuthor>Wernecke KD</RefAuthor> <RefAuthor>Bauer T</RefAuthor> <RefAuthor>Kastrup M</RefAuthor> <RefAuthor>Spies C</RefAuthor> <RefTitle>Impact of adherence to standard operating procedures for pneumonia on outcome of intensive care unit patients</RefTitle> <RefYear>2009</RefYear> <RefJournal>Crit Care Med</RefJournal> <RefPage>159-66</RefPage> <RefTotal>Nachtigall I, Tamarkin A, Tafelski S, Deja M, Halle E, Gastmeier P, Wernecke KD, Bauer T, Kastrup M, Spies C. Impact of adherence to standard operating procedures for pneumonia on outcome of intensive care unit patients. Crit Care Med. 2009 Jan;37(1):159-66. DOI: 10.1097&#47;CCM.0b013e3181934f1b</RefTotal> <RefLink>https:&#47;&#47;doi.org&#47;10.1097&#47;CCM.0b013e3181934f1b</RefLink> </Reference> <Reference refNo="12"> <RefAuthor>Kumpf O</RefAuthor> <RefAuthor>Bloos F</RefAuthor> <RefAuthor>Bause H</RefAuthor> <RefAuthor>Brinkmann A</RefAuthor> <RefAuthor>Deja M</RefAuthor> <RefAuthor>Marx G</RefAuthor> <RefAuthor>Kaltwasser A</RefAuthor> <RefAuthor>Dubb R</RefAuthor> <RefAuthor>Muhl E</RefAuthor> <RefAuthor>Greim CA</RefAuthor> <RefAuthor>Weiler N</RefAuthor> <RefAuthor>Chop I</RefAuthor> <RefAuthor>Jonitz G</RefAuthor> <RefAuthor>Schaefer H</RefAuthor> <RefAuthor>Felsenstein M</RefAuthor> <RefAuthor>Liebeskind U</RefAuthor> <RefAuthor>Leffmann C</RefAuthor> <RefAuthor>Jungbluth A</RefAuthor> <RefAuthor>Waydhas C</RefAuthor> <RefAuthor>Pronovost P</RefAuthor> <RefAuthor>Spies C</RefAuthor> <RefAuthor>Braun JP</RefAuthor> <RefAuthor> NeQuI-Group (Netzwerk Qualit&#228;t in der Intensivmedizin)</RefAuthor> <RefTitle>Voluntary peer review as innovative tool for quality improvement in the intensive care unit &#8211; a retrospective descriptive cohort study in German intensive care units</RefTitle> <RefYear>2014</RefYear> <RefJournal>Ger Med Sci</RefJournal> <RefPage>Doc17</RefPage> <RefTotal>Kumpf O, Bloos F, Bause H, Brinkmann A, Deja M, Marx G, Kaltwasser A, Dubb R, Muhl E, Greim CA, Weiler N, Chop I, Jonitz G, Schaefer H, Felsenstein M, Liebeskind U, Leffmann C, Jungbluth A, Waydhas C, Pronovost P, Spies C, Braun JP; NeQuI-Group (Netzwerk Qualit&#228;t in der Intensivmedizin). Voluntary peer review as innovative tool for quality improvement in the intensive care unit &#8211; a retrospective descriptive cohort study in German intensive care units. Ger Med Sci. 2014;12:Doc17. DOI: 10.3205&#47;000202</RefTotal> <RefLink>https:&#47;&#47;doi.org&#47;10.3205&#47;000202</RefLink> </Reference> <Reference refNo="13"> <RefAuthor>Becker M</RefAuthor> <RefAuthor>Breuing J</RefAuthor> <RefAuthor>Nothacker M</RefAuthor> <RefAuthor>Deckert S</RefAuthor> <RefAuthor>Steudtner M</RefAuthor> <RefAuthor>Schmitt J</RefAuthor> <RefAuthor>Neugebauer E</RefAuthor> <RefAuthor>Pieper D</RefAuthor> <RefTitle>Guideline-based quality indicators &#8211; a systematic comparison of German and international clinical practice guidelines: protocol for a systematic review</RefTitle> <RefYear>2018</RefYear> <RefJournal>Syst Rev</RefJournal> <RefPage>5</RefPage> <RefTotal>Becker M, Breuing J, Nothacker M, Deckert S, Steudtner M, Schmitt J, Neugebauer E, Pieper D. Guideline-based quality indicators &#8211; a systematic comparison of German and international clinical practice guidelines: protocol for a systematic review. Syst Rev. 2018 Jan;7(1):5. DOI: 10.1186&#47;s13643-017-0669-2</RefTotal> <RefLink>https:&#47;&#47;doi.org&#47;10.1186&#47;s13643-017-0669-2</RefLink> </Reference> <Reference refNo="15"> <RefAuthor>K&#246;tter T</RefAuthor> <RefAuthor>Schaefer F</RefAuthor> <RefAuthor>Blozik E</RefAuthor> <RefAuthor>Scherer M</RefAuthor> <RefTitle>Die Entwicklung von Qualit&#228;tsindikatoren &#8211; Hintergrund, Methoden und Probleme</RefTitle> <RefYear>2011</RefYear> <RefJournal>Z Evid Fortbild Qual Gesundhwes</RefJournal> <RefPage>7-12</RefPage> <RefTotal>K&#246;tter T, Schaefer F, Blozik E, Scherer M. Die Entwicklung von Qualit&#228;tsindikatoren &#8211; Hintergrund, Methoden und Probleme &#91;Developing quality indicators: background, methods and problems&#93;. Z Evid Fortbild Qual Gesundhwes. 2011 Jan;105(1):7-12. DOI: 10.1016&#47;j.zefq.2010.11.002</RefTotal> <RefLink>https:&#47;&#47;doi.org&#47;10.1016&#47;j.zefq.2010.11.002</RefLink> </Reference> <Reference refNo="16"> <RefAuthor>Campbell SM</RefAuthor> <RefAuthor>Braspenning J</RefAuthor> <RefAuthor>Hutchinson A</RefAuthor> <RefAuthor>Marshall M</RefAuthor> <RefTitle>Research methods used in developing and applying quality indicators in primary care</RefTitle> <RefYear>2002</RefYear> <RefJournal>Qual Saf Health Care</RefJournal> <RefPage>358-64</RefPage> <RefTotal>Campbell SM, Braspenning J, Hutchinson A, Marshall M. Research methods used in developing and applying quality indicators in primary care. Qual Saf Health Care. 2002 Dec;11(4):358-64. DOI: 10.1136&#47;qhc.11.4.358</RefTotal> <RefLink>https:&#47;&#47;doi.org&#47;10.1136&#47;qhc.11.4.358</RefLink> </Reference> <Reference refNo="17"> <RefAuthor>Institute of Medicine (US) Committee on Quality of Health Care in America</RefAuthor> <RefTitle></RefTitle> <RefYear>2001</RefYear> <RefBookTitle>Crossing the Quality Chasm: A New Health System for the 21st Century</RefBookTitle> <RefPage></RefPage> <RefTotal>Institute of Medicine (US) Committee on Quality of Health Care in America. Crossing the Quality Chasm: A New Health System for the 21st Century. Washington (DC): National Academies Press (US); 2001.</RefTotal> </Reference> <Reference refNo="20"> <RefAuthor>Reiter A</RefAuthor> <RefAuthor>Fischer B</RefAuthor> <RefAuthor>K&#246;tting J</RefAuthor> <RefAuthor>Geraedts M</RefAuthor> <RefAuthor>J&#228;ckel WH</RefAuthor> <RefAuthor>D&#246;bler K</RefAuthor> <RefTitle>QUALIFY: Ein Instrument zur Bewertung von Qualit&#228;tsindikatoren</RefTitle> <RefYear>2007</RefYear> <RefJournal>Z Arztl Fortbild Qualitatssich</RefJournal> <RefPage>683-8</RefPage> <RefTotal>Reiter A, Fischer B, K&#246;tting J, Geraedts M, J&#228;ckel WH, D&#246;bler K. QUALIFY: Ein Instrument zur Bewertung von Qualit&#228;tsindikatoren &#91;QUALIFY &#8211; a tool for assessing quality indicators&#93;. Z Arztl Fortbild Qualitatssich. 2007;101(10):683-8. DOI: 10.1016&#47;j.zgesun.2007.11.003</RefTotal> <RefLink>https:&#47;&#47;doi.org&#47;10.1016&#47;j.zgesun.2007.11.003</RefLink> </Reference> <Reference refNo="21"> <RefAuthor>Geraedts M</RefAuthor> <RefAuthor>Selbmann HK</RefAuthor> <RefAuthor>Ollenschl&#228;ger G</RefAuthor> <RefTitle>Beurteilung der methodischen Qualit&#228;t klinischer Messgr&#246;&#223;en</RefTitle> <RefYear>2002</RefYear> <RefJournal>Z Arztl Fortbild Qualitatssich</RefJournal> <RefPage>91-6</RefPage> <RefTotal>Geraedts M, Selbmann HK, Ollenschl&#228;ger G. Beurteilung der methodischen Qualit&#228;t klinischer Messgr&#246;&#223;en &#91;Assessment of methodological quality of clinical performance measures&#93;. Z Arztl Fortbild Qualitatssich. 2002;96(2):91-6.</RefTotal> </Reference> <Reference refNo="22"> <RefAuthor>Rubin HR</RefAuthor> <RefAuthor>Pronovost P</RefAuthor> <RefAuthor>Diette GB</RefAuthor> <RefTitle>From a process of care to a measure: the development and testing of a quality indicator</RefTitle> <RefYear>2001</RefYear> <RefJournal>Int J Qual Health Care</RefJournal> <RefPage>489-96</RefPage> <RefTotal>Rubin HR, Pronovost P, Diette GB. From a process of care to a measure: the development and testing of a quality indicator. Int J Qual Health Care. 2001 Dec;13(6):489-96. DOI: 10.1093&#47;intqhc&#47;13.6.489</RefTotal> <RefLink>https:&#47;&#47;doi.org&#47;10.1093&#47;intqhc&#47;13.6.489</RefLink> </Reference> <Reference refNo="23"> <RefAuthor>Brozek JL</RefAuthor> <RefAuthor>Akl EA</RefAuthor> <RefAuthor>Alonso-Coello P</RefAuthor> <RefAuthor>Lang D</RefAuthor> <RefAuthor>Jaeschke R</RefAuthor> <RefAuthor>Williams JW</RefAuthor> <RefAuthor>Phillips B</RefAuthor> <RefAuthor>Lelgemann M</RefAuthor> <RefAuthor>Lethaby A</RefAuthor> <RefAuthor>Bousquet J</RefAuthor> <RefAuthor>Guyatt GH</RefAuthor> <RefAuthor>Sch&#252;nemann HJ</RefAuthor> <RefAuthor> GRADE Working Group</RefAuthor> <RefTitle>Grading quality of evidence and strength of recommendations in clinical practice guidelines. Part 1 of 3. An overview of the GRADE approach and grading quality of evidence about interventions</RefTitle> <RefYear>2009</RefYear> <RefJournal>Allergy</RefJournal> <RefPage>669-77</RefPage> <RefTotal>Brozek JL, Akl EA, Alonso-Coello P, Lang D, Jaeschke R, Williams JW, Phillips B, Lelgemann M, Lethaby A, Bousquet J, Guyatt GH, Sch&#252;nemann HJ; GRADE Working Group. Grading quality of evidence and strength of recommendations in clinical practice guidelines. Part 1 of 3. An overview of the GRADE approach and grading quality of evidence about interventions. Allergy. 2009 May;64(5):669-77. DOI: 10.1111&#47;j.1398-9995.2009.01973.x</RefTotal> <RefLink>https:&#47;&#47;doi.org&#47;10.1111&#47;j.1398-9995.2009.01973.x</RefLink> </Reference> <Reference refNo="24"> <RefAuthor>Sch&#252;nemann HJ</RefAuthor> <RefAuthor>Langer G</RefAuthor> <RefAuthor>Meerpohl JJ</RefAuthor> <RefAuthor>Ollenschl&#228;ger G</RefAuthor> <RefAuthor>Perleth M</RefAuthor> <RefTitle>Das GRADE-System: Ein Prolog zur Artikelserie in der ZEFQ</RefTitle> <RefYear>2012</RefYear> <RefJournal>Z Evid Fortbild Qual Gesundhwes</RefJournal> <RefPage>354-6</RefPage> <RefTotal>Sch&#252;nemann HJ, Langer G, Meerpohl JJ, Ollenschl&#228;ger G, Perleth M. Das GRADE-System: Ein Prolog zur Artikelserie in der ZEFQ &#91;The GRADE system: a prologue to the article series in the ZEFQ&#93;. Z Evid Fortbild Qual Gesundhwes. 2012;106(5):354-6. DOI: 10.1016&#47;j.zefq.2012.05.016</RefTotal> <RefLink>https:&#47;&#47;doi.org&#47;10.1016&#47;j.zefq.2012.05.016</RefLink> </Reference> <Reference refNo="25"> <RefAuthor>Blumenstock G</RefAuthor> <RefTitle>Zur Qualit&#228;t von Qualit&#228;tsindikatoren</RefTitle> <RefYear>2011</RefYear> <RefJournal>Bundesgesundheitsblatt Gesundheitsforschung Gesundheitsschutz</RefJournal> <RefPage>154-9</RefPage> <RefTotal>Blumenstock G. Zur Qualit&#228;t von Qualit&#228;tsindikatoren &#91;Assessing the quality of quality indicators&#93;. Bundesgesundheitsblatt Gesundheitsforschung Gesundheitsschutz. 2011 Feb;54(2):154-9. DOI: 10.1007&#47;s00103-010-1209-6</RefTotal> <RefLink>https:&#47;&#47;doi.org&#47;10.1007&#47;s00103-010-1209-6</RefLink> </Reference> <Reference refNo="26"> <RefAuthor>Kumpf O</RefAuthor> <RefTitle>Qualit&#228;tsindikatoren in der Intensivmedizin: Hintergrund und praktischer Nutzen</RefTitle> <RefYear>2019</RefYear> <RefJournal>Med Klin Intensivmed Notfmed</RefJournal> <RefPage></RefPage> <RefTotal>Kumpf O. Qualit&#228;tsindikatoren in der Intensivmedizin: Hintergrund und praktischer Nutzen &#91;Quality indicators in intensive care medicine: Background and practical use&#93;. Med Klin Intensivmed Notfmed. 2019 Dec 10. DOI: 10.1007&#47;s00063-019-00630-w</RefTotal> <RefLink>https:&#47;&#47;doi.org&#47;10.1007&#47;s00063-019-00630-w</RefLink> </Reference> <Reference refNo="27"> <RefAuthor>Valiani S</RefAuthor> <RefAuthor>Rigal R</RefAuthor> <RefAuthor>Stelfox HT</RefAuthor> <RefAuthor>Muscedere J</RefAuthor> <RefAuthor>Martin CM</RefAuthor> <RefAuthor>Dodek P</RefAuthor> <RefAuthor>Lamontagne F</RefAuthor> <RefAuthor>Fowler R</RefAuthor> <RefAuthor>Gheshmy A</RefAuthor> <RefAuthor>Cook DJ</RefAuthor> <RefAuthor>Forster AJ</RefAuthor> <RefAuthor>H&#233;bert PC</RefAuthor> <RefTitle>An environmental scan of quality indicators in critical care</RefTitle> <RefYear>2017</RefYear> <RefJournal>CMAJ Open</RefJournal> <RefPage>E488-95</RefPage> <RefTotal>Valiani S, Rigal R, Stelfox HT, Muscedere J, Martin CM, Dodek P, Lamontagne F, Fowler R, Gheshmy A, Cook DJ, Forster AJ, H&#233;bert PC. An environmental scan of quality indicators in critical care. CMAJ Open. 2017 Jun;5(2):E488-95. DOI: 10.9778&#47;cmajo.20150139</RefTotal> <RefLink>https:&#47;&#47;doi.org&#47;10.9778&#47;cmajo.20150139</RefLink> </Reference> <Reference refNo="28"> <RefAuthor>Guyatt GH</RefAuthor> <RefAuthor>Oxman AD</RefAuthor> <RefAuthor>Kunz R</RefAuthor> <RefAuthor>Woodcock J</RefAuthor> <RefAuthor>Brozek J</RefAuthor> <RefAuthor>Helfand M</RefAuthor> <RefAuthor>Alonso-Coello P</RefAuthor> <RefAuthor>Falck-Ytter Y</RefAuthor> <RefAuthor>Jaeschke R</RefAuthor> <RefAuthor>Vist G</RefAuthor> <RefAuthor>Akl EA</RefAuthor> <RefAuthor>Post PN</RefAuthor> <RefAuthor>Norris S</RefAuthor> <RefAuthor>Meerpohl J</RefAuthor> <RefAuthor>Shukla VK</RefAuthor> <RefAuthor>Nasser M</RefAuthor> <RefAuthor>Sch&#252;nemann HJ</RefAuthor> <RefAuthor> GRADE Working Group</RefAuthor> <RefTitle>GRADE guidelines: 8. Rating the quality of evidence &#8211; indirectness</RefTitle> <RefYear>2011</RefYear> <RefJournal>J Clin Epidemiol</RefJournal> <RefPage>1303-10</RefPage> <RefTotal>Guyatt GH, Oxman AD, Kunz R, Woodcock J, Brozek J, Helfand M, Alonso-Coello P, Falck-Ytter Y, Jaeschke R, Vist G, Akl EA, Post PN, Norris S, Meerpohl J, Shukla VK, Nasser M, Sch&#252;nemann HJ; GRADE Working Group. GRADE guidelines: 8. Rating the quality of evidence &#8211; indirectness. J Clin Epidemiol. 2011 Dec;64(12):1303-10. DOI: 10.1016&#47;j.jclinepi.2011.04.014</RefTotal> <RefLink>https:&#47;&#47;doi.org&#47;10.1016&#47;j.jclinepi.2011.04.014</RefLink> </Reference> <Reference refNo="29"> <RefAuthor>Sch&#252;nemann HJ</RefAuthor> <RefTitle>Interpreting GRADE&#8217;s levels of certainty or quality of the evidence: GRADE for statisticians, considering review information size or less emphasis on imprecision&#63;</RefTitle> <RefYear>2016</RefYear> <RefJournal>J Clin Epidemiol</RefJournal> <RefPage>6-15</RefPage> <RefTotal>Sch&#252;nemann HJ. Interpreting GRADE&#8217;s levels of certainty or quality of the evidence: GRADE for statisticians, considering review information size or less emphasis on imprecision&#63; J Clin Epidemiol. 2016 Jul;75:6-15. DOI: 10.1016&#47;j.jclinepi.2016.03.018</RefTotal> <RefLink>https:&#47;&#47;doi.org&#47;10.1016&#47;j.jclinepi.2016.03.018</RefLink> </Reference> <Reference refNo="30"> <RefAuthor>Bieler D</RefAuthor> <RefAuthor>H&#246;rster A</RefAuthor> <RefAuthor>Lefering R</RefAuthor> <RefAuthor>Franke A</RefAuthor> <RefAuthor>Waydhas C</RefAuthor> <RefAuthor>Huber-Wagner S</RefAuthor> <RefAuthor>Baacke M</RefAuthor> <RefAuthor>Paffrath T</RefAuthor> <RefAuthor>Wnent J</RefAuthor> <RefAuthor>Volland R</RefAuthor> <RefAuthor>Jakisch B</RefAuthor> <RefAuthor>Walcher F</RefAuthor> <RefAuthor>Kulla M</RefAuthor> <RefTitle>Evaluation of new quality indicators for the TraumaRegister DGU using the systematic QUALIFY methodology</RefTitle> <RefYear>2020</RefYear> <RefJournal>Eur J Trauma Emerg Surg</RefJournal> <RefPage>449-60</RefPage> <RefTotal>Bieler D, H&#246;rster A, Lefering R, Franke A, Waydhas C, Huber-Wagner S, Baacke M, Paffrath T, Wnent J, Volland R, Jakisch B, Walcher F, Kulla M. Evaluation of new quality indicators for the TraumaRegister DGU using the systematic QUALIFY methodology. Eur J Trauma Emerg Surg. 2020 Jun;46(3):449-60. DOI: 10.1007&#47;s00068-018-1055-z</RefTotal> <RefLink>https:&#47;&#47;doi.org&#47;10.1007&#47;s00068-018-1055-z</RefLink> </Reference> <Reference refNo="31"> <RefAuthor>Hardt J</RefAuthor> <RefAuthor>Buhr HJ</RefAuthor> <RefAuthor>Klinger C</RefAuthor> <RefAuthor>Benz S</RefAuthor> <RefAuthor>Ludwig K</RefAuthor> <RefAuthor>Kalff J</RefAuthor> <RefAuthor>Post S</RefAuthor> <RefTitle>Qualit&#228;tsindikatoren f&#252;r die onkologische Kolonchirurgie: Evidenzbasierte Entwicklung eines Indikatorensets f&#252;r die Ergebnisqualit&#228;t</RefTitle> <RefYear>2018</RefYear> <RefJournal>Chirurg</RefJournal> <RefPage>17-25</RefPage> <RefTotal>Hardt J, Buhr HJ, Klinger C, Benz S, Ludwig K, Kalff J, Post S. Qualit&#228;tsindikatoren f&#252;r die onkologische Kolonchirurgie: Evidenzbasierte Entwicklung eines Indikatorensets f&#252;r die Ergebnisqualit&#228;t &#91;Quality indicators for colon cancer surgery: Evidence-based development of a set of indicators for the outcome quality&#93;. Chirurg. 2018 Jan;89(1):17-25. DOI: 10.1007&#47;s00104-017-0559-0</RefTotal> <RefLink>https:&#47;&#47;doi.org&#47;10.1007&#47;s00104-017-0559-0</RefLink> </Reference> <Reference refNo="32"> <RefAuthor>von Dincklage F</RefAuthor> <RefAuthor>Suchodolski K</RefAuthor> <RefAuthor>Lichtner G</RefAuthor> <RefAuthor>Friesdorf W</RefAuthor> <RefAuthor>Podtschaske B</RefAuthor> <RefAuthor>Ragaller M</RefAuthor> <RefTitle>Investigation of the Usability of Computerized Critical Care Information Systems in Germany</RefTitle> <RefYear>2019</RefYear> <RefJournal>J Intensive Care Med</RefJournal> <RefPage>227-37</RefPage> <RefTotal>von Dincklage F, Suchodolski K, Lichtner G, Friesdorf W, Podtschaske B, Ragaller M. Investigation of the Usability of Computerized Critical Care Information Systems in Germany. J Intensive Care Med. 2019 Mar;34(3):227-37. DOI: 10.1177&#47;0885066617696848</RefTotal> <RefLink>https:&#47;&#47;doi.org&#47;10.1177&#47;0885066617696848</RefLink> </Reference> <Reference refNo="33"> <RefAuthor>Kastrup M</RefAuthor> <RefAuthor>Tittmann B</RefAuthor> <RefAuthor>Sawatzki T</RefAuthor> <RefAuthor>Gersch M</RefAuthor> <RefAuthor>Vogt C</RefAuthor> <RefAuthor>Rosenthal M</RefAuthor> <RefAuthor>Rosseau S</RefAuthor> <RefAuthor>Spies C</RefAuthor> <RefTitle>Transition from in-hospital ventilation to home ventilation: process description and quality indicators</RefTitle> <RefYear>2017</RefYear> <RefJournal>Ger Med Sci</RefJournal> <RefPage>Doc18</RefPage> <RefTotal>Kastrup M, Tittmann B, Sawatzki T, Gersch M, Vogt C, Rosenthal M, Rosseau S, Spies C. Transition from in-hospital ventilation to home ventilation: process description and quality indicators. Ger Med Sci. 2017;15:Doc18. DOI: 10.3205&#47;000259</RefTotal> <RefLink>https:&#47;&#47;doi.org&#47;10.3205&#47;000259</RefLink> </Reference> <Reference refNo="34"> <RefAuthor>Klompas M</RefAuthor> <RefAuthor>Li L</RefAuthor> <RefAuthor>Kleinman K</RefAuthor> <RefAuthor>Szumita PM</RefAuthor> <RefAuthor>Massaro AF</RefAuthor> <RefTitle>Associations Between Ventilator Bundle Components and Outcomes</RefTitle> <RefYear>2016</RefYear> <RefJournal>JAMA Intern Med</RefJournal> <RefPage>1277-83</RefPage> <RefTotal>Klompas M, Li L, Kleinman K, Szumita PM, Massaro AF. Associations Between Ventilator Bundle Components and Outcomes. JAMA Intern Med. 2016 Sep;176(9):1277-83. DOI: 10.1001&#47;jamainternmed.2016.2427</RefTotal> <RefLink>https:&#47;&#47;doi.org&#47;10.1001&#47;jamainternmed.2016.2427</RefLink> </Reference> <Reference refNo="35"> <RefAuthor>Donabedian A</RefAuthor> <RefTitle>The quality of care. How can it be assessed&#63;</RefTitle> <RefYear>1988</RefYear> <RefJournal>JAMA</RefJournal> <RefPage>1743-8</RefPage> <RefTotal>Donabedian A. The quality of care. How can it be assessed&#63; JAMA. 1988 Sep 23-30;260(12):1743-8. DOI: 10.1001&#47;jama.260.12.1743</RefTotal> <RefLink>https:&#47;&#47;doi.org&#47;10.1001&#47;jama.260.12.1743</RefLink> </Reference> <Reference refNo="36"> <RefAuthor>Kumpf O</RefAuthor> <RefAuthor>Riessen R</RefAuthor> <RefAuthor>Dubb R</RefAuthor> <RefAuthor>Kaltwasser A</RefAuthor> <RefTitle>Medizinisches Qualit&#228;tsmanagement: Qualit&#228;tsindikatoren</RefTitle> <RefYear>2018</RefYear> <RefJournal>Intensivmedup2date</RefJournal> <RefPage>247-59</RefPage> <RefTotal>Kumpf O, Riessen R, Dubb R, Kaltwasser A. Medizinisches Qualit&#228;tsmanagement: Qualit&#228;tsindikatoren. Intensivmedup2date. 2018;14(3):247-59. DOI: 10.1055&#47;s-0043-125108</RefTotal> <RefLink>https:&#47;&#47;doi.org&#47;10.1055&#47;s-0043-125108</RefLink> </Reference> <Reference refNo="37"> <RefAuthor>Salluh JIF</RefAuthor> <RefAuthor>Chiche JD</RefAuthor> <RefAuthor>Reis CE</RefAuthor> <RefAuthor>Soares M</RefAuthor> <RefTitle>New perspectives to improve critical care benchmarking</RefTitle> <RefYear>2018</RefYear> <RefJournal>Ann Intensive Care</RefJournal> <RefPage>17</RefPage> <RefTotal>Salluh JIF, Chiche JD, Reis CE, Soares M. New perspectives to improve critical care benchmarking. Ann Intensive Care. 2018 Feb;8(1):17. DOI: 10.1186&#47;s13613-018-0363-0</RefTotal> <RefLink>https:&#47;&#47;doi.org&#47;10.1186&#47;s13613-018-0363-0</RefLink> </Reference> <Reference refNo="38"> <RefAuthor>Pilcher DV</RefAuthor> <RefAuthor>Hoffman T</RefAuthor> <RefAuthor>Thomas C</RefAuthor> <RefAuthor>Ernest D</RefAuthor> <RefAuthor>Hart GK</RefAuthor> <RefTitle>Risk-adjusted continuous outcome monitoring with an EWMA chart: could it have detected excess mortality among intensive care patients at Bundaberg Base Hospital&#63;</RefTitle> <RefYear>2010</RefYear> <RefJournal>Crit Care Resusc</RefJournal> <RefPage>36-41</RefPage> <RefTotal>Pilcher DV, Hoffman T, Thomas C, Ernest D, Hart GK. Risk-adjusted continuous outcome monitoring with an EWMA chart: could it have detected excess mortality among intensive care patients at Bundaberg Base Hospital&#63; Crit Care Resusc. 2010 Mar;12(1):36-41.</RefTotal> </Reference> <Reference refNo="39"> <RefAuthor>Califf RM</RefAuthor> <RefAuthor>Peterson ED</RefAuthor> <RefAuthor>Gibbons RJ</RefAuthor> <RefAuthor>Garson A Jr</RefAuthor> <RefAuthor>Brindis RG</RefAuthor> <RefAuthor>Beller GA</RefAuthor> <RefAuthor>Smith SC Jr</RefAuthor> <RefAuthor> American College of Cardiology</RefAuthor> <RefAuthor> American Heart Association</RefAuthor> <RefTitle>Integrating quality into the cycle of therapeutic development</RefTitle> <RefYear>2002</RefYear> <RefJournal>J Am Coll Cardiol</RefJournal> <RefPage>1895-901</RefPage> <RefTotal>Califf RM, Peterson ED, Gibbons RJ, Garson A Jr, Brindis RG, Beller GA, Smith SC Jr; American College of Cardiology; American Heart Association. Integrating quality into the cycle of therapeutic development. J Am Coll Cardiol. 2002 Dec;40(11):1895-901. DOI: 10.1016&#47;s0735-1097(02)02537-8</RefTotal> <RefLink>https:&#47;&#47;doi.org&#47;10.1016&#47;s0735-1097(02)02537-8</RefLink> </Reference> </References> <Media> <Tables> <Table format="png"> <MediaNo>1</MediaNo> <MediaID language="en">1en</MediaID> <MediaID language="de">1de</MediaID> <Caption language="en"><Pgraph><Mark1>Table 1: Comparison of different versions of the DIVI QI &#91;14&#93;, &#91;18&#93;, &#91;19&#93;</Mark1></Pgraph></Caption> <Caption language="de"><Pgraph><Mark1>Tabelle 1: Die DIVI-QI und ihre Revisionen im Vergleich &#91;14&#93;, &#91;18&#93;, &#91;19&#93;</Mark1></Pgraph></Caption> </Table> <Table format="png"> <MediaNo>2</MediaNo> <MediaID language="en">2en</MediaID> <MediaID language="de">2de</MediaID> <Caption language="en"><Pgraph><Mark1>Table 2: Comparison of evaluation criteria for quality indicators (RUMBA&#47;QUALIFY criteria for guideline-based QI&#47;original QUALIFY)</Mark1></Pgraph></Caption> <Caption language="de"><Pgraph><Mark1>Tabelle 2: Vergleich von Bewertungskriterien f&#252;r Qualit&#228;tsindikatoren (RUMBA&#47;QUALIFY-Kriterien f&#252;r Leitlinien-basierte QI&#47;Original-QUALIFY zum Vergleich)</Mark1></Pgraph></Caption> </Table> <NoOfTables>2</NoOfTables> </Tables> <Figures> <Figure format="png" height="616" width="681"> <MediaNo>1</MediaNo> <MediaID language="en">1en</MediaID> <MediaID language="de">1de</MediaID> <Caption language="en"><Pgraph><Mark1>Figure 1: Methodology of indicator testing in a consensus-based structured evaluation process; differences between the RUMBA instrument and the QUALIFY instrument and their potential use</Mark1></Pgraph></Caption> <Caption language="de"><Pgraph><Mark1>Abbildung 1: Methodik der Indikatorpr&#252;fung in einem konsensusbasierten strukturierten Evaluationsprozess; Unterschiede zwischen dem RUMBA-Instrument und dem QUALIFY-Instrument und ihr potenzieller Nutzungsansatz</Mark1></Pgraph></Caption> </Figure> <Figure format="png" height="669" width="831"> <MediaNo>2</MediaNo> <MediaID language="en">2en</MediaID> <MediaID language="de">2de</MediaID> <Caption language="en"><Pgraph><Mark1>Figure 2: Methodological approach for further development of intensive care quality indicators on the basis of existing guidelines; structured evaluation process using the modified QUALIFY system</Mark1></Pgraph></Caption> <Caption language="de"><Pgraph><Mark1>Abbildung 2: Methodischer Ansatz der Neu- und Weiterentwicklung von intensivmedizinischen Qualit&#228;tsindikatoren unter Ber&#252;cksichtigung vorhandener Leitlinien; strukturierter Prozess mit Bewertung anhand der QUALIFY-Methodik</Mark1></Pgraph></Caption> </Figure> <NoOfPictures>2</NoOfPictures> </Figures> <InlineFigures> <NoOfPictures>0</NoOfPictures> </InlineFigures> <Attachments> <NoOfAttachments>0</NoOfAttachments> </Attachments> </Media> </OrigData> </GmsArticle>