zma001193 10.3205/zma001193 urn:nbn:de:0183-zma0011938 article Artikel Überprüfen der Art des Feedbacks innerhalb Mini Clinical Evaluation Exercise (Mini-CEX): eine Analyse von 1427 Mini-CEX-Bewertungsformularen Soemantri Soemantri Diantha D

Faculty of Medicine Universitas Indonesia, Department of Medical Education, Salemba Raya 6 Jakarta Pusat 10430, Indonesia, Phone: +62-21-3901814Faculty of Medicine Universitas Indonesia, Department of Medical Education, Jakarta, Indonesia

diantha.soemantri@ui.ac.id author Dodds Dodds Agnes A

University of Melbourne, Melbourne Medical School, Department of Medical Education, Melbourne, Australia

agnesd@unimelb.edu.au author Mccoll Mccoll Geoff G

University of Queensland, Faculty of Medicine, Executive Dean, St. Lucia Queensland, Australia

g.mccoll@uq.edu.au author German Medical Science GMS Publishing House

Düsseldorf

610 feedback clinical assessment Feedback klinisch Bewertung Feedback Feedback 20180302 20180720 20180816 20181115 engl germ This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). 2366-5017 35 4 GMS Journal for Medical Education GMS J Med Educ 47 Hintergrund: Trotz steigender Anwendungszahlen der Mini Clinical Evaluation Exercise (Mini-CEX) Prüfung, die in der medizinischen Grundausbildung zunehmend genutzt wird, haben Studien einige Einschränkungen im Zusammenhang mit dem abgegebenen Feedback (Rückmeldung) gezeigt.Diese Studie überprüft das schriftlich abgegebene Feedback auf Mini-CEX-Formularen, um die Nutzbarkeit dieser als Lernhilfsmittel für Studenten zu bestimmen.Methoden: 1427 Mini-CEX-Bewertungsformulare wurden von Medizinstudenten aus deren letztem Studienjahr gesammelt. Das schriftliche Feedback, das sich auf Stärken und Schwächen der Studierenden bezieht, wurde kategorisiert und mit den Variablen der Komplexität der klinischen Fälle, der klinischen Position der Gutachter und der klinischen Leistungsbewertung der Studierenden korreliert.Ergebnisse: Die Anzahl der allgemeinen Feedback-Kommentare bezüglich der Stärken und der Weiterentwicklung der Studenten betrug 953 (65,3%) bzw. 604 (38,64%). Weniger als 30% der Rückmeldungen zu jeder Domäne wurde als spezifisches Feedback kategorisiert. Signifikante Zusammenhänge wurden zwischen dem Feedback zu den Stärken eines Studenten und der Komplexität der klinischen Fälle (Χ2=17,48, p<0,01) sowie der klinischen Position der Gutachter (Χ2=37,10, p<.01) gefunden. Ebenfalls bestand ein Zusammenhang zwischen dem Feedback zur Weiterentwicklung der Studierenden und der klinischen Position der Gutachter (Χ2=27,22, p<0,01).Schlussfolgerung: Basierend auf den Mini-CEX-Formularen der Studentengruppe, die in dieser Studie untersucht wurde, kann man schließen, dass das in den Mini-CEX Bewertungsformularen abgegebene schriftliche Feedback allgemeiner Natur und wenig spezifisch war. Dieser Befund zeigt auf, dass klinische Lehrer besser für die Bereitstellung von Feedback ausgebildet werden müssen. Background: Despite the growing use, studies have demonstrated some limitations related to the feedback provided in the context of the increasing use of the Mini Clinical Evaluation Exercise (Mini-CEX) in undergraduate medical education. This study examined the written feedback provided on the Mini-CEX form to determine its usefulness as a learning tool for students.Methods: 1427 Mini-CEX assessment forms of final year medical students were collected. Written feedback, both on students’ strength and weakness, was categorized and correlated with the variables of clinical case complexity, assessors’ clinical position and students’ clinical performance rating. Results: The number of general feedback comments for students’ strengths and development were 953 (65.3%) and 604 (38.64%) respectively. Less than 30% of the feedback for each domain was categorized as specific feedback. Significant associations were found between feedback on strength and clinical case complexity (Χ2=17.48, p<.01); and also with assessor clinical position (Χ2=37.10, p<.01). There was also an association between feedback for students’ development and assessor clinical position (Χ2=27.22, p<.01).Conclusion: Based on the Mini-CEX forms of student cohort this study examined, it can be concluded that the written feedback provided in the Mini-CEX assessment form was general and lacked specificity. This finding leads to the need to train clinical teachers in the provision of feedback. 1. IntroductionThe Mini Clinical Evaluation Exercise (Mini-CEX) was originally developed for postgraduate medical training to allow an evaluation of a trainees’ ability to perform in real-time clinical practice. It was developed to replace traditional clinical evaluation exercises, such as long cases, which had limitations. These limitations included the number and variety of cases, length of time required for full assessments, complexity of the clinical setting and the difficulty of finding assessors willing and able to spend the time required , . Despite the growing use of Mini-CEX’s in the undergraduate medical education setting , , , there has been little research examining their utility in this setting particularly in regard to the provision of feedback.According to the social sciences and medical education literature, feedback is best described as “specific information about the comparison between one’s performance and a standard in order to improve the learners’ performance” [, p. 189]. In an extensive review of research evidence on the effectiveness of feedback, Hattie and Timperley concluded that effective feedback will help learners in answering three questions: where one is going, how one is going, and where to next . Therefore, feedback should go beyond the outcome of a particular learning process. Embedded in the Mini-CEX format is the direct observation of students performing particular skills and the immediate and specific feedback provided following the observation, according to a predetermined assessment form. All of these features of the Mini-CEX are aligned to the characteristics of effective feedback , , which includes the timely provision of feedback to a recipient who is expecting it. Feedback should also be specific, derived from the observation and focus on remediable actions. In addition, students need to have the opportunity to clarify the feedback. This is in line with the practice of Mini-CEX where students have the opportunity to read the feedback and ask for questions or clarifications regarding the feedback. Apart from one study by Norcini, et al. that demonstrated significant improvement of the scores in the Mini-CEXs over several encounters, there has been little research on the quality of feedback given to undergraduate students. There are also various opinions regarding the perceptions of students of the Mini-CEX, some of whom value it , , , and some who still consider it as a routine procedure with little effect on learning , .Holmboe, Yepes, Williams, & Huot categorized feedback into four hierarchical groups (from the least to the most effective): giving recommendations, enabling learner reaction, asking for self-assessment and agreeing on an action plan . They found in their study that most feedback provided during Mini-CEX encounters fell into the least effective (giving recommendations) category [. Lack of experience and training, discomfort of the assessors, and inadequate time are some factors proposed to be the causes of the lack of these types of feedback , . This situation may significantly diminish the usefulness of the Mini-CEX as a learning tool. Through the implementation of Mini-CEX, students are exposed to a variety of cases in various clinical settings and most importantly to opportunities to receive feedback over time. However, the small effect of the Mini-CEX on learning may plausibly stem from the poor quality of the feedback provided within the Mini-CEX , , , . Therefore, in order to advance our understanding of the quality of written feedback provided in the Mini-CEX encounters, we analysed assessment forms from a cohort of final year medical students at a large Australian medical school. 1. EinführungDie Mini-Clinical-Evaluation Exercise (Mini-CEX) Prüfung wurde ursprünglich für die postgraduierte medizinische Ausbildung entwickelt, um eine Evaluierung der Eignung des angehenden Mediziners für die reale klinische Praxis zu erlauben.Die Prüfung wurde entwickelt, um traditionelle Übungen wie zum Beispiel das lange Diskutieren von Einzelfällen zu ersetzen, welche mehrere Limitationen aufwiesen. Solche Einschränkungen beinhalten die Zahl und Verschiedenheit der behandelten Fälle, benötigte Zeit für eine vollständige Anamnese, Komplexität des klinischen Kontexts und die Schwierigkeit, Gutachter zu finden, die die benötigte Zeit aufbringen können , . Trotz der Zunahme der Verwendung von Mini-CEX in der medizinischen Grundausbildung , , , gibt es bisher nur wenige Untersuchungen der Nützlichkeit von Mini-CEX insbesondere im Hinblick auf die Bereitstellung von Feedback.Laut sozialwissenschaftlicher und medizinischer Ausbildungsliteratur wird ein Feedback am besten beschrieben als „spezifische Information über den Vergleich zwischen der eigenen Leistung und einem Standard, mit dem Ziel die Leistung des Lernenden zu verbessern“ [, S. 189]. In einer umfangreichen Übersichtsarbeit zur wissenschaftlichen Evidenz für die Effektivität von Feedback, kamen Hattie und Timperley zum Ergebnis, dass ein wirksames Feedback den Lernenden beim Beantworten von drei Fragen helfen wird: wohin man geht, wie man geht, und was das nächste Ziel ist . Deshalb sollte ein Feedback noch weiter über das Ergebnis eines bestimmten Lernprozesses hinausgehen.Eingebettet im Min-CEX-Format ist die direkte Beobachtung von Studenten, denen bestimmte Fähigkeiten abgefragt werden, und das sofortige spezifische Feedback, welches auf einem vorgefertigten Bewertungsformular unmittelbar nach der Beobachtung abgegeben wird. All diese Merkmale der Mini-CEX Prüfung orientieren sich an den charakteristischen Eigenschaften wirksamen Feedbacks , , die insbesondere eine zeitnahe Rückmeldung an denjenigen beinhalten, der ein Feedback erwartet.Das Feedback sollte auch spezifisch sein, abgeleitet von der Beobachtung und auf Fehler behebende Maßnahmen fokussiert. Zusätzlich sollten Studenten die Möglichkeit zur Erklärung des Feedbacks haben. Dies steht im Einklang mit der Praxis von Mini-CEX Prüfungen, wo die Studenten die Chance bekommen, die Rückmeldung zu lesen und Fragen zu dessen Klarstellung zu stellen.Abgesehen von einer Studie von Norcini et al. , die eine signifikante Verbesserung der Bewertungen von Mini-CEXPrüfungen im Laufe mehrerer Treffen demonstrierte, gab es bisher nur wenig Forschung über die Qualität der an Studenten abgegebenen Rückmeldung. Auch bezüglich der Frage, wie Studenten die Mini-CEX Prüfung wahrnehmen, existieren verschiedene Meinungen, einige schätzten sie , , , während andere die Prüfung als ein Routineverfahren mit kleinem Lerneffekt betrachteten , .Holmboe, Yepes, Williams & Huot kategorisierten das Feedback in vier hierarchische Gruppen (vom ineffektivsten bis hin zum effektivsten): Abgabe von Empfehlungen, Ermöglichung einer Reaktion des Lernenden, Frage nach Selbstbeurteilung und Einigung auf einen Aktionsplan . Sie fanden in ihrer Studie heraus, dass das am häufigsten abgegebene Feedback während der Mini-CEX Treffen in die Kategorie der geringsten Wirksamkeit (Empfehlungen geben) fiel . Mangel an Erfahrung und Übung, Unbehagen der Gutachter und fehlende Zeit sind einige Faktoren, die als Ursachen für die Mängel dieser Art von Feedback , vorgeschlagen wurden. Diese Situation könnte die Nutzbarkeit von Mini-CEX als Lernwerkzeug erheblich verringern.Durch die Implementierung der Mini-CEX Prüfung sind Studenten mitverschiedenen Fällen in unterschiedlichen klinischen Situationen konfrontiert und erhalten vor allem die Möglichkeiten, im Laufe Zeit nützliches Feedback zu bekommen. Jedoch könnte der geringe Lerneffekt der Mini-CEX Prüfung auf der schlechten Qualität der abgegebenen Rückmeldung innerhalb des Mini-CEX Bewertungsformulars stammen , , , . Deswegen analysierten wir die Bewertungsformulare einer Gruppe von Medizinstudenten, die sich im letzten Studienjahr an einer großen australischen medizinischen Schule befanden, um unser Verständnis über die Qualität der schriftlichen Rückmeldung innerhalb der Mini-CEX Treffen zu verbessern. 2. MethodAt the end of the final semester of a large Australian medical school MBBS (Bachelor of Medicine, Bachelor of Surgery) course, all Mini-CEX assessment forms at three of the five metropolitan clinical schools were collected (the form used in the course is provided as Figure 1 ). The Mini-CEX is a hurdle requirement for passing the subject and each student was required to submit at least six completed Mini-CEX assessment forms (two forms for each of the three clinical terms; medicine, surgery, and general practice). The study was approved by the University Human Research Ethics Committee. Quantitative data were analysed using IBM SPSS version 19 (IBM Corp.). The assessor clinical positions were classified as consultant, registrar/fellow and doctor in training (resident/intern), according to the position hierarchy of hospital staff in the Australian medical context, and also general practitioner. Training sessions on Mini-CEX for assessors was provided at each clinical school but there is likely to have been some variation in the approach to these sessions taken by individual leader. Instructions on how to use the Mini-CEX assessment form, including the level of student performance, were provided for the assessors.The coding manual for the written feedback categorization was developed based on Holmboe et al’s categories of feedback (giving recommendations, enabling learner reaction, asking for self-assessment and agreeing on action plan) using a subset of Mini-CEX assessment forms. After analysis of a sub-group of responses, categories were collapsed to a dichotomous variable of general or specific feedback. Each entry of specific feedback was further categorized into the corresponding clinical performance domain. The suggestion for development was categorized into three main categories: general, specific, and feedback that provides more than just suggestions. Similar to feedback for students’ strengths, a specific suggestion was also classified into a suitable clinical performance domain. We conducted a content analysis to determine the appropriate category for each feedback entry on the assessment form. Following this process, an independent rater was asked to categorize the feedback from 10% (n=140) randomly selected Mini-CEX assessment forms, to examine the inter-rater agreement using the two-way random model of intra-class correlation (ICC) analysis . Only the main categories of feedback (no feedback, general and specific feedback) were included in the ICC analysis since the focus was on whether the feedback was general or specific, rather than on the clinical performance domain. When there was more than one category of feedback within a comment, only the highest category was included in the analysis. For example if a comment consisted of both general and specific feedback, we took the higher category of feedback (specific feedback) to represent the comment. The ICC coefficients for the feedback on students’ strength and development categories were .793 (p<.001, 95% CI=.721-.847) and .946 (p<.001, 95% CI=.961-.980) respectively. Both ICC coefficients were considered as good , which indicated a relatively high and substantial agreement between the raters. 2. MethodeAm Ende des letzten Semesters des MBBS (Bachelor of Medicine, Bachelor of Surgery) Studiengangs an einer großen australischen medizinischen Schule wurden alle Mini-CEX Bewertungsformulare von drei der insgesamt fünf städtischen medizinischen Schulen gesammelt (das für den Unterreicht verwendete Formular ist in Abbildung 1 dargestellt).Das erfolgreiche Ablegen der Mini-CEX Prüfung ist die Voraussetzung um ein Fach zu bestehen, und jeder Student musste mindestens sechs vollständig ausgefüllte Bewertungsformulare vorlegen können (je zwei Formulare für jedes der drei klinischen Fächer: Medizin, Chirurgie und Allgemeinarztpraxis). Die Studie wurde von der Ethikkommission unserer Universität genehmigt.Quantitative Daten wurden mit Hilfe von IBM SPSS Version 19 (IBM Corp.) analysiert. Die klinischen Rollen der Gutachter wurden gemäß der Hierarchie von Krankenhausangestellten im australischen medizinischen Umfeld klassifiziert in die Kategorien Oberarzt, Facharzt und Arzt in Ausbildung; eine weitere Kategorie bildeten niedergelassene Allgemeinmediziner. Um die Mini-CEX bewerten zu können, erhielten die Gutachter jedes klinischen Faches Trainingssitzungen, wobei deren Inhalt wahrscheinlich abhängig vom Sitzungsleiter etwas variierte. Die Gutachter erhielten auch Anleitungen, wie sie die Bewertungsformulare auszufüllen hatten.Das Handbuch mit der Kodierung der Kategorien für das schriftliche Feedback wurde anhand einer kleineren Auswahl der Mini-CEX Bewertungsformulare für die von Holmboe et al. vorgeschlagenen Feedback-Kategorien entwickelt (Abgabe von Empfehlungen, Ermöglichung einer Reaktion des Lernenden, Frage nach Selbstbeurteilung und Einigung auf einen Aktionsplan) . Nach der Auswertung einer Subgruppe von Antworten wurden diese Kategorien in eine Variable mit Werten „allgemeines Feedback“ und „spezifisches Feedback“ dichotomisiert. Jeder Eintrag innerhalb des spezifischen Feedbacks zu den Stärken des Studenten wurde weiter in die entsprechende klinische Leistungsdomäne eingeordnet. Vorschläge für die Weiterentwicklung des Studenten wurden in drei Kategorien aufgeteilt: allgemeines Feedback, spezifisches Feedback, und Feedback welches mehr als bloße Ratschläge beinhaltet. Ähnlich wie bei dem Feedback zu den Stärken eines Prüflings, wurde ein spezifischer Vorschlag für die weitere Entwicklung auch in die entsprechende klinische Leistungsdomäne eingeordnet. Wir führten eine Inhaltsanalyse durch , um jeden Feedback-Eintrag im Bewertungsformular in die passende Kategorie einzusortieren.Nach diesem Procedere wurde ein unabhängiger Gutachter gebeten, das Feedback aus 10% (n=140) zufällig ausgewählter Mini-CEX Bewertungsbögen zu klassifizieren; damit konnte die Übereinstimmung zwischen den verschiedenen Gutachtern mit Hilfe des Doppel-Zufallsmodells der Intraklassenkorrelation (two-way random model of intra-class correlation, ICC ) analysiert werden. In die ICC Analyse gingen nur die Hauptkategorien für das Feedback ein (kein Feedback, allgemeines oder spezifisches Feedback), da der Fokus darauf lag, ob das Feedback allgemeiner oder spezifischer Natur war, nicht welcher klinischen Leistungsdomäne es entsprach. Falls ein Kommentar mehr als einer Feedback-Kategorie zugeordnet werden konnte, ging nur die höchste Kategorie in die Analyse ein. Wenn zum Beispiel ein Kommentar aus sowohl allgemeinem wie auch spezifischem Feedback bestand, so wurde er durch die höhere Kategorie (spezifisches Feedback) dargestellt. Die ICC Koeffizienten für das Feedback zu den Stärken und zur weiteren Entwicklung eines Prüflings betrugen 0,793 (p<0,001, 95% KI=0,721-0,847) bzw. 0,946 (p<0,001, 95% KI=0,961-0,980). Beide ICC Koeffizienten wurden als hoch angesehen , was eine relative hohe und umfangreiche Übereinstimmung zwischen den Gutachtern 3. ResultsOne thousand four hundred and twenty-seven Mini-CEX assessment forms of final year medical students were collected. Table 1 provides a complete description on the background data of the Mini-CEX assessment forms and also the clinical cases used in those assessments. 3.1. Feedback data on clinical performanceEach Mini-CEX assessment form had more than one type of feedback about the students’ strengths; therefore the total number of comments exceeded the number of forms. The application of the coding manual revealed that 65.3% feedback on students’ strengths was general feedback (as shown in Table 2 ). In addition to that, 16.6% assessors left the feedback column blank. Six hundred and four (38.64%) written comments for students’ development were in the form of general suggestions (as shown in Table 3 ). There was only one feedback comment which fitted into the category of feedback that provides more than suggestions. There were 211 (14.8%) Mini-CEX assessment forms that had neither feedback on students’ strengths nor suggestions for development. Thirty-one forms only contained some suggestions for students’ development. Within the 239 forms that consisted only of feedback on students’ strengths, more than 50% of those comments were categorized as general feedback. A contingency table of the relationship between clinical case complexity and feedback on students’ strength (no feedback, general and specific feedback categories) was developed. There was a significant association between feedback and clinical case complexity (Χ2=17.48, p<.01). The examination of Adjusted Standardized Residual (ASR) values, to identify the sub-categories contributing to the significant associations, revealed a significant association between high complexity case and no feedback (ASR=1.96). It can be interpreted that when the complexity of the clinical case used for the Mini-CEX was high, then significantly fewer assessors than expected did not give feedback. A recoding was done to incorporate “feedback that was more than suggestions” group into the category of “specific suggestions”, because there was only one comment of feedback that was more than suggestions, therefore the chi-square and Fisher’s exact test was not useful . The chi-square test for the clinical case complexity and feedback for development (blank column, no suggestion, general and specific suggestion categories) contingency table demonstrated a non-significant association (Χ2=10.43, p>.05). For the purpose of a chi-square analysis, the categories for assessors’ clinical position were reduced (consultant, GP and registrar or fellow). There was a significant association between feedback on students’ strength and assessor clinical position (Χ2=37.10, p<.01). The examination of ASR values revealed a significant association between consultant and specific feedback and also between GP and specific feedback (ASR=1.96). These findings indicated that when the assessor was a consultant, significantly fewer assessors than expected provided feedback on students’ strength. On the other hand, when the assessor was a GP, significantly more assessors than expected delivered specific feedback.The assessor clinical position was found to have a significant association with the feedback for students’ development (Χ2=27.22, p<.01). The examination of ASR values revealed a significant association between consultant and specific suggestion, GP and no suggestion, and registrar/fellow and no suggestion (ASR=1.96). If the assessors were consultants, then significantly more assessors than expected provided students with specific suggestions for development. When the Mini-CEX assessor was a registrar or fellow, significantly fewer assessors than expected provided no suggestions. This was in contrast to the findings related to GP in which significantly more GP than expected did not deliver feedback for students’ development. Further analysis using Spearman correlation test on the relationship between the ratings of students’ clinical performance and the feedback indicated that there were no significant relationships between feedback on students’ strengths and each domain of clinical performance. For every domain of clinical performance listed in the Mini-CEX form there was a negative weak significant relationship with the feedback provided for students’ development (r value ranging from -.22 to -.28, p<.01). The higher the rating for a particular domain of clinical performance, the less likely it was for the feedback to be specific. However, these significant relationships need to be treated with caution due to the large sample. 3.2. Ratings of students’ clinical performanceThe results demonstrated that of the 1427 assessment forms analyzed, there were no assessors who gave a student a rating of one for overall clinical performance. The minimum rating obtained in almost all domains was three (satisfactory), with the mean score of each domain ranged from 4.53 to 4.77 (SD ranged from .814 to .728). Only within the time management domain was there a rating of two, although the mean score was still 4.56 (SD=.779). Relationships among the domains of clinical performance revealed moderate to strong positive significant relationships (r value ranging from .59 to 79). This finding indicated a tendency to give similar rating for every domain being assessed for a particular student. 3. ErgebnisseEs wurden 1427 Mini-CEX Bewertungsformulare von Medizinstudenten im Abschlussjahr gesammelt. Tabelle 1 enthält eine vollständige Beschreibung der Hintergrunddaten der Mini-CEX- Bewertungsformulare sowie der in diesen Beurteilungen verwendeten klinischen Fälle.3.1. Rückmeldungsdaten zur klinischen LeistungsfähigkeitJedes Mini-CEX-Bewertungsformular enthielt mehr als eine Art von Feedback-Möglichkeiten um die Stärken der Studenten zu beurteilen. Daher überstieg die Gesamtzahl der Kommentare die Anzahl der Formulare. Die Anwendung des Verschlüsselungshandbuchs ergab, dass 65,3% der Rückmeldungen zu den Stärken der Studenten allgemeines Feedback war (wie in Tabelle 2 gezeigt). Darüber hinaus hatten 16.6% der Bewerter die Feedbackspalte leer gelassen.604 (38,64%) schriftliche Kommentare zur Weiterentwicklung der Studenten lagen in Form von allgemeinen Vorschlägen vor (wie in Tabelle 3 gezeigt). Es gab nur einen Rückmeldungskommentar, der in die Kategorie von Rückmeldungen passte, die mehr als nur Vorschläge liefern.Es gab 211 (14,8%) Mini-CEX-Auswertungsformulare, die weder Rückmeldungen zu den Stärken der Studierenden noch Vorschläge zur Weiterentwicklung enthielten. 31 der Formulare enthielten nur Vorschläge für die Weiterentwicklung der Studenten. In den 239 Formularen, die nur aus Feedback zu den Stärken der Studenten bestanden, wurden mehr als 50% dieser Kommentare als allgemeine Rückmeldungen kategorisiert.Es wurde eine Kontingenztabelle der Beziehung zwischen klinischer Fallkomplexität und Feedback über die Stärke der Studenten (Kategorien keine Rückmeldung, allgemeines und spezifisches Feedback) erstellt. Es gab einen signifikanten Zusammenhang zwischen Rückmeldung und klinischer Fallkomplexität (Χ2 = 17,48, p<0,01). Die Untersuchung der angepassten standardisierten Residuumswerte (ASR-Werte) zur Identifizierung der Unterkategorien, die zu den signifikanten Zusammenhängen beitragen, ergab eine signifikante Verbindung zwischen hochkomplexem Fall und keiner Rückmeldung (ASR=1,96). Dies kann so interpretiert werden, dass, wenn die Komplexität des klinischen Falles, der für die Mini-CEX Prüfung verwendet wurde, hoch war, signifikant weniger Bewerter als erwartet keine Rückmeldung abgaben.Um die Gruppe „Feedback, welches mehr als nur Vorschläge beinhaltet“ in die Kategorie der „spezifischen Vorschläge“ einzubeziehen, wurde eine Umschlüsselung vorgenommen, da es nur einen Rückmeldungskommentar gab, der mehr als Vorschläge enthielt. Daher waren der Chi-Quadrat-Test und der Exakte Test nach Fisher nicht sinnvoll . Der Chi-Quadrat-Test für die klinische Fallkomplexität und die Kontingenztabelle zur Rückmeldung über die Weiterentwicklung (Kategorien kein Vorschlag [leere Spalte], allgemeine und spezifische Vorschläge) zeigte eine nicht signifikante Verbindung (Χ2=10,43, p> 0,05).Um eine Chi-Quadrat-Analyse durchzuführen, wurden die Kategorien für die klinische Stellung der Gutachter verringert (Oberarzt, Facharzt oder Allgemeinmediziner). Es gab einen signifikanten Zusammenhang zwischen dem Feedback zur Stärke der Studierenden und der klinischen Stellung der Beurteiler (Χ2=37,10, p<0,01). Die Untersuchung der ASR-Werte ergab einen signifikanten Zusammenhang zwischen Oberarzt und spezifischer Rückmeldung sowie zwischen Allgemeinmediziner und spezifischer Rückmeldung (ASR=1,96). Diese Ergebnisse zeigen, dass von den Oberärzten deutlich weniger Gutachter als erwartet Feedback zur Stärke der Studenten abgaben. Andererseits lieferten deutlich mehr Gutachter als erwartet spezifisches Feedback falls diese Allgemeinmediziner waren.Es ließ sich feststellen, dass die klinische Stellung des Gutachters einen signifikanten Zusammenhang mit der Rückmeldung zur Weiterentwicklung der Studenten aufwies (Χ2=27,22, p<0,01). Die Untersuchung der ASR-Werte ergab einen signifikanten Zusammenhang zwischen Oberarzt und spezifischem Vorschlag, Allgemeinmediziner und kein Vorschlag, und Facharzt und kein Vorschlag (ASR=1,96). Wenn es sich bei den Gutachtern um Oberärzte handelte, gaben deutlich mehr Bewerter als erwartet den Studierenden konkrete Entwicklungsvorschläge. Wenn der Mini-CEX-Gutachter Facharzt war, gaben wesentlich weniger Bewerter als erwartet keine Vorschläge. Dies steht im Gegensatz zu den Erkenntnissen im Bezug auf Allgemeinmediziner, bei denen deutlich mehr Allgemeinmediziner als erwartet keine Rückmeldung für die Entwicklung der Studenten abgegeben haben.Eine weitere Analyse unter Verwendung des Spearman-Korrelationstests bezüglich der Beziehung zwischen den Bewertungen der klinischen Leistung der Studenten und dem Feedback deutet an, dass es keine signifikanten Beziehungen zwischen der Rückmeldung zu den Stärken der Studenten und einer Domäne der klinischen Leistung gab. Für jeden Bereich der klinischen Leistung, der im Mini-CEX-Formular aufgelistet war, gab es eine negative, schwach signifikante Beziehung mit dem Feedback, das für die Entwicklung der Studenten abgegeben wurde (r-Wert im Bereich von -22 bis -28, p<0,01). Je höher die Bewertung für einen bestimmten Bereich der klinischen Leistung, desto weniger wahrscheinlich war die Rückmeldung spezifisch. Diese signifikanten Zusammenhänge müssen jedoch aufgrund der großen Stichprobe mit Vorsicht betrachtet werden.3.2. Bewertung der klinischen Leistung der StudentenDie Ergebnisse zeigten, dass es bei den analysierten 1427 Bewertungsformularen keine Gutachter gab, die einem Studenten eine Bewertung von 1 für die klinische Gesamtleistung gaben. Die Mindestbewertung in fast allen Bereichen betrug drei (befriedigend), mit dem Mittelwert in jedem Bereich zwischen 4,53 und 4,77 (Standardabweichung zwischen 0,814 und 0,728). Nur im Zeit-Management-Bereich gab es eine Bewertung von 2, obwohl der Mittelwert auch 4,56 (Standardabweichung 0,779) war.Beziehungen zwischen den Domänen der klinischen Leistungen offenbarten sich als moderat bis stark positiv (r Werte zwischen 0,59 und 0,79). Dieses Ergebnis deutet eine Tendenz an, in jedem Bereich, in dem ein bestimmter Student bewertet wird, eine ähnliche Beurteilung abzugeben. 4. DiscussionResults show that most feedback provided in the Mini-CEX assessment forms was either general feedback on students’ strength or general suggestions. Less than 30% of the feedback comments was directed to improve students’ performance in a specific way, and the number of specific feedback comments aimed to ensure good practice was even lower. When correlated with variables related to the provision of feedback such as assessors clinical position, clinical case complexity and ratings of students’ clinical performance, there were several significant associations found.Most of the written feedback, either on students’ strength or for their development, was categorized as general feedback. If the feedback categories from Holmboe, et al. were applied, then there was only one feedback comment that would be considered as category four (“agreeing on action plan”). The rest of the written feedback was categorized as category one (“giving recommendations”). Fernando, et al. and Jackson and Wall also found that there are still problems in providing feedback that is more than just suggestions. Feedback within the Mini-CEX needs to focus not only on the outcome of a task, but more importantly it needs to be aimed towards the learning process behind the task. Balzer, Doherty and O’Connor discussed the differences between outcome feedback and cognitive feedback, in which the latter is preferable. In delivering feedback it is essential to make the learner the focus of attention, since it will likely increase feedback receptivity and usefulness , , , . Therefore, it is important to acknowledge students’ needs and responses during feedback provision in the Mini-CEX and students need to be assisted in trying to identify their own deficiencies and strengths. There were some Mini-CEX forms that did not contain any feedback or contained either only general feedback on students’ strength or suggestions for development, although the number of these was low. This warrants further attention since one of the important aims of Mini-CEX is to provide immediate feedback to the students. Assessors also need to understand that both positive and negative feedback is very important. Balance between feedback on students’ strengths and feedback for students’ development is essential to increase the usefulness of feedback and students’ receptivity upon it . The present study found that the higher the rating of students’ clinical performance, the less likely for the feedback for students’ development to be specific. The assessors might consider that students with high scores in their Mini-CEX do not need any more feedback for their own continuous development. This is a perspective that needs to be modified, since every performance of a student requires feedback, whether to correct mistakes, maintain positive aspects or even further develop them. Providing feedback for each student performance will support the function of Mini-CEX as a learning tool. The analysis also demonstrated that when the clinical case was highly complex, it was more likely for the assessors to provide feedback on students’ strengths. However, there was no significant association between the case complexity and the feedback on students’ development.More varied results were found in relation to association of the assessors’ clinical position with the feedback provided. Consultants were more likely to give specific feedback for development, but they tended to provide less specific feedback on students’ strengths. General practitioners are more likely to deliver a higher amount of specific feedback on students’ strengths. On the other hand, they are less likely to provide feedback for students’ development. Interestingly, registrars or fellows, who are not expected to be Mini-CEX assessors, are more likely to give feedback for students’ development. Proper training for registrars or fellows in the area of medical teaching and assessment might be useful to improve their ability to evaluate students and provide adequate feedback. Fernando, et al. used different category of assessors when analysing the association between feedback and type of assessors based on 396 Mini-CEX sessions. Despite the weak significance and limited generalizability, the possibility for academic trainees (teaching and research fellow) to give suggestions for development and action plans was higher compared to consultants and clinical trainees. They argue that familiarity with teaching and assessment principles, including how to give feedback, is the possible cause. These findings further corroborate the need for a structured assessors training to standardize their ability in delivering feedback.The distribution of Mini-CEX assessments in the present study still indicated an imbalance, for example there were only about 3% of Mini-CEX assessments in the emergency setting in either medicine or surgery rotation. Undergraduate medical students have a shorter rotating period in each clinical attachment and limited exposure to clinical cases, compared to the postgraduate trainees for whom the Mini-CEX was first designed. Therefore, it might be beneficial if a more structured Mini-CEX is provided to students, including the selection of clinical cases and settings by teachers. The medical school expects the assessors to be consultants or GPs, however there are still doctors in training who serve as the Mini-CEX assessors. A similar situation also occurred in the study by Fernando, et al. . Variability of assessors is in one respect an important aspect of Mini-CEX in order to obtain diverse perspectives regarding a student performance, but on the other hand, there needs to be a system to ensure that every assessor has the knowledge about the level of performance expected from the students and the ability to produce a valid and reliable score. There are a number of possible explanations for the high ratings obtained by students. The Mini-CEX at this particular university is used as a hurdle assessment. Each student needs to submit six Mini-CEX assessment forms in a semester and can select the best six of several Mini-CEX the student has experienced. The high ratings can also be caused by a tendency of the assessors to avoid giving low scores for students. In the study investigating Mini-CEX in an undergraduate setting, Hill and Kendall found that assessors were quite hesitant to give low ratings if they were on their own, specifically because they could not get a confirmation from another assessor about the accuracy of their rating and also because they were required to deliver feedback immediately afterwards . Based on a review of the research on Mini-CEX from 1995-2009, Hawkins, Margolis, Durning and Norcini concluded that high ratings in Mini-CEX were common and one of the plausible causes was the assessors’ concern on the impact of their ratings on students ]. The complexity of the clinical case was not related to the rating of students’ clinical performance. However, the seven domains of clinical performance were correlated. This finding indicates that to some extent the rating may not be an independent measure of each domain of clinical performance. Hill, Kendall, Galbraith and Crossley and Margolis, et al. identified very strong positive relationships between domain scores and they might hinder the ability of Mini-CEX to assess an individual domain of competency. Hawkins, et al. argued that it might be difficult for the assessors to break down students’ performance into several domains or the domains themselves might be correlated . The moderate to strong positive relationships obtained in the present study suggests that to some extent the scoring system may also be useful to discriminate students’ performance among several components, or in this particular batch of students, there were quite a high number of students demonstrating significantly good or poor performance in a particular domain. This situation may lead to a positive relationship that is not as strong as the one identified in other studies. 4. DiskussionDie Ergebnisse zeigen, dass die häufigste Rückmeldung, die in den Mini-CEX-Bewertungsformularen gegeben wurde, entweder eine allgemeine Rückmeldung zur Stärke der Studenten oder allgemeine Vorschläge waren. Weniger als 30% der Rückmeldungskommentare waren darauf ausgerichtet, die Leistungen der Studenten auf eine bestimmte Art und Weise zu verbessern, und die Anzahl spezifischer Rückmeldungskommentare zur Sicherung guter Praxis war noch geringer. Bei der Korrelation mit Variablen im Zusammenhang mit der Bereitstellung einer Rückmeldung, wie der klinischen Stellung des Bewerters, der klinischen Fallkomplexität und der Bewertung der klinischen Leistung der Studenten, wurden mehrere signifikante Zusammenhänge gefunden.Die meisten schriftlichen Rückmeldungen, entweder zur Stärke der Studenten oder zu ihrer Weiterentwicklung, wurden als allgemeines Feedback kategorisiert. Wenn die Feedbackkategorien von Holmboe et al. angewendet wurden, gab es nur einen Rückmeldungskommentar, der als Kategorie 4 („Vereinbarung über einen Handlungsplan“) betrachtet werden würde. Der Rest der schriftlichen Rückmeldungen wurde als Kategorie 1 eingestuft („Empfehlungen geben“). Fernando, et al. und Jackson und Wall fanden auch heraus, dass es immer noch Probleme gibt, eine Rückmeldung zu geben, die mehr als nur Vorschläge beinhaltet.Feedback innerhalb der Mini-CEX Prüfung muss sich nicht nur auf das Ergebnis einer Aufgabe konzentrieren, sondern vor allem auf den Lernprozess der mit der Aufgabe verbunden ist. Balzer, Doherty und O'Connor diskutierten die Unterschiede zwischen Ergebnis-Feedback und kognitivem Feedback, wobei Letzteres vorzuziehen ist. Bei der Bereitstellung von Feedback ist es wichtig, den Lernenden in den Mittelpunkt der Aufmerksamkeit zu rücken, da dies die Rezeptivität und Nützlichkeit der Rückmeldung erhöhen wird , , , . Daher ist es wichtig, die Bedürfnisse und Antworten der Studenten während der Feedback-Bereitstellung im Mini-CEX anzuerkennen, und die Studenten müssen dabei unterstützt werden, ihre eigenen Mängel und Stärken zu erkennen.Es gab einige Mini-CEX-Formulare, die keine Rückmeldungen enthielten oder entweder nur allgemeine Rückmeldungen über die Stärke der Studenten oder Entwicklungsvorschläge enthielten, auch wenn die Anzahl dieser gering war. Dies verdient weitere Aufmerksamkeit, da eines der wichtigen Ziele von Mini-CEX darin besteht, den Studenten eine unmittelbare Rückmeldung zu geben. Bewerter müssen auch verstehen, dass beides, sowohl positive als auch negative Rückmeldungen, sehr wichtig sind. Ein ausgewogenes Verhältnis zwischen den Rückmeldungen über die Stärken der Studenten und der Rückmeldung zur Weiterentwicklung der Studenten ist von wesentlicher Bedeutung, um die Nützlichkeit der Rückmeldung und die Aufnahmefähigkeit der Studenten dafür zu erhöhen .Die vorliegende Studie fand heraus, dass die Rückmeldung für die Entwicklung der Studierenden umso weniger spezifisch ist, je höher die Bewertung der klinischen Leistung der Studierenden ist. Die Bewerter könnten dabei in Betracht ziehen, dass Studenten mit hohen Punktzahlen in ihrer Mini-CEX Prüfung keine weitere Rückmeldung für ihre eigene kontinuierliche Entwicklung benötigen. Dies ist eine Ansicht, die geändert werden muss, da jede Leistung eines Studenten Rückmeldung erfordert, um Fehler zu korrigieren, positive Aspekte beizubehalten oder sie sogar weiterzuentwickeln. Die Abgabe einer Rückmeldung für jede studentische Leistung wird die Funktion von Mini-CEX als Lernwerkzeug unterstützen. Die Analyse zeigte auch, dass es, wenn der klinische Fall sehr komplex war, wahrscheinlicher war, dass die Bewerter eine Rückmeldung zu den Stärken der Studenten abgaben. Es gab jedoch keinen signifikanten Zusammenhang zwischen der Fallkomplexität und der Rückmeldung über die Entwicklung der Studenten.In Bezug auf den Zusammenhang der klinischen Stellung der Bewerter mit der abgegebenen Rückmeldung wurden vielfältigere Ergebnisse gefunden. Oberärzte gaben eher spezifische Rückmeldungen zur Entwicklung, aber sie gaben eher weniger spezifische Rückmeldungen zu den Stärken der Studenten. Allgemeinmediziner gaben einerseits mit höherer Wahrscheinlichkeit mehr spezifisches Feedback zu den Stärken der Studenten; andererseits gaben sie weniger Rückmeldung für die Entwicklung der Studierenden. Interessanterweise gaben Fachärzte, bei denen nicht erwartet wird, dass sie als Mini-CEX-Gutachter tätig sind, mehr Rückmeldung für die Entwicklung der Studenten. Ein angemessenes Training für Fachärzte im Bereich des medizinischen Unterrichts und der Beurteilung könnte hilfreich sein, um ihre Fähigkeit zu verbessern, Studenten zu bewerten und angemessenes Feedback zu geben.Fernando et al. verwendeten eine andere Kategorie von Assessoren, als sie den Zusammenhang zwischen Feedback und Typ von Bewertern basierend auf 396 Mini-CEX-Sitzungen analysierten. Trotz der geringen Signifikanz und der begrenzten Generalisierbarkeit war die Möglichkeit für akademische Auszubildende (Lehrende und Forschende), Vorschläge für Entwicklungs- und Handlungspläne abzugeben, höher als bei Ober- und Assistenzärzten. Sie argumentieren, dass die Vertrautheit mit Lehr- und Bewertungsgrundsätzen, einschließlich der Frage, wie man Rückmeldung geben kann, die mögliche Ursache hierfür ist. Diese Ergebnisse bestätigen des Weiteren die Notwendigkeit eines strukturierten Gutachtertrainings, um ihre Fähigkeit zur Abgabe einer Rückmeldung zu standardisieren.Die Verteilung der Mini-CEX-Bewertungen in der vorliegenden Studie deutete immer noch auf ein Ungleichgewicht hin, zum Beispiel gab es nur etwa 3% der Mini-CEX-Bewertungen in der Notfallsituation entweder in der Medizin oder in der Chirurgie-Rotation. Medizinstudenten haben im Vergleich zu den Postgraduierten, für die die Mini-CEX Prüfung ursprünglich konzipiert wurde, eine kürzere Rotationsdauer in jedem klinischen Praktikum und eine begrenzte Exposition gegenüber klinischen Fällen. Daher kann es von Vorteil sein, wenn den Studenten ein strukturierteres Mini-CEX zur Verfügung gestellt wird, einschließlich der Auswahl klinischer Fälle und Einstellungen durch die Ausbilder.Die medizinische Fakultät erwartet, dass die Bewerter Oberärzte oder Allgemeinmediziner sind, jedoch gibt es immer noch Ärzte in Ausbildung, die als Mini-CEX Gutachter fungieren. Eine ähnliche Situation trat auch in der Studie von Fernando et al. auf. Die Variabilität der Bewerter ist einerseits ein wichtiger Aspekt von Mini-CEX, um unterschiedliche Perspektiven hinsichtlich der Leistung eines Studenten zu erhalten, aber andererseits muss ein System vorhanden sein, das sicherstellt, dass jeder Bewerter das von den Studierenden erwartete Leistungsniveau kennt und die Fähigkeit hat, eine stichhaltige und zuverlässige Benotung zu erstellen.Es gibt eine Reihe von möglichen Erklärungen für die hohen Bewertungen von Studenten. Die Mini-CEX Prüfung wird an dieser speziellen Universität als Hürdenbewertung verwendet. Jeder Student muss innerhalb eines Semesters sechs Mini-CEX-Bewertungsformulare einsenden und kann hierfür die besten sechs aus mehreren seiner Mini-CEX auswählen. Die hohen Bewertungen können ihre Ursache auch in der Tendenz der Bewerter haben, niedrige Punktzahlen für Studenten zu vermeiden. In der Studie, die Mini-CEX in einem Bachelor-Studiengang untersuchte, fanden Hill und Kendall heraus, dass Gutachter sehr zögerlich waren, niedrige Bewertungen abzugeben, wenn sie auf sich allein gestellt waren, insbesondere weil sie keine Bestätigung von einem anderen Gutachter über die Richtigkeit ihrer Bewertung erhalten konnten und auch weil sie unmittelbar im Anschluss ihre Rückmeldung abgeben mussten . Basierend auf einer Untersuchung der Forschung zu Mini-CEX von 1995-2009, kamen Hawkins, Margolis, Durning und Norcini zu dem Schluss, dass hohe Bewertungen in Mini-CEX üblich waren und einer der plausiblen Gründe waren die Bedenken der Prüfer bezüglich der Auswirkungen ihrer Bewertungen auf Studenten .Die Komplexität des klinischen Falls hatte keine Beziehung auf die Bewertung der klinischen Leistung der Studenten. Die sieben Bereiche der klinischen Leistung waren jedoch korreliert. Dieser Befund zeigt, dass in gewissem Maß die Beurteilung kein unabhängiges Maß für jeden Bereich der klinischen Leistung sein kann. Hill, Kendall, Galbraith und Crossley und Margolis et al. identifizierten sehr starke positive Beziehungen zwischen Benotungen in den Bereichen und sie könnten die Fähigkeit von Mini-CEX beeinträchtigen, einen individuellen Kompetenzbereich zu bewerten. Hawkins, et al. argumentierte, dass es für die Prüfer schwierig sein könnte, die Leistungen der Studenten in mehrere Bereiche aufzuschlüsseln, oder dass die Bereiche selbst korrelieren .Die in der vorliegenden Studie erzielten mäßigen bis starken positiven Beziehungen deuten darauf hin, dass das Bewertungssystem in gewissem Maße auch nützlich sein kann, um die Leistung der Studierenden in mehreren Komponenten zu unterscheiden, oder dass es in dieser speziellen Gruppe von Studierenden eine recht hohe Anzahl von Studierenden gab, die eine signifikant gute oder schlechte Leistung in einem bestimmten Bereich zeigten. Diese Situation kann zu einem positiven Zusammenhang führen, der nicht so stark ist wie er in anderen Studien identifiziert wurde. 5. ConclusionsThe function of Mini-CEX as a learning tool lies in its ability to provide an opportunity for direct observation and useful feedback to medical students. However, the present study reveals that the function of Mini-CEX to provide specific written feedback is yet to be achieved. Our findings suggest that the concept of student-centred feedback needs to be emphasized throughout the feedback provision process, without ignoring the fact that clinical case complexity and the assessors’ clinical position are likely to influence the type of feedback provided. Structured training for clinical teachers and Mini-CEX assessors to improve the ability to provide specific and student-centred feedback is then important to optimize the learning tool of Mini-CEX. 5. SchlussfolgerungenDie Funktion der Mini-CEX Prüfung als Lernmittel liegt in ihrer Fähigkeit, Medizinstudenten eine Chance zur direkten Beobachtung und nützliches Feedback anzubieten. Allerdings zeigt die vorliegende Studie, dass die Funktion von Mini-CEX für die Bereitstellung von spezifisch schriftlichen Feedbacks noch nicht erreicht wurde. Unsere Ergebnisse suggerieren, dass das Konzept des studentenbezogenen Feedbacks während des Rückmeldungsprozesses unterstrichen werden muss, ohne die Tatsache zu ignorieren, dass die klinische Fallkomplexität und die Position der klinischen Gutachter die Art des abgegebenen Feedbacks wahrscheinlich beeinflussen.Strukturierte Ausbildung für klinische Lehrer und Mini-CEX-Gutachter zur Verbesserung der Fähigkeit zur Bereitstellung spezifischen und studentenbezogenen Feedbacks ist somit wichtig, um das Lerninstrument Mini-CEX zu optimieren. Competing interestsThe authors declare that they have no competing interests. InteressenkonfliktDie Autoren erklären, dass sie keine Interessenkonflikte im Zusammenhang mit diesem Artikel haben. Norcini JJ Blank LL Arnold GK Kimball HR The Mini-CEX (Clinical Evaluation Exercise): A preliminary investigation 1995 Ann Intern Med 795-799 Norcini JJ, Blank LL, Arnold GK, Kimball HR. The Mini-CEX (Clinical Evaluation Exercise): A preliminary investigation. Ann Intern Med. 1995;123(10):795-799. DOI: 10.7326/0003-4819-123-10-199511150-00008 http://dx.doi.org/10.7326/0003-4819-123-10-199511150-00008 Norcini JJ Blank LL Duffy FD Fortna GS The Mini-CEX: A method for assessing clinical skills 2003 Ann Intern Med 476-481 Norcini JJ, Blank LL, Duffy FD, Fortna GS. The Mini-CEX: A method for assessing clinical skills. Ann Intern Med. 2003;136(6):476-481. DOI: 10.7326/0003-4819-138-6-200303180-00012 http://dx.doi.org/10.7326/0003-4819-138-6-200303180-00012 Fernando N Cleland J McKenzie H Cassar K Identifying the factors that determine feedback given to undergraduate medical students following formative mini-CEX assessments 2008 Med Educ 89-95 Fernando N, Cleland J, McKenzie H, Cassar K. Identifying the factors that determine feedback given to undergraduate medical students following formative mini-CEX assessments. Med Educ. 2008;42(1):89-95. Hill F Kendall K Adopting and adapting the mini-CEX as an undergraduate assessment and learning tool 2007 Clin Teach 244-248 Hill F, Kendall K. Adopting and adapting the mini-CEX as an undergraduate assessment and learning tool. Clin Teach. 2007;4:244-248. DOI: 10.1111/j.1743-498X.2007.00185.x http://dx.doi.org/10.1111/j.1743-498X.2007.00185.x Kogan JR Hauer KE Use of the Mini-Clinical Evaluation Exercise in internal medicine core clerkships 2006 J Gen Intern Med 501-502 Kogan JR, Hauer KE. Use of the Mini-Clinical Evaluation Exercise in internal medicine core clerkships. J Gen Intern Med. 2006;21(5):501-502. DOI: 10.1111/j.1525-1497.2006.00436.x http://dx.doi.org/10.1111/j.1525-1497.2006.00436.x Van de Ridder M Stokking K McGaghie W Ten Cate O What is feedback in clinical education? 2008 Med Educ 189-197 Van de Ridder M, Stokking K, McGaghie W, Ten Cate O. What is feedback in clinical education? Med Educ. 2008;42(2):189-197. DOI: 10.1111/j.1365-2923.2007.02973.x http://dx.doi.org/10.1111/j.1365-2923.2007.02973.x Hattie J Timperley H The Power of feedback 2007 Rev Educ Res 81-112 Hattie J, Timperley H. The Power of feedback. Rev Educ Res. 2007;77(1):81-112. DOI: 10.3102/003465430298487 http://dx.doi.org/10.3102/003465430298487 Ende J Feedback in clinical medical education 1983 JAMA 777-781 Ende J. Feedback in clinical medical education. JAMA. 1983;250(6):777-781. DOI: 10.1001/jama.1983.03340060055026 http://dx.doi.org/10.1001/jama.1983.03340060055026 Hesketh EA Laidlaw JM Developing the teaching instinct, 1: Feedback 2000 Med Teach 245-248 Hesketh EA, Laidlaw JM. Developing the teaching instinct, 1: Feedback. Med Teach. 2000;24(3):245-248. DOI: 10.1080/014215902201409911 http://dx.doi.org/10.1080/014215902201409911 Dewi SP Achmad TH Optimising feedback using the mini-CEX during the final semester programme 2010 Med Educ 509 Dewi SP, Achmad TH. Optimising feedback using the mini-CEX during the final semester programme. Med Educ. 2010;44(5):509. DOI: 10.1111/j.1365-2923.2010.03677.x http://dx.doi.org/10.1111/j.1365-2923.2010.03677.x Hauer KE Enhancing feedback to students using the Mini-CEX (Clinical Evaluation Exercise) 2000 Acad Med 524 Hauer KE. Enhancing feedback to students using the Mini-CEX (Clinical Evaluation Exercise). Acad Med. 2000;75(5):524. DOI: 10.1097/00001888-200005000-00046 http://dx.doi.org/10.1097/00001888-200005000-00046 Jackson D Wall D An evaluation of the use of the mini-CEX in the foundation programme 2010 Br J Hosp Med 584-588 Jackson D, Wall D. An evaluation of the use of the mini-CEX in the foundation programme. Br J Hosp Med. 2010;71(10):584-588. DOI: 10.12968/hmed.2010.71.10.78949 http://dx.doi.org/10.12968/hmed.2010.71.10.78949 Malhotra S Hatala R Courneya C Internal medicine residents' perceptions of the Mini-Clinical Evaluation Exercise 2008 Med Teach 414-419 Malhotra S, Hatala R, Courneya C. Internal medicine residents' perceptions of the Mini-Clinical Evaluation Exercise. Med Teach. 2008;30(4):414-419. DOI: 10.1080/01421590801946962 http://dx.doi.org/10.1080/01421590801946962 Holmboe E Yepes M Williams F Huot SJ Feedback and the Mini Clinical Evaluation Exercise 2004 J Gen Intern Med 558-561 Holmboe E, Yepes M, Williams F, Huot SJ. Feedback and the Mini Clinical Evaluation Exercise. J Gen Intern Med. 2004;19(5 Pt 2):558-561. DOI: 10.1111/j.1525-1497.2004.30134.x http://dx.doi.org/10.1111/j.1525-1497.2004.30134.x Namey E Guest G Thairu L Johnson L Data Reduction Techniques for Large Qualitative Data Sets 2008 Handbook for Team-based Qualitative Research 137-162 Namey E, Guest G, Thairu L, Johnson L. Data Reduction Techniques for Large Qualitative Data Sets. In: Guest G, MacQueen KM (Hrsg). Handbook for Team-based Qualitative Research. Plymouth: Altamira Press; 2008. S.137-162. Field A 2009 Discovering statistics using SPSS Field A. Discovering statistics using SPSS. 2nd ed. London: Sage Publications; 2009. Fleiss JL 1986 The design and analysis of clinical experiments Fleiss JL. The design and analysis of clinical experiments. New York: John Wiley & Sons; 1986. Balzer WK Doherty ME O'Connor RJ Effects of cognitive feedback on performance 1989 Psychol Bull 410-433 Balzer WK, Doherty ME, O'Connor RJ. Effects of cognitive feedback on performance. Psychol Bull. 1989;106(3):410-433. DOI: 10.1037/0033-2909.106.3.410 http://dx.doi.org/10.1037/0033-2909.106.3.410 Butler DL Winne PH Feedback and self-regulated learning: A theoretical synthesis 1995 Rev Educ Res 245-281 Butler DL, Winne PH. Feedback and self-regulated learning: A theoretical synthesis. Rev Educ Res. 1995;65:245-281. DOI: 10.3102/00346543065003245 http://dx.doi.org/10.3102/00346543065003245 Menachery EP Knight AM Kolodner K Wright SM Physician characteristics associated with proficiency in feedback skills 2006 J Gen Intern Med 440-446 Menachery EP, Knight AM, Kolodner K, Wright SM. Physician characteristics associated with proficiency in feedback skills. J Gen Intern Med. 2006;21(5):440-446. DOI: 10.1111/j.1525-1497.2006.00424.x http://dx.doi.org/10.1111/j.1525-1497.2006.00424.x Shute VJ Focus on formative feedback 2008 Rev Educ Res 153-189 Shute VJ. Focus on formative feedback. Rev Educ Res. 2008;78(1):153-189. DOI: 10.3102/0034654307313795 http://dx.doi.org/10.3102/0034654307313795 Watling C Driessen E Van der Vleuten CPM Vanstone M Lingard L Understanding responses to feedback: The potential and limitations of regulatory focus theory 2012 Med Educ 593-603 Watling C, Driessen E, Van der Vleuten CPM, Vanstone M, Lingard L. Understanding responses to feedback: The potential and limitations of regulatory focus theory. Med Educ. 2012;46(6):593-603. DOI: 10.1111/j.1365-2923.2012.04209.x http://dx.doi.org/10.1111/j.1365-2923.2012.04209.x Boehler ML Rogers DA Schwind CJ Mayforth R Quin J Williams RG Dunnington G An investigation of medical student reactions to feedback: A randomised controlled trial 2006 Med Educ 746-749 Boehler ML, Rogers DA, Schwind CJ, Mayforth R, Quin J, Williams RG, Dunnington G. An investigation of medical student reactions to feedback: A randomised controlled trial. Med Educ. 2006;40(8):746-749. DOI: 10.1111/j.1365-2929.2006.02503.x http://dx.doi.org/10.1111/j.1365-2929.2006.02503.x Hawkins RE Margolis MJ Durning SJ Norcini JJ Constructing a validity argument for the Mini-Clinical Evaluation Exercise: A review of the research 2010 Acad Med 1453-1461 Hawkins RE, Margolis MJ, Durning SJ, Norcini JJ. Constructing a validity argument for the Mini-Clinical Evaluation Exercise: A review of the research. Acad Med. 2010;85(9):1453-1461. DOI: 10.1097/ACM.0b013e3181eac3e6 http://dx.doi.org/10.1097/ACM.0b013e3181eac3e6 Hill F Kendall K Galbraith K Crossley J Implementing the undergraduate mini-CEX: A tailored approach at Southampton University 2009 Med Educ 326-334 Hill F, Kendall K, Galbraith K, Crossley J. Implementing the undergraduate mini-CEX: A tailored approach at Southampton University. Med Educ. 2009;43(4):326-334. DOI: 10.1111/j.1365-2923.2008.03275.x http://dx.doi.org/10.1111/j.1365-2923.2008.03275.x Margolis MJ Clauser BE Cuddy MM Ciccone A Mee J Harik P Hawkins RE Use of the Mini-Clinical Evaluation Exercise to rate examinee performance on a multiple-station clinical skills examination: A validity study 2006 Acad Med 56-60 Margolis MJ, Clauser BE, Cuddy MM, Ciccone A, Mee J, Harik P, Hawkins RE. Use of the Mini-Clinical Evaluation Exercise to rate examinee performance on a multiple-station clinical skills examination: A validity study. Acad Med. 2006;81(10 Suppl):56-60. DOI: 10.1097/01.ACM.0000236514.53194.f4 http://dx.doi.org/10.1097/01.ACM.0000236514.53194.f4 11en1de

Table 1: Background data of the Mini-CEX assessment forms

Tabelle 1: Hintergrunddaten der Mini-CEX Bewertungsformulare

22en2de

Table 2: Categorization of feedback on students’ strengths

Tabelle 2: Kategoriesierung von Rückmeldungen auf studentische Stärke

33en3de

Table 3: Categorization of feedback for students’ development

Tabelle 3: Kategorisierung von Feedback für die studentische Entwicklung

3

1 1en 1de Figure 1: Mini-CEX assessment form used in the MBBS course Abbildung 1: Das im MBBS-Kurs verwendete Mini-CEX Bewertungsformular

1 0 0