zma000741 10.3205/zma000741 urn:nbn:de:0183-zma0007419 Forschungsarbeit research article A Model for Persistent Improvement of Medical Education as Illustrated by the Surgical Reform Curriculum HeiCuMed Kadmon Kadmon Guni G

Medzinische Fakultät Heidelberg, Im Neuenheimer Feld 153, 69120 Heidelberg, Deutschland, Tel.: +49 (0)6221/56-6716, Fax: +49 (0)6221/56-7207Universitätsklinikum Heidelberg, Chirurgische Klinik, Allgemein-, Viszeral- & Transplantationschirurgie, Heidelberg, Deutschland

Heidelberg School of Medicine, Department of General, Visceral, and Transplantation Surgery, Heidelberg, Im Neuenheimer Feld 153, 69120 GermanyHeidelberg School of Medicine, Department of General, Visceral, and Transplantation Surgery, Heidelberg, Germany

guni.kadmon@med.uni-heidelberg.de author Schmidt Schmidt Jan J Prof. Dr. med.

Universitätsklinikum Heidelberg, Chirurgische Klinik, Allgemein-, Viszeral- & Transplantationschirurgie, Heidelberg, Deutschland

Heidelberg School of Medicine, Department of General, Visceral, and Transplantation Surgery, Heidelberg, Germany

jan.schmidt@med.uni-heidelberg.de author De Cono De Cono Nicola N

AZ Maria Middelares, Gent, Belgien

AZ Maria Middelares, Gent, Belgien

nicola.decono@azmmsj.be author Kadmon Kadmon Martina M Dr. med.

Universitätsklinikum Heidelberg, Chirurgische Klinik, Allgemein-, Viszeral- & Transplantationschirurgie, Heidelberg, Deutschland

Heidelberg School of Medicine, Department of General, Visceral, and Transplantation Surgery, Heidelberg, Germany

martina.kadmon@med.uni-heidelberg.de author German Medical Science GMS Publishing House

Düsseldorf

610 Medical education undergraduate surgery curriculum evaluation Medizinische Ausbildung chirurgisches Curriculum Reformcurriculum Evaluation medicine Humanmedizin 20100827 20110201 20110215 20110516 germ engl 1860-3572 28 2 GMS Zeitschrift für Medizinische Ausbildung GMS Z Med Ausbild 29 Hintergrund: Das Reformcurriculum, Heidelberger Curriculum Medicinale (HeiCuMed), umfasst themenbasierte Rotationsmodule mit täglichen Zyklen von fallbasierten Kleingruppenseminaren, POL-Tutorien, Fertigkeiten- und Kommunikationstraining. Um Engagement und Kontinuität der Dozenten zu ermöglichen, wurden in der chirurgischen Ausbildung Organisationsstrukturen etabliert, die den Dozenten die Unterrichtsvorbereitung und -durchführung erheblich erleichtern. Dazu zählen eine Dozentenschulung, die Standardisierung der Lehrinhalte, technische Unterstützung und die Freistellung der Dozenten von klinischen Aufgaben für die Dauer eines Lehrmoduls. Ziel der Arbeit: Den Erfolg von Heicumed im operativen Themenbereich mit dem des traditionellen Curriculums anhand von studentischen Evaluationen über die Implementierungsphase hinaus zu vergleichen. Methode: Die studentische Evaluation der Lehre im operativen Fachbereich zwischen 1999 und 2008 wurde analysiert. Die Analyse umfasste drei Kohorten (je ~360 Studierende) im traditionellen und 13 Kohorten (je ~150 Studierende) im Reformcurriculum. Ergebnisse: Die Lehrveranstaltungen in HeiCuMed wurden bezüglich Inhalt, Organisation, Lehrqualität und subjektiven Lernzuwachses signifikant besser evaluiert als im traditionellen Curriculum. Die hohe Bewertung von HeiCuMed hielt bis zum Ende des untersuchten Zeitraums an.Schlussfolgerung: Den studentischen Evaluationen nach fördert ein auf interaktiver Didaktik und aktivem Lernen basiertes Curriculum die subjektiv erlebte erfolgreiche medizinische Ausbildung besser als die traditionelle frontale Wissensvermittlung. Die organisatorische Umsetzung von HeiCuMed in der chirurgischen Lehre ist geeignet, hohe Zufriedenheit von der Qualität eines komplexen modernen Curriculums in einer ausgelasteten chirurgischen Umgebung nachhaltig zu ermöglichen. Background: Heidelberg Medical School underwent a major curricular change with the implementation of the reform curriculum HeiCuMed (Heidelberg Curriculum Medicinale) in October 2001. It is based on rotational modules with daily cycles of interactive, case-based small-group seminars, PBL tutorials and training of sensomotor and communication skills. For surgical undergraduate training an organisational structure was developed that ensures continuity of medical teachers for student groups and enables their unimpaired engagement for defined periods of time while accounting for the daily clinical routine in a large surgery department of a university hospital. It includes obligatory didactic training, standardising teaching material on the basis of learning objectives and releasing teaching doctors from clinical duties for the duration of a module. Objective: To compare the effectiveness of the undergraduate surgical reform curriculum with that of the preceding traditional one as reflected by students' evaluations. Method: The present work analyses student evaluations of the undergraduate surgical training between 1999 and 2008 including three cohorts (~360 students each) in the traditional curriculum and 13 cohorts (~150 students each) in the reform curriculum. Results: The evaluation of the courses, their organisation, the teaching quality, and the subjective learning was significantly better in HeiCuMed than in the preceding traditional curriculum over the whole study period. Conclusion: A medical curriculum based on the implementation of interactive didactical methods is more important to successful teaching and the subjective gain of knowledge than knowledge transfer by traditional classroom teaching. The organisational strategy adopted in the surgical training of HeiCuMed has been successful in enabling the maintenance of a complex modern curriculum on a continuously high level within the framework of a busy surgical environment. EinleitungDas Medizinstudium in Deutschland erfuhr in der letzten Dekade weit reichende Veränderungen. Die Approbationsordnung für Ärzte (ÄAppO) definierte 2002 neue inhaltliche Anforderungen an die ärztliche Ausbildung und gab den Hochschulen gleichzeitig eine größere Verantwortung für die Gestaltung der Kurse und Überprüfung der Kompetenz der Studierenden. Innovative didaktische Ansätze ergänzen seitdem das traditionelle Curriculum vieler medizinischer Fakultäten. In anderen Hochschulen ersetzten Reform- und Modell- die Regelstudiengänge . Bereits vor der Verabschiedung der ÄAppO von Juni 2002 gründeten die medizinischen Fakultäten der Humboldt-Universität (Charité) und Witten/Herdecke reformierte Modellstudiengänge , und in Heidelberg wurde das Reformcurriculum Heidelberger Curriculum Medicinale (HeiCuMed) für alle Studierenden des klinischen Studienabschnitts etabliert . Insgesamt begannen Anfang des letzten Jahrzehntes 15 der 34 medizinischen Fakultäten Deutschlands mit einer zumindest teilweisen Neugestaltung ihrer Ausbildung . Die Rahmenbedingungen als Hindernisse der ReformentwicklungUnterschiedliche Berichte aus dem In- und Ausland zeigen zum Teil erhebliche Probleme in der langfristigen Umsetzung von Reformcurricula auf, die in einigen Fällen zur Regression der Reformen führten. Als häufigste Ursachen dafür werden insbesondere organisatorische Probleme und Qualifizierungsbedarf des Lehrpersonals angesehen. Kritisiert werden mangelnde institutionelle Führung, Überbelastung der Dozierenden mit klinischer Arbeit und Forschungsaufgaben, Personalmangel, reduzierte finanzielle Mittel und fehlende Infrastruktur aufgrund der finanziellen Einschränkungen im Gesundheitswesen sowie unzureichende didaktische Professionalisierung der Dozierenden , , , . Reform der chirurgischen Ausbildung in DeutschlandÜber die Umsetzung und Evaluation von Reformcurricula im chirurgischen Fachbereich in Deutschland wurden in der Fachliteratur bisher nur Einzelaspekte veröffentlicht, eine umfassende Analyse zu Erfolgsfaktoren fehlt bisher. In Marburg wurde herausgefunden, dass der geringe Besuch der chirurgischen Vorlesungen auf organisatorische Defizite, mangelnde Fächer-übergreifende Integration der Vorlesungsinhalte, schlechte Verknüpfung von Lehr- und Prüfungsinhalten sowie mangelnden Anreiz für die Dozierenden zurückzuführen war . In Göttingen wurden 2001 der chirurgische Untersuchungskurs und das chirurgische Praktikum mit E-Learning, POL und Fertigkeitentraining besser evaluiert als der vorangegangene Regelkurs, obwohl der organisatorische Aufwand groß und die Integration der unterschiedlichen Lehrinhalte noch suboptimal waren . Die Charité beobachtete einen geringeren Lehraufwand in einem POL-zentrierten chirurgischen als in dem parallelen Regelpraktikum . In Erlangen verbesserten sich die OSCE-Ergebnisse signifikant, nachdem die Übungsmöglichkeiten standardisiert und den Studierenden einheitliche Anweisungen bereitgestellt wurden . Aus Heidelberg wurde berichtet, dass die chirurgische Ausbildung in HeiCuMed von den Studierenden nachhaltig positiv bewertet wurde .HeiCuMed - Heidelberger Curriculum MedicinaleDas traditionelle Heidelberger Curriculum im operativen Bereich sowie das 2001 implementierte Reformcurriculum HeiCuMed , wurden bereits beschrieben. HeiCuMed ist ein themenzentriertes, modulares Kursrotationsprogramm, das sich aus fünf Themenblöcken von 14-20 Wochen Dauer zusammensetzt. Die Studierenden durchlaufen in Gruppen von 25 bis 35 Teilnehmern die Module, die in den klinisch theoretischen Fächern 5 mal, in den klinischen Fächern 8-10 mal jährlich angeboten werden, um eine kontinuierliche Betreuung der Studierenden in kleinen Gruppen zu gewährleisten. Der chirurgische Abschnitt von HeiCuMed dauert 12 Wochen mit 20-30 angebotenen Unterrichtseinheiten pro Woche. Er findet mit jeweils einer halben Jahrgangskohorte von ca. 150 Studierenden im sechsten bzw. siebten Fachsemester statt und beinhaltet fünf Module einschließlich der Querschnittsbereiche klinisch-pathologische Konferenz und Notfallmedizin. Der Unterricht in den Modulen beinhaltet interaktive Seminare mit Betonung fallbasierter, anwendungsorientierter Kleingruppenarbeit. POL, praktische Übungen mit standardisierten Patienten und an Simulationsarbeitsplätzen im Skills Lab sowie Unterricht am Krankenbett bilden den methodischen Rahmen. Der Frontalunterricht wurde auf eine einzige leitsymptomorientierte Vorlesungsreihe mit einer Unterrichteinheit pro Tag beschränkt. Die interdisziplinären Fachpartner Pathologie und Radiologie werden in die Module integriert.Strukturelle und organisatorische Besonderheiten von HeiCuMedIm Spannungsfeld der Aufgaben einer Universitätsklinik bekommt die Lehre häufig eine niedrige Priorität . Dem Reformcurriculum HeiCuMed liegen institutionelle und strukturelle organisatorische Maßnahmen zugrunde, die eine Prioritäts- und Qualitätssteigerung der Lehre nachhaltig sichern sollen. Das fakultätseigene Dozentenschulungsprogramm gibt den Dozenten das didaktisch-methodische Werkzeug an die Hand, erleichtert ihnen die Unterrichtsvorbereitung und soll damit motivierend wirken. Die Lehrinhalte, Lehrmaterialien und das Training der standardisierten Patienten wurden vereinheitlicht, die Organisation der Module wurde in den Themenblöcken zentralisiert, und technische Unterstützung für den Unterricht wurde gewährleistet. Diese Maßnahmen sowie die Freistellung von den klinischen Aufgaben für die Dauer des Moduls sollen den Dozenten eine adäquate Einbindung in die Lehre ermöglichen und ihren persönlichen Kontakt zu den Studierenden fördern. Ein wissenschaftliches sowie pädagogisch-psychologisches Qualitätssicherungsteam analysiert die Evaluation der Lehre und leistet Hospitationen mit Dozentenberatung.Ziel der vorliegenden ArbeitGegenwärtig fehlen in der Fachliteratur Informationen über den langfristigen Erfolg eines Reformkonzeptes über die Implementierungsphase hinaus. Aus diesem Grund wurde in der vorliegenden Arbeit die Evaluation des chirurgischen Blocks von HeiCuMed über einen langen Zeitraum detailliert ausgewertet. Die Arbeit fasst Evaluationsdaten aus sechseinhalb Jahren und damit 13 Durchgängen des chirurgischen Blocks von HeiCuMed zusammen und vergleicht sie differenziert mit Evaluationsdaten aus dem traditionellen Curriculum. Es wurde untersucht, ob und in welchen Lehrveranstaltungsformen die erzielte Effektivität von HeiCuMed im Fachbereich Chirurgie nachhaltig ist, ob die entwickelten Strukturen ausreichen, um eine dauerhafte Verbesserung der studentischen Bewertung des Lehrprogramms im Vergleich mit dem traditionellen Curriculum zu gewährleisten. IntroductionIn the last decade, there have been far-reaching changes to medical studies in Germany. The Licensing Regulations of Doctors (ÄAppO) 2002 defined new content requirements for medical education and greater responsibility was given to the universities for course design and assessing student skills. Since then, innovative approaches to education have modernised the traditional curriculum of many medical schools. At other universities, reformed and model curricula are replacing traditional study formats . The medical faculties of the Humboldt University (Charité) and Witten/Herdecke established reformed model study programs even before the adoption of the ÄAppO in June 2002 , and in Heidelberg, the reformed curriculum, the Heidelberger Curriculum Medicinale (HeiCuMed), was introduced for all students in the clinical studies’ phase . Overall, at the start of the last decade, 15 of the 34 medical faculties in Germany had embarked on at least partial redesign of their education models .Organisational obstacles to reform developmentVarious reports from Germany and abroad show problems in the long-term implementation of reformed curricula, in some cases considerable and leading to regression of the reforms. The most common causes of this are organisational problems and the need for training teaching staff. Lack of institutional leadership, overloading the teaching staff with clinical work and research, staff shortages, reduced financial resources and lack of infrastructure due to financial constraints in healthcare, as well as inadequate didactic training of medical teachers have been criticised , , , ].Reform of surgical training in GermanySo far, only isolated aspects of the implementation and evaluation of curricular reforms in surgical education in Germany have been published. A comprehensive analysis of success factors is still wanting. In Marburg it was observed that organisational deficits, lack of cross-subject integration of course content, poor linking of teaching and examination content, and lack of incentives for the medical teachers had been substantial in causing the low attendance of surgical lectures . Goettingen reported in 2001 that the surgical examination course and the surgical practical course including E-learning, skills training and PBL were better evaluated than the previous regular course although the organisational effort had been great and the integration of course contents was still suboptimal . The Charité observed that less teaching effort was required in PBL-centred surgical practicals than in the regular practical course running in parallel . In Erlangen, the OSCE results improved significantly after the practice aids had been standardised and consistent instructions were provided to the students . Heidelberg reported that surgical teaching in Hei-CuMed was consistently evaluated as positive by the students .HeiCuMed - Heidelberger Curriculum MedicinaleThe traditional curriculum for surgery in Heidelberg and the reformed HeiCuMed curriculum implemented in 2001 , have already been described. HeiCuMed is a theme-centred modular rotational course, which is composed of five thematic blocks lasting 14-20 weeks each. Students take the modules in groups of 25-35 to ensure continuous supervision of students in small groups. The clinical theoretical modules are offered five times a year and the clinical modules are repeated 8-10 times a year.The surgical section of HeiCuMed lasts 12 weeks with 20-30 teaching units offered per week. It is run with a half-cohort of about 150 students during their sixth or seventh semester. It consists of five modules including the interdisciplinary clinical-pathological conference and emergency medicine. The teaching methodology of the modules includes interactive seminars with an emphasis on case-based, practice-oriented group work. PBL, practical exercises with standardised patients, simulation workstations in skills labs, and bedside teaching constitute the methodological framework. Chalk and talk teaching is limited to a single cardinal symptoms oriented lecture series with one teaching unit per day. The interdisciplinary partner subjects of pathology and radiology are integrated into the modules.Structural and organisational characteristics of HeiCuMedWith all the demands of a university clinic, teaching often receives low priority . The reformed HeiCuMed curriculum is based on institutional and structural organisational measures to ensure that teaching is made a priority and that the quality of teaching is increased consistently. The faculty’s own training program for medical teaching staff provides the medical teachers with didactic-methodological tools, helps them to prepare for classes and thereby is expected to have a motivating effect. The course content, teaching materials and training of standardised patients have been standardised, the organisation of modules has been centralised in the thematic blocks and technical support for teaching has been ensured. These measures, along with exemption of the medical teachers from clinical duties for the duration of the module are there to enable medical teachers adequate integration into the teaching and promote their personal contact with the students. A scientific and educational-psychological quality assurance team analyses the evaluation of teaching, sits in on courses, and provides guidance for medical teaching staff.Goals of the present studyCurrently there is a lack of literature on the long-term success of reform concepts in Germany beyond the implementation phase. For this reason, in the present study longitudinal evaluation of the surgical block of HeiCuMed has been performed.The work summarises evaluation data from six and a half years or 13 runs of the surgical block of HeiCuMed and carries out a differentiated comparison with evaluation data from the traditional curriculum. It investigatedif and which teaching forms of the surgical block of HeiCuMed result in sustained effectiveness, if the developed organisational structures are sufficient to ensure a sustained improvement of the student evaluation of the teaching program in comparison with the traditional curriculum. MethodikTeilnehmerDie Teilnehmer der Studie (siehe Tabelle 1 ) waren Studierende der Medizinischen Fakultät Heidelberg im chirurgischen Studienabschnitt zwischen Oktober 1999 und Februar 2008. Daten der Studierenden des traditionellen Curriculums entstammen der Datenbank von Schürer et al. .Datenerhebung und DatenschutzDie erhobenen Daten wurden Evaluationsfragebögen entnommen, die die Teilnehmer ausgefüllt und entweder schriftlich (1999-2002) oder elektronisch (ab 2003) anonym abgegeben hatten. Eine personenbezogene Zuordnung der Daten war nicht möglich.EvaluationsinstrumenteDas Heidelberger Inventar zur Lehrveranstaltungs-Evaluation (HILVE) wurde bereits veröffentlicht . Ab März 2005 wurde es durch drei gekürzte Fragebögen ersetzt, die sich auf Struktur und Inhalt der Lehrveranstaltungen, Dozierende und den eigenen Lernzuwachs bezogen. Drei Versionen wurden verwendet, die den unterschiedlichen Evaluationszielen der Leitsymptomvorlesung, klinisch-pathologischen Konferenz und Module angepasst wurden. Die gegenwärtige Arbeit beschränkt sich auf die Auswertung der Antworten zu den Kernfragen, die alle Instrumente gemeinsam hatten. Der Wortlaut dieser Fragen ist im Ergebnisteil angegeben. Die Evaluationen erfolgten anhand von siebenstufigen Likertskalen mit 1=beste und 7=schlechteste Bewertungsnote oder umgekehrt, wie im Ergebnisteil vermerkt. Für die Analyse gleicher Fragen unterschiedlicher Fragebögen wurden die Bewertungsskalen wenn erforderlich durch Umkehrtransformation aneinander angepasst. Statistische MethodenDie Evaluationsdaten wurden in Microsoft Excel® tabellarisch erfasst, gruppiert und ausgewertet. Einfaktorielle Varianzanalyse (Anova), zweiseitiger t-Test für unabhängige Proben, und die Berechnung von Cohens d wurden mittels Excel oder SPSS®16 durchgeführt. Im Falle eines allgemein signifikanten Mittelwertsunterschiedes (Anova) wurden in einigen Fällen Einzelvergleiche mittels t-Tests durchgeführt. Grafiken wurden in Excel generiert und in Canvas® (ACD Systems) verarbeitet. Zur Einschätzung der Reliabilität der Evaluationsdaten wurden Cronbachs α (für Roh- und standardisierte Daten), Interitemkovariation bzw. -korrelation und Intraclasskorrelation (einzelne und durchschnittliche Maße) in SPSS berechnet. Die Analyse erfolgte mit einer Ausnahme (Praktika im Jahr 2000, n=76) anhand einer zufälligen Probe von 253 Studierenden pro Semester, die unterschiedliche Lehrveranstaltungen repräsentierte. Die Probengröße war durch die Breite der Excel- bzw. SPSS Tabellen begrenzt und umfasste 16-51% der Daten eines Semesters.Die Darstellung der Ergebnisse aus HeiCuMed wurde aus Platzgründen zum großen Teil auf die letzten 6 Semester der Beobachtungszeit begrenzt. Die Strukturen von HeiCuMed hatten bis dahin eine Stabilität erreicht und die meisten Dozierenden hatten die Dozentenschulung absolviert. MethodsParticipantsThe participants of the study (see Table 1 ) were students of the Medical Faculty of the Heidelberg School of Medicine at the surgical stage of their studies between October 1999 and February 2008. Student data from the traditional curriculum are taken from the database of Schuerer et al. .Data collection and data protectionThe data was retrieved from evaluation questionnaires which had been completed anonymously by the participants, either in writing (1999-2002) or digitally (as of 2003). Personal identification of the data was not possible.Evaluation instrumentsThe Heidelberg Inventory for Course Evaluation (HILVE) has already been published . From March 2005 it was replaced by abbreviated questionnaires adapted to the particular courses. The evaluation included structure and content of the courses, performance of the medical teaching staff, and self-assessment of the personal learning progress. Three versions were used which were differentially adapted to the evaluation of the cardinal symptom lecture, the clinical-pathological conference and the modules. The current work is limited to the evaluation of responses to key issues which were in common to all instruments. The relevant questions are given in the results’ section.The evaluations were based on a seven-point Likert scale with 1=highest and 7=worst rating score or vice versa as noted in the results’ section. For the analysis of the same questions from different questionnaires, the scales were adjusted to each other if necessary by means of reverse transformation.Statistical methodsThe evaluation data was tabulated, grouped and evaluated in Microsoft Excel®. One-way analysis of variance (Anova), two-sided t-test for independent samples and the calculation of Cohen’s d were performed using Excel or SPSS®16. In the case of a generally significant difference among means (Anova) paired comparisons using t-tests were sometimes also performed. Graphics were generated in Excel® and processed in Canvas® (ACD Systems). To assess the reliability of the evaluation data, Cronbach’s α (for raw and standardised data), inter-item co-variation, inter-item correlation, and intra-class correlation (single and average measures) were calculated in SPSS. With one exception (Practicals in 2000, n=76), the analysis was performed using a random sample of 253 students per semester, which represented the different teaching events. The sample size was limited by the width of the Excel and SPSS tables and comprised 16-51% of the data of each semester.The presentation of the HeiCuMed results, due to space issues, was largely limited to the last 6 semesters of the observation time. By then, the structures of HeiCuMed had achieved stability and most of the medical teaching staff had completed the teacher training. ErgebnisseReliabilitätUm die Interrater-Reliabilität der Evaluationen einzuschätzen, wurden mehrere Messkriterien verwendet (siehe Tabelle 2 ). Cronbachs α war in allen Semestern 0,99 oder höher, wobei diese hohen Werte zum Teil der Probengröße zugerechnet werden können. Die Interitemkorrelationen zwischen 0,336 und 0,655, mehrheitlich über 0,45 und die Interclasskorrelationen (Einzelmaße) zwischen 0,333 und 0,666 waren relativ hoch und berechtigten zur Verwendung von Mittelwerten in der weiteren Analyse .Gesamtevaluation der chirurgischen Lehre in HeiCuMed Die durchschnittlichen Gesamtbewertungen der chirurgischen Lehrveranstaltungen waren im gesamten Zeitraum verhältnismäßig hoch. Die schlechteste Gesamtevaluationsnote auf einer siebenstufigen Likertskala (1=beste, 7=schlechteste Bewertungsnote), 2,46±1,133 (Mittelwert±SD), betraf das traditionelle Curriculum im Sommersemester 2000. Nach der Einführung von HeiCuMed im Oktober 2001 stieg die durchschnittliche Gesamtevaluationsnote auf ein Niveau von meistens unter 2,0 (siehe Abbildung 1A ). Der prozentuale Anteil der erteilten Note „1“ stieg von 12-14% unter dem traditionellen auf meistens 30-40% nach Einführung des neuen Curriculums (siehe Abbildung 1B ). Noch deutlicher war der Unterschied zwischen der Bewertung des traditionellen und neuen Curriculums, wenn nur die praktischen Lehrveranstaltungen betrachtet wurden. Im traditionellen Curriculum beinhalteten die praktischen Lehrveranstaltungen lediglich Stationsunterricht (Bedside-Teaching). Das Spektrum der praktischen Ausbildung in HeiCuMed umfasst dagegen Unterricht von praktischen Fertigkeiten im „Skills-Lab“ (wie z.B. körperliche Untersuchungstechniken, Nähen, Knoten, Katheterisierung, Platzieren von Magensonden), Unterricht am Krankenbett (Bedside-Teaching) und Kommunikationstraining mit standardisierten Patienten einschließlich der Anamneseerhebung und Vertiefung der körperlichen Untersuchung. Die durchschnittliche Bewertung für diese Lehrveranstaltungen erreichte unter dem neuen Curriculum mehrfach die Note 1,8 (siehe Abbildung 1C ). Der prozentuale Anteil der Note „1“ stieg von 12-14% unter dem traditionellen Curriculum auf über 45% ab Sommersemester 2006 (siehe Abbildung 1D ).Die Bewertung der Aussage, „Die Veranstaltung war gut organisiert,“ fiel in HeiCuMed (2,14±0,491, MW±SD; Spannbreite 3,15-1,22) mit einer durchschnittlichen Effektstärke von Cohens d 0,43±0,041 signifikant besser aus als im traditionellen Curriculums (2,89±0,918; Spannbreite 4,78-1,74; p=5,6×10-5).Evaluation unterschiedlicher Lehrveranstaltungsformen In der Gesamtevaluation und Evaluation der einzelnen Lehrmethoden stieg der Anteil der sehr zufriedenen Studierenden (Note 1, dunkelgrün in Abbildung 1B, 1D und Abbildung 2B ) in HeiCuMed mit 30-50% stark an im Vergleich zum traditionellen Curriculum. Bis zu 18% der Antwortenden im traditionellen und bis zu 10% in HeiCuMed brachten dagegen Unzufriedenheit zum Ausdruck (Noten 4-6, orange-rot-lila in Abbildung 1B, 1D und Abbildung 2B ). Hinzu kamen 20-30% der Evaluierenden im traditionellen Curriculum und 10-20% derjenigen aus HeiCuMed, die eine neutrale Haltung (Noten 2-3, hellgrün und gelb in Abbildung 1B, 1D und Abbildung 2B ) gegenüber der jeweiligen Lehrveranstaltungsform einnahmen. Die Gesamtbewertung der Vorlesungen (2,43±0,095, Mittelwert±SEM) und des Bedside-Teaching (2,46±0,043) im traditionellen Curriculum war im Schnitt nahezu identisch (siehe Abbildung 2A und Tabelle 3 ). Verglichen mit der Evaluation dieser zwei Säulen des traditionellen Curriculums wurden die evaluierten Lehrveranstaltungsformen des neuen Curriculums, Leitsymptomvorlesung (1,99±0,127), Seminar (2,13±0,130), Praktika (1,87±0,141), Bedside-Teaching (1,86±0,109), Arbeit mit standardisierten Patienten (2,22±0,347) und POL (1,98±0,205) mit überwiegend mittlerer Effektstärke (Cohens d zwischen 0,25 und 0,55; siehe Tabelle 3 ) langfristig signifikant (siehe Tabelle 3 ) besser bewertet. Praktika und Bedside-Teaching bekamen in HeiCuMed die beste Gesamtbewertung über die Zeit (siehe Abbildung 2A, 2B ) und erreichten die höchste Effektstärke, Cohens d über 0,5, im Vergleich zum Bedside-Teaching des traditionellen Curriculums (siehe Tabelle 3 ). Die Arbeit mit standardisierten Patienten wurde mit Gesamtevaluationsnoten zwischen 1,79 und 2,28 von unterschiedlichen Kohorten auffällig variabel (siehe Abbildung 2A ) und insgesamt mit einer niedrigen Effektstärke von zwischen 0,25 und 0,29 (siehe Tabelle 3 ) bewertet. Grund dafür war eine unterschiedliche Zunahme der negativen Bewertungen in HeiCuMed im Vergleich mit dem traditionellen Curriculum. Die variable Zunahme der negativen Bewertungen war von einer Reduzierung der neutralen Bewertungen begleitet, während der relative Anteil der sehr positiven Bewertungen ähnlich hoch war wie bei den übrigen Lehrveranstaltungsformen des Reformcurriculums (Abb. 2B ).Unter den Lehrveranstaltungsformen, die kognitive Inhalte und angewandte Theorie behandeln, erzielten die Leitsymptomvorlesung und POL ähnliche mittlere Gesamtnoten (siehe oben), die Seminarbewertung lag etwas niedriger. Interessanterweise bekam POL den höheren Anteil an positiven Bewertungen (siehe Abbildung 2B ), während die verbesserte Evaluation der Leitsymptomvorlesung im Vergleich mit der Vorlesung des traditionellen Curriculums die höchste Effektstärke (Cohens d 0,43) unter diesen Lehrveranstaltungsformen aufwies (siehe Tabelle 3 ). Selbsteinschätzung des LernzuwachsesDer Beitrag der Lehrveranstaltungen zum subjektiven Lernzuwachs wurde anhand der Evaluationsaussage „Ich habe Sinnvolles und wichtiges gelernt,“ analysiert. Der Mittelwert (±SD) lag im traditionellen Curriculum bei 2,50±0,613 (Spanbreite 4,20-1,80). In der ersten Phase von HeiCuMed bis einschließlich Wintersemester 2005/6 war die Bewertung dieser Aussage nur geringfügig bzw. nicht signifikant besser (2,25±0,504; Spanbreite 3,07-1,20; p=0,19). Ab Sommersemester 2006 stieg jedoch die durchschnittliche Bewertung dieser Aussage auf 2,00±0,488 (Spanbreite 3,24-1,11) und war mit einer mittleren Effektstärke von Cohens d 0,39±0,086 signifikant höher als im traditionellen Curriculum (p=0,0042). ResultsReliabilityTo assess the inter-rater reliability of the evaluations, several criteria were used (see Table 2 ). Cronbach’s α in all semesters was 0.99 or higher, whereby these high values in part can be attributed to the large sample size. The inter-item correlations ranged from 0.336 to 0.655 and often exceeded 0.45. The intra-class correlations (0.333 - 0.666, single measures) were relatively high and permitted the use of means in the subsequent analysis .Overall evaluation of surgical teaching in HeiCuMed The average overall evaluations of the surgical courses were relatively high throughout the period. The worst overall evaluation rating on a seven-point Likert scale (1=best, 7=worst rating score), 2.46±1.133 (mean±SD), was observed in the traditional curriculum in the summer semester 2000. Following the introduction of HeiCuMed in October 2001, the overall average evaluation score improved for the most part to a level below 2.0 (see Figure 1A ). The percentage of Grade 1 (best) increased from 12-14% in the traditional curriculum to 30-40% in most cases following the introduction of the new curriculum (see Figure 1B ). Even clearer was the difference between the assessment of the traditional and the new curriculum if only the practical courses were considered. In the traditional curriculum practical courses only included ward teaching (bedside teaching). The range of practical training in HeiCuMed, on the other hand, includes the teaching of practical skills in skills labs (for example physical examination techniques, sewing, knotting, catheterisation, placement of feeding tubes), bedside teaching, and communication skills using standardised patients. Training with standardised patients also includes taking patient histories and physical examinations. The average rating for these classes under the new curriculum reached the score of 1.8 several times (see Figure 1C ). The percentage of Grade 1 (best) was up from 12-14% under the traditional curriculum to over 45% as of summer semester 2006 (see Figure 1D ).The evaluation of the statement “The event was well organised” under HeiCuMed was significantly better (2.14±0.491, mean±SD, range 3.15 to 1.22) with an average effect size of Cohen’s d 0.43±0.041 compared to the traditional curriculum (2.89±0.918, range 4.78 to 1.74, p=5.6×10-5).Evaluation of different teaching methodsIn the overall evaluation and evaluation of the various teaching methods, the proportion of very satisfied students (Grade 1, dark green in Figure 1B, 1D and Figure 2B ) in HeiCuMed was 30-50%, significantly higher than in the traditional curriculum. Up to 18% of the respondents in the traditional curriculum but less than 10% of the respondents in HeiCuMed expressed dissatisfaction (Grades 4-6, orange, red and purple in Figure 1B, 1D and Figure 2B ). 20-30% of the respondents in the traditional curriculum and 10-20% of those under HeiCuMed gave neutral scores (Grades 2-3, light green and yellow in Figure 1B, 1D and Figure 2B ) to the respective course formats.The overall average evaluation of lectures (2.43±0.095, mean±SEM) and bedside teaching (2.46±0.043) in the traditional curriculum was almost the same (see Figure 2A and Table 3 ). In comparison with these two components of the traditional curriculum, the ratings for the different elements of the new curriculum, cardinal symptoms lecture (1.99±0.127), seminar (2.13±0.130), practical units (1.87±0.141), bedside teaching (1.86±0.109), working with standardised patients (2.22±0.347) and PBL (1.98±0.205) were significantly and consistently better. The effect size was predominantly moderate (Cohen’s d from 0.25 to 0.55, see Table 3 ).The practical teaching units and bedside teaching of HeiCuMed received the best overall scores over the investigation period (see Figure 2A, 2B ) and reached the highest effect size, Cohen's d of 0.5, compared to bedside teaching under the traditional curriculum (see Table 3 ). The evaluation of the work with standardised patients was strikingly variable (1.79- 2.28, see Figure 2A ) and had a low effect size of 0.25 to 0.29 (see Table 3 ). The reason for this appears to be a variable increase of negative evaluations under HeiCuMed compared with bedside teaching of the traditional curriculum. The increase in negative evaluations in HeiCuMed was accompanied by a reduction of neutral feedback, while the relative share of very positive evaluations was similar to that of other teaching formats under the reformed curriculum (see Figure 2B ).Amongst the teaching formats dealing with cognitive content and applied theory, the cardinal symptoms lecture and PBL achieved similar mean total grades (see above), the evaluation of the seminar was slightly lower. Interestingly, PBL achieved a higher proportion of positive grades (see Figure 2B ), while the evaluation of the cardinal symptoms lecture had a higher effect size (Cohen’s d 0.43) over the traditional curriculum (see Table 3 ).Self-assessment of knowledge gainThe contribution of courses to the subjective gain of knowledge was analysed on the basis of the statement “I have learned something meaningful and important”. The mean score (±SD) for this statement in the traditional curriculum was 2.50±0.613 (range 4.20 to 1.80). In the early years of HeiCuMed before summer semester 2006 the assessment of this statement was only slightly and not significantly better (2.25±0.504, range 3.07 to 1.20, p=0.19). From summer semester 2006 onwards, however, its average rating increased to 2.00±0.488 (range 3.24 to 1.11), significantly higher than under the traditional curriculum (p=0.0042), and had an average effect size of Cohen’s d 0.39±0.086. DiskussionDie institutionellen RahmenbedingungenDas Reformcurriculum HeiCuMed stellt eine umfassende inhaltliche und strukturelle Erneuerung des Medizinstudiums an der Medizinischen Fakultät Heidelberg dar. Eine wesentliche Voraussetzung für den Erfolg des chirurgischen Ausbildungscurriculums war eine Vielzahl didaktisch-methodisch geschulter, fachlich erfahrener Dozenten, die zentrale Koordination des chirurgischen Curriculums sowie die Unterstützung der aktiven Mitarbeit der Studierenden durch interaktive Didaktik. Der notwendige organisatorische und finanzielle Aufwand stellt große Universitätskliniken mit ohnehin ausgelastetem Klinikalltag vor eine besondere Herausforderung , , . In der Tat erfuhren mehrere medizinische Reformcurricula weltweit eine Regression aus diesen Gründen . Der erzielte Erfolg von HeiCuMed hängt also nicht nur von der Relevanz seiner Lerninhalte und Qualität seiner Ausbildungsstrategie ab, sondern auch von der institutionellen Fähigkeit, die notwendigen Strukturen zu etablieren und die verschiedenen Facetten des Vorhabens langfristig effektiv umzusetzen. Zu diesen Strukturen zählt an erster Stelle das Maßnahmen Packet zur Schulung und Entlastung der Dozenten, das die didaktische Dozentenschulung, die modulare Gestaltung der Kurse und Freilassung der Dozenten von klinischen Aufgaben für die Dauer ihres Moduls sowie die Standardisierung der Lehrinhalte und des Hilfsmaterials beinhaltet. Ebenfalls wichtig ist die langfristige Sicherung und Ausstattung geeigneter Lehrräume sowie die Rekrutierung und Schulung von standardisierten Patienten in ausreichender Zahl. Studentische Evaluation als Instrument der QualitätssicherungStudentische Evaluationen von Lehrveranstaltungen haben sich in Deutschland weitgehend als Bestandteil der Qualitätssicherung etabliert. Eine Limitation dieser Evaluationsmethode wird darin gesehen, dass die Qualität der Lehre und daher die Validität der Evaluationen schwer messbar ist . Studentische Evaluationen basieren auf einer subjektiven Bewertung der Lehre, der unterschiedliche Urteilstendenzen bei unterschiedlichen Studierendengruppen zugrunde liegen . Die Übereinstimmung zwischen der Bewertung eines bestimmten Aspektes der Lehre durch unterschiedliche Studierende in unterschiedlichen Lehrveranstaltungen kann gering sein , , steigt im Mittel jedoch erheblich, wenn die Zahl der Evaluierenden pro Veranstaltung größer als 20 ist und die Rahmenbedingungen der evaluierten Veranstaltungen ähnlich sind , . Um die Zuverlässigkeit der Evaluationsergebnisse zu gewährleisten, wurden in der vorliegenden Arbeit große Stichproben bei ähnlichen Rahmenbedingungen der evaluierten Lehrveranstaltungen analysiert. Evaluationsergebnisse in der Einführungsphase von HeiCuMedIn den Jahren 2004-2005 wurden Interviews mit 11 Studierenden des traditionellen Curriculums und 25 der ersten HeiCuMed-Studierenden durchgeführt, die inzwischen das Praktische Jahr erreicht hatten . Von den 11 Absolventen des traditionellen Curriculums schätzte jeweils nur einer (9%) den Lernerfolg als „hoch“ und die Organisation als „sehr gut“ ein, während drei der Interviewten (27%) den Bezug zur späteren Praxis positiv bewerteten. Unter den HeiCuMed-Absolventen schätzten dagegen 18 (72%) ihren Lernerfolg als „hoch“ ein, 22 (88%) bewerteten den Bezug zur Praxis positiv und 19 (76%) beurteilten die Organisation als sehr gut. Die Ergebnisse dieser Interviews stimmten mit den Ergebnissen der zeitnahen schriftlichen Evaluationen überein und legten nahe, dass die Vorteile von HeiCuMed bis zum Praktischen Jahr anhalten .Gesamtevaluation der LehrveranstaltungsformenFrühere Untersuchungen unterschiedlicher Hochschulen zeigten hohe Zufriedenheit der Studierenden mit innovativen Reformmaßnahmen des Medizinstudiums auf. Untersucht wurden jedoch meistens nur einzelne oder wenige Aspekte des Curriculums in seiner Einführungsphase bzw. in einem beschränkten Zeitraum. Offen blieb die Frage, ob die anfängliche bzw. punktuelle studentische Zufriedenheit sich auf das gesamte Curriculum erstreckt und von nachkommenden Kohorten nachhaltig geteilt wird. Die vorliegende Arbeit hat deshalb zum Ziel, diese Frage für das gesamte Reformcurriculum im operativen Bereich und über einen langen Zeitraum zu beantworten.Es zeigt sich, dass das hohe Niveau der studentischen Gesamtbewertung des chirurgischen Blocks von HeiCuMed konsequent und wenig verändert über den gesamten Beobachtungszeitraum von über sechs Jahren anhielt. Der Anteil der sehr Zufriedenen stieg um das mehrfache, während sich der Anteil der Unzufriedenen im Vergleich zum traditionellen Curriculum reduzierte. Diese Tatsache gewinnt besondere Bedeutung, da selbst das traditionelle chirurgische Curriculum in Heidelberg von den Studierenden insgesamt relativ gut bewertet worden war . Die Evaluationsergebnisse decken Unterschiede der Lernhaltungen aufDie Evaluation eines jeden Items beinhaltete in jedem Curriculum positive, neutrale wie auch negative Bewertungen. Diese Variabilität resultierte zum Teil von der unterschiedlich wahrgenommenen Qualität unterschiedlicher Lehrveranstaltungen und Dozenten. Sie drückt aber möglicherweise ebenfalls die Reaktion unterschiedlicher Lernhaltungen aus, solcher, die lehrerzentrierte und solcher, die integrative Lernformen vorziehen. Divergente Lernhaltungen und Wahrnehmungen wirken sich limitierend auf die Effektstärke aus. Die Varianzgrößen der Evaluationsergebnisse waren durch die beschriebenen Unterschiede nach unten begrenzt. Zusätzlich war die Verbesserung der mittleren Evaluationsergebnisse zwischen dem traditionellen und reformierten Curriculum dadurch beschränkt, dass bereits die mittlere Evaluation des traditionellen Curriculums relativ gut war. Zusammen bewirkten diese Sachverhalte, dass trotz der markanten Zunahme der sehr zufriedenen Studierenden in HeiCuMed und der hohen Signifikanz der Unterschiede in der Evaluation beider Curricula die Effektstärke im mittleren Bereich blieb. Die Fragen, wie groß der Anteil der Lernenden sei, die mit einer gegebenen Lehrmethodik nicht zurechtkommen, wie diese Lernenden in den aktiven Lernprozess integriert werden könnten und wie sich dieser Anteil der Lernenden auf die Lehrevaluation auswirkt, bleiben bis auf weitere Untersuchungen offen. Differenzierte Evaluation der traditionellen und neuen Unterrichtsformen Die Praktika und das Bedside-Teaching bekamen als Lehrveranstaltungen des reformierten Curriculums nachhaltig die besten Bewertungen und erwiesen sich generell als didaktisch vorteilhaft im Vergleich mit den traditionellen Lehrmethoden. Diese Tatsache hat einen besonderen Stellenwert für die Lehre von HeiCuMed, der das Konzept zugrunde liegt, das die praktische Erfahrung die fallbasierte Anwendung, die Vernetzung und die Verfestigung des erworbenen Wissens unterstützt. Praktika sind ein fester Bestandteil des täglichen Zyklus von Unterrichtseinheiten in HeiCuMed und der Umfang des Bedside-Teaching wurde im Vergleich mit dem alten Curriculum mindestens verdreifacht. Mehr als ein Drittel aller befragten HeiCuMed-Studierenden bewerteten die Arbeit mit standardisierten Patienten und den POL-Unterricht als „sehr gut“ und insgesamt waren dreiviertel der HeiCuMed-Studierenden mit diesen Lehrveranstaltungsformen zufrieden. Die Leitsymptomvorlesung und die Seminare von HeiCuMed wurden im Durchschnitt ähnlich bewertet, obwohl die Leitsymptomvorlesung aufgrund der kleineren Varianz eine höhere Effektstärke aufwies. Die Seminare in HeiCuMed wurden signifikant besser als die Lehrveranstaltungen des traditionellen Curriculums evaluiert, jedoch variabler und weniger gut als die praktischen Lehrveranstaltungsformen von HeiCuMed. Eine Begründung der Studierenden in Freitextform war die Redundanz von Seminarinhalten, die bereits in anderen Lehrveranstaltungen behandelt worden waren. Redundanz wurde oft auch in fallbasierten Seminaren bezüglich Themen empfunden, für die zuvor lediglich die theoretische Grundlage gelegt worden war. Ein Grundsatz der medizinischen Ausbildung jedoch ist, gleiche Krankheitsbilder aus unterschiedlichen Fachperspektiven und anwendungs-orientiert zu betrachten. Zusammenfassend hat sich der tägliche themenbezogene Kreislauf von Unterrichtseinheiten mit alternierenden Lehrveranstaltungsformen einschließlich interaktiver Seminare, POL und unterschiedlicher praktischer Ansätze im Reformcurriculum HeiCuMed nachhaltig bewährt.Der Zusammenhang zwischen Organisation und Qualität der LehreIm traditionellen Curriculum war der organisatorische Aufwand zur Gewährleistung der Lehre relativ gering. Das organisatorische Konzept von HeiCuMed ist dagegen deutlich komplexer und beinhaltet drei Hauptsäulen: Organisationsstruktur, Lehre und Qualitätsmanagementsystem. Die Organisation im Bereich der chirurgischen Lehre hat zum einen das Ziel, den Dozenten für definierte Zeitabschnitte das uneingeschränkte Engagement für den Unterricht zu ermöglichen sowie durch Lehrkontinuität innerhalb eines Moduls auf die individuellen Bedürfnisse einer studentischen Gruppe einzugehen. Zum anderen zielt die Organisation darauf, die methodisch mannigfaltigen, vielfach parallel stattfindenden Lehrveranstaltungen reibungslos und inhaltlich aufeinander abgestimmt ablaufen zu lassen.Wie oben bereits diskutiert, können komplexe organisatorische Anforderungen zur Regression von Reformbestrebungen beitragen . Die vorliegenden Ergebnisse der studentischen Evaluation bestätigen, dass die erfolgreiche Umsetzung organisatorischer Maßnahmen eine wesentliche Voraussetzung für den erfolgreichen Lernprozess ist. Damit kann die Organisationsstruktur des chirurgischen Curriculums in HeiCuMed als erfolgreiches Modell für die Implementierung an einer großen Universitätsklinik mit stark konkurrierenden Anforderungen in den Bereichen Patientenversorgung, Forschung und der Lehre stehen. DiscussionThe institutional settingThe reformed curriculum HeiCuMed represents a comprehensive innovation of content and structure of medical teaching in the Medical School of Heidelberg University. An essential prerequisite for the success of the surgical training curriculum was a large number of experienced professional teaching staff with training in educational methods, central coordination of the surgical curriculum, and support for active student participation through interactive didactics. The organisational and financial effort required presents large university hospitals which run at capacity with a special challenge , , . In fact, several medical reform curricula around the world experienced regression for this reason . The success achieved by HeiCuMed depends not only on the relevance of its content and the quality of its educational strategy but also on the institutional ability to set up the necessary structures and to implement the various facets of the project effectively in the long term. These structures include first and foremost the package of measures for training the medical teaching staff and reducing their workload during the teaching period. It includes didactic training of the teaching staff, modular design of the courses, releasing teaching staff from clinical duties for the duration of the module, and standardisation of the teaching content and the support materials. Long-term securing and equipping appropriate teaching rooms as well as the recruitment and training of standardised patients in sufficient numbers are also important.Student evaluation as an instrument of quality assuranceStudent evaluation of courses has been established in Germany largely as part of quality assurance. One aspect limiting this type of evaluation is that the quality of teaching is difficult to measure, thus making it difficult to validate the evaluation . Student evaluation is based on a subjective assessment of teaching that varies among groups of students with different learning strategies . Agreement between the assessment of a particular aspect of teaching by different students in different classes may be low , , but increase considerably if the number of evaluators per event is larger than 20 and if the conditions of the evaluated events are similar , . To ensure the reliability of evaluation results in the present study, large samples were analysed with conditions of the evaluated courses being comparable.Evaluation results in the introduction phase of HeiCuMedIn 2004-2005 interviews were conducted with eleven students of the traditional curriculum and 25 of the first HeiCuMed students who had by then reached the Internship Year . Of the eleven graduates of the traditional curriculum, only one (9%) judged the success of learning as “high” and the organisation as “very good”. Three interviewees (27%) judged the relevance of the courses to future working practice as positively. Among the Hei-CuMed graduates, however, 18 (72%) judged their learning success as “high”, 22 (88%) rated the relevance to working practice as positive, and 19 (76%) rated organisation as being very good. The results of these interviews were consistent with the results of written evaluations carried out around that time and suggested that the benefits of HeiCuMed persist into the Internship Year .Overall evaluation of teaching methodsPrevious studies from different universities have shown high satisfaction amongst students with innovative reforms of the medical course. However, usually only one or a few aspects of the curriculum in its launch phase or within a limited period of time were investigated. It remained unclear whether initial or single point student satisfaction extended to the whole curriculum and whether it was shared by subsequent cohorts. The present study therefore aims to answer these questions for the entire reformed surgical curriculum and over a long period of time.The data shows that the high level of the students’ overall assessment of the surgical block of HeiCuMed was sustained consistently and with little change throughout the observation period of over six years. The proportion of very satisfied students increased several-fold while the percentage of dissatisfied students, in comparison with the traditional curriculum, shrank. This observation is of special importance because even the traditional surgical curriculum in Heidelberg was relatively highly rated by the students .Evaluation results revealing differences in approaches to learningUnder each curriculum, the evaluation of each item included positive, neutral and negative ratings. This variability partly was due to differences in the perception of the quality of the different courses and the medical teachers. But it potentially also expressed different approaches to learning: those that prefer teacher-centred learning and those who favour integrative forms of learning.Divergent approaches to learning and varying perceptions have a limiting impact on the effect size and limit downwards the evaluation variances. In addition, the improvement of the average evaluation results between the traditional and reformed curriculum was limited by the fact that the average evaluation of the traditional curriculum had already been relatively good. In conjunction, this means that in spite of the marked increase in the proportion of very satisfied students under HeiCuMed and the high significance of the differences between the evaluations of both curricula, the effect size remained within a medium range.The questions, how large is the proportion of learners who cannot cope with a given teaching method, how these students could be integrated into the active learning process, and what effect this proportion of learners has on the teaching evaluation remain open for further investigations.Differentiated evaluation of the traditional and the new teaching formats The practical teaching units and bedside teaching consistently were given the best reviews in the reformed curriculum. Thus, they appear to represent advantageous didactic strategies as compared with the traditional teaching methods. This conclusion has special significance for the teaching under HeiCuMed, which is based on the concept that practical experience encourages case-based application, cross-linking, and consolidation of acquired knowledge. Practical teaching units are an integral part of the daily cycle of lessons under HeiCuMed and the amount of bedside teaching is at least three-fold as large as in the old curriculum.More than a third of all HeiCuMed respondents rated working with standardised patients and PBL as “very good” and three quarters of all HeiCuMed respondents were satisfied with this course format. On average, the cardinal symptoms lecture and the seminars of HeiCuMed were judged similarly although the cardinal symptoms lecture had a higher effect size due to a smaller variance.The HeiCuMed seminars were rated significantly better than the lectures of the traditional curriculum, but less well and with higher variability than the practical teaching formats of HeiCuMed. One explanation given by students in free-text answers was that seminar contents that had already been covered in other classes were redundant. Redundancy has also often been perceived with respect to case-based seminars in topics where previously only the theoretical foundation had been laid. A principle of medical education, however, is to approach the same disease from different medical perspectives and to consider it with a view to practical application.Overall, it may be concluded that the daily cycle of thematic teaching units of HeiCuMed with its alternating teaching formats, interactive seminars, PBL, and different practical approaches has consistently proven itself.The link between organisation and quality of teachingUnder the traditional curriculum, the organisational effort to ensure teaching is relatively low. The organisational concept of HeiCuMed is much more complex and includes three main pillars: organisation, teaching, and quality management.Organization in the field of surgical teaching aims at enabling the medical teachers to fully commit to teaching for defined periods of time and facilitating their response to the individual needs of a student group through teaching continuity. In addition, HeiCuMed is organised so, that several classes with various but co-ordinated methodologies and content may be held simultaneously.As already discussed above, complex organisational requirements can contribute to the regression of efforts to reform the medical course . The present results confirm that the successful implementation of organisational measures is essential for a successful learning process as evaluated by the students. Consequently, the organisational structure of the surgical curriculum of HeiCuMed can be regarded as a successful model for the implementation of a reformed curriculum at a large university hospital with strong competing demands including patient care, research, and teaching. AussichtDie Entwicklung des Reformstudiengangs ist ein dauerhafter, dynamischer Prozess, der weiterhin wissenschaftlich begleitet wird. Wichtig ist es, möglichst viele Studierenden zu erreichen und in ihrem individuellen Lernprozess zu unterstützen. Dazu erscheint es erforderlich, neben der Lehrveranstaltungsevaluation weitere individuelle Faktoren der Studierenden in den Lehrprozess zu integrieren. Zu diesem Zweck starteten wir kürzlich eine Studie zu curricularen Aspekten, aber auch zu Faktoren des fakultären Umfeldes, die die Motivation der Studierenden bestimmen. Ebenfalls neu etabliert ist die integrative Lehrberatung. Sie umfasst die didaktische Beratung von Dozenten im Rahmen von Unterrichtshospitationen durch ein psychologisch-pädagogisches Team (für weitere Information siehe http://www.medizinische-fakultaet-hd.uni-heidelberg.de/Integrative-Lehrberatung.110222.0.html). Durch integrative Analyse dieser Daten zusammen mit der studentischen Evaluation der Lehrveranstaltungen sowie durch die Professionalisierung der Lehrenden durch regelmäßige Dozentenschulungen soll ein umfassendes Qualitätsmanagementsystem mit dem Ziel einer kontinuierlichen Qualitätssteigerung ermöglicht und die Nachhaltigkeit der erreichten Bildungsstrukturen weiterhin gesichert werden. Gleichzeitig entsteht hierbei ein übertragbares Modell des Qualitätsmanagements in der Hochschulausbildung. OutlookThe development of the reformed medical course is an ongoing dynamic process that will continue to be observed scientifically. It is important to reach the highest possible proportion of the students through the courses and to support their individual learning process. This makes it necessary to integrate more individual factors of the students into the educational process alongside the course evaluation. We recently therefore launched a study on the factors which determine the motivation of the students including both curricular issues and various aspects of the academic environment. In addition, we have recently established an integrative teaching consultancy service. It includes giving didactic advice to teaching staff by a psychological-educational team that visits their classes (for more information see http://www.medizinische-fakultaet-hd.uni-heidelberg.de/Integrative-Lehrberatung.110222.0.html). The integrative analysis of the data mentioned above together with the student evaluation of the courses and the professionalisation of the teachers by regular didactic-methodological training aims to enable a comprehensive quality management system with the goal of continuous quality improvement and securing the sustainability of the implemented educational structures. At the same time, this constitutes a transferable model for quality management in higher education. DanksagungDie Autoren sind Herrn Dipl. Psychol. Gerald Wibbecke und Frau Dipl. Psychol. Janine Kahmann für das kritische Lesen des Manuskriptes und fruchtbare Diskussionen sehr dankbar. ThanksThe authors are grateful to the psychologists Gerald Wibbecke and Janine Kahmann for critically proofreading the manuscript and for their fruitful discussions. InteressenkonfliktDie Autoren erklären, dass sie keine Interessenskonflikte in Zusammenhang mit diesem Artikel haben. Competing interestsThe authors declare that they have no competing interests. Nikendei C Weyrich P Jünger J Schrauth M Medical education in Germany 2009 Med Teach 591-600 Nikendei C, Weyrich P, Jünger J, Schrauth M. Medical education in Germany. Med Teach. 2009;31(7):591-600. DOI: 10.1080/01421590902833010 http://dx.doi.org/10.1080/01421590902833010 Richter EA Reformstudiengänge Medizin. Mehr Praxis, weniger Multiple Choice 2001 Dt Ärztebl 2020-2021 Richter EA. Reformstudiengänge Medizin. Mehr Praxis, weniger Multiple Choice. Dt Ärztebl. 2001;98(31-32):2020-2021. Steiner T Jünger J Schmidt J Bardenheuer H Kirschfink M Kadmon M Schneider G Seller H Sonntag HG Heicumed: Heidelberger Curriculum Medicinale – ein modularer Reformstudiengang zur Umsetzung der neuen Approbationsordnung 2003 Gesundheitswesen (Suppl Med Ausbild) 87-91 Steiner T, Jünger J, Schmidt J, Bardenheuer H, Kirschfink M, Kadmon M, Schneider G, Seller H, Sonntag HG. Heicumed: Heidelberger Curriculum Medicinale – ein modularer Reformstudiengang zur Umsetzung der neuen Approbationsordnung. Gesundheitswesen (Suppl Med Ausbild). 2003;20(Suppl2):87-91. Zugänglich unter/available from: http://gesellschaft-medizinische-ausbildung.org/index.php?option=com_content&view=article&id=451&Itemid=649&lang=de http://gesellschaft-medizinische-ausbildung.org/index.php?option=com_content&view=article&id=451&Itemid=649&lang=de Fischer-Bluhm K Müller W 2007 Evaluation von Studium und Lehre im Fach Humanmedizin 2006/2007 Fischer-Bluhm K, Müller W. Evaluation von Studium und Lehre im Fach Humanmedizin 2006/2007. Bremen: Verbund Norddeutscher Universitäten; 2007. Band 21. Chenot JF Undergraduate medical education in Germany 2009 GMS Ger Med Sci Doc02 Chenot JF. Undergraduate medical education in Germany. GMS Ger Med Sci. 2009;7:Doc02. DOI: 10.3205/000061 http://dx.doi.org/10.3205/000061 Huwendiek S Dern P Hahn EG Pediaditakis D Tönshoff B Nikendei C Qualifizierungsbedarf, Expertise und Rahmenbedingungen engagierter Lehrender in der Medizin in Deutschland 2008 Z Evid Fortbild Qual Gesundh 613-617 Huwendiek S, Dern P, Hahn EG, Pediaditakis D, Tönshoff B, Nikendei C. Qualifizierungsbedarf, Expertise und Rahmenbedingungen engagierter Lehrender in der Medizin in Deutschland. Z Evid Fortbild Qual Gesundh. 2008;102(10):613-617. DOI: 10.1016/j.zefq.2008.11.015 http://dx.doi.org/10.1016/j.zefq.2008.11.015 Jones R Higgs R de Angelis C Prideaux D Changing face of medical curricula 2001 Lancet 699-703 Jones R, Higgs R, de Angelis C, Prideaux D. Changing face of medical curricula. Lancet. 2001;357(March 3):699-703. Gerdes B Schnabel M Wennekes V Hassan I Schlosser K Rothmund M Warum werden chirurgische Vorlesungen nicht besucht – was muss sich ändern? GMS Z Med Ausbild 2005 Gerdes B, Schnabel M, Wennekes V, Hassan I, Schlosser K, Rothmund M. Warum werden chirurgische Vorlesungen nicht besucht – was muss sich ändern? GMS Z Med Ausbild. 2005;22(2):Doc22. Zugänglich unter/available from: http://www.egms.de/static/de/journals/zma/2005-22/zma000022.shtml http://www.egms.de/static/de/journals/zma/2005-22/zma000022.shtml König S Markus PM Becker H Lehren und Lernen in der Chirurgie – das Göttinger Curriculum 2001 Chirurg 613-620 König S, Markus PM, Becker H. Lehren und Lernen in der Chirurgie – das Göttinger Curriculum. Chirurg. 2001;72:613-620. Langelotz C Junghans T Günther N Schwenk W Problemorientiertes Lernen in der Chirurgie. Erhöhte Lernmotivation bei geringerem Personalaufwand? 2005 Chirurg 481-486 Langelotz C, Junghans T, Günther N, Schwenk W. Problemorientiertes Lernen in der Chirurgie. Erhöhte Lernmotivation bei geringerem Personalaufwand? Chirurg. 2005;76:481-486. DOI: 10.1007/s00104-004-0987-5 http://dx.doi.org/10.1007/s00104-004-0987-5 Segerra L Schwedler A Hahn EG Schmidt A Signifikanter Effekt von Fertigkeiten-Training auf die Ergebnisse im OSCE: eine prospektive kontrollierte Studie 2008 GMS Z Med Ausbild Doc40 Segerra L, Schwedler A, Hahn EG, Schmidt A. Signifikanter Effekt von Fertigkeiten-Training auf die Ergebnisse im OSCE: eine prospektive kontrollierte Studie. GMS Z Med Ausbild. 2008;25(1):Doc40. Zugänglich unter/available from: http://www.egms.de/static/de/journals/zma/2008-25/zma000524.shtml http://www.egms.de/static/de/journals/zma/2008-25/zma000524.shtml Reimann K Porsche M Holler S Kadmon M Nachhaltigkeit einer verbesserten studentischen Evaluation im operativen Fachgebiet des Reformstudiengangs HeiCuMed: Vergleich zwischen traditionellem Curriculum und Reformcurriculum anhand halbstrukturierter Interviews von Studierenden im Praktischen Jahr 2008 GMS Z Med Ausbild Doc81 Reimann K, Porsche M, Holler S, Kadmon M. Nachhaltigkeit einer verbesserten studentischen Evaluation im operativen Fachgebiet des Reformstudiengangs HeiCuMed: Vergleich zwischen traditionellem Curriculum und Reformcurriculum anhand halbstrukturierter Interviews von Studierenden im Praktischen Jahr. GMS Z Med Ausbild. 2008;25(2):Doc81. Zugänglich unter/available from: http://www.egms.de/static/de/journals/zma/2008-25/zma000565.shtml http://www.egms.de/static/de/journals/zma/2008-25/zma000565.shtml Schürer S Schellberg D Schmidt J Kallinowski F Mehrabi A Herfarth Ch Büchler M Kadmon M Evaluation der traditionellen Ausbildung in der Chirurgie 2006 Chirurg 352-359 Schürer S, Schellberg D, Schmidt J, Kallinowski F, Mehrabi A, Herfarth Ch, Büchler M, Kadmon M. Evaluation der traditionellen Ausbildung in der Chirurgie. Chirurg. 2006;77(4):352-359. Huwendiek S Kadmon M Jünger J Kirschfink M Bosse HM Resch F Duelli R Bardenheuer HJ Sonntag HG Steiner T Umsetzung der deutschen Approbationsordnung 2002 im modularen Reformstudiengang Heidelberger Curriculum Medicinale (HeiCuMed) 2008 Z Hochschulentw 17-27 Huwendiek S, Kadmon M, Jünger J, Kirschfink M, Bosse HM, Resch F, Duelli R, Bardenheuer HJ, Sonntag HG, Steiner T. Umsetzung der deutschen Approbationsordnung 2002 im modularen Reformstudiengang Heidelberger Curriculum Medicinale (HeiCuMed). Z Hochschulentw. 2008;3(3):17-27. Kulik JA Student ratings: validity, utility, and controversy 2001 New Direct Instit Res 9-25 Kulik JA. Student ratings: validity, utility, and controversy. New Direct Instit Res. 2001;109:9-25. DOI: 10.1002/ir.1 http://dx.doi.org/10.1002/ir.1 Süllwold F Welche Realität wird bei der Beurteilung von Hochschullehrern durch Studierende erfasst? Mitteilungen des Hochschulverbandes 1992 Süllwold, F. Welche Realität wird bei der Beurteilung von Hochschullehrern durch Studierende erfasst? Mitteilungen des Hochschulverbandes. 1992;40(1/92):34-35. Cashin WE 1996 Developing an effective faculty evaluation system Cashin WE. Developing an effective faculty evaluation system. IDEA Paper No. 33. Manhatten/KS: Kansas State University, Center for Faculty Evaluation and Development, Division of Continuing Education; 1996. Zugänglich unter/available from: http://www.theideacenter.org/IDEAPaper33 http://www.theideacenter.org/IDEAPaper33 Rindermann H Amelang M Entwicklung und Erprobung eines Fragebogens zur studentischen Veranstaltungsevaluation 1994 Emp Pädag 131-151 Rindermann H, Amelang M. Entwicklung und Erprobung eines Fragebogens zur studentischen Veranstaltungsevaluation. Emp Pädag. 1994;8:131-151. Rindermann H 2001 Lehrevaluation – Einführung und Überblick zu Forschung und Praxis der Lehrveranstaltungsevaluation an Hochschulen 214-221 Rindermann H. Lehrevaluation – Einführung und Überblick zu Forschung und Praxis der Lehrveranstaltungsevaluation an Hochschulen. Landau: Verlag Empirische Pädagogik; 2001. S.214-221. 11de1en

Tabelle 1: Anzahl der evaluierenden Teilnehmer über alle evaluierten Lehrveranstaltungen. (WS) Wintersemester; (SS) Sommersemester.

Table 1: Number of respondents in all evaluated classes. (WS) winter semester; (SS) summer semester.

22de2en

Tabelle 2: Analyse der Reliabilität der Evaluationsangaben. (α) Crombachs α; (α (Stand.)) Crombachs α für standardisierte Daten; (Interitemkovar.) Interitemkovarianzen; (Interitemkorrel) Interitemkorrelationen; (ICC (einzel.)) und (ICC (durchschnittl.)) respektive Korrelationskoeffizient in Klassen einzelner und durchschnittlicher Maße; (p) die größte Fehlerwahrscheinlichkeit der angegebenen Statistiken.

Table 2: Analysis of reliability of evaluation data. (α) Crombach’s α; (α (Stand.)) Crombach’s α for standardised data; (Inter-item co-var.) Inter-item co-variation; (Inter-item correl.) Inter-item correlations; (ICC (individual.)) and (ICC (average.)) respectively correlation coefficient in classes of individual and average size, (p) the largest error probability of the specified statistics.

33de3en

Tabelle 3: Statistischer Vergleich der Gesamtevaluation unterschiedlicher Lehrveranstaltungsformen des traditionellen (alt) und neuen Curriculums (neu). Oben: Signifikanz der Unterschiede. (Varianzanalyse ergab p=2,6x10-101.) Unten: Effektstärke (Cohens d). Die Daten wurden zusammengefasst wie in Abb. 2B. Die Farben entsprechen Abb. 3A. (ns) Nicht signifikant; (*) p<0,05; (**) p<0,01; (***) p<0,001; (Standard. Patienten) standardisierte Patienten.

Table 3: Statistical comparison of the overall evaluation of different teaching formats of the traditional (old) and new curriculum (new). Top: Significance of differences. (Anova: p=2.6x10-101.) Bottom: Effect size (Cohens d). The data are aggregated as in Figure. 3B. The colours correspond to Figure. 2A. (ns) Not significant; (*) p<0.05; (**) p<0.01; (***) p<0.001; (Standard. patients) standardised patients.

3

1 1de 1en Abbildung 1: Gesamtevaluation des traditionellen und reformierten Curriculums. Die Lehrveranstaltungen wurden von den Studierenden auf einer siebenstufigen Likertskala (1=„sehr gut“, 7=„sehr schlecht“) evaluiert und die durchschnittliche Evaluationsnote (A, C) sowie die prozentuale Verteilung der Evaluationsnoten (B, D) wurden ausgewertet. Die Note „7“ wurde nur selten vergeben und in der grafischen Darstellung mit der Note „6“ zusammengefasst. (A, B) Gesamtevaluation aller Lehrveranstaltungen. (C, D) Gesamtevaluation der praktischen Lehrveranstaltungen. Für die Implementierungsphase von HeiCuMed, SS02 bis SS03, waren die vorhandenen Daten zusammengefasst. WS – Wintersemester; SS – Sommersemester. Weiße Striche in B, D: Der höhere Prozentsatz der positiven Bewertungen im alten Curriculum. Figure 1: Overall evaluation of the traditional and reformed curriculum. The courses were rated by students on a seven-point Likert scale (1=”very good”, 7=”very bad”) and the average evaluation grade (A, C) and the percentage distribution of the evaluation grades (B, D) were calculated. The grade “7” was given only rarely and combined with grade “6” in the graphical representation. (A, B) overall evaluation of all courses. (C, D) overall evaluation of the practical courses. The data from the implementation phase of HeiCuMed, SS 2002 to SS 2003, was pooled. WS - Winter semester, SS - Summer semester. White lines in B, D: The higher percentage of positive ratings in the old curriculum.

2 2de 2en Abbildung 2: Differenzielle Gesamtevaluation der Lehrmethoden des traditionellen (alt) und reformierten Curriculums (neu). (A) Mittlere Evaluationsnoten verschiedener Semester. Von links nach rechts in jeder Gruppe: (Traditionelles Curriculum) WS 1999/00, SS 2000; (reformiertes Curriculum) SS 2005 bis WS 2007/08. Das Lernen mit standardisierten Patienten wurde separat nur im SS 2005, WS 2005/06 und WS 2006/07 evaluiert. (B) Für jede Lehrmethode wurden die Evaluationsangaben aller Semester zusammengefasst. Weiße Striche in B: Prozentsatz der höheren positiven Bewertung im traditionellen Curriculum. Evaluationsskala wie in Abb. 1. (ns) nicht signifikant, (***) p<0,001 im t-Test gegen Vorlesung (alt). ANOVA: p=10-101. Figure 2: Differential overall evaluation of the teaching formats of the traditional (old) and reformed curriculum (new). (A) Mean evaluation scores by semester. From left to right in each group: (traditional curriculum) WS 1999/00, SS 2000, (reformed curriculum) from SS 2005 to WS 2007/08. Learning with standardised patients was evaluated separately only in SS 2005, WS 2005/06, WS 2006/07. (B) For each teaching method the evaluation data from all semesters were combined. White lines in B: the highest percentage of positive evaluations in the traditional curriculum. Evaluation scale as in Figure 1. (ns) Not significant; (***) p <0.001 in the t-test against lecture (old). ANOVA: p=10-101.

2 0 0