zma00125010.3205/zma001250urn:nbn:de:0183-zma0012505articleArtikelImplementation of online peer feedback for student self-reflection – first steps on the development of a feedback culture at a medical facultyImplementierung eines online Peer-Feedbacks zur studentischen Selbstreflexion – Beitrag zur Entwicklung einer Feedbackkultur an einer medizinischen FakultätRaskiRaskiBiancaBDr. Dipl.-Psych.
Heinrich Heine University Düsseldorf, Faculty of Medicine, Office of the Dean of Studies, Düsseldorf, Germany, Phone: +49 (0)177/7384253Heinrich Heine University Düsseldorf, Faculty of Medicine, Office of the Dean of Studies, Düsseldorf, Germany
Heinrich-Heine-Universität Düsseldorf, Medizinische Fakultät, Studiendekanat, Düsseldorf, Deutschland, Tel.: +49 (0)177/7384253Heinrich-Heine-Universität Düsseldorf, Medizinische Fakultät, Studiendekanat, Düsseldorf, DeutschlandBianca.Raski@med.uni-duesseldorf.deauthorEissnerEissnerAlexanderAHeinrich Heine University Düsseldorf, Faculty of Medicine, Office of the Dean of Studies, Düsseldorf, GermanyHeinrich-Heine-Universität Düsseldorf, Medizinische Fakultät, Studiendekanat, Düsseldorf, Deutschlandalexander.eissner@uni-duesseldorf.deauthorGummersbachGummersbachElisabethEDr. med.Heinrich Heine University Düsseldorf, Institute of General Medicine, Düsseldorf, GermanyHeinrich-Heine-Universität Düsseldorf, Institut für Allgemeinmedizin, Düsseldorf, Deutschlandelisabeth.gummersbach@med.uni-duesseldorf.deauthorWilmWilmStefanSProf. Dr. med.Heinrich Heine University Düsseldorf, Institute of General Medicine, Düsseldorf, GermanyHeinrich-Heine-Universität Düsseldorf, Institut für Allgemeinmedizin, Düsseldorf, Deutschlandstefan.wilm@med.uni-duesseldorf.deauthorHempelHempelLinnLM.A.Heinrich Heine University Düsseldorf, Düsseldorf, GermanyHeinrich Heine Universität Düsseldorf, Düsseldorf, Deutschlandlinn.hempel@med.uni-duesseldorf.authorDederichsDederichsMelinaMBScHeinrich Heine University Düsseldorf, Faculty of Medicine, Office of the Dean of Studies, Düsseldorf, GermanyHeinrich-Heine-Universität Düsseldorf, Medizinische Fakultät, Studiendekanat, Düsseldorf, Deutschlandmelina.dederichs@uni-duesseldorf.deauthorRotthoffRotthoffThomasTProf. Dr. med.MMEAugsburg University, Medical Faculty, Department for Medical Education and Educational Research, Augsburg, GermanyUniversität Augsburg, Medizinische Fakultät, Lehrstuhl für Medizindidaktik und Ausbildungsforschung, Augsburg, Deutschlandthomas.rotthoff@med.uni-augsburg.deauthorGerman Medical Science GMS Publishing House
Düsseldorf
610feedbackfeedback cultureculture of trustcompetence developmentpeer feedbackcurriculum developmentchange measuresFeedbackFeedbackkulturVertrauenskulturKompetenzentwicklungPeer-FeedbackCurriculumsentwicklungVeränderungsmaßnahmenFeedbackFeedback20181022201903292019052820190815englgermThis is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License.Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung).2366-5017364GMS Journal for Medical EducationGMS J Med Educ42Zielsetzung: Das Erlernen und Anwenden von fachlichen, aber auch persönlichen Kompetenzen geht mit der Formung und Festigung von Einstellungen und Werten einher und wird durch die, in der spezifischen Lernumgebung gelebten, Normen und Stimmungen (Vertrauens- und Feedbackkultur) beeinflusst . Insbesondere Feedback und auch Peer-Feedback können hier einen positiven Einfluss auf den Lernfortschritt und die persönliche Entwicklung von Studierenden haben , , . Der Förderung einer Lehr- und letztlich Vertrauens- bzw. Feedbackkultur kommt dabei eine besondere Rolle zu . Ziel war es deshalb, Feedback strukturiert in das Curriculum eines Modellstudiengangs zu integrieren, um darüber eine Feedbackkultur zu entwickeln, in der Studierende sich mit Hilfe von regelmäßigem und konstruktivem Feedback persönlich wie auch fachlich weiterentwickeln können.Methodik: Nach einer initialen Pilotphase 2009 wurde (Peer-) Feedback zunächst anhand von Checklisten, später durch einen Online-Fragebogen und direkte Gesprächssituationen sukzessive in das Curriculum an der Medizinischen Fakultät integriert und die Aktivitäten regelmäßig auf Basis studentischer Evaluationen mittels der Evaluationssoftware EvaSys sowie halbstandardisierter, leitfragengestützter Interviews mit sechs Studierenden in 2009 und jeweils 13 Studierenden in 2012 und 2013 analysiert. Ergebnisse: Studierende nahmen die Vertrauens- bzw. Feedbackkultur am Standort zunächst noch verbesserungswürdig wahr. Es zeigten sich Unsicherheiten mit Blick auf die Verwendung von konstruktivem Feedback und dem Geben von Kritik, aber auch Misstrauen mit Bezug zur Äußerung persönlicher Wahrnehmungen gegenüber Fakultätsmitarbeitern. Die Steigerung der Akzeptanz der Angebote im Verlauf ihrer Etablierung konnte u.a. über eine Verbesserung der studentischen Evaluation und eine Erhöhung der Teilnehmerzahlen an den freiwilligen Angeboten dokumentiert werden. In qualitativen Daten zeigte sich unter den Studierenden eine positivere Wahrnehmung bzw. Bewertung des standorteigenen Feedbackkonzepts sowie Hinweise auf Verbesserungen der Vertrauenskultur am Standort. Der Anteil konstruktiver Freitextkommentare stieg signifikant um 11% auf 99,4% im Vergleich zum Vorjahr (t(3)=-3,79, p=0,04). So konnte im Sinne der Zielsetzung schon eine Steigerung von Feedbackaktivitäten sowie deren Qualität an der Fakultät erreicht werden.Schlussfolgerung: Feedback, dessen Akzeptanz sowie die Qualität können in einer Fakultät positiv beeinflusst werden. Dabei sollen Veränderungsmaßnahmen immer wieder im Diskurs mit den Anwendern auf Praktikabilität geprüft werden, um Umsetzungsschwierigkeiten und Hemmnisse direkt wahrzunehmen und im Sinne der Anwender zu beeinflussen. Dies kann die Entwicklung einer Vertrauens- bzw. Feedbackkultur beeinflussen und sollte langfristig die persönliche und fachliche Entwicklung Studierender fördern.Objective: Acquisition and application of professional and personal competences is accompanied by the formation and consolidation of attitudes and values and is influenced by the norms and moods (trust and feedback culture) experienced in the learning environment in question . In particular, feedback and peer feedback can have a positive influence on the learning progress and personal development of students , , . The promotion of a culture of teaching and ultimately of trust or feedback, plays a special role in this . The aim was therefore to structurally integrate feedback into the curriculum of a model study course in order to develop a feedback culture in which students can develop personally and professionally with the help of regular and constructive feedback.Methodology: Following an initial pilot phase in 2009, (peer) feedback was gradually integrated into the curriculum at the medical faculty, in the first instance through checklists and subsequently through an online questionnaire and direct interviews. The activities were regularly analyzed on the basis of student evaluations using the EvaSys evaluation software and semi-standardized questionnaire-based interviews with six students in 2009 and 13 students each in 2012 and 2013. Results: Initially, students felt that the trust and feedback culture at their location as being in need of improvement. There were uncertainties regarding the use of constructive feedback and making criticism but also trust issues regarding the expression of personal perceptions to faculty members. It was possible to document the increase in the acceptance of the offers in the course of their establishment by an improvement in student evaluation and an increase in the number of participants in the voluntary offers amongst others. Qualitative data showed that students had a more positive perception or assessment of the location’s feedback concept as well as indications of improvements in the culture of trust at the location. The proportion of constructive free-text comments increased significantly by 11% to 99.4% compared to the previous year (t(3)=-3.79, p=0.04). Thus, in terms of the objective, an increase in feedback activities and their quality at the faculty was achieved.Conclusion: Feedback, its acceptance as well as the quality, can be positively influenced at a faculty. Change measures should be tested repeatedly in discussion with users regarding practicability in order to directly pick up implementation issues and obstacles so they can be remedied in the interests of the users. This can influence the development of a culture of trust and feedback and should promote the personal and professional development of students in the long term.1. IntroductionSkills acquisition is accompanied by the formation and consolidation of attitudes and values . The teaching mission statement of the Medical Faculty of the Heinrich Heine University of Düsseldorf , taking into account the National Competency Based Learning Objective Framework for Medicine (NKLM 2015, [http://www.nklm.de]), states that the aim is not only to promote the development of subject-related skills in students but also on a personal level . Information in the form of feedback on one’s own behavior, one’s effect on others and one’s own abilities can help further develop the personal and social competencies of students, such as self-reflection, empathy, tolerance of ambiguity and the ability to cope with criticism, which are an important part of the professional identity of medical professionals . Information or constructive criticism, such as feedback, is essential for the improvement of competences , which is why feedback as a formative examination element is an important international component in the competence-oriented framework for medical education, further education and training . In this context, feedback is seen as a key element in the development of top performance . The basis of this report is a definition of feedback based on Hattie and Timperley, which describes feedback as information of an intermediary (e.g. peer) regarding aspects of the performance or the comprehension of a feedback recipient regarding a specific behavior that has been exhibited . However, the inclusion of direct feedback in frameworks, curricula and regulations does not necessarily mean its implementation is successful in the sense that feedback is constructively given or accepted and leads to a change in behavior. Archer points out that effective feedback within the framework of medical education can not only be achieved through absolving a prescribed number of feedback situations but must be internalized by the persons involved and lived out within a feedback culture setting . An “open and constructive feedback culture” plays a key role in this and, in order to be effective, feedback must be anchored in the teaching and learning environment , . Experts suggest that direct, personal feedback can only produce maximum benefit for students within the framework of an established feedback culture . Ideally, high feedback quality is associated with both support in the use of feedback (such as training and coaching) and the need for feedback to be felt in the organization . It requires a mutually appreciative common ground which in this culture realizes the giving and taking of feedback as a beneficial act for each individual, with all its various preconditions. According to the literature, in addition to a trust relationship between the feedback provider and the recipient , the learning environment (that is, the teaching/learning environment) in which the feedback is given is decisive. Learning always takes place in a specific environment and is influenced by the values, moods and modes of behavior exhibited in it , . These lived values and behaviors appear to be particularly important for formative, process-oriented examinations, which aim to constructively support the individual learning process and competence acquisition of students.A stable feedback culture implies an attitude towards criticism, dissonance, learning and change which is capable of consensus and which must be experienced by every member of the faculty before it can be further developed.The academic community is all too familiar with issues of evaluation and feedback in higher education . Meta-analyzes show that students often do not understand the requirements of feedback, do not engage with feedback and often are dissatisfied with feedback systems and processes. Moreover, there is little research on how postulated models for dealing with feedback can be put into practice . Thus each location should consider the development of an improved trust culture as a lifelong process under continual change. An investigation by Schaufeli et al. suggests that a more holistic, socially embedded conceptualization of feedback and engagement is needed. This conceptualization should encourage a more productive approach to supporting students. This means providing a way to use feedback to develop learning instead of mechanistically responding to instruction .However, feedback in the form of continual feedback which is satisfactory for students regarding their own strengths and weaknesses was still inadequate from the students’ point of view prior to the implementation of the Düsseldorf model study course in 2013 , . The partly lacking, partly vague formulation of suggestions for improvement was also criticized , ]. In studies on the learning climate , students as well as teaching staff assessed the existing trust culture as being in need of improvement. The aim of an initial “Feedback” project group was therefore to integrate feedback in a structured and beneficial manner into the competence-oriented medical curriculum in Düsseldorf (model study course, see figure 1 ). In doing so, feedback can support teaching the following over-arching learning objectives of the Düsseldorf curriculum:The students:... contribute constructively to teams, perceive different points of view of team members and reflect on their own role (communicative competence)... notice breakdowns in communication and deal with them constructively (communicative competence)... notice divergences between their own values and interests and those of patients and their relatives and take them into account appropriately (communicative competence)... identify and estimate their own potential with regard to the team and consider the effect of themselves on others (self-competence)This report deals with the implementation of anonymous peer feedback which aims toencourage students to reflect and which should support their personal and professional development.The effectiveness of feedback between students (peer feedback) has been well documented in the scientific literature . Since, as already mentioned, feedback culture was previously considered to be weak at the location , a common basis characterized by esteem was considered desirable in order to be able to use self and third-party assessments implicitly and explicitly embedded with the aim of promoting student skills.Peer feedback is used as a tool for the development of students’ higher-level competencies and interested students participated voluntarily in this project. The basic idea behind questionnaire-based peer feedback is that students are able to give each other anonymous feedback on specific behaviors or topics they observe. Anonymous peer feedback was chosen to increase the acceptance of students and to facilitate access to feedback.1. EinleitungKompetenzerwerb geht einher mit Formung und Festigung von Einstellungen und Werten . Im Leitbild Lehre der Medizinischen Fakultät der Heinrich-Heine-Universität Düsseldorf wird unter Berücksichtigung des Nationalen Kompetenzbasierten Lernzielkatalogs Medizin (NKLM 2015, [http://www.nklm.de) als Ziel der Ausbildung die Förderung der Studierenden nicht nur auf fachlicher, sondern auch auf persönlicher Ebene formuliert . Informationen im Rahmen eines Feedbacks zum eigenen Auftreten, der Wirkung auf andere und den eigenen Fertigkeiten können helfen, eigene personale und soziale Kompetenzen Studierender, wie z.B. Selbstreflexion, Empathie, Ambiguitätstoleranz und Kritikfähigkeit, weiterzuentwickeln, die einen wichtigen Bestandteil der professionellen Identität von Medizinern ausmachen . Informationen bzw. Kritik in konstruktiver Form, wie z.B. ein Feedback, sind hierbei wesentlich für die Verbesserung von Kompetenzen , weshalb Feedback als formatives Prüfungselement international wichtiger Bestandteil in den kompetenzorientierten Rahmenkonzepten für die Ärztliche Aus-, Weiter- und Fortbildung ist . Feedback wird dabei als zentrales Element bei der Entwicklung von Höchstleistungen betrachtet . Basis dieses Berichts ist hierbei eine Definition von Feedback in Anlehnung an Hattie und Timperley, welche Feedback als Information eines Vermittlers (z. B. Peer) in Bezug auf Aspekte der Leistung oder des Verständnisses eines Feedbacknehmers zu einem konkret gezeigten Verhalten benennen . Die Aufnahme von direktem Feedback in Rahmenkonzepte, Curricula und Verordnungen bedeutet aber noch nicht automatisch dessen Durchführung und gelingende Umsetzung in dem Sinne, dass Feedback konstruktiv gegeben oder angenommen wird und zu einer Verhaltensänderung führt. Archer weist darauf hin, dass effektives Feedback im Rahmen der medizinischen Ausbildung nicht allein über eine vorgeschriebene Anzahl von durchlaufenen Feedbacksituationen gelingt, sondern von den beteiligten Personen verinnerlicht und im Sinne einer Feedbackkultur gelebt werden muss . Einer „offenen und konstruktiven Feedbackkultur“ kommt dabei eine entscheidende Bedeutung zu und um wirkungsvoll zu sein, muss Feedback in einen Lehr- und Lernkontext gesetzt werden , . Den größten Nutzen für Studierende kann direktes, persönliches Feedback nach Meinung der Experten dabei erst im Rahmen einer etablierten Feedbackkultur entwickeln . Im Idealfall geht eine hohe Feedbackqualität sowohl mit der Unterstützung in der Feedbacknutzung (z.B. durch Schulungen und Hospitationen) als auch mit der Notwendigkeit einher, dass Feedback in der Organisation spürbar sein muss . Es bedarf hierfür einer wechselseitig wertschätzenden gemeinsamen Basis, welche die Annahme und das Geben von Rückmeldungen gewinnbringend für jedes Individuum mit all seinen verschiedenen Voraussetzungen in dieser Kultur trägt. Entsprechend der Literatur sind hierfür neben einem vertrauenswürdigen Verhältnis zwischen Feedbackgeber und -nehmer , eben auch die Lernumgebung (d.h. das Lehr-/Lernklima) entscheidend, in der das Feedback stattfindet . Lernen findet immer in einer spezifischen Umgebung statt und wird durch die dort gelebten Werte, Stimmungen und Umgangsformen beeinflusst , . Diese gelebten Werte und Umgangsformen erscheinen besonders für formative, prozessorientierte Prüfungen von Bedeutung, über die der individuelle Lernprozess und Kompetenzerwerb der Studierenden konstruktiv gefördert werden soll.Eine stabile Feedbackkultur impliziert eine konsensfähige Wertehaltung gegenüber Kritik, Dissonanz, Lernen und Veränderung , die jedem Mitglied der Fakultät erst erlebbar gemacht werden muss, um weitergeführt zu werden.Die akademische Gemeinschaft kennt die Probleme in Bezug auf Bewertung und Feedback in der Hochschulbildung nur zu gut . Metaanalysen zeigen, dass die Studierenden die Anforderungskriterien von Feedback häufig nicht verstehen, sich nicht auf Feedback einlassen und mit Feedbacksystemen und -prozessen oft unzufrieden sind. Zudem gibt es wenig Forschung darüber, wie postulierte Modelle zum Umgang mit Feedback praktisch umgesetzt werden können . So soll am Standort die Entwicklung hin zu einer verbesserten Vertrauenskultur als lebenslanger Prozess unter kontinuierlicher Veränderung betrachtet werden. Eine Untersuchung von Schaufeli et al. legt nahe, dass eine ganzheitlichere, sozial eingebettete Konzeptualisierung von Feedback und Engagement erforderlich ist. Diese Konzeptualisierung soll darin ermutigen, Studierende auf produktivere Weise zu unterstützen. Dies meint eine Möglichkeit zu bieten, Feedback zu nutzen, um Lernen zu entwickeln, anstatt mechanistisch auf Unterweisungen zu reagieren .Feedback in Form einer für die Studierenden befriedigenden und kontinuierlichen Rückmeldung zu eigenen Stärken und Schwächen fand in der Wahrnehmung der Studierenden vor Implementierung des Düsseldorfer Modellstudiengangs im Jahr 2013 jedoch noch zu wenig statt , . Auch die teils fehlende, teils unkonkrete Formulierung von Verbesserungsvorschlägen wurde bemängelt , . Studierende wie auch Lehrende bewerteten in entsprechenden Untersuchungen zum Lernklima die am Standort existente Vertrauenskultur als verbesserungsbedürftig , . Ziel einer initiativen Projektgruppe „Feedback“ war es deshalb, Feedback strukturiert und gewinnbringend in das kompetenzorientierte Düsseldorfer Curriculum Medizin (Modellstudiengang, siehe Abbildung 1 ) zu integrieren. Dabei kann Feedback bei der Vermittlung folgender übergeordneter Lernziele des Düsseldorfer Curriculums unterstützen:Die Studierenden:… bringen sich konstruktiv in Teams ein, nehmen unterschiedliche Standpunkte der Teammitglieder wahr und reflektieren die eigene Rolle (Kommunikative Kompetenz)… erfassen Störungen in der Kommunikation und gehen konstruktiv damit um (Kommunikative Kompetenz)… erfassen Divergenzen zwischen eigenen Werten und Interessen und denen der Patienten und ihrer Angehörigen und berücksichtigen diese angemessen (Kommunikative Kompetenz)… benennen und schätzen eigenes Potential im Hinblick auf das Team ein und berücksichtigen die Wirkung der eigenen Person auf andere (Selbstkompetenz)Dieser Bericht befasst sich mit der Implementierung eines anonymen Peer-Feedbacks mit dessen Hilfe Studierende zur Reflexion angeregt und in ihrer persönlichen und beruflichen Weiterentwicklung unterstützt werden sollen. Die Effektivität von Feedback zwischen Studierenden (Peer-Feedback) ist wissenschaftlich gut belegt . Da wie bereits erwähnt am Standort Feedbackkultur bisher als gering ausgeprägt galt , wird eine gemeinsame, durch Wertschätzung gekennzeichnete Basis als erstrebenswert betrachtet, um Selbst- und Fremdeinschätzungen implizit und explizit eingebettet im Sinne einer Förderung studentischer Fertigkeiten nutzen zu können. Das Peer-Feedback wird als Instrument für die Entwicklung übergeordneter Kompetenzen der Studierenden genutzt und interessierte Studierende nehmen an diesem Projekt freiwillig teil. Grundidee des fragebogengestützten Peer-Feedbacks ist, dass Studierende sich untereinander zu spezifischen beobachtbaren Verhaltensweisen oder Themen wechselseitig eine anonyme Rückmeldung geben.Das anonyme Peer-Verfahren wurde gewählt, um die Akzeptanz Studierender zu erhöhen und den Zugang zum Thema Feedback zu erleichtern.2. Implementation and methods2.1. Pilot phaseTo support the development of a feedback culture at the Medical Faculty of the Heinrich Heine University in Düsseldorf, a pilot project was started in 2009, during which lecturers were asked to provide students with feedback on everyday clinical activities using checklists in combination with free text comments. In order to understand the obstacles faced by teachers and students in the multi-dimensional communication process of giving and receiving feedback, external educational researchers conducted a scientific follow-up evaluation with semi-standardized, guided interviews (duration 50 minutes to 2.5 hours) with open questions on implementation barriers with five physicians and six students in their Practical Year . The interviews were recorded, transcribed verbatim and had their qualitative content analyzed according to Mayring using the program MaxQDA version 10. Since the accompanying research suggested obstacles in the giving of direct and constructive feedback (see below) , initially anonymous online peer feedback was used to provide an opportunity to formulate feedback in a more secure environment without the pressure of rapid verbalization and to prevent feelings of being observed or tested. In this way feedback culture would initially be developed primarily via the target group: students. Starting in the summer semester 2012, peer to peer feedback has been implemented for students, which aimed to lower the bar for student participation. Anonymous peer feedback was chosen to allow maximally honest assessment by students and to encourage self-reflection. In direct feedback discussions, students often do not wish to burden their mutual relationships with negative assessments and in some cases do not give honest feedback . Feedback givers who wish to avoid conflict that may be associated with feedback have a desire for anonymity and would otherwise tend to hold back if in doubt . Acceptance of feedback by the recipient is a second important goal, so that relevant feedback does not fail due to emotional resistance by the recipient. Various studies have shown that anonymous and direct peer feedback can have a positive impact on the learning progress of students, as it is more likely to be accepted , , . Anonymous feedback therefore seemed more appropriate, especially in a culture where trust was not yet stable. This procedure was chosen so that students could gain experiences with feedback which offers opportunities for improvement and is not sugar coated due to a fear of voicing criticism. The development of a culture of trust and feedback requires the promotion of learning and change abilities of an organization. Such peer feedback aims to enable students to engage in open and constructive discussion . In order to establish a corresponding culture of esteem and to reduce inhibition thresholds through increased practice in giving and taking feedback, peer feedback has been successively used on a project basis in the curriculum in previous semesters. Together with the peer feedback participants as well as students who chose not to participate and following a positive vote of the ethics committee in the summer semester 2014 concrete steps for the improvement of the offer were developed in semi-standardized questionnaire-based interviews with open questions. As a result of the recorded conversations, following transcription and qualitative content analysis using the program MaxQDA version 10 , it was possible to establish new approaches for better information and anchoring of the project.2.2. Conducting the peer feedbackPeer feedback uses a specifically developed questionnaire based on the Toolkit for Lifelong Learning by Indiana University, USA [26]. This questionnaire contains items on observable peer behavior with regard to their actions in the student as well as the medical working environment (see figure 2 ). Since the start of the model study course (winter semester 2013/2014), students were prepared for giving feedback with the help of curriculum-based teaching units. For example, at the start of their studies in medical psychology, students conduct simulated doctor-patient conversations with patient actors and are thereby trained in giving and receiving feedback with feedback rules and their concrete effects. Initially, feedback was conveyed using the sandwich method. Possible dilution of the actual message but also the fact that wrapping criticism with praise was often perceived as artificial by the students and met with resistance, led the project team to reject the sandwich method. By now, location-specific feedback rules were developed by a specially established working group and which represent experience-based consensus of the members in dealing with feedback and are based on the relevant literature in this area , , , : Establish the framework conditions for the feedback situation.Explicitly name observations without evaluating them.Describe your subjective perception of observation.Illustrate potential consequences of the observed performance.Give suggestions for improvement related to the specific observation.Illustrate the benefit of your suggestions for improvement.This peer feedback was first offered in the summer semester 2011 on a voluntary basis and subsequently expanded. The individual assessments of each individual student are made on a five-point Likert scale (“completely agree” (5) to “do not agree at all” (1)) by the students who work together in small groups of 15 for one semester and documented using EvaSys® online evaluation software. So each student assesses their group members individually using the questionnaire and in an ideal scenario also receives such an assessment from each group member. In addition, constructive free-text comments can and should be given for each item. Two independent raters analyze the students’ free text comments on to their fellow students according to previously agreed assessment criteria (constructiveness, seriousness, discreditation). The external assessment is preceded by a self-assessment of each participant using the same items, which can then be compared to the external assessment (see figure 3 ). The time required for the individual peer assessment within each group is about two to three hours each semester for each student. At the end, the students receive the cumulative and averaged assessments of their fellow students. In addition to the gender of the feedback giver and the relationship intensity as perceived by the feedback giver, the results for each item are displayed descriptively and graphically as a histogram. In addition, for direct comparison of self- and external assessments, a result profile line is drawn up for the items of both questionnaires (see figure 4 ). Finally, the free text comments are listed. The students also have the opportunity, if necessary, to discuss the results in a personal discussion with the project leadership and to present their experiences in a reflection report (e-learning unit).In the following, peer feedback was extended to students of the 1st semester in the model study course (321 out of 400 participated) in the winter semester 13/14 and additionally for students of the 3rd semester in the model course (216 out of 400 students participated). Since the summer semester 2016, it has also been open to students in the 5th, 9th and 10th semesters (180 students each). 2. Durchführung und Methoden2.1. PilotphaseZur Unterstützung der Entwicklung einer Feedbackkultur an der Medizinischen Fakultät der Heinrich-Heine-Universität Düsseldorf wurde bereits im Jahr 2009 ein Pilotprojekt gestartet, bei dem Lehrende den Studierenden im Praktischen Jahr Feedback zu Handlungen im klinischen Alltag anhand von Checklisten in Kombination mit Freitextkommentaren geben sollten. Um die Hemmnisse bei Lehrenden sowie Studierenden im multidimensionalen Kommunikationsprozess beim Feedbackgeben und -nehmen zu verstehen, wurde von externen Bildungsforschern eine wissenschaftliche Begleitevaluation mit halbstandardisierten, leitfadengestützten Interviews (Dauer von 50 Minuten bis 2,5 Stunden) mit offenen Fragen zu erlebten Durchführungshemmnissen mit fünf Ärzten und sechs PJ-Studierenden im praktischen Jahr durchgeführt . Die Interviews wurden nach Audioaufzeichnung verbatim transkribiert und gemäß qualitativer Inhaltsanalyse nach Mayring mit Hilfe der Software MaxQDA Version 10 analysiert. Da sich in der Begleitforschung Hemmnisse in der Gabe von direktem und konstruktiven Feedback andeuteten (s.u.) , sollte mit einem zunächst anonymen, onlinebasierten Peer-Feedback die Möglichkeit geboten werden, Feedback in einem geschützteren Rahmen und ohne den Druck der zügigen Verbalisierung zu formulieren und den erlebten Überwachungs- bzw. Prüfungscharakter zu mildern. Somit sollte die Feedbackkultur zunächst wesentlich über die Zielgruppe der Studierenden entwickelt werden. Ab dem Sommersemester 2012 wurde für Studierende ein „Peer to Peer“ Feedback implementiert, welches den Studierenden einen niederschwelligeren Zugang zum Thema ermöglichen sollte. Ein anonymes Peer-Feedback wurde gewählt, um eine möglichst ehrliche Einschätzung der Kommilitoninnen und Kommilitonen zu ermöglichen und darüber eine Selbstreflexion anzuregen. In direkten Feedbackgesprächen wollen die Studierenden ihre Beziehungen untereinander durch Negativbeurteilungen häufig nicht belasten und geben teilweise kein ehrliches Feedback . Feedbackgebern, die mit einem Feedback möglicherweise verbundene Konflikte vermeiden möchten, wird ein Bedürfnis nach Anonymität beim Feedbackgeben zugeschrieben, da sie im Zweifel ihr Feedback eher zurückhalten würden . Die Akzeptanz für das Feedback beim Feedbackempfänger ist ein zweites wichtiges Ziel, damit relevantes Feedback nicht am emotionalen Widerstand des Empfängers scheitert. Verschiedene Studien haben gezeigt, dass Peer-Feedback anonym und direkt einen positiven Einfluss auf den Lernfortschritt von Studierenden haben kann, da es eher angenommen wird , , . Gerade in einer noch nicht stabilen Vertrauenskultur erschien anonymes Feedback daher zunächst besser geeignet. Dieses Vorgehen wurde gewählt damit die Studierenden Erfahrungen mit Rückmeldungen machen, die Verbesserungsmöglichkeiten aufzeigen und nicht aus Angst vor der Äußerung negativer Kritik geschönt werden. Die Entwicklung einer Vertrauens- und Feedbackkultur bedarf der Förderung von Lern- und Veränderungsfähigkeiten einer Organisation. Mit dem Peer-Feedback sollten die Studierenden zu einer offenen und konstruktiven Auseinandersetzung befähigt werden . Um durch vermehrte Übung im Feedbackgeben und -nehmen eine entsprechende wertschätzende Kultur zu etablieren und Hemmschwellen zu reduzieren, wurde das Peer-Feedback projektbezogen in den vergangenen Semestern sukzessive im Curriculum eingesetzt. Mit den Teilnehmern des Peer-Feedbacks aber auch Personen, die das Angebot bewusst abgelehnt haben, wurden im Sommersemester 2014 auf Basis eines positiven Ethikvotums in halbstandardisierten, leitfragengestützten Interviews mit offenen Fragen konkrete Überlegungen zur Verbesserung des Angebots erarbeitet. Als Ergebnis der aufgezeichneten Gespräche konnten nach Transkription und qualitativer Inhaltsanalyse mittels der Software MaxQDA Version 10 neue Ansatzpunkte zur besseren Information und Verankerung des Projekts gesammelt werden.2.2. Durchführung des Peer-FeedbackIm Peer-Feedback wird ein eigens entwickelter Fragenbogen basierend auf dem Toolkit for a Lifelong Learning der Indiana University, USA verwendet. Dieser Fragebogen beinhaltet Items zu beobachtbaren Verhaltensweisen der Peers hinsichtlich ihres Handelns im studentischen und auch ärztlichen Arbeitsumfeld (siehe Abbildung 2 ). Seit Beginn des Modellstudiengangs (Wintersemester 2013/2014) wurden die Studierenden mit Hilfe von curricular verankerten Lehreinheiten auf das Feedbackgeben vorbereitet. In der Medizinischen Psychologie führen Studierende zu Studienbeginn z.B. simulierte Arzt-Patienten-Gespräche mit Schauspielpatienten durch und werden dadurch im Geben und Annehmen von Feedback mit Feedbackregeln und deren konkreten Auswirkungen trainiert. Zunächst wurde Feedback noch anhand der Sandwich-Methode vermittelt. Eine mögliche Verwässerung der eigentlichen Botschaft, aber auch die Tatsache, dass ein Verpacken negativer Kritik zwischen von Studierenden oft künstlich empfundenem Lob, auf Widerstand stieß, ließen das Projektteam Abstand von der Sandwich-Methode nehmen. Mittlerweile werden in einer eigens ins Leben gerufenen Arbeitsgemeinschaft entwickelte standorteigene Feedbackregeln verwendet, die einen erfahrungsbezogenen Konsens der Mitglieder im Umgang mit Feedback darstellen und auf der einschlägigen Literatur in diesem Bereich basieren , , , : Stellen Sie die Rahmenbedingungen für die Feedbacksituation her.Benennen Sie Beobachtungen konkret, ohne diese zu bewerten.Schildern Sie Ihre subjektive Wahrnehmung der Beobachtung.Zeigen Sie potentielle Konsequenzen der beobachteten Performanz auf.Geben Sie auf die konkrete Beobachtung bezogene Verbesserungsvorschläge.Zeigen Sie den Benefit Ihrer Verbesserungsvorschläge auf.Das Peer-Feedback wurde erstmalig im Sommersemester 2011 auf freiwilliger Basis angeboten und nachfolgend ausgebaut. Die individuellen Einschätzungen zu jedem einzelnen Kommilitonen werden von den Studierenden, die in 15er-Kleingruppen ein Semester lang miteinander arbeiten, auf einer fünfstufigen Likertskala („trifft völlig zu“ (5) bis „trifft gar nicht zu“ (1)) mit Hilfe der online Evaluationssoftware EvaSys® dokumentiert. So schätzt jeder Studierende seine Gruppenmitglieder individuell anhand des Fragebogens ein und erhält im Idealfall auch von jedem Gruppenmitglied eine solche Einschätzung. Zusätzlich können und sollen zu jedem Item konstruktive Freitextkommentare gegeben werden. Durch zwei unabhängige Rater werden die zu ihren Kommilitonen abgegebenen Freitextkommentare der Studierenden nach zuvor abgestimmten Beurteilungskriterien (Konstruktivität, Ernsthaftigkeit, Diskreditierung) analysiert. Der Fremdeinschätzung geht eine Selbsteinschätzung jedes Teilnehmers unter Verwendung derselben Items voraus, welche dann der Fremdeinschätzung gegenübergestellt werden kann (siehe Abbildung 3 ). Der zeitliche Aufwand für die individuelle Bewertung der Peers innerhalb der jeweiligen Gruppe beträgt für jeden Studierenden etwa zwei bis drei Stunden im Semester. Die Studierenden erhalten abschließend kumuliert und gemittelt die Bewertungen der Mitstudierenden. Neben dem Geschlecht des Feedbackgebers und die durch die Feedbackgeber eingeschätzte Beziehungsintensität zum Feedbacknehmer werden die Ergebnisse für jedes Item graphisch als Histogramm und deskriptiv aufgeführt. Darüber hinaus wird zum direkten Vergleich von Selbst- und Fremdeinschätzung eine Ergebnisprofillinie über die Items beider Fragebögen erstellt (siehe Abbildung 4 ). Zuletzt werden die Freitextkommentare aufgelistet. Die Studierenden haben bei Bedarf außerdem die Möglichkeit, die Ergebnisse in einem persönlichen Beratungsgespräch mit der Projektleitung zu besprechen und über ihre Erfahrungen in einem Reflexionsbericht (E-Learning-Einheit) zu referieren.Im weiteren Verlauf wurde das Peer-Feedback ab dem Wintersemester 13/14 auch für Studierende des 1. Semesters im Modellstudiengang (321 von 400 nahmen teil) und zusätzlich für Studierende des 3. Semesters im Modellstudiengang (216 von 400 Studierende nahmen teil) angeboten. Seit dem Sommersemester 2016 ist es zusätzlich Studierenden im 5., 9. und 10. Fachsemester (jeweils 180 Studierende) möglich am Peer-Feedback teilzunehmen. 3. Results3.1. Pilot phase General feedbackAmongst other things, inhibitions in expressing negative criticism were revealed. The reason given for this was uncertainty in the assessment, since no general rating scale was available for the individual categories . While there was a desire for increased personal responsibility in the learning process, taking on responsibilities in everyday clinical routines, e.g. dealing with patients or giving feedback about students, was often considered too demanding:“I was very angry about it, because it [referring to the gathering of feedback] again placed responsibility in our hands. We have to take care of it.” (Interview 1)Often uncertainties in formulating constructive feedback face to face and teaching staff being short of time were also often mentioned by the students:“So what came out in this feedback stuff: most of the people voicing criticism don’t want to make it personal. [...] There’s generally a tendency for most to say ‘we’re not trying to give you a dressing down.’ So they almost end up being overly positive.” (Interview 1)I definitely benefited “from those who also commented on it. For example by saying, ‘that was quite good, I’’ll give you seven points for that. But you can improve on that if next time you try and...’ That’s constructive criticism which is useful. And not to say: ‘Yes, that was good, I’ll give you nine points for this.’ And leave it at that.” (Interview 5)The perception of the feedback situation as an examination was deemed rather problematic by the students:“It’s just [...] that [the feedback] creates a rather tense situation for the students. Because it’s obviously perceived as an examination and grading process.” (Interview 1)“For the student, this does have something of an exam situation about it.” (Interview 2)3.2. Peer FeedbackGeneral feedbackThe implementation of anonymous peer feedback was initially also viewed with skepticism and restraint by the students. The uncertainties of the PY students already described (including inhibitions to express negative criticism, uncertainties about evaluation standards, uncertainty about learned feedback rules) were also mentioned in guided focus group interviews on the use of peer feedback from the students. Amongst other things the participants also tied the uncertainties in dealing with peer feedback to a hitherto non-existent trust culture at the location. In their evaluation on the feedback (summer semester 2013), individual students expressed a fear of hidden evaluations or spying by the Office of the Dean of Studies: “I felt that some were taking this opportunity to voice opinions they wouldn’t normally express. I find it unprofessional to include other people’s private matters when participating in a classroom assessment and then to disclose that to the Deanery. To be on the safe side, you should only enter what you actually experienced from someone but surprisingly you end up reading things you can’t believe were actually mentioned!“ (Feedback 12)Free text commentsThe free-text comments which were available in the peer feedback initially proved to be of little constructive use and partly served as an outlet for giving less constructive and sometimes also hurtful feedback under the protection of anonymity. This led to further reluctance by students and reduced the number of participants, whereupon in consultation with the student representatives future comments were reviewed prior to dissemination. As a result, free-text comments were reviewed by the project leaders and, if necessary, revised or deleted by the project coordinators. Here is an example of such a revision:Before: “Also, your way of examining patients is really borderline [...] when faced with real patients you’re rather awkward, which isn’t that bad at the current level of competence. But it’s not ok that you try and cover that by acting tough and cool towards you fellow students. If you stop obsessing with pushing your ego and just focus on the things that are being asked there and then, all that criticism will drop away because you actually have all the skills to become a decent doctor.”Afterwards: “Sometimes I have the impression that you are rather awkward when examining real patients, which isn’t that bad at our current level of competence. Nevertheless, I don’t think it’s necessary to cover this up by acting tough and cool when dealing with your fellow students. I think you have all the skills to become a decent doctor, so why don’t you try to accept it if you make a mistake in the future and focus on the things that are being asked there and then.” (Feedback 18)Examples of student feedback removed by the project coordinators: “You stink!”, “You’re incompetent!”, “You’re such a dashing fellow!”InterviewsAs a result of the semi-standardized interviews with participants and non-participants of the first rounds of peer feedback, new approaches were developed to better inform and anchor the project, which should ultimately contribute to improved trust building:Linking the project with actual, visible peoplePersonal project presentation by the project team in teaching eventsCreating a project homepageCreating an informative clip to explain the process of peer feedbackSimplification and clearer organization of the peer feedback questionnairesIntroduction of cooperative designIntegration of the topic of “Feedback” at the beginning of the medical degree courseWhen which measures were implemented is shown in figure 5 .3.3. Further development measuresThe objectives of the teaching mission statement and the over-arching learning objectives for graduates of Düsseldorf University go beyond imparting medical knowledge and practical skills and developing the competences of students in all areas of medical practice and their personal development. On this basis, the students were given opportunities to gain accreditation for their commitments to certain competence areas, counting towards a faculty-internal “Medical Competencies” course certificate. Thus, for example, participation in the university mentoring program or the supervision of foreign students as well as commitment in external aid organizations are recognized as activities. The peer feedback was also included as an option counting towards the “Medical Competencies” course certificate in the 2014 summer semester. Students can acquire this certificate progressively between the 1st and the 10th semester.The steps towards implementing a feedback culture and responses from the peer feedback groups also showed that developing a culture of feedback first requires building a network of in-house networks to continually monitor feedback knowledge and methods against a dynamic reality to exchange new ideas. Based on these experiences, the project group aimed to integrate feedback even more strongly into the curriculum. The project group carried out a curricular mapping of the Düsseldorf Medical Curriculum on “Feedback” in order to determine the best options for anchoring a longitudinally coordinated feedback curriculum. An overview of the offers developed to date is shown in figure 6 .3.3.1. Effectiveness of the further development measuresInclusion of peer feedback in the curriculum: Acceptance evaluationPeer feedback was regularly evaluated by the students. Based on the feedback from the questionnaire-based interviews, the concept was modified by implementing all suggestions for improvement proposed by the students (see 3.2). The following semester saw a change in the perception and acceptance of peer feedback, changes in quality (e.g. constructiveness of feedback) and rate of participation of offers (see table 1 ). Improving the quality and activity of peer feedbackAnalysis of the free text comments submitted for their fellow students as part of peer feedback by two independent raters showed that the proportion of constructive free text comments in a cohort of the 2nd year (beginning in winter semester 13/14) increased significantly by 11% to 99.4% compared to the previous year (t(3)=-3.79, p=0.04). The importance of feedback for personal development was rated in the project evaluation on a six-point scale (“completely agree” (1) to “do not agree at all” (6)) by students of this 2nd year (n=109) scoring 2.53 (SD=0.97) on average; and 3.95 (SD=1.12) by the 4th year (n=24) in the summer semester 2015. This difference was shown to be significant (t(405)=-3.78, p<0.05). On a five-point scale (I find the peer feedback “very useful” (1) to “not at all useful” (5)), in the winter semester 16/17 participants in peer feedback gave an average assessment of 1.9 (SD=1.0), in previous feedback (summer semester 2012) this had been 2.9 (SD=1.3). The significantly greater participation rate in peer feedback and the significantly more positive evaluation are shown schematically in figure 7 and figure 8 . In addition, feedback from students provides information about any changes that may have been triggered (see figure 9 ). Especially when assessing the feedback culture at the location, there is a steadily more positive assessment from semester to semester. Assessment of the culture of trust and feedbackSince the winter semester 14/15, a changed perception of the feedback culture is emerging between the various student cohorts. The culture of trust and feedback at the faculty was evaluated on a six-level Likert scale (“completely agree” (1) to “do not agree at all” (6)) by 109 students of the 2nd year in the winter semester 15/16 with an average of 2.6 (SD=1.1), and 66 students of the 4th year in the summer semester 2014 with 4.7 (SD=1.5) The difference was shown to be significant (t(4)=1.82, p=0.020). In addition, a comparison of all evaluations between the summer semester 2013 to the winter semester 17/18 showed a significant correlation between the academic year and participation in peer feedback (χ²=116.7, p<0.05). Students who have progressed further in their degree and who did not go through the feedback curriculum from the beginning perceived the feedback culture at the location as being worse. Statements from the student project evaluation in the 4th year (66 students in the summer semester 2014) also showed that voluntary offers from the Deanery were viewed more critically in higher semesters .3. Ergebnisse3.1. Pilotphase Allgemeine RückmeldungenEs konnten u.a. Hemmungen bei der Äußerung negativer Kritik aufgedeckt werden. Als Grund hierfür wuren Unsicherheiten bei der Beurteilung angegeben, da kein allgemeiner Bewertungsmaßstab für die einzelnen Kategorien zur Verfügung stand . Bei gleichzeitigem Wunsch nach vermehrter Eigenverantwortung im Lernprozess wurde die Übernahme von Verantwortung im Alltag, z.B. im Umgang mit Patientin oder beim Geben von Feedback von Studierenden oft auch als Überforderung angesehen:„Ich hab mich sehr drüber geärgert, dass uns damit [gemeint ist das Einholen von Feedback] wieder die Verantwortung in die Hand gelegt wird. Wir müssen uns drum kümmern.“ (Interview 1)Oft wurden auch Unsicherheiten bei der Formulierung von konstruktiven Rückmeldungen im persönlichen Kontakt und auch Zeitmangel der Lehrenden von den Studierenden benannt:„Was sich jetzt bei diesen Feedback-Geschichten gezeigt hat: Die meisten von den Beurteilenden wollen einem selber nicht zu nahetreten. […] Das ist generell so eine Tendenz bei den meisten, dass sie sagen ‚Wir wollen Sie ja jetzt nicht fertigmachen.’ Also, dass die das fast zu gut ausfüllen.“ (Interview 1)Profitieren konnte ich „auf jeden Fall von denen, die auch was dazu gesagt haben. Indem sie z.B. sagen ‚Das war schon gut, hier geb’ ich dir sieben Punkte. Du kannst dich aber auch nach oben hin noch verbessern, indem du nächstes Mal darauf achtest [,dass du…]. ’ Das ist ja dann eine konstruktive Kritik, mit der man auch was anfangen kann. Und nicht zu sagen: ‚Ja das war gut, hier geb’ ich dir neun Punkte. ’ Und sonst nichts dazu.“ (Interview 5)Als eher problematisch wurde von Seiten der Studierenden die Wahrnehmung der Feedbacksituation als Prüfungssituation bewertet:„Es ist halt nur […], dass [das Feedback] schon von Seiten der Studierenden […] eine Anspannungssituation bedeutet. Weil es schon offensichtlich als Prüfungs- und Benotungsverfahren empfunden wird.“ (Interview 1)„Für den Studenten hat das ein bisschen einen Charakter wie eine Prüfungssituation.“ (Interview 2)3.2. Peer-FeedbackAllgemeine RückmeldungenAuch die Durchführung des anonymen Peer-Feedbacks wurde von den Studierenden zunächst mit Skepsis und Zurückhaltung aufgenommen. Die bereits beschriebenen Unsicherheiten der PJ Studierenden (u.a. Hemmungen negative Kritik zu äußern, Unsicherheiten über Bewertungsmaßstäbe, Unklarheit über erlernte Feedbackregeln) wurden auch in leitfadengestützten Fokusgruppeninterviews zum Einsatz von Peer-Feedback von den Studierenden genannt. Die Teilnehmer führten demnach auch die Unsicherheiten im Umgang mit Peer-Feedback u.a. auf eine bis dahin nicht existente Vertrauenskultur am Standort zurück. Einzelne Studierende äußerten in der Evaluation zum Feedback (Sommersemester 2013) die Befürchtung vor versteckten Bewertungssituationen oder Aushorchversuchen seitens des Studiendekanats: „Ich hatte das Gefühl, dass manche diese Gelegenheit dazu nutzen, Meinungen loszuwerden, die sie sonst nicht äußern. Ich finde es unprofessionell das Privatleben anderer in die Einschätzung der Mitarbeit im Unterricht miteinzubeziehen und das dann auch noch dem Dekanat offen zu legen. Man sollte sicherheitshalber nur das eintragen was man von einer Person mitbekommen hat, überraschenderweise liest man aber Sachen, von denen man nicht glauben kann, dass sie erwähnt werden!“ (Rückmeldung 12)FreitextkommentareDie im Peer-Feedback nutzbaren Freitextkommentare zeigten sich zu Anfang noch wenig konstruktiv und zum Teil als Ventil, um weniger konstruktive und teilweise auch verletzende Rückmeldungen im Schutz der Anonymität zu geben. Dies führte zu weiteren Hemmnissen bei Studierenden und minimierte die Teilnehmerzahlen, woraufhin in Rücksprache mit den Studierendenvertretern deren Wunsch nach Durchsicht der Kommentare vor dem Versand umgesetzt wurde. Daraufhin wurden die Freitextkommentare von der Projektleitung gesichtet und bei Bedarf von der Projektkoordination konstruktiv überarbeitet bzw. gelöscht. Hier ein Beispiel für eine Überarbeitung:Vorher: „Des Weiteren ist deine Art Patienten zu untersuchen echt grenzwertig […] gegenüber echten Patienten bist du eher ungeschickt, was ja auch beim jetzigen Kompetenzstand nicht schlimm ist. Aber das du dies durch Härte und Coolness im Umgang mit deinen Kommilitonen überspielen willst, geht gar nicht. Wenn du aufhörst dich damit zu beschäftigen, deinem Profilierungswahn nachzukommen und dich einfach auf die Dinge konzentrierst, die gerade gefordert werden, dann kannst du alle Kritikpunkte abstellen, weil du eigentlich alle Kompetenzen hast, um ein anständiger Arzt zu werden.“Nachher: „Manchmal habe ich den Eindruck, dass du bei der Untersuchung echter Patienten eher ungeschickt vorgehst, was bei unserem aktuellen Kompetenzstand aber auch nicht schlimm ist. Trotzdem ist es in meinen Augen nicht nötig, dies durch Härte und Coolness im Umgang mit deinen Kommilitonen zu überspielen. Ich glaube du hast eigentlich alle Kompetenzen, um ein anständiger Arzt zu werden, deshalb versuch doch einfach zukünftig mal Fehler anzunehmen und dich auf Dinge zu konzentrieren, die gerade gefordert werden.“ (Rückmeldung 18)Beispiele für studentische Rückmeldungen, die von der Projektkoordination entfernt wurden: „Du stinkst!“, „Du bist inkompetent!“, „Du bist ein fesher boy, Lord!“InterviewsAls Ergebnis von halbstandardisierten Interviews mit Teilnehmern und Nicht-Teilnehmern der ersten Durchläufe des Peer-Feedbacks konnten neue Ansatzpunkte zur besseren Information und Verankerung des Projekts gesammelt werden, die letztlich zu einer verbesserten Vertrauensbildung beitragen sollten:Verknüpfung des Projekts mit konkreten, sichtbaren PersonenPersönliche Projektvorstellung durch das Projektteam in LehrveranstaltungenErstellen einer ProjekthomepageErstellen eines Informationsvideos zur Erläuterung des Ablaufes des Peer-FeedbacksVereinfachung und übersichtlichere Gestaltung der Fragebögen des Peer-FeedbacksEinführung eines Cooperativen DesignsIntegration des Themas Feedback zum StudienbeginnWann welche Maßnahmen umgesetzt wurden ist Abbildung 5 zu entnehmen.3.3. WeiterentwicklungsmaßnahmenDie Ziele des Leitbildes Lehre und die übergeordneten Lernziele für das Düsseldorfer Absolventenprofil gehen über die Vermittlung des ärztlichen Wissens und der praktischen Fertigkeiten hinaus und sehen die Kompetenzentwicklung der Studierenden in allen Bereichen des ärztlichen Handelns und ihrer persönlichen Entwicklung vor. Darauf basierend wurden den Studierenden zugleich Wahlmöglichkeiten eröffnet, um für einen fakultätsinternen Leistungsnachweis „Ärztliche Kompetenzen“ Engagements für einzelne Kompetenzbereiche nachzuweisen. So werden z.B. die Teilnahme am universitären Mentoring-Programm oder die Betreuung ausländischer Studierender sowie das Engagement in externen Hilfsorganisationen als Tätigkeiten anerkannt. Das Peer-Feedback wurde ebenfalls als ein mögliches Engagement für den Leistungsnachweis „Ärztliche Kompetenzen“ im Sommersemester 2014 aufgenommen. Den Nachweis können Studierende longitudinal vom Studienbeginn bis zum 10. Semester erwerben.Die Maßnahmen zur Implementierung einer Feedbackkultur und die Rückmeldungen der am Peer-Feedback beteiligten Personengruppen zeigten auch, dass zur Entwicklung einer Feedbackkultur zunächst der Aufbau eines innerfakultären Netzwerks erforderlich ist, um Wissen und Methoden in Bezug auf Feedback immer wieder an der dynamischen Realität zu messen und dabei wechselseitig neue Impulse auszutauschen. Die Projektgruppe setzte sich auf Basis dieser Erfahrungen zum Ziel, Feedback noch stärker in das Curriculum einzubinden. Die Projektgruppe führte ein curriculares Mapping des Düsseldorfer Curriculums Medizin zum Thema „Feedback“ durch, um bestmögliche Verankerungsmöglichkeiten für ein longitudinal abgestimmtes Feedback-Curriculum zu erfassen. Zur Übersicht der bisher erarbeiteten Angebote dient hierbei Abbildung 6 .3.3.1. Wirksamkeit der WeiterentwicklungsmaßnahmenEinbindung von Peer-Feedback in das Curriculum: AkzeptanzevaluationDas Peer-Feedback wurde von den Studierenden regelmäßig evaluiert. Auf Basis der Rückmeldungen aus den leitfragengestützten Interviews wurde das Konzept modifiziert, indem alle von den Studierenden vorgeschlagenen Verbesserungsvorschläge (siehe 3.2) umgesetzt wurden. Schon im darauffolgenden Semester zeigte sich eine Veränderung in der Wahrnehmung und Akzeptanz des Peer-Feedbacks, Veränderungen in Qualität (z.B. Konstruktivität der Rückmeldungen) und Teilnahmefrequenz der Angebote (siehe Tabelle 1 ). Verbesserung der Qualität und Aktivität des Peer-FeedbacksNach Analyse der zu ihren Kommilitonen abgegebenen Freitextkommentare im Rahmen des Peer-Feedbacks durch zwei unabhängige Rater stieg der Anteil konstruktiver Freitextkommentare bei einer Kohorte des 2. Studienjahres (Beginn im Wintersemester 13/14) signifikant um 11% auf 99,4% im Vergleich zum Vorjahr (t(3)=-3,79, p=0,04). Die Wichtigkeit des Feedbacks für die persönliche Weiterentwicklung wurde in der Projektevaluation auf einer sechsstufigen Skala („trifft völlig zu“ (1) bis „trifft gar nicht zu“ (6)) von Studierenden dieses 2. Studienjahres (n=109) im Mittel mit 2,53 (SD=,97) bewertet, von Studierenden des 4. Studienjahres (n=24) im Sommersemester 2015 mit 3,95 (SD=1,12). Dieser Unterschied erwies sich als signifikant (t(405)=-3,78, p<,05). Auf einer fünfstufigen Skala (Ich finde das Peer-Feedback „sehr sinnvoll“ (1) bis „überhaupt nicht sinnvoll“ (5)) zeigte sich im Wintersemester 16/17 von den am Peer-Feedback teilnehmenden Studierenden im Mittel eine Beurteilung von 1,9 (SD=1,0), in früheren Rückmeldungen (Sommersemester 2012) 2,9 (SD=1,3). Die signifikant größere Teilnahmequote am Peer-Feedback und die signifikant positivere Evaluation werden schematisch in Abbildung 7 und 8 dargestellt. Zusätzlich geben Rückmeldungen der Studierenden Aufschluss über möglicherweise angestoßene Veränderungen (siehe Abbildung 9 ). Besonders bei der Beurteilung der Feedbackkultur am Standort zeigt sich eine stetig positivere Beurteilung von Semester zu Semester. Beurteilung der Vertrauens- und FeedbackkulturSeit dem Wintersemester 14/15 zeichnet sich eine veränderte Wahrnehmung der Feedbackkultur in unterschiedlichen Jahrgangskohorten ab. Die Vertrauens- und Feedbackkultur in der Fakultät wurde auf einer sechsstufigen Likertskala („trifft völlig zu“ (1) bis „trifft gar nicht zu“ (6) von 109 Studierenden des 2. Studienjahres im Wintersemester 15/16 im Mittel mit 2,6 (SD=1,1), von 66 Studierenden des 4. Studienjahres im Sommersemester 2014 mit 4,7 (SD=1,5) beurteilt. Dieser Unterschied erwies sich als signifikant (t(4)=1,82, p=0,020). Im Vergleich aller Evaluationen von Sommersemester 2013 bis Wintersemester 17/18 zeigte sich zudem ein signifikanter Zusammenhang zwischen dem Studienjahr und der Teilnahme am Peer-Feedback (χ²=116,7, p<0,05). Studierende mit steigendem Studienfortschritt in höheren Semestern, die das Feedbackcurriculum nicht von Anfang an durchlaufen haben, nahmen die Feedbackkultur am Standort als schlechter wahr. Aussagen der studentischen Projektevaluation im 4. Studienjahr (66 Studierende im Sommersemester 2014) zeigten ebenfalls auf, dass freiwillige Angebote von Seiten des Dekanats in höheren Semestern kritischer betrachtet wurden .4. Discussion and outlook4.1. DiscussionThe significant increase in participation in peer feedback and its significantly more positive evaluation suggest a more open attitude of the students towards feedback in the form offered. On the basis of the interview results a correlation with the above-described improvement measures for communication and presentation of the project and its change measures are likely. The mutually constructive and appreciative exchange between the participants and the project team may have contributed to increasing the acceptance of feedback and reducing emotional resistance . It should be emphasized that students who were unable to complete the feedback curriculum from the outset for time reasons or who were unable to take part in each survey for personal reasons, perceived the feedback culture at the location to be worse as their studies progressed. Overall, however, in the model study course to date the attitude towards feedback has improved since the described measures were introduced. For students starting studies in the model study course (winter semester 2013/2014), an improvement of the attitude towards the feedback culture could amongst other things be linked to curriculum-based feedback sessions (such as role-playing with patient actors in medical psychology lessons) which took place as early as the first semester and which preceded the peer feedback. The introduction of peer feedback at the end of the semester, compared to previous cohorts (summer semester 12/13), this therefore offered students an opportunity to directly apply methods previously practiced in class. It is possible that feedback was seen as more natural and necessary in the context of medical studies from the outset and thus improved the dynamics at the faculty. Changing opinions of students regarding the desire for regular feedback and fluctuating number of participants (see figure 7 and figure 8 ) can be explained by course overload. However, there were greater fluctuations among students in higher semesters who had not been integrated into a structured feedback curriculum from the first semester and who had not yet internalized the desirable culture of trust . Of course, there is also the possibility that students in the first semester had a more positive attitude towards feedback from the outset, perhaps having had experience with feedback in school. This should be checked in future investigations. To what extent the quality improvement of student free-text comments towards constructive phrasing that was documented over the course of the project was a consequence of the project improvement measures cannot be substantiated reliably on the basis of the data. Filtering pejorative comments and the occasional cautious linguistic modification of the free-text comments, however, demonstrably went hand in hand with a decrease in complaints and criticism of the project as a whole. The option making peer feedback count towards a faculty-internal course certificate certainly contributed to an increase in the number of participants in terms of assessment-driven learning . In the eyes of the students, having peer feedback count towards a course certificate in connection with assessment-driven learning seems to have a positive effect on the perception of the overall project. The resulting increased focus on the topic of feedback can only be helpful in reducing reluctance. This is also supported by the increasingly positive evaluation of peer feedback as a whole. Using the described concept, a structured implementation model for a more holistic and socially embedded conceptualization of feedback was presented , which should be steadily expanded for the professional and personal support of students . The presented measures can be regarded as a milestone on the way to a culture of feedback. 4.2. Recommendations - Lessons learnedEffective collaboration as well as personal commitment and perseverance of the project group proved to be key points in the implementation and development of feedback. When establishing new formats, modification requests and the interests of teachers and students should be elicited pro-actively and made central. The personal exchange between the project group and feedback users, i.e. students and teachers, turned out to be particularly useful. Obstacles were impersonal communication via email or measures implemented without consultation, which failed in everyday practice. Mentioning personal experiences in the area was especially helpful. It was also necessary to regularly study the feasibility of planned measures as well as to identify resistances (e.g. inhibitions in expressing negative criticism) and stumbling blocks (e.g. too time-consuming, too complex questionnaires) and their immediate elimination (e.g. offering training in dealing with feedback, shortening and simplifying the questionnaires). Strongly negative experiences of the students with feedback; refusal of the measures on the part of the faculty management as well as lecturers; and requiring too much time to elicit feedback in everyday university life can be regarded as natural implementation limits. Overall, there is a quality improvement of the feedback, which indicates the previously formulated project goals, such as the improvement of feedback competence and thus the substantiation of feedback as well as the improvement of social skills have been met. Thus, feedback in the context of an established culture of trust with shared value creation can be of great benefit in a supportive learning environment , , .4.3. OutlookAs the described intervention results show, the term feedback culture seems to be a sub-aspect of the culture of trust or of the learning organization. Increased transparency and linking the project with actual, visible people and opportunities for students to participate in decision-making also seem to increase acceptance and trust in the tools. The “Feedback” project group has formulated and initiated further steps in the development of a feedback curriculum:4.3.1. Implementation of direct feedbackSince the winter semester 15/16, direct feedback has been provided at the request of the students. A three-week study block in the 3rd year of the compulsory curriculum was chosen for this purpose in which the focus is on professional collaboration in an interdisciplinary team. Students work independently on realistic, complex patient cases portrayed by patient actors. Initially feedback was still restrained (for example, uncertainties in expressing criticism and in dealing with teamwork) strongly suggests that here too barriers to implementation must first be overcome and the concept further adapted to the needs of the users. It should be noted that because of its voluntary nature, peer feedback was not used by all students undergoing direct feedback. Furthermore, it should be examined whether students with participation in peer feedback have fewer difficulties in dealing with direct feedback and whether the experience with anonymous peer feedback, as described in the literature, had positive effects on the acceptance of feedback , , . 4.3.2. Feedback trainingBeneficial constructive feedback makes it necessary not only to deal with the topics but also to reflect on one’s own attitude towards feedback and trust in one’s own self-efficacy in dealing with feedback . From this it can be deduced that ultimately the attitude of the feedback givers and recipients is decisive for the effectiveness of feedback . Therefore the “Feedback” project group uses a newly developed training concept initially aimed at teaching staff, which not only conveys feedback rules but crucially also makes participants reflect on the way in which they handle feedback. Self-reflection in dealing with feedback is made familiar with the objective that this will have a qualitative effect on future feedback giving. 4. Diskussion und Ausblick4.1. DiskussionDie im Verlauf signifikant größere Teilnahme am Peer-Feedback und dessen signifikant positivere Evaluation lassen eine offenere Einstellung der Studierenden gegenüber Feedback in der angebotenen Form vermuten. Ein Zusammenhang mit den vorbeschriebenen Verbesserungsmaßnahmen zur Kommunikation und Präsentation des Projekts und seiner Veränderungsmaßnahmen sind auch auf Basis der Interviewergebnisse wahrscheinlich. Der wechselseitig konstruktive und wertschätzende Austausch zwischen den Teilnehmern und dem Projektteam kann einen Beitrag zur Akzeptanzsteigerung von Feedback und zu einer Reduktion emotionaler Widerstände geleistet haben . Hervorzuheben ist, dass Studierende, die das Feedbackcurriculum zeitlich bedingt nicht von Anfang an durchlaufen konnten oder aus persönlichen Gründen nicht an jeder Erhebung teilnehmen konnten, die Feedbackkultur am Standort mit steigendem Studienfortschritt als schlechter wahrnahmen. Insgesamt verbesserte sich die Einstellung zum Feedback aber mit Beginn der beschrieben Maßnahmen im Modellstudiengang bis heute. Bei den Studierenden mit Studienbeginn im Modellstudiengang (Wintersemester 2013/2014) könnte eine Verbesserung der Einstellung zur Feedbackkultur u.a. mit curricular verankerten Lehreinheiten zum Feedback (z.B. Rollenspiele mit Schauspielpatienten in Lehreinheiten der Medizinischen Psychologie) bereits im ersten Fachsemester erklärt werden, die dem Peer-Feedback vorgelagert waren. Mit dem Peer-Feedback zu Semesterende bot sich diesen Studierenden im Vergleich zu den Kohorten zuvor (SoSe 2012 – SoSe 2013) also die Möglichkeit der direkten Anwendung des zuvor im Unterricht praktisch Geübten. Das Thema Feedback könnte schon zu Beginn des Studiums als selbstverständlicher und notwendiger im Rahmen eines Medizinstudiums angesehen worden sein und so den gemeinsamen Umgang an der Fakultät verbessert haben. Meinungsschwankungen Studierender im Wunsch nach regelmäßigem Feedback sowie schwankende Teilnehmeranzahlen (siehe Abbildung 7 und 8 ) können mit Überlastung im Studium erklärt werden. Es zeigten sich aber stärkere Schwankungen bei Studierenden in höheren Semestern, die nicht zu Studienbeginn in ein strukturiertes Feedbackcurriculum integriert worden waren und so noch nicht die wünschenswerte Vertrauenskultur verinnerlicht hatten . Natürlich besteht auch die Möglichkeit, dass Studierende im ersten Fachsemester schon mit einer positiveren Einstellung gegenüber Feedback ins Studium gestartet sind, da sie eventuell bereits in der Schule Erfahrungen mit Feedback gemacht haben. Dies sollte in zukünftigen Untersuchungen überprüft werden. Inwieweit die über die Projektlaufzeit dokumentierte zunehmende Qualitätsverbesserung der studentischen Freitextkommentare in Richtung konstruktiver Formulierungen eine Folge der Projektverbesserungsmaßnahmen war, lässt sich anhand der Daten nicht sicher belegen. Die Filterung abwertender Kommentare und die vereinzelt behutsame sprachliche Modifikation der Freitextkommentare ging nachweislich allerdings mit einer Abnahme der Beschwerden und der Kritik am Projekt insgesamt einher. Die Möglichkeit der Anrechenbarkeit des Peer-Feedbacks als Teil eines fakultätsinternen Leistungsnachweises hat im Sinne eines assessment drives learning sicherlich zur Steigerung der Teilnehmerzahlen beigetragen . Die Anrechnung der Teilnahme am Peer-Feedback für einen Leistungsnachweis hat im Zusammenhang mit einem assessment drives learning in den Augen der Studierenden anscheinend einen positiven Effekt auf die Wahrnehmung des Gesamtprojekts. Die dadurch angestoßene verstärkte Beschäftigung mit dem Thema Feedback kann einem Abbau von Hemmnissen nur zugutekommen. Hierfür spricht auch die zunehmend positivere Evaluation des Peer-Feedbacks insgesamt. Mit dem beschriebenen Konzept wurde ein strukturiertes Umsetzungsmodell für eine ganzheitlichere und sozial eingebettetere Konzeptualisierung von Feedback vorgestellt , welches für die fachliche und auch persönliche Förderung von Studierenden stetig weiter ausgebaut werden soll . Die vorgestellten Maßnahmen können als Meilenstein auf dem Weg zu einer Feedbackkultur angesehen werden. 4.2. Empfehlungen – Lessons learnedEffektive Kollaborationen und auch persönlicher Einsatz sowie Durchhaltevermögen der Projektgruppe erwiesen sich als wichtigste Punkte bei der Implementierung und Weiterentwicklung von Feedback. Bei der Etablierung neuer Formate sollte proaktiv nach Veränderungswünschen und Interessen von Lehrenden und Studierenden, gefragt und diese in den Mittelpunkt gestellt werden. Hierbei erwies sich gerade der persönliche Austausch der Projektgruppe mit den Anwendern des Feedbacks, also Studierenden und Lehrenden, als besonders zielführend. Hemmnisse waren unpersönliche Kommunikation über E-Mail oder ohne Rücksprache umgesetzte Maßnahmen, die im Praxisalltag untergingen. Besonders hilfreich zeigte sich hierbei die Erwähnung eigener Erfahrungen in dem Bereich. Notwendig zeigte sich auch eine regelmäßige Kontrolle der Umsetzbarkeit geplanter Maßnahmen sowie die Identifizierung von Widerständen (z.B. Hemmungen negative Kritik zu äußern) und Stolpersteinen (z.B. zu hoher Zeitaufwand, zu komplexe Fragebögen) und deren unmittelbare Beseitigung (z.B. Anbieten von Trainings im Umgang mit Feedback, Verkürzung und Vereinfachung der Fragebögen). Dabei können einschneidende negative Erfahrungen der Studierenden mit Feedback, Ablehnung der Maßnahmen von Seiten der Fakultätsleitung sowie Lehrenden und zeitliche Überforderung durch das Geben von Feedback im Universitätsalltag als natürliche Umsetzungsgrenzen betrachtet werden. Insgesamt ist eine Qualitätsverbesserung des Feedbacks zu verzeichnen, welche die zuvor formulierten Projektziele, wie die Verbesserung der Feedbackkompetenz und damit die Konkretisierung von Feedback sowie die Verbesserung sozialer Fertigkeiten , andeutet. So kann Feedback im Kontext einer etablierten Vertrauenskultur mit einer gemeinschaftlich erarbeiteten Wertehaltung in einer fördernden Lernumgebung großen Nutzen bringen , .4.3. AusblickDer Begriff Feedbackkultur scheint, wie die beschriebenen Interventionsergebnisse zeigen, ein Teilaspekt der Vertrauenskultur oder auch der lernenden Organisation zu sein. Bei gestiegener Transparenz und Verknüpfung des Projekts mit konkreten, sichtbaren Personen und Mitbestimmungsmöglichkeiten der Studierenden scheint auch die Akzeptanz und das Vertrauen in die Instrumente zu steigen. Die Projektgruppe Feedback hat hieraus weitere Schritte bei der Entwicklung eines Feedbackcurriculums formuliert und initiiert:4.3.1. Implementierung eines direkten FeedbacksSeit dem Wintersemester 15/16 wird auf Wunsch der Studierenden ein direktes Feedback durchgeführt. Ausgewählt wurde dafür ein dreiwöchiger Studienblock im 3. Studienjahr des Pflichtcurriculums bei dem die professionelle Zusammenarbeit im interdisziplinär zusammengesetzten Team im Fokus steht. Studierende bearbeiten dabei eigenständig von Schauspielpatienten gespielte, realitätsnahe, komplexe Patientenfälle. Die zunächst noch verhaltenen Rückmeldungen (z.B. Unsicherheiten bei der Äußerung von negativer Kritik und im Umgang mit Teamarbeit) legen den Verdacht nahe, dass auch hier Hemmnisse in der Umsetzung erst überwunden werden müssen und das Konzept weiter an den Bedarf der Anwender anzupassen ist. Zu berücksichtigen ist hierbei, dass das Peer-Feedback wegen seines freiwilligen Charakters nicht von allen Studierenden genutzt wurde, die das direkte Feedback durchlaufen. Im Weiteren soll untersucht werden, ob die Studierenden mit Beteiligung am Peer-Feedback weniger Schwierigkeiten im Umgang mit direktem Feedback haben und ob die Erfahrung mit anonymen Peer-Feedback, wie in der Literatur beschrieben, positive Einflüsse auf die Annahme von Feedback gehabt hat , , . 4.3.2. FeedbacktrainingsEin gewinnbringendes, konstruktives Feedback macht neben der Auseinandersetzung mit den Themen auch die Reflexion der eigenen Haltung gegenüber Feedback und Vertrauen in die eigene Selbstwirksamkeit im Umgang mit Feedback notwendig . Daraus kann abgeleitet werden, dass letztlich die Haltung der Feedback-Geber und -nehmer entscheidend für die Effektivität von Feedback ist . Somit setzt die Projektgruppe Feedback mit einem neu entwickelten Trainingskonzept, welches nicht nur Feedbackregeln vermittelt, sondern wesentlich die Reflexion der Teilnehmer im eigenen Umgang mit Feedback aufgreift, zunächst bei den Lehrenden an. Die Selbstreflexion im Umgang mit Feedback wird mit der Zielsetzung nähergebracht, dass sich dies qualitativ auf das später weiterzugebende Feedback auswirkt. NotesFor the sake of readability, the simultaneous use of male and female forms is dispensed with. All references to people apply equally to both sexes.AnmerkungAus Gründen der besseren Lesbarkeit wird auf die gleichzeitige Verwendung männlicher und weiblicher Sprachformen verzichtet. Sämtliche Personenbezeichnungen gelten gleichermaßen für beiderlei Geschlecht.Competing interestsThe authors declare that they have no competing interests. InteressenkonfliktDie Autoren erklären, dass sie keine Interessenkonflikte im Zusammenhang mit diesem Artikel haben.Stacy RLearning as an activity of interdependent people2003Lear Organiz325-331Stacy R. Learning as an activity of interdependent people. Lear Organiz. 2003;10(6):325-331. DOI: 10.1108/09696470310497159http://dx.doi.org/10.1108/09696470310497159Studiendekanat der Medizinischen Fakultät der HHULeitbild Lehre der Medizinischen Fakultät der Heinrich-Heine-Universität DüsseldorfStudiendekanat der Medizinischen Fakultät der HHU. Leitbild Lehre der Medizinischen Fakultät der Heinrich-Heine-Universität Düsseldorf. Düsseldorf: Heinrich-Heine-Universität. Zugänglich unter/available from: http://www.medizin.hhu.de/sicherung-studiendekanat/studium-und-lehre-alt-2/leitbild-lehre.htmlhttp://www.medizin.hhu.de/sicherung-studiendekanat/studium-und-lehre-alt-2/leitbild-lehre.htmlVan der Vleuten CPDannefer EFTowards a systems approach to assessment2012Med Teach185-186Van der Vleuten CP, Dannefer EF. Towards a systems approach to assessment. Med Teach. 2012;34(3):185-186. DOI: 10.3109/0142159X.2012.652240http://dx.doi.org/10.3109/0142159X.2012.652240Rottenfußer RViele Kassenärzte fühlen sich ausgebrannt1999Dtsch Ärztebl434-436Rottenfußer R. Viele Kassenärzte fühlen sich ausgebrannt. Dtsch Ärztebl. 1999;96:434-436.Semmer NKJacobshagen NFeedback im Arbeitsleben – eine Selbstwert-Perspektive2010Gruppendyn Organisationsberat39-55Semmer NK, Jacobshagen N. Feedback im Arbeitsleben – eine Selbstwert-Perspektive. Gruppendyn Organisationsberat. 2010;41:39-55. DOI: 10.1007/s11612-010-0104-9https://doi.org/10.1007/s11612-010-0104-9Issenberg SBMcGaghie WCPetrusa ERLee Gordon DScalese RJFeatures and uses of high-fidelity medical simulations that lead to effective learning: a BEME systematic review2005Med Teach10-28Issenberg SB, McGaghie WC, Petrusa ER, Lee Gordon D, Scalese RJ. Features and uses of high-fidelity medical simulations that lead to effective learning: a BEME systematic review. Med Teach. 2005;27(1):10-28. DOI: 10.1080/01421590500046924http://dx.doi.org/10.1080/01421590500046924Jenewein WHeidbrink M2008High-Performance-Teams. Die fünf Erfolgsprinzipien für Führung und ZusammenarbeitJenewein W, Heidbrink M. High-Performance-Teams. Die fünf Erfolgsprinzipien für Führung und Zusammenarbeit. Stuttgart: Schäffer-Poeschel; 2008.Hattie JTimperley HThe Power of Feedback2007Rev Educ Res81Hattie J, Timperley H. The Power of Feedback. Rev Educ Res. 2007;77(1):81. DOI: 10.3102/003465430298487http://dx.doi.org/10.3102/003465430298487Archer JCState of the science in health professional education: effective feedback2010Med Educ101-108Archer JC. State of the science in health professional education: effective feedback. Med Educ. 2010;44(1):101-108. DOI: 10.1111/j.1365-2923.2009.03546.xhttp://dx.doi.org/10.1111/j.1365-2923.2009.03546.xAckermann KFDer lange Weg zu einer Feedback-Kultur2007Personalwirtsch36-38Ackermann KF. Der lange Weg zu einer Feedback-Kultur. Personalwirtsch. 2007;34:36-38.London MSmither JWFeedback orientation, feedback culture, and the longitudinal performance management process2002Human Res Manag Rev81-100London M, Smither JW. Feedback orientation, feedback culture, and the longitudinal performance management process. Human Res Manag Rev. 2002;12(1):81-100. DOI: 10.1016/S1053-4822(01)00043-2http://dx.doi.org/10.1016/S1053-4822(01)00043-2Crommelinck MAnseel FUnderstanding and encouraging feedback-seeking behaviour: a literature review2013Med Educ232-241Crommelinck M, Anseel F. Understanding and encouraging feedback-seeking behaviour: a literature review. Med Educ. 2013;47(3):232-241. DOI: 10.1111/medu.12075http://dx.doi.org/10.1111/medu.12075Kinicki AJPrussia GEWu BMcKee-Ryan FMA Covariance Structure Analysis of Employees' Response to Performance Feedback2004J Appl Psychol1057-1069Kinicki AJ, Prussia GE, Wu B, McKee-Ryan FM. A Covariance Structure Analysis of Employees' Response to Performance Feedback. J Appl Psychol. 2004;89(6):1057-1069. DOI: 10.1037/0021-9010.89.6.1057http://dx.doi.org/10.1037/0021-9010.89.6.1057Bungard WMüller KNiethammer C2007Mitarbeiterbefragung-was dann...? MAB und Folgeprozesse erfolgreich gestaltenBungard W, Müller K, Niethammer C. Mitarbeiterbefragung-was dann...? MAB und Folgeprozesse erfolgreich gestalten. Berlin: Springer-Verlag; 2007. DOI: 10.1007/978-3-540-47841-6http://dx.doi.org/10.1007/978-3-540-47841-6Withey CFeedback engagement: forcing feed-forward amongst law students2013Law Teach319-344Withey C. Feedback engagement: forcing feed-forward amongst law students. Law Teach. 2013;47(3):319-344. DOI: 10.1080/03069400.2013.851336http://dx.doi.org/10.1080/03069400.2013.851336Schaufeli WSalanova MWork engagement2007Manag Soc Ethic Iss Organiz177Schaufeli W, Salanova M. Work engagement. Manag Soc Ethic Iss Organiz. 2007;135(2):177. DOI: 10.1080/10615800701217878http://dx.doi.org/10.1080/10615800701217878Rotthoff TOstapczuk MSDe Bruin JDecking USchneider MRitz-Timme SAssessing the learning environment of a faculty: psychometric validation of the German version of the Dundee Ready Education Environment Measure with students and teachers2011Med Teach624-636Rotthoff T, Ostapczuk MS, De Bruin J, Decking U, Schneider M, Ritz-Timme S. Assessing the learning environment of a faculty: psychometric validation of the German version of the Dundee Ready Education Environment Measure with students and teachers. Med Teach. 2011;33(11):624-636. DOI: 10.3109/0142159X.2011.610841http://dx.doi.org/10.3109/0142159X.2011.610841RotthoffTOstapczuk MSde Bruin JKröncke KDDecking USchneider MRitz-Timme SDevelopment and evaluation of a questionnaire to measure the perceived implementation of the mission statement of a competency based curriculum2012BMC Med Educ1Rotthoff, T, Ostapczuk MS, de Bruin J, Kröncke KD, Decking U, Schneider M, Ritz-Timme S. Development and evaluation of a questionnaire to measure the perceived implementation of the mission statement of a competency based curriculum. BMC Med Educ. 2012;12:1. DOI: 10.1186/1472-6920-12-109http://dx.doi.org/10.1186/1472-6920-12-109Kosubek TBarz H2010Formative Prüfungen im Praktischen Jahr zur Entwicklung und Förderung von Klinischer Expertise. Interner ForschungsberichtKosubek T, Barz H. Formative Prüfungen im Praktischen Jahr zur Entwicklung und Förderung von Klinischer Expertise. Interner Forschungsbericht. Düsseldorf: Heinrich-Heine-Universität Düsseldorf, Abteilung für Bildungsforschung und Bildungsmanagement; 2010.Mayring P2015Qualitative Inhaltsanalyse. Grundlagen und TechnikenMayring P. Qualitative Inhaltsanalyse. Grundlagen und Techniken. 12. Auflage. Weinheim/Basel: Beltz; 2015.Arnold LContent and Context of Peer Assessment2006Measuring Medical Professionalism75-194Arnold L. Content and Context of Peer Assessment. In: Stern D, editor. Measuring Medical Professionalism. Oxford: Oxford University Press; 2006. p.75-194Töpfer M2013Feedbackloops – Wirkung von Feedback auf die Motivation und das Verhalten von Mitarbeitern. BachelorarbeitTöpfer M. Feedbackloops – Wirkung von Feedback auf die Motivation und das Verhalten von Mitarbeitern. Bachelorarbeit. Köln: Hochschule Fresenius; 2013.Schönrock-Adema JHeijne-Penninga MVan Duijn MAGeertsma JCohen-Schotanus JAssessment of professional behaviour in undergraduate medical education: peer assessment enhances performance2007Med Educ836-842Schönrock-Adema J, Heijne-Penninga M, Van Duijn MA, Geertsma J, Cohen-Schotanus J. Assessment of professional behaviour in undergraduate medical education: peer assessment enhances performance. Med Educ. 2007;41(9):836-842. DOI: 10.1111/j.1365-2923.2007.02817.xhttp://dx.doi.org/10.1111/j.1365-2923.2007.02817.xVan Gennip NASegers MSTillema HHPeer assessment for learning from a social perspective: The influence of interpersonal variables and structural features2009Educ Res Rev41-54Van Gennip NA, Segers MS, Tillema HH. Peer assessment for learning from a social perspective: The influence of interpersonal variables and structural features. Educ Res Rev. 2009;4(1):41-54. DOI: 10.1016/j.edurev.2008.11.002http://dx.doi.org/10.1016/j.edurev.2008.11.002Maccoby MNarcissistic Leaders – The Incredible Pros, the Inevitable Cons2004Harv Bus Rev92-101Maccoby M. Narcissistic Leaders – The Incredible Pros, the Inevitable Cons. Harv Bus Rev. 2004;10:92-101.Brahmi FToolkit for a Lifelong Learning at Indiana University School of Medicine2004Fac RetreatBrahmi F. Toolkit for a Lifelong Learning at Indiana University School of Medicine. Fac Retreat. 2004.Raski BEissner ABöhm MSchneider MRotthoff T360° Peer-Feedback zur Kompetenzentwicklung bei Medizinstudierenden – Akzeptanz bei Studierenden im 1. und 4. Studienjahr des Düsseldorfer Modellstudiengangs Humanmedizin2014Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA). Hamburg, 25.-27.09.2014DocP241Raski B, Eissner A, Böhm M, Schneider M, Rotthoff T. 360° Peer-Feedback zur Kompetenzentwicklung bei Medizinstudierenden – Akzeptanz bei Studierenden im 1. und 4. Studienjahr des Düsseldorfer Modellstudiengangs Humanmedizin. In: Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA). Hamburg, 25.-27.09.2014. Düsseldorf: German Medical Science GMS Publishing House; 2014. DocP241. DOI: 10.3205/14gma071http://dx.doi.org/10.3205/14gma071Van Der Vleuten CPThe assessment of professional competence: developments, research and practical implications1996Adv Health Sci Educ41-67Van Der Vleuten CP. The assessment of professional competence: developments, research and practical implications. Adv Health Sci Educ. 1996;1(1):41-67. DOI: 10.1007/BF00596229http://dx.doi.org/10.1007/BF00596229Maurer TJMitchell DRBarbeite FGPredictors of attitudes toward a 360-degree feedback system and involvement in post-feedback management development activity2002J Occup Organiz Psychol87-107Maurer TJ, Mitchell DR, Barbeite FG. Predictors of attitudes toward a 360-degree feedback system and involvement in post-feedback management development activity. J Occup Organiz Psychol. 2002;75(1):87-107. DOI: 10.1348/096317902167667http://dx.doi.org/10.1348/096317902167667Greif RBreckwoldt JWarum lebenslanges Lernen ohne effektives Feedback nicht wirkungsvoll ist. Why lifelong learning without consistent feedback is not effective2012Notfall Rettungsmed193-197Greif R, Breckwoldt J. Warum lebenslanges Lernen ohne effektives Feedback nicht wirkungsvoll ist. Why lifelong learning without consistent feedback is not effective. Notfall Rettungsmed. 2012;15(3):193-197. DOI: 10.1007/s10049-011-1518-9http://dx.doi.org/10.1007/s10049-011-1518-9
11en1de
Table 1: Percentage increase in student activities in the same cohort from winter semester 13/14 to winter semester 14/15 as part of the peer feedback after interventions by the project team in the summer semester 2014
Tabelle 1: Prozentuale Steigerung der studentischen Aktivitäten in der gleichen Kohorte von Wintersemester 13/14 auf Wintersemester 14/15 im Rahmen des Peer-Feedback nach Interventionen des Projektteams im Sommersemester 2014
111en1de
Figure 1: Düsseldorf Medical Curriculum (model study course)
Figure 3: Schematic of the peer feedback process and overview of the results
Abbildung 3: Schematischer Ablauf des Peer-Feedbacks und Übersicht der Ergebnisse
44en4de
Figure 4: Exemplary evaluation of the peer feedback based on profile lines
Abbildung 4: Beispielhafte Auswertung des Peer-Feedbacks anhand von Profillinien
55en5de
Figure 5: Date of introduction of project improvement measures
Abbildung 5: Zeitpunkt der Einführung von Maßnahmen zur Projektverbesserung
66en6de
Figure 6: Courses in the Düsseldorf Medical Curriculum in which feedback is used
Abbildung 6: Lehrveranstaltungen im Düsseldorfer Curriculum Medizin in denen Feedback eingesetzt wird
77en7de
Figure 7: Development of the number of participants based on the example of self-assessments and external assessments in peer feedback over the years (maximum number of possible participants in the summer semester 180 students, 800 students in the winter semester).
Abbildung 7: Entwicklung der Teilnehmerzahlen am Beispiel von Studierenden abgegebenen Selbst- und Fremdeinschätzungen im Peer-Feedback im Laufe der Jahre (Anzahl max. möglicher Teilnehmer im Sommersemester 180 Studierende, im Wintersemester 800 Studierende).
88en8de
Figure 8: Student evaluation of peer feedback from 2012 to today on a five-level Likert scale (“completely agree” (1) to “do not agree at all” (5))
Abbildung 8: Studentische Evaluation des Peer-Feedbacks von 2012 bis heute auf einer fünfstufigen Likertskala („trifft völlig zu“ (1) bis „trifft gar nicht zu“ (5))
99en9de
Figure 9: Written feedback (free text) of the students in the evaluation for peer feedback
Abbildung 9: Schriftliche Rückmeldungen (Freitext) der Studierenden in der Evaluation zum Peer-Feedback