zma00117010.3205/zma001170urn:nbn:de:0183-zma0011705articleArtikelDoes it matter who writes down the feedback? A comparison of teacher- vs. student-completed clinical encounter cards during clinical rotations in veterinary studiesIst es von Bedeutung, wer Feedback niederschreibt? Die Wirkung des Ausfüllens einer Feedbackkarte durch Lehrende vs. Studierende während der klinischen Rotationen im veterinärmedizinischen StudiumBuchnerBuchnerHeinz Hans FlorianHHFDr.
University of Veterinary Medicine, University Equine Hospital, Veterinärplatz 1, A-1210 Vienna, AustriaUniversity of Veterinary Medicine, University Equine Hospital, Vienna, Austria
Veterinärmedizinische Universität Wien, Klinik für Pferde, Veterinärplatz 1, A-1210 Wien, ÖsterreichVeterinärmedizinische Universität Wien, Klinik für Pferde, Wien, Österreichflorian.buchner@vetmeduni.ac.atauthorBurgerBurgerChristophCUniversity of Vienna, Faculty of Psychology, Institute for Basic Psychological Research and Research Methods, Vienna, AustriaUniversity of Applied Sciences Upper Austria, Campus Linz, Department of Social Work, Linz, AustriaUniversität Wien, Fakultät für Psychologie, Institut für Psychologische Grundlagenforschung und Forschungsmethoden, Wien, ÖsterreichFachhochschule Oberösterreich, Campus Linz, Department Soziale Arbeit, Linz, Österreichchristoph.burger@univie.ac.atauthorEhlersEhlersJan P.JPProf. Dr. med.Witten/Herdecke University, Faculty of Health, Chair of Didactics and Educational Research in Health Science, Witten, GermanyPrivate Universität Witten/Herdecke, Fakultät für Gesundheit, Lehrstuhl für Didaktik und Bildungsforschung im Gesundheitswesen, Witten, Deutschlandjan.ehlers@uni-wh.deauthorGerman Medical Science GMS Publishing House
Düsseldorf
610Sustainable feedbackclinical rotationsclinical encounter cardfeedback culturepersonal responsibilityself-reflectionactive feedback-seekingNachhaltiges FeedbackKlinische RotationenFeedbackkarteFeedbackkulturEigenverantwortungEigenreflektionaktives Einholen von FeedbackFeedbackFeedback20171023201801102018030420180515englgermThis is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License.Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung).2366-5017352GMS Journal for Medical EducationGMS J Med Educ23Zielsetzung: Feedback (FB) von Lehrenden an Studierende ist zwar ein anerkanntes, effektives Lehrmittel, ein erfolgreicher Einsatz in der klinischen Ausbildung aber von vielen Faktoren abhängig. Für ein nachhaltiges FB ist, neben einer entsprechenden Ausbildung und Einstellung der Lehrenden, eine entsprechende Lehrkultur nötig sowie ein aktives Engagement der Studierenden, um FB zu erhalten, anzunehmen und zu nutzen. In dieser Studie werden zwei verschiedene FB-Karten („clinical encounter cards“, CECs) während klinischer Rotationen eingesetzt und es wird untersucht, ob damit den Studierenden eine aktivere Rolle im Feedbackprozess gegeben werden kann. Als Hypothese wurde ein positiver Einfluss des eigenhändigen Niederschreibens von FB durch Studierenden postuliert und überprüft.Methodik: 161 Studierende im neunten Semester des Studiums Veterinärmedizin mussten während ihrer Rotationen auf 10 Stationen je zwei FB-Karten (Typ 1 und 2) nutzen. Dabei mussten die Studierenden vor einer klinischen Tätigkeit die zuständigen Lehrenden um FB bitten. Das von den Lehrenden mündlich gegebene FB wurde entweder von den Lehrenden (CEC Typ 1) oder von den Studierenden (CEC Typ 2) in die CEC aufgeschrieben. Weiters wurden die Studierenden aufgefordert, ihre eigene Leistung mittels Ankerkriterien zu bewerten und die Qualität des FB der Lehrenden zu beurteilen. Mittels der Eintragungen auf den abgegebenen CECs konnten die folgenden Indikatoren für beide CEC-Typen berechnet werden: (1) Quantität und Qualität des FB (Umfang und Spezifität), (2) Differenziertheit der Selbstbeurteilung, sowie (3) Zufriedenheit mit dem FB der Lehrenden.Ergebnisse: Mit 2377 CECs lag die mittlere Rücklaufquote der CEC bei 74%. In 99% der Karten war positives FB eingetragen, bei 69% konstruktives FB mit Verbesserungsvorschlägen und bei 87% wurden konkrete nächste Schritte vorgeschlagen. Durchschnittlich schrieben Lehrende längeres (12,4 versus 9,7 Wörter) und spezifischeres FB (1,9 versus 1,7 von 3) auf als Studierende. Umfang und Spezifität nahmen während des Semesters ab. Weder Differenziertheit der Selbstbeurteilung (Anteil des differenzierten Eintragens der Selbstbeurteilung) noch die Zufriedenheit der Studierenden mit dem FB war zwischen den beiden untersuchten CEC-Varianten unterschiedlich.Schlussfolgerung: Die jahrgangsweite Nutzung der CEC war erfolgreich möglich, allerdings ergab das eigenständige Formulieren und Eintragen des FB durch Studierende kein umfangreicheres oder spezifischeres FB, die Selbstbeurteilung und Zufriedenheit mit dem FB der Lehrenden war unverändert.Objective: Despite the fact that feedback (FB) provided by teachers to students is a recognised, effective teaching tool, successful use of feedback during clinical training depends on many factors. In addition to appropriate training and attitude of teachers, sustainable feedback requires an appropriate teaching culture and active commitment on the part of the students to receive, accept and use FB. This study examines the use of two different clinical encounter cards (CECs) during clinical rotation and investigates whether students take a more active part in the feedback process when using these cards. The objective of this study is to test whether it has a positive effect if students write down FB themselves and to verify this positive effect.Methodology: 161 students in their 9th semester of veterinary studies each had to use two clinical encounter cards (types 1 and 2) during their rotations on 10 wards. For this, students had to ask teachers for FB before starting a clinical activity. The oral FB given by the teachers was either written down on the CEC by the teachers (CEC type 1) or by the students (CEC type 2). Furthermore, the students were asked to assess their own performance by means of anchor criteria and to evaluate the quality of the FB provided by the teachers. Based on the entries in the CECs submitted, the following indicators for both CEC types could be calculated: (1) FB quantity and quality (length and specificity), (2) differentiation of self-assessment, as well as (3) level of satisfaction with the FB provided by the teachers.Results: With 2,377 CECs submitted, the mean CEC return rate was 74%. 99% of the cards showed positive FB, 69% contained constructive FB with suggestions for improvement, and 87% suggested specific next steps. On average, the FB written down by teachers was longer (12.4 versus 9.7 words) and more specific (1.9 versus 1.7 out of 3) than FB written down by students. Length and specificity decreased in the course of the semester. Neither the differentiation of self-assessment (proportion of differentiated entering of self-assessment) nor the students’ level of satisfaction with the FB differed between the two examined CEC variants.Conclusion: The use of CECs across the cohort was successfully possible; however, the fact that students formulated and wrote down the FB themselves did not result in more comprehensive or more specific FB. Self-assessment and level of satisfaction with the teachers’ FB remained unchanged.1. Introduction1.1. The significance of sustainable feedbackFeedback (FB) provided by teachers to students, i.e. offering information on the performance of individual students when carrying out a specific activity with the aim to improve this performance in the future, has been described and recognised as didactic method for a long time , , . Still, it is also well known for its implementation difficulties, lacking effectiveness and being perceived differently by teachers and students , , , , , . These problems lead to a lower level of satisfaction with students and young physicists or even to negative effects . When analysing the various factors playing a role whether FB is successful or not, Hounsell and Carless introduced the term “sustainable feedback”, being based on dialogue processes and activities during which students are supported and informed about the actual task, but during which they shall also develop skills in self-regulating their performance during future tasks . 1.2. The role of teachers, students and teaching culture in sustainable feedbackThe FB process and potential problem areas can be divided into three main parts (see Figure 1 ): Aspects of teachers being supposed to provide high-quality FB, aspects of students being supposed to seek FB and use it accordingly, as well as the relationship between both within a feedback team in a learning culture with FB as an integral part , , ]. Teachers are required to provide high-quality FB, which should be based on direct observation, provided as immediately as possible after observation, contain specific details and express an appreciative attitude , , . This is only possible with appropriate training, enough time resources, sufficient teaching motivation and a trustful relationship with the students .Students, as those receiving FB, also play an important part in a successful FB process. To ensure that FB is really helpful to students, they have to seek it (FB-seeking behaviour), accept and use it. Students weigh up pros and cons of FB. They are often worried that FB may do more harm than good to their ego and appearance . Only if they realise this personal responsibility, as well as seek and initiate FB themselves, sustainable feedback will actually be possible , , , , . In addition, the development of the ability to be self-critical and reflective while learning is another important step towards sustainable FB practice . Such behaviour can be encouraged by transforming the FB process from “one-way FB” to “FB dialogue” . This would be essential for a working FB culture with effective collaboration between teachers and students as a team. The curricular framework, time for sound FB, students’ confidence in the positive aims and helpful attitude of teachers, as well as the joint project of a learning alliance for optimal learning results are decisive factors for this learning culture , , , , .1.3. BackgroundThe Equine Hospital of the University of Veterinary Medicine, Vienna, introduced a clinical encounter card (CEC), a proven method for stimulating FB culture , , during the summer semester 2014 in order to provide students with more FB. By means of these clinical encounter cards and before starting possible clinical activities, students asked the teacher for observation and feedback, which was then recorded on the CEC. During this pilot project, using the CECs indeed improved FB frequency and quality. However, known problems also occurred, such as the uncertain immediacy of FB provision, an ambiguous CEC design, as well as the students’ concern to put teachers, in particular older, experienced clinicians, under time-related stress by asking them for FB. The (purely formative) quantitative assessment of the students’ performance on a traditional grading scale on this CEC did not yield any valid values (only positive ratings) and has only been perceived as an impediment to FB . These results provide the basis and starting point for this study.1.4. Study objective and hypothesesThe general objective of this study was the widespread introduction of an improved CEC into clinical rotations of veterinary studies, as well as the testing of options to render the students’ role in this FB process more active and encourage students to deal with feedback in terms of content. For one part, the initiation of FB by the students and, for the other part, the fact that the students write down the FB on the CEC themselves instead of the teachers may lead to dealing more intensely with FB and thus to more elaborate processing . Moreover, it may also decrease the students’ concern about the time needed by teachers for providing FB, and increase the students’ awareness of their own accountability in the FB process. Such activation in the sense of “student-centred learning” would be an important step towards successful and more sustainable FB.This study therefore aimed at testing the following hypotheses:FB will get better with respect to quantity (length will increase) and quality (higher specificity; immediate provision of FB) if students write down FB on the CEC themselves;The proportion of differentiated self-assessment of their own performance will become larger if students write down FB themselves; andStudents rate FB better and consider it being more helpful if they write down FB themselves.1. Einleitung1.1. Die Bedeutung von nachhaltigem FeedbackFeedback (FB) von Lehrenden an Studierende, also das Anbieten von Information über die Leistung einzelner Studierender bei einer bestimmten Aktivität mit dem Ziel, eine Verbesserung dieser Leistung in der Zukunft zu ermöglichen, ist als didaktische Methode seit längerem beschrieben und in seiner Bedeutung anerkannt , , . Dennoch sind aber auch Schwierigkeiten in der Durchführung, mangelnde Effektivität und unterschiedliche Perzeption bei Lehrenden und Studierenden bekannt , , , , , . Diese Probleme führen zu geringer Zufriedenheit bei Studierenden und jungen Ärztinnen und Ärzten oder sogar zu negativen Effekten . In der Analyse der verschiedenen Faktoren, die für einen Erfolg von FB eine Rolle spielen, wurde von Hounsell und Carless der Begriff des „sustainable feedback“ (nachhaltiges Feedback) eingeführt. Dabei basiert „sustainable feedback“ auf Dialogprozessen und Aktivitäten, in denen Studierende unterstützt und über die momentane Aufgabe informiert werden, aber in denen Studierende auch Fähigkeiten zur Selbstregulation ihrer Leistungen bei zukünftigen Aufgaben entwickeln sollen . 1.2. Die Rolle von Lehrenden, Studierenden und der Lehrkultur für nachhaltiges FeedbackDer FB-Prozess und mögliche Problembereiche lassen sich in drei wesentliche Teile untergliedern (siehe Abbildung 1 ): die Aspekte der Lehrenden, die hochqualitatives FB liefern sollen, die Aspekte der Studierenden, die FB einholen und entsprechend nutzen sollen, sowie die Beziehung beider in einem FB-Team innerhalb einer Lern-Kultur, in die das FB eingebunden ist , , . Die Lehrenden sind gefordert, hochqualitatives FB anzubieten: dieses sollte auf direkter Beobachtung basieren, möglichst unmittelbar nach der Beobachtung erfolgen, spezifische Details enthalten und eine wertschätzende Haltung ausdrücken , , . Dies ist nur bei entsprechender Ausbildung, vorhandenen Zeitressourcen, ausreichender Motivation für die Lehre und einer vertrauensvollen Beziehung zu den Studierenden möglich .Die Studierenden spielen als FB-Nehmende ebenso eine entscheidende Rolle für den erfolgreichen FB-Prozess. Damit FB für die Studierenden wirklich hilfreich ist, müssen sie es einholen (FB-seeking behaviour), es annehmen und nutzen. Studierende wägen mögliche Vor- und Nachteile von FB durchaus ab, sie haben oft Ängste, dass FB dem eigenen Ego und äußeren Bild mehr schadet als hilft . Nur wenn sie diese Selbstverantwortung erkennen und FB selbst einholen und initiieren, ist nachhaltiges FB wirklich möglich , , , , . Darüber hinaus ist für eine nachhaltige FB-Praxis die Entwicklung der Fähigkeit zur Selbstkritik und Reflexion beim Lernen der Studierenden ein weiterer wesentlicher Schritt . Durch den Wandel des FB-prozesses von einem „Einbahn-FB“ zu einem „FB-Dialog“ kann dieses Verhalten unterstützt werden . Dies wäre wesentlich für eine funktionierende FB-Kultur mit einer effektiven Zusammenarbeit von Lehrenden und Studierenden als Team. Curriculare Rahmenbedingungen, Zeit für gutes FB, Vertrauen der Studierenden in die positiven Ziele und hilfreiche Haltung der Lehrenden sowie das gemeinsame Vorhaben einer Lernallianz zu einem optimalen Lernerfolg sind maßgebliche Faktoren für diese Lernkultur , , , , .1.3. StudienhintergrundAn der Veterinärmedizinischen Universität Wien wurde im SS 2014 an der Pferdeklinik eine Clinical Encounter Card (CEC), eine bewährte Methode zur Stimulation der FB-Kultur , , eingeführt, um mehr FB für die Studierenden zu ermöglichen. Mit diesen FB-Karten bitten Studierende vor einer möglichen klinischen Tätigkeit eine/n Lehrende/n um Beobachtung und Feedback, welches auf der CEC dokumentiert wird. In diesem Pilotprojekt konnten mit den CECs tatsächlich die FB-Frequenz und Qualität verbessert werden, allerdings zeigten sich auch bekannte Probleme, wie die unsichere Unmittelbarkeit des FB Gebens, unklares Design der CEC sowie die Sorge von Studierenden, die Lehrenden, vor allem ältere, erfahrene Kliniker, mit ihrer Bitte um FB in Zeitstress zu bringen. Die (rein formative) quantitative Beurteilung der Leistung der Studierenden auf einer traditionellen Notenskala auf dieser CEC ergab keinerlei valide Werte (nur positive Bewertungen) und wurde nur als Hemmnis für das FB empfunden . Diese Resultate liefern die Basis und Ausgangslage für diese Studie.1.4. Ziel der Studie und HypothesenAllgemeines Ziel für die vorliegende Studie war eine breite Einführung einer verbesserten CEC in den klinischen Rotationen des veterinärmedizinischen Studiums und die Erprobung von Möglichkeiten, die Rolle der Studierenden in diesem FB Prozess aktiver zu gestalten und die inhaltliche Auseinandersetzung der Studierenden mit dem Feedback zu fördern. Neben dem Initiieren des FB durch die Studierenden könnte auch das eigenhändige Niederschreiben des FB auf die CEC durch die Studierenden selbst, statt durch die Lehrenden, zu einer intensiveren Beschäftigung mit dem Feedback und dadurch zu einer elaborierteren Verarbeitung führen . Außerdem könnte es die Sorge der Studierenden vor dem Zeitaufwand für die Lehrenden verringern sowie auch das Bewusstsein der Studierenden für ihre Eigenverantwortung in dem FB-Prozess erhöhen. Eine derartige Aktivierung im Sinne eines „student-centred learning“ wäre ein wichtiger Schritt auf dem Weg zu einem erfolgreichen, nachhaltigeren FB.Daher sollten in dieser Studie die folgenden Hypothesen geklärt werden:das FB wird quantitativ (größerer Umfang) und qualitativ (höhere Spezifität, unmittelbares Geben des FB) besser, wenn die Studierenden das FB selbst in die CEC eintragen,der Anteil an differenzierter Selbstbeurteilung der eigenen Leistung wird größer, wenn die Studierenden das FB selber eintragen, unddie Studierenden beurteilen das FB besser und finden es hilfreicher, wenn sie das FB selber eintragen.2. Methodology2.1. Participants2.1.1. Students161 9th-semester students (82% female) participated in the project during clinical rotations of one week each on 10 wards of the animal hospital.2.1.2. Teachers154 teachers (79% female) of the different clinics were available for teaching and giving FB. 24 of the teachers were completing their internship (first clinical postgraduate year), 96 juniors and 34 seniors (medical specialists; lecturers with postdoctoral qualification).2.1.3. Ethics committeeThe study was examined by the ethics committees of the University of Veterinary Medicine and the University of Medicine, Vienna, and transferred to the Data Protection Commission. The latter approved the study in writing on 23 June 2015.2.2. Study designTen clinical wards of the animal hospital participated in the study. One of these wards (“W” clinic) offered the CECs to be completed voluntarily; all others required two completed CECs as part of the exercise. In order to prepare all teachers involved for giving FB to students, the teachers were offered 60-minute practical workshops. 52 teachers participated in the workshops. Teachers and students were provided with written information on the study and use of the CEC. At the beginning of each of the ten weeks, all students received two blank and different CECs: Type 1 and type 2 (see Figure 2 ). Both types differed only on page 2 of part 1 (pages 1 and 2) by either asking the teachers (type 1) or the students (type 2) to write down the teacher’s oral FB. Page 1 contained general information on students, teachers and the activity performed. Part 2 of the CEC served to record the students’ self-assessment of their own performance after they had received the teacher’s feedback (page 3) and their impression of the usefulness of the FB (page 4), respectively. Part 1 and part 2 of the CECs (the latter being anonymous) were collected separately at the end of the practical week. Feedback had to be initiated by the students, the card to be handed over to the teacher and filled in after the activity had been performed and the FB provided. At the students’ request, more than two CECs could be handed out and used.2.3. Data analysis and statisticsBoth parts of the CEC were submitted separately by the students in order to guarantee students the anonymity of their evaluation (unadulterated data quality through anonymity). The two parts could therefore not be assigned to each other and had to be evaluated separately.The following data of part 1 (i.e. pages 1 and 2) was recorded and analysed in SPSS: Descriptive data, use of sections 1 to 3 (“What was good?”; “What could be better?”; “Suggestions for next steps?”), the total number of words used, and FB specificity. The head of the study assessed the specificity on a four-digit scale (from 0 to 3), depending on whether no (0), 1, 2 or 3 and more different, specific content-related aspects had been addressed. In case of part 2 (i.e. pages 3 and 4), page 3 was assessed on a scale from 0 to 3, depending on the type of entry: 0=no entry; 1=all entries on the left side of the scale (“Improvement desirable”); 2=all entries on the right side of the scale (“Excellent”); 3=differentiated entries. The Likert scale values as well as available remarks on page 4 were collected and analysed. All parameters were evaluated descriptively, and the two groups “entry by teachers” or “entry by students” were compared statistically with respect to the individual parameters. Frequency differences were verified using the chi² test; depending on the quality, further comparisons were performed using t-test or Mann-Whitney u-test (non-parametrically: Likert values page 4). The correlation between the number of feedback words and their specificity was determined using Spearman’s rank correlation. The development over the different weeks regarding feedback length and specificity was determined using linear regression. The significance threshold was defined as α=0.05. The effect size according to Cohen (d) was calculated for the feedback quality (length, specificity) and the students’ remarks on the feedback (page 4). In addition, the impact of the teachers’ and students’ gender, as well as the teachers’ seniority on the quality parameters was examined. For this, a series of dual ANOVAs was performed using the number of words as dependent variable, as well as gender or seniority as first factor and the recording mode (teachers or students write down the FB) as second factor, respectively.2. Methodik2.1. Studienteilnehmer2.1.1. Studierende161 Studierende (82% weiblich) des 9. Semesters nahmen während der klinischen Rotationen von je 1 Woche an 10 Stationen des Tierspitals an dem Projekt teil.2.1.2. Lehrende154 Lehrende (79% weiblich) von den verschiedenen Kliniken standen für Unterricht und FB zur Verfügung. 24 davon befanden sich im Internship (1. Klinisches postgraduales Ausbildungsjahr), 96 Juniors und 34 Seniors (Fachärzte, Habilitierte)2.1.3. EthikkommissionDie Studie wurde von den Ethikkommissionen der Veterinärmedizinischen sowie der Medizinischen Universität Wien geprüft und an die Datenschutzkommission verwiesen. Diese bewilligte die Studie mit Schreiben vom 23.6.2015.2.2. Studiendesign10 klinische Stationen des Tierspitals nahmen an der Studie teil. Eine davon (Klinik „W“) bot die CECs zur freiwilligen Durchführung an, bei allen anderen wurden 2 ausgefüllte CECs als Leistung der Übung verlangt. Als Vorbereitung wurden allen beteiligten Lehrenden 60-minütige praktische Workshops zum Geben von FB an Studierende angeboten, 52 Lehrende haben daran teilgenommen. Schriftliche Informationen über die Studie und die Nutzung des CECs wurde sowohl an Lehrende als auch Studierende ausgesendet. Alle Studierenden erhielten zu Beginn jeder der 10 Wochen je zwei unausgefüllte unterschiedliche CECs: Typ1 und Typ 2 (siehe Abbildung 2 ). Der einzige Unterschied zwischen beiden Typen bestand in der Aufforderung auf Seite 2 von Teil 1 (Seite 1 und 2) entweder an die Lehrenden (Typ 1) oder an die Studierenden (Typ 2), die schriftliche Eintragung des mündlichen FB des Lehrenden durchzuführen. Seite 1 beinhaltete allgemeine Angaben zu Studierenden, Lehrenden und der durchgeführten Tätigkeit. Teil 2 der CEC diente nach dem Feedback des Lehrenden dem Eintragen einer Eigeneinschätzung der Studierenden der eigenen Leistung (Seite 3) bzw. des Eindruckes über die Nützlichkeit des FB (Seite 4). Die CECs wurden getrennt in Teil 1 und 2 (letzterer anonym) am Ende der Übungswoche eingesammelt. Das Feedback musste von den Studierenden initiiert werden, die Karte den Lehrenden gegeben und nach Durchführung der Tätigkeit und des FB ausgefüllt werden. Auf Wunsch der Studierenden konnten auch mehr als zwei CECs ausgegeben und genutzt werden.2.3. Datenanalyse und StatistikBeide Teile der CEC wurden von den Studierenden getrennt abgegeben, um den Studierenden die Anonymität Ihrer Bewertungen zu gewährleisten (unverfälschte Datenqualität durch Anonymität). Die beiden Teile konnten einander daher nicht zugeordnet werden, und mussten getrennt voneinander ausgewertet werden. Von Teil 1 (i.e., Seite 1 und 2) wurden die folgenden Daten in SPSS erfasst und analysiert: deskriptiven Daten, die Nutzung der Rubriken 1-3 („Was war gut? “, „Was könnte besser sein?“, „Vorschlag nächste Schritte?“), die Gesamtzahl der dafür eingesetzten Wörter sowie die Spezifität des FBs. Die Spezifität wurde vom Studienleiter auf einer 4-stelligen Skala (von 0 – 3) bewertet, je nachdem, ob kein (0), 1, 2 oder 3 und mehr unterschiedliche, spezifische inhaltliche Aspekte angesprochen wurden. Bei Teil 2 (i.e., Seite 3 und 4) wurde die Seite 3 nach der Art der Eintragung mit 0-3 beurteilt: 0: gar keine Eintragung, 1 alle Eintragungen im linken Extrem („Verbesserung wünschenswert“, 2: alle Eintragungen im rechten Extrem („Sehr gut“), 3: differenziert ausgefüllt. Von Seite 4 wurden die Werte der Likert-Skala sowie mögliche Anmerkungen erfasst und analysiert. Alle Parameter wurden deskriptiv ausgewertet und die beiden Gruppen „Eintragung durch die Lehrenden“ oder „Eintragung durch die Studierenden“ für die einzelnen Parameter signifikanzstatistisch verglichen. Unterschiede in der Häufigkeit wurden mit dem chi² Test überprüft, in Abhängigkeit der Qualität wurden weitere Vergleiche mit t-test oder Mann-Whitney u-test (nonparametrisch: Likert-Werte Seite 4) vorgenommen. Die Korrelation von der Anzahl der Feedbackwörter mit ihrer Spezifität wurde mittels Spearmans Rang-Korrelation bestimmt. Die Entwicklung während der verschiedenen Wochen in Umfang und Spezifität des Feedbacks wurde mittels linearer Regression bestimmt. Als Signifikanzgrenze wurde α=0,05 festgelegt. Für die Qualität des Feedbacks (Anzahl, Spezifität) und die Aussagen zum Feedback durch die Studierenden (Seite 4) wurde die Effektstärke nach Cohen (d) berechnet. Zusätzlich wurde der Einfluss des Geschlechts der Lehrenden und Studierenden sowie der Seniorität der Lehrenden auf die Qualitätsparameter untersucht. Hierfür wurden eine Reihe von zweifachen ANOVAs mit der Anzahl der Wörter als abhängiger Variable und Gender oder Seniorität als 1. Faktor, bzw. dem Dokumentationsmodus (Lehrende oder Studierende tragen FB ein) als 2. Faktor durchgeführt.3. Results3.1. Feasibility of CEC useIt was possible to introduce and use the CEC on all wards successfully. All in all, 2,377 CECs were evaluated, corresponding to 78% of the distributed cards of the obligatory CECs. In case of the “W” clinic, where the clinic management offered the CEC only as a voluntary tool, the rate of use and submission, respectively, was only 40.1% of the distributed cards.3.2. Quantity (increased length) and quality (higher specificity and immediacy)The length of the entire feedback provided (number of words per CEC) was within a broad range of 0 to 84 words (see Table 1 ). Likewise, the specificity of the documented feedback varied significantly between 0 (unspecific: e.g. “good”) and 3 or more aspects. Typical specific aspects of the FB on the performance of the activity were: technique, hygiene, procedure and speed, calmness during the performance or interaction with the horse. However, with a mean value of 11.1 words and a specificity of 1.8, the results of all clinics were very similar. Length and specificity correlate significantly (r=0.719, p<0.001). As expected, higher specificity generally correlates with a larger number of words. However, both quality parameters steadily decline over the course of the practical weeks (see Table 2 ). In case of the teachers, the drop in values is somewhat more pronounced, coming from a higher starting level. They start out with approximately 14 words per CEC and end up with approximately 10 words. Similarly, teachers start with a specificity value of 2.1, declining to 1.5 in the end.The feedback entered by teachers was significantly longer (12.4 versus 9.7) and more specific (1.9 versus 1.7) than the one written down by students (see Table 2 ). This was primarily apparent from a large number of highly specific FB addressing three or more different aspects. This was also reflected by a positive effect size of Cohen’s d=0.37 for the number of words and d=0.21 for the specificity, respectively. The variance analysis yielded a significant effect only for the gender of teachers (F[1.2360]=10.4, p=.001, ηp²=.004) and the combination of teachers and students (F[3.2356]=2.94, p=.007, ηp²=.005), respectively: On average, female teachers gave more FB (MV=11.4 words, SD=8.0) than male teachers (MV=10.5 words, SD=6.1), in particular to female students (MV=11.5 words, SD=8.0).3.3. Differentiated self-assessment of one’s own performance Page 3 of the CEC for self-assessing one’s own performance was not completed at all by 2% of the students, at least uniformly completed by 52% with ticks only on the far left side of the scale (5.2% just “bad”) or only on the far right of the scale (46.6% just “excellent”) across all items. Only 46% of the students completed this page in a differentiated way, i.e. with at least one tick at another than an extreme position (far left or right). Entering the feedback personally (vs. teachers entering the feedback) had no impact on the degree of differentiated assessment (see Table 2 ).3.4. Feedback assessment by studentsIn general, the feedback assessment on page 4 was predominantly positive. It was considered helpful (MV=1.8, SD=0.2) and very personal (MV=1.5, SD=0.2), and was also provided immediately in most cases (MV=1.6, SD=0.2). 15.6% of the students made further remarks, with 3.8% of them entering positive remarks in the CEC and 9.4% negative ones. 2.4% of the remarks concerned aspects other than the feedback, such as remarks on the conditions under which the activity was performed. Entering the feedback personally (vs. teachers entering the feedback) had no impact on the level of satisfaction with the feedback (see Table 2 ).3. Ergebnisse3.1. Durchführbarkeit der CEC NutzungDie CEC konnte in allen Stationen erfolgreich eingeführt und genutzt werden. Insgesamt wurden 2377 CEC ausgewertet, dies entsprach 78% der ausgegebenen Karten der obligatorischen CECs. In der Klinik „W“, bei der die Klinikführung die CEC nur als freiwillige Hilfe angeboten hatten, lag die Nutzungs- bzw. Abgabequote bei nur 40,1% der ausgegeben Karten.3.2. Quantität (größerer Umfang) und die Qualität (höhere Spezifität und Unmittelbarkeit)Der Umfang des gesamten gegebenen Feedbacks (Anzahl der Worte pro CEC) lag in einer weiten Bandbreite zwischen 0 und 84 Worten (siehe Tabelle 1 ). Ebenso war die Spezifität des dokumentierten Feedbacks sehr variabel zwischen 0 (unspezifisch: z.B. „Gut“) und 3 oder mehr Aspekten. Typische, spezifische Aspekte des FB zur Durchführung der Tätigkeit waren: Technik, Hygiene, Ablauf und Schnelligkeit, Ruhe bei der Durchführung oder Umgang mit dem Pferd. Im Mittelwert lagen jedoch alle Kliniken bei 11,1 Worten und einer Spezifität von 1,8 sehr nahe bei einander. Umfang und Spezifität sind deutlich miteinander korreliert (r=0,719, p<0,001). Wie erwartet, ist höhere Spezifität im Allgemeinen mit mehr Worten verbunden. Allerdings sinken beide Qualitätsparameter im Laufe der Übungswochen kontinuierlich ab (siehe Tabelle 2 ), bei den Lehrenden ist das Absinken ausgehend von höherem Niveau etwas deutlicher. Sie starten mit ca. 14 Wörtern pro CEC und enden bei ca. 10 Worten. Ähnlich starten die Lehrenden bei einem Wert von 2,1 in der Spezifität, die sich gegen Ende auf 1,5 senkt. Die Eintragungen durch die Lehrenden waren signifikant länger (12,4 versus 9,7) und spezifischer (1,9 versus 1,7), als die der Studierenden (siehe Tabelle 2 ). Dies zeigte sich vor allem in einer hohen Anzahl an hoch spezifischem FB mit drei oder mehr verschiedenen Aspekten. Dies schlug sich auch in einer positiven Effektstärke nieder von Cohens d=0,37 für die Anzahl der Wörter bzw. d=0,21 für die Spezifität. Die Varianzanalyse ergab nur für das Geschlecht von Lehrenden (F[1,2360]=10,4, p=,001, ηp²=,004), bzw. der Kombination von Lehrenden und Studierenden (F[3,2356]=2,94, p=,007, ηp²=,005) einen signifikanten Einfluss: weibliche Lehrende gaben durchschnittlich mehr FB (MW=11,4 Worte, SD=8,0) als männliche Lehrende (MW=10,5 Worte, SD=6,1), besonders zu weiblichen Studierenden (MW=11,5 Worte, SD=8,0).3.3. Differenzierte Eigeneinschätzung der eigenen LeistungDie Seite 3 der CEC mit der Eigeneinschätzung der eigenen Leistung wurde von 2% der Studierenden gar nicht und von immerhin 52% mit Kreuzen einheitlich in einem Extremfeld nur links (5,2% nur „schlecht“) oder nur rechts (46,6% nur „sehr gut“) über alle Items hinweg ausgefüllt. Nur 46% der Studierenden haben diese Seite differenziert ausgefüllt, mit also mindestens einem Kreuz nicht an einer Extremposition. Das Selbst-Eintragen des Feedbacks (vs. das Eintragen durch die Lehrenden) hatte keinen Einfluss auf das Ausmaß der differenzierten Eigeneinschätzung (siehe Tabelle 2 ).3.4. Beurteilung des Feedbacks durch die StudierendenDie Bewertung des Feedbacks auf Seite 4 war im Allgemeinen überwiegend positiv. Es wurde als hilfreich (MW=1,8, SD=0,2) und sehr persönlich (MW=1,5, SD=0,2) angesehen und das Feedback wurde auch meist unmittelbar gegeben (MW=1,6, SD=0,2). Zusätzliche Anmerkungen wurden von 15,6% der Studierenden ausgefüllt. Davon sprachen sich 3,8% positiv über die CEC aus und 9,4% negativ. 2,4% der Anmerkungen betrafen andere Aspekte als das Feedback, wie z.B. Bemerkungen zu den Übungsbedingungen. Das Selbst-Eintragen des Feedbacks (vs. das Eintragen durch die Lehrenden) hatte keinen Einfluss auf die Zufriedenheit mit dem Feedback (siehe Tabelle 2 ).4. Discussion4.1. Feasibility and quality of the CEC interventionThe use of the CECs and handling of all organisational aspects of the study were possible on all wards without any problems. Despite the fact that 6 wards did not have any previous experience with structured FB, the more than 150 teachers and students showed much discipline in providing and writing down FB, as well as in submitting the CECs. The use of 78% of the required cards can be regarded as high; however, the missing 22% may be interpreted as insufficient consequence and conviction on the part of some teachers. The voluntary nature at the “W” clinic resulted in halving the number of cards submitted (40.1%), as well as in using the field “What could be better?” less: Only 47.1% made entries in this field compared to approximately 70% in general. This may indicate that mainly students being very self-confident and having less need for improvement in an activity asked for FB, in terms of self-selection. These students may therefore have used the CEC rather for strengthening their ego than for improving their skills .The FB provided by individual teachers varied considerably with respect to length and specificity. Nevertheless, the assessment of the FB by the students resulted in very good ratings altogether. The FB was rated helpful with an average grade of 1.8 (out of 6 grades). The immediacy of the FB after the observed activity had been finished was also rated very positively at 1.6. Both grades are better than those achieved in the pilot project and possibly reflect an improved training on the teachers’ part through repeated FB workshops. In any case, the CEC proves itself as a tool for regular and satisfactory FB of good quality for students.Female teachers provided more comprehensive FB than male ones. This would be some kind of confirmation of the usual communication stereotypes, which are rather controversial though . Nevertheless, this difference has a rather positive effect on the overall balance in light of this study’s gender distribution (teachers: 79f/21m; students: 81f/19m), ranging within the international average in the field of veterinary medicine nowadays. However, in the course of the semester the readiness to provide and write FB significantly decreased. The reason may be that the motivation for this instruction slowly wore off during this long, intensive practical training time, or may particularly relate to providing and writing down FB. It is also possible that the positive and motivating effect of FB to improve one’s performance by means of FB was not sufficiently noticeable. This could be traced back to the fact that the applicability of the FB was not practical enough, to a lack of repeatability, or to a missing learning alliance with an appropriate strategy for improving the performance , .4.2. Effects of teachers versus students writing down the FBThe evaluation of the question whether FB quantity and quality will be improved if students write down the FB themselves (versus teachers writing down the FB) clearly resulted in rejecting the hypothesis. Teachers definitely wrote down more comprehensive and more specific FB than students. In particular, highly specific FB with at least three commented aspects of the activity was recorded significantly more often by teachers (31.7%) than by students (19.7%). The teachers obviously took sufficient time for providing this FB to be in this lead. The question why students wrote down shorter and less specific FB cannot be answered reliably. One reason may be the additional effort for (and reluctance to) transferring the oral FB into writing on the CEC, even in case of FB aspects identified as being relevant. Some students described this effort as being superfluous in negative comments on the CEC. The personal writing down of FB by students requires the desired stimulation of the students, which was, however, apparently neither represented by longer FB texts nor by higher specificity. Alternatively, it could of course be imaginable in a positive sense that students deemed a few words being sufficient for recording the FB despite the fact that they regarded the FB as highly valuable. One option to analyse the students’ reasons for recording shorter FB is to set up several student focus groups and question them on their experience with the CEC and evaluation results.The proportion of differentiated self-assessment by the students, interpreted by means of the degree of differentiated completion of the Likert self-assessment scale on page 3, was the same size in both trial variants (46% and 47%, respectively). The second hypothesis therefore had to be rejected as well. Of course, it is not possible to estimate reliably the actual reflection of the students on their own performance, apart from the entries on the CEC. The large proportion of sweepingly extreme values, i.e. ticking off everything on the left or the right side of the scale, can be seen as response bias by those just clicking through the answers and thus as resistance to the desired self-assessment and not as sincere reflection . At any rate, this phenomenon was detectable to the same extent on both CEC variants in this study. The quality assessment of the FB by the students was remarkably similar in case of both CEC variants as well. Consequently, the third hypothesis that students will rate FB better if they enter FB themselves has to be rejected, too. 4.3. Sustainable feedback by means of the CEC?A key concern of this study by comparing both CEC variants was to find an efficient method for stimulating students in terms of sustainable FB. Several aspects of this sustainable FB were initiated or tested by the CEC, such as FB quality, strengthening of student participation and self-reflection. The students’ role in particular is of substantial importance for untying the Gordian knot of effective FB . The students’ personal responsibility and their willingness to actively enhance their learning progress are considered key aspects of sustainable feedback . Seeking feedback (intrinsic) may be the first important step in this active learning process. However, the CEC was a prerequisite for completing the clinical exercises (extrinsic) and therefore not truly initiated by the students. On the one hand, the CEC thus seemed to be helpful because a lower threshold for seeking FB had to be overcome; on the other hand, as “compulsory exercise” it may also cause resistance and lead to a refusal of advice. At any rate, the obligation to use CECs has to be seen rather as an obstacle on the way to self-responsible learning, the objective of sustainable FB . The proportion of 9.7% of negative comments shows this resistance. These comments were postulated frequently and in the same words by some clinical training groups. The proportion of negative comments was considerably lower at 4.7% at the “W” clinic, where students used the CEC on a voluntary basis. The more students develop an awareness of their right to receive feedback and the help feedback may provide, the sooner it can be expected that they will actively and readily seek FB. However, the proportion of differentiated self-assessment, if we wish to see it as a sign of positive stimulation, was not larger at the “W” clinic than the ones at the other clinics, despite the voluntary nature of seeking feedback. This problem of stimulating students to reflect on their performance is unfortunately known to be a great challenge .The shorter text length and the lower specificity of the FB written down by the students themselves can indeed not be interpreted as a sign of successful student stimulation. The task of writing down and reflecting on FB, however, was new to the students and may be improved by building up competence in providing and seeking FB over several years. Such a development of competence can be expected with the introduction of the 2014 curriculum in Vienna, offering new communication seminars during which students learn and exercise how to provide and seek FB. This way, FB competence may be acquired gradually as a basis for active learning.We were not able to use important elements of a sustainable FB culture in this study yet. Neither the two-stage assignment approach, i.e. intended repetition of activities after feedback has been received, nor the systematic use of introductory questions to the students were applied: “What do you think: What have you done well, what could you do better?” These methods would promote the FB dialogue and support self-reflection . Hence, it would be possible to take further steps on the long way to a better FB culture in clinical training, where FB dialogue has its place and will become increasingly important in the tense atmosphere of all demands on students and clinicians.4. Diskussion4.1. Durchführbarkeit und Qualität der CEC InterventionDie Nutzung der CEC sowie die Abwicklung aller organisatorischen Aspekte der Studie waren an allen Stationen gut möglich. Obwohl in 6 Abteilungen keine Vorerfahrung mit strukturiertem FB bestand, war bei den über 150 Lehrenden und Studierenden eine hohe Disziplin in dem Geben und Verschriftlichen des FBs sowie dem Abgeben der CECs festzustellen. Die Nutzung von 78% der geforderten Karten kann als hoch angesehen werden, allerdings sind die fehlenden 22% wohl als mangelnde Konsequenz und Überzeugung bei manchen Lehrenden zu interpretieren. Die Freiwilligkeit an der Klinik „W“ führte zu einer Halbierung der abgegebenen Karten (40,1%), sowie zu einer geringeren Nutzung des Feldes „Was könnte besser sein?“, nämlich nur 47,1% verglichen mit den etwa 70% im Allgemeinen. Dies könnte darauf hinweisen, dass hauptsächlich Studierende, die großes Selbstvertrauen und weniger Verbesserungsbedarf bei einer Tätigkeit hatten, um FB gefragt haben, im Sinne einer Selbstselektion. Diese Studierenden könnten also die CEC eher für eine Stärkung des Egos, als zur Verbesserung ihrer Fähigkeiten, genutzt haben .Das gegebene FB variierte bei den einzelnen Lehrenden sowohl in Umfang als auch Spezifität sehr stark. Insgesamt hat die Beurteilung des FB durch die Studierenden aber durchaus sehr gute Werte erbracht. Immerhin wurde das FB mit einer Durchschnittsnote von 1,8 (von 6 Graden) als hilfreich bewertet. Auch die Unmittelbarkeit des FB nach der beobachteten Tätigkeit wurde mit 1,6 sehr positiv bewertet. Beides sind bessere Werte als in dem Pilotprojekt , und könnten Ausdruck einer verbesserten Ausbildung der Lehrenden durch wiederholte FB-Workshops sein. Die CEC bewährt sich jedenfalls als Hilfsmittel für regelmäßiges und die Studierenden zufriedenstellendes FB von guter Qualität.Die weiblichen Lehrenden gaben dabei umfangreicheres FB als die männlichen Lehrenden. Dies wäre eine kleine Bestätigung üblicher Kommunikationsklischees, die aber durchaus umstritten sind . Allerdings wirkt sich dieser Unterschied angesichts der Geschlechterverteilung in dieser Studie (Lehrende: 79w/21m, Studierende: 81w/19m), die im Bereich Veterinärmedizin heute im internationalen Schnitt liegt, durchaus positiv auf die Gesamtbilanz aus. Jedoch nahm im Laufe des Semesters die Bereitschaft zum Geben und Schreiben des FB signifikant ab. Dies könnte mit einer parallel langsam ermüdenden Motivation für diesen Unterricht während dieser langen, intensiven Übungszeit verlaufen oder aber besonders das FB-Geben und -Aufschreiben betreffen. Möglicherweise war der positive, motivierende Effekt des FB, die Möglichkeit seine Leistung durch das FB zu verbessern, nicht ausreichend spürbar. Dies könnte auf eine zu geringe praktische Anwendbarkeit des FB, eine fehlende Wiederholungsmöglichkeit, bzw. auf eine fehlende Lernallianz mit einer entsprechenden Strategie zur Verbesserung der Leistung zurückzuführen sein , .4.2. Effekte des Eintragens des FB durch Lehrende oder StudierendeDie Auswertung der Frage, ob die Quantität und Qualität des FB durch das Verschriftlichen des FB durch die Studierenden (versus durch die Lehrenden) verbessert wird, ergab eindeutig eine Ablehnung der Hypothese. Die Lehrenden hielten schriftlich eindeutig umfangreicheres und spezifischeres FB fest als die Studierenden. Vor allem das hochspezifische FB, mit mindestens 3 kommentierten Aspekten der Tätigkeit, wurde durch die Lehrenden deutlich häufiger festgehalten (31,7%) als von den Studierenden (19,7%). Offensichtlich haben sich die Lehrenden ausreichend Zeit für dieses FB genommen, um diesen Vorsprung zu erreichen. Warum die Studierenden kürzeres und weniger spezifisches FB aufgeschrieben haben, ist nicht sicher zu beantworten. Ein möglicher Grund wäre der zusätzliche Aufwand (und Unwille) für die nötige Übertragung des gehörten FB in die CEC, selbst bei relevant befundenen FB-Aspekten. Dieser Aufwand wurde in manchen negativen Kommentaren zu der CEC als überflüssig beschrieben. Das eigenständige Niederschreiben durch die Studierenden erfordert die an sich gewünschte Aktivierung der Studierenden, die sich aber zumindest nicht offensichtlich in einem größeren Umfang und hoher Spezifität des FB gezeigt hat. Alternativ wäre im positiven Sinn natürlich vorstellbar, dass die Studierenden „für sich“, trotz hohem Wert des FB, wenig Worte für die Dokumentation für ausreichend hielten. Eine Möglichkeit, die Gründe der Studierenden für das knappere Festhalten Feedback zu hinterfragen, wären mehrere Fokusgruppen mit Studierenden zu den Erfahrungen mit der CEC und den Ergebnissen der Auswertungen.Der Anteil an differenzierter Eigeneinschätzung der Studierenden, interpretiert mittels des Ausmaßes an differenziertem Ausfüllen der Likert-Eigeneinschätzung auf Seite 3, war in beiden Versuchsvarianten gleich groß (46% bzw. 47%). Die zweite Hypothese musste daher ebenso abgelehnt werden. Natürlich ist die tatsächliche Reflexion der Studierenden über ihre eigene Leistung, abseits der Eintragungen auf der CEC, nicht sicher abschätzbar. Der hohe Anteil an pauschal extremen Werten, also alles links oder alles rechts anzukreuzen, kann im Sinne der Durchklicker als eine Antworttendenz (response bias), und damit als Widerstand gegen die gewünschte Eigeneinschätzung gesehen werden und nicht als eine echte Reflexion . Dieses Phänomen konnte jedenfalls in beiden Varianten der CEC in dieser Studie in gleichem Ausmaß gefunden werden. Die Beurteilung der Qualität des FB durch die Studierenden war ebenfalls in beiden Varianten der CEC bemerkenswert gleich. Somit muss auch die dritte Hypothese, dass die Studierenden das FB besser beurteilen, wenn sie selber das FB eintragen, verworfen werden. 4.3. Nachhaltiges Feedback mit der CEC?Ein zentrales Anliegen dieser Studie mit dem Vergleich beider CEC-Varianten war es, eine wirksame Methode zur Aktivierung der Studierenden im Sinne eines nachhaltigen FBs zu finden. Mehrere Aspekte diese nachhaltigen FBs wurden auf der CEC angeregt bzw. überprüft, wie die Qualität des FB, die Stärkung der studentischen Beteiligung und ihrer Eigenreflexion. Besonders die studentische Rolle hat bei der Lösung des gordischen Knotens des effektiven FB eine wesentliche Bedeutung . Die studentische Eigenverantwortung und ihr Willen, ihren Lernfortschritt aktiv in die Hand zu nehmen, wird als zentraler Aspekt des nachhaltigen Feedbacks angesehen . Das Bitten um ein Feedback (intrinsisch) kann der erste wichtige Schritt für diesen aktiven Lernprozess sein. Allerdings war die CEC eine Grundbedingung für das Absolvieren der klinischen Übungen (extrinsisch) und daher keine echte Eigeninitiative der Studierenden. Die CEC wirkte so einerseits hilfreich, da eine geringere Schwelle für das Erfragen von FB zu überwinden war, andererseits kann es als „Pflichtübung“ auch zu Widerstand und dem Verweigern des Ratschlages führen. Jedenfalls ist die Verpflichtung, CECs zu verwenden, eher als eine Krücke auf dem Weg zu einem selbstverantwortlichen Lernen, dem Ziel des nachhaltigen FBs, zu sehen . Der Anteil von 9,7% ablehnenden Kommentaren zeigte diese Abwehr, die in manchen Übungsgruppen gehäuft und wortgleich geäußert wurden. In der Klink „W“, in der die CEC nur freiwillig genutzt wurde, war der Anteil der ablehnenden Kommentare mit 4,7% deutlich niedriger. Je mehr die Studierenden ein Bewusstsein für ihr Recht auf ein Feedback und die damit möglichen Hilfen entwickeln, desto eher ist zu erwarten, dass sie FB aktiv und bereitwillig einholen. Allerdings war auch in der Klinik „W“ trotz Freiwilligkeit der Anteil an differenzierter Selbstbeurteilung, wenn man diesen als Zeichen der positiven Aktivierung sehen will, nicht höher als an den anderen Kliniken. Diese Problematik, Studierende zu einer Reflexion über ihre Leistung zu aktivieren, ist leider als große Herausforderung bekannt .Der geringere Umfang und die niedrigere Spezifität des FB, welches die Studierenden selber aufgeschrieben haben, kann wohl nicht als Zeichen einer gelungenen Aktivierung der Studierenden interpretiert werden. Allerdings war diese Aufgabe des FB-Notierens und Reflektierens neu für die Studierenden und könnte über einen mehrjährigen Aufbau von Kompetenz für FB-Geben und -Nehmen verbessert werden. Diese Kompetenzentwicklung kann durch das neue Curriculum 2014 in Wien erwartet werden. In diesem Curriculum lernen und üben die Studierenden in neuen Kommunikationslehrveranstaltungen das FB-Geben und -Nehmen. So kann eine FB-Kompetenz schrittweise als Basis für das eigene Lernen erworben werden.Wichtige Elemente einer nachhaltigen FB-Kultur konnten in dieser Studie noch nicht eingesetzt werden. So kamen weder der Ansatz des „two-stage assignments“, also vorgesehene Wiederholungen von Tätigkeiten nach Erhalt von Feedback, zum Einsatz, noch der systematische Einsatz von Einleitungsfragen an die Studierenden: „Was glauben Sie selbst: Was haben Sie gut gemacht, was könnten Sie besser machen?“ Diese Methoden würden den FB-Dialog fördern und Selbstreflexionen unterstützen . Damit könnten weitere Schritte auf dem längeren Weg zu einer besseren FB-Kultur in der klinischen Ausbildung gesetzt werden, in der ein FB-Dialog im Spannungsfeld aller Anforderungen an Studierende und KlinikerInnen Raum findet und Bedeutung erlangt.5. ConclusionsBy means of CECs and preparatory workshops for teachers, it is possible to achieve structured FB of sound quality for students. The students’ task to record the FB themselves neither leads to a more comprehensive and specific FB nor to a stimulation of differentiated self-assessment. Establishing a sustainable FB culture requires taking further steps in the medium term, such as curricular training in providing and receiving feedback, as well as a deliberate FB alliance between teachers and students, based on a dialogue of trust.5. SchlussfolgerungenMit Hilfe von CECs sowie vorbereitenden Workshops von Lehrenden kann strukturiertes FB mit solider Qualität für Studierende erreicht werden. Die Aufgabe für Studierende, das FB selber zu dokumentieren, führt weder zu umfangreicherem und spezifischerem FB, noch zu einer Aktivierung von differenzierterer Selbstbeurteilung. Die Erreichung einer nachhaltigen FB-Kultur erfordert mittelfristig weitere Schritte, wie z.B. curriculares Training im Geben und Erhalten von Feedback, und eine bewusst gelebte FB-Allianz zwischen Lehrenden und Studierenden, die auf einem vertrauensvollen Dialog basiert.Competing interestsThe authors declare that they have no competing interests. InteressenkonfliktDie Autoren erklären, dass sie keine Interessenkonflikte im Zusammenhang mit diesem Artikel haben.Bok HGTeunissen PWSpruijt AFokkema JPvan Beukelen P Jaarsma DAvan der Vleuten CPClarifying students feedback-seeking behavior in clinical clerkships2013Med Educ282-291Bok HG, Teunissen PW, Spruijt A, Fokkema JP, van Beukelen P Jaarsma DA, van der Vleuten CP. Clarifying students feedback-seeking behavior in clinical clerkships. Med Educ. 2013;47(3):282-291. DOI: 10.1111/medu.12054http://dx.doi.org/10.1111/medu.12054Bok HGTeunissen PWFavier RPRietbroek NJTheyse LFBrommer HHaarhuis JCvan Beukelen Pvan der Vleuten CPJaarsma DAProgrammatic assessment of competency-based workplace learning: when theory meets practice2013BMC Med Educ123Bok HG, Teunissen PW, Favier RP, Rietbroek NJ, Theyse LF, Brommer H, Haarhuis JC, van Beukelen P, van der Vleuten CP, Jaarsma DA. Programmatic assessment of competency-based workplace learning: when theory meets practice. BMC Med Educ. 2013;13:123. DOI: 10.1186/1472-6920-13-123http://dx.doi.org/10.1186/1472-6920-13-123Bok HGJaarsma DASpruijt Avan Beukelen Pvan der Vleuten CPTeunissen PWFeedback-giving behaviour in performance evaluations during clinical clerkships2016Med Teach88-95Bok HG, Jaarsma DA, Spruijt A, van Beukelen P, van der Vleuten CP, Teunissen PW. Feedback-giving behaviour in performance evaluations during clinical clerkships. Med Teach. 2016;38(1):88-95. DOI: 10.3109/0142159X.2015.1017448http://dx.doi.org/10.3109/0142159X.2015.1017448Buchner HHNawrocik DBurger CStudent-initiated feedback using Clinical Encounter Cards during clinical rotations in veterinary medicine: A feasibility study2017J Vet Med Educ1-9Buchner HH, Nawrocik D, Burger C. Student-initiated feedback using Clinical Encounter Cards during clinical rotations in veterinary medicine: A feasibility study. J Vet Med Educ. 2017;45(1):1-9. DOI: 10.3138/jvme.0316-073Rhttp://dx.doi.org/10.3138/jvme.0316-073RBurke DStrategies for using feedback students bring to higher education2009Assess Eval High Educ41-50Burke D. Strategies for using feedback students bring to higher education. Assess Eval High Educ. 2009;34(1):41-50. DOI: 10.1080/02602930801895711http://dx.doi.org/10.1080/02602930801895711Carless DSalter DYang MLam JDeveloping sustainable feedback practices2011Stud High Educ395-407Carless D, Salter D, Yang M, Lam J. Developing sustainable feedback practices. Stud High Educ. 2011;36(4):395-407. DOI: 10.1080/03075071003642449http://dx.doi.org/10.1080/03075071003642449Crommelink MAnseel FUnderstanding and encouraging feedback-seeking behavior: A literature review2013Med Educ232-241Crommelink M, Anseel F. Understanding and encouraging feedback-seeking behavior: A literature review. Med Educ. 2013;47(3):232-241. DOI: 10.1111/medu.12075http://dx.doi.org/10.1111/medu.12075Ende JFeedback in clinical medical education1983JAMA777-781Ende J. Feedback in clinical medical education. JAMA. 1983;250(6):777-781. DOI: 10.1001/jama.1983.03340060055026http://dx.doi.org/10.1001/jama.1983.03340060055026Galbraith RMGot Feedback?2013Med Educ224-225Galbraith RM. Got Feedback? Med Educ. 2013;47(3):224-225. DOI: 10.1111/medu.12120http://dx.doi.org/10.1111/medu.12120Gil DHHeins MJones PPerceptions of medical school faculty members and students on clinical clerkship feedback1984J Med Educ856-864Gil DH, Heins M, Jones P. Perceptions of medical school faculty members and students on clinical clerkship feedback. J Med Educ. 1984;59(11 Pt 1):856-864. DOI: 10.1097/00001888-198411000-00003http://dx.doi.org/10.1097/00001888-198411000-00003Häcker HOResponse set2014Wirtz MA (Hrsg): Dorsch - Lexikon der PsychologieHäcker HO. Response set. In: Wirtz MA (Hrsg): Dorsch - Lexikon der Psychologie. 18..Auflage. Bern: Verlag Hans Huber; 2014. Zugänglich unter/available from: https://portal.hogrefe.com/dorsch/response-set/https://portal.hogrefe.com/dorsch/response-set/Hattie JTimperley HThe power of feedback2007Rev Educ Res81-112Hattie J, Timperley H. The power of feedback. Rev Educ Res. 2007;77(1):81-112. DOI: 10.3102/003465430298487http://dx.doi.org/10.3102/003465430298487Hounsell DTowards more sustainable feedback to students2007Rethinking assessment in higher education101-113Hounsell D. Towards more sustainable feedback to students. In: Boud D, Falchikov N (Hrsg). Rethinking assessment in higher education. London: Routledge; 2007. S.101-113.Kluger ANDeNisi AThe Effects of Feedback Interventions on Performance: A Historical Review, a Meta-Analysis, and a Preliminary Feedback Intervention Theory1996Psychol Bull254-284Kluger AN, DeNisi A. The Effects of Feedback Interventions on Performance: A Historical Review, a Meta-Analysis, and a Preliminary Feedback Intervention Theory. Psychol Bull. 1996;119(2):254-284. DOI: 10.1037/0033-2909.119.2.254http://dx.doi.org/10.1037/0033-2909.119.2.254Mehl MRVazire SRamirez-Esparza NSlatcher RBPennebaker WAre Women Really More Talkative Than Men?2007Science82Mehl MR, Vazire S, Ramirez-Esparza N, Slatcher RB, Pennebaker W. Are Women Really More Talkative Than Men?. Science. 2007;317(5834):82. DOI: 10.1126/science.1139940http://dx.doi.org/10.1126/science.1139940Molloy EBoud DSeeking a different angle on feedback in clinical education: the learner as seeker, judge and user of performance information2013Med Educ227-229Molloy E, Boud D. Seeking a different angle on feedback in clinical education: the learner as seeker, judge and user of performance information. Med Educ. 2013;47(3):227-229. DOI: 10.1111/medu.12116http://dx.doi.org/10.1111/medu.12116Nicol DJMacfarlane-Dick DFormative assessment and selfregulated learning: a model and seven principles of good feedback practice2006Stud High Educ199-218Nicol DJ, Macfarlane-Dick D. Formative assessment and selfregulated learning: a model and seven principles of good feedback practice. Stud High Educ. 2006;31(2):199-218. DOI: 10.1080/03075070600572090http://dx.doi.org/10.1080/03075070600572090Paukert JLRichards MLOlney CAn encounter card system for increasing feedback to students2002Am J Surg300-30Paukert JL, Richards ML, Olney C. An encounter card system for increasing feedback to students. Am J Surg. 2002;183(3):300-30. DOI: 10.1016/S0002-9610(02)00786-9http://dx.doi.org/10.1016/S0002-9610(02)00786-9Pelgrim EAKramer AWHow can medical education benefit from the evidence on learners seeking and using feedback?2013Med Educ225-227Pelgrim EA, Kramer AW. How can medical education benefit from the evidence on learners seeking and using feedback?. Med Educ. 2013;47(3):225-227. DOI: 10.1111/medu.12128http://dx.doi.org/10.1111/medu.12128Perera JLee NWin KPerera JWijesuriya LFormative feedback to students: The mismatch between faculty perceptions and student expectations2008Med Teach395-399Perera J, Lee N, Win K, Perera J, Wijesuriya L. Formative feedback to students: The mismatch between faculty perceptions and student expectations. Med Teach. 2008;30(4):395-399. DOI: 10.1080/01421590801949966http://dx.doi.org/10.1080/01421590801949966Ramani SReflections on feedback: Closing the loop2016Med Teach206-207Ramani S. Reflections on feedback: Closing the loop. Med Teach. 2016;38(2):206-207. DOI: 10.3109/0142159X.2015.1044950http://dx.doi.org/10.3109/0142159X.2015.1044950Richards MLPaukert JLDowning SMBordage GReliability and usefulness of clinical encounter cards for a third year surgical clerkship2007J Surg Res139-148Richards ML, Paukert JL, Downing SM, Bordage G. Reliability and usefulness of clinical encounter cards for a third year surgical clerkship. J Surg Res. 2007;140(1):139-148. DOI: 10.1016/j.jss.2006.11.002http://dx.doi.org/10.1016/j.jss.2006.11.002Telio SAjjawi RRegehr GThe "Educational Alliance" as a Framework for Reconceptualizing Feedback in Medical Education2015Acad Med609-614Telio S, Ajjawi R, Regehr G. The "Educational Alliance" as a Framework for Reconceptualizing Feedback in Medical Education. Acad Med. 2015;90(5):609-614. DOI: 10.1097/ACM.0000000000000560http://dx.doi.org/10.1097/ACM.0000000000000560Tyler SWHertel PTMcCallum MCEllis HCCognitive effort and memory1979J Exp Psychol Hum Learn607-617Tyler SW, Hertel PT, McCallum MC, Ellis HC. Cognitive effort and memory. J Exp Psychol Hum Learn. 1979;5(6):607-617. DOI: 10.1037/0278-7393.5.6.607http://dx.doi.org/10.1037/0278-7393.5.6.607Veloski JBoex JRGrasberger MJEvans AWolfson DBSystematic review of the literature on assessment, feedback and physicians' clinical performance 1: BEME Guide No. 72006Med Teach117-128Veloski J, Boex JR, Grasberger MJ, Evans A, Wolfson DB. Systematic review of the literature on assessment, feedback and physicians' clinical performance 1: BEME Guide No. 7. Med Teach. 2006;28(2):117-128. DOI: 10.1080/01421590600622665http://dx.doi.org/10.1080/01421590600622665Voyer SCuncic CButler DLMacNeil KWatling CHatala RInvestigating conditions for meaningful feedback in the context of an evidence-based feedback programme2016Med Educ943-954Voyer S, Cuncic C, Butler DL, MacNeil K, Watling C, Hatala R. Investigating conditions for meaningful feedback in the context of an evidence-based feedback programme. Med Educ. 2016;50(9):943-954. DOI: 10.1111/medu.13067http://dx.doi.org/10.1111/medu.13067Watling CJUnfulfilled promise, untapped potential: Feedback at the crossroads2014Med Teach692-697Watling CJ. Unfulfilled promise, untapped potential: Feedback at the crossroads. Med Teach. 2014;36(8):692-697. DOI: 10.3109/0142159X.2014.889812http://dx.doi.org/10.3109/0142159X.2014.889812Weinstein DFFeedback in Clinical Education: Untying the Gordian Knot2015Acad Med559-561Weinstein DF. Feedback in Clinical Education: Untying the Gordian Knot. Acad Med. 2015;90(5):559-561. DOI: 10.1097/ACM.0000000000000559http://dx.doi.org/10.1097/ACM.0000000000000559
11en1de
Table 1: Typical examples of short and long feedback
Tabelle 1: Typische Beispiele für kurzes und langes Feedback
22en2de
Table 2: Quality of feedback recorded either by the teachers or by the students themselves and effects on the students’ self-assessment and their impression of the feedback quality
Tabelle 2: Qualität des Feedback, welches durch die Lehrenden oder die Studierenden selbst eingetragen wurde und die Effekte auf die Eigeneinschätzung der Studierenden und ihrem Eindruck über die Feedback-Qualität.
211en1de
Figure 1: Sustainable feedback
Abbildung 1: Nachhaltiges Feedback
22en2de
Figure 2: Type 2 clinical encounter card (FB entry by students)
Abbildung 2: Feedback Karte eines Typ 2 (Eintragung des FB durch Studierende)