zma001069 10.3205/zma001069 urn:nbn:de:0183-zma0010699 article Artikel Arbeitsplatzbasiertes Assessment kommunikativer Kompetenz – ein Pilotprojekt zur Praktikabilität, Akzeptanz und Reliabilität Weyers Weyers Simone S Dr.

Heinrich-Heine-Universität Düsseldorf, Universitätsklinikum Düsseldorf - Centre for Health and Society (CHS), Institut für Medizinische Soziologie, Universitätsstraße 1, D-40225 Düsseldorf, Germany, Phone: +49 (0)211/81-14825, Fax: +49 (0)211/81-12390Heinrich-Heine-Universität Düsseldorf, Universitätsklinikum Düsseldorf - Centre for Health and Society (CHS), Institut für Medizinische Soziologie, Düsseldorf, Germany

Heinrich-Heine-Universität Düsseldorf, Universitätsklinikum Düsseldorf - Centre for Health and Society (CHS), Institut für Medizinische Soziologie, Universitätsstraße 1, 40225 Düsseldorf, Deutschland, Tel.: +49 (0)211/81-14825, Fax: +49 (0)211/81-12390Heinrich-Heine-Universität Düsseldorf, Universitätsklinikum Düsseldorf - Centre for Health and Society (CHS), Institut für Medizinische Soziologie, Düsseldorf, Deutschland

Simone.Weyers@uni-duesseldorf.de author Jemi Jemi Iman I

Johannes Gutenberg-Universität Mainz, Mainz, Germany

Johannes Gutenberg-Universität Mainz, Mainz, Deutschland

author Karger Karger André A

Heinrich-Heine-Universität Düsseldorf, Universitätsklinikum Düsseldorf, Klinisches Institut für Psychosomatische Medizin und Psychotherapie, Düsseldorf, Germany

Heinrich-Heine-Universität Düsseldorf, Universitätsklinikum Düsseldorf, Klinisches Institut für Psychosomatische Medizin und Psychotherapie, Düsseldorf, Deutschland

andre.karger@med.uni-duesseldorf.de author Raski Raski Bianca B

Heinrich-Heine-Universität Düsseldorf, Universitätsklinikum Düsseldorf, Klinisches Institut für Psychosomatische Medizin und Psychotherapie, Düsseldorf, Germany

Heinrich-Heine-Universität Düsseldorf, Universitätsklinikum Düsseldorf, Klinisches Institut für Psychosomatische Medizin und Psychotherapie, Düsseldorf, Deutschland

bianca.raski@med.uni-duesseldorf.de author Rotthoff Rotthoff Thomas T

Heinrich-Heine-Universität Düsseldorf, Universitätsklinikum Düsseldorf, Studiendekanat, Düsseldorf, Germany Heinrich-Heine-Universität Düsseldorf, Universitätsklinikum Düsseldorf, Klinik für Endokrinologie und Diabetologie, Düsseldorf, Germany

Heinrich-Heine-Universität Düsseldorf, Universitätsklinikum Düsseldorf, Studiendekanat, Düsseldorf, Deutschland Heinrich-Heine-Universität Düsseldorf, Universitätsklinikum Düsseldorf, Klinik für Endokrinologie und Diabetologie, Düsseldorf, Deutschland

rotthoff@med.uni-duesseldorf.de author Pentzek Pentzek Michael M

Heinrich-Heine-Universität Düsseldorf, Universitätsklinikum Düsseldorf, Institut für Allgemeinmedizin, Düsseldorf, Germany

Heinrich-Heine-Universität Düsseldorf, Universitätsklinikum Düsseldorf, Institut für Allgemeinmedizin, Düsseldorf, Deutschland

pentzek@med.uni-duesseldorf.de author Mortsiefer Mortsiefer Achim A

Heinrich-Heine-Universität Düsseldorf, Universitätsklinikum Düsseldorf, Institut für Allgemeinmedizin, Düsseldorf, Germany

Heinrich-Heine-Universität Düsseldorf, Universitätsklinikum Düsseldorf, Institut für Allgemeinmedizin, Düsseldorf, Deutschland

achim.mortsiefer@med.uni-duesseldorf.de author German Medical Science GMS Publishing House

Düsseldorf

610 Communication competency workplace based assessment formative assessment Kommunikative Kompetenz arbeitsplatzbasierte Prüfung formative Prüfung Assessment Prüfungen 20160122 20160624 20160722 20161115 engl germ This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). 2366-5017 33 5 GMS Journal for Medical Education GMS J Med Educ 70 Hintergrund: Die Vermittlung kommunikativer Kompetenzen hat eine größere Bedeutung in den Curricula der Humanmedizin bekommen. Ergänzend zu standardisierten Prüfungen sollten Studierende im Rahmen arbeitsplatzbasierter Prüfungen in realen klinischen Situationen mit richtigen Patienten kommunizieren und ein strukturiertes Feedback bekommen. Ziel des Projektes war, eine solche formative Prüfmethode zum arbeitsplatzbasierten Assessment zu pilotieren. Von besonderem Interesse war zu ermitteln, ob Ärzt/innen die Methode für praktikabel halten und inwiefern die Studierenden sie akzeptieren. Darüber hinaus sollte die Reliabilität der Methode eingeschätzt werden.Methode: Hierzu führten 16 Studierende in ihren hausärztlichen Lehrpraxen je zwei Beratungsgespräche mit chronisch kranken Patienten und zeichneten diese per Video auf. Bewertung und Feedback erfolgten jeweils unmittelbar nach dem Gespräch durch den geschulten Lehrarzt anhand des Berlin Global Rating (BGR). Ferner erfolgte eine Bewertung der Gespräche mit dem BGR durch zwei externe geschulte Prüfer anhand der Videos. Die Angaben der Ärzte und Studierenden zur Praktikabilität und Akzeptanz wurden schriftlich und teilstandardisiert erhoben und quantitativ sowie qualitativ ausgewertet. Zur Prüfung der Reliabilität wurde die Retest-Reliabilität der beiden Gesamtbewertungen durch die jeweiligen Prüfer berechnet sowie die Inter-Rater-Reliabilität der drei Bewertungen aller Einzelgespräche. Ergebnisse: Die formative Prüfmethode wird von den Ärzten und Studierenden als gut bewertet. Sie ist relativ gut in den Arbeitsalltag zu integrieren. Der besondere Mehrwert besteht im persönlichen, strukturierten und wiederholten Feedback. Die beiden Gesamtbewertungen des Patientengespräches durch den jeweiligen Prüfer korrelieren mäßig. Die Übereinstimmung der drei Prüfer hinsichtlich der Einzelgespräche ist gering. Diskussion: Im Rahmen des Pilotprojektes konnte nur eine kleine Stichprobe von Ärzten und Studierenden in begrenztem Umfang befragt werden. Hierbei ergaben sich Hinweise zur Verbesserung der Prüfung durch die Integration von Kontextinformationen und studentischen Selbsteinschätzungen. Trotz der bislang noch vorhandenen Einschränkungen bezüglich der Testgüte ist deutlich geworden, dass die arbeitsplatzbasierte Bewertung kommunikativer Kompetenzen im klinischen Setting eine sinnvolle Ergänzung im Kommunikations-Curriculum einer medizinischen Fakultät ist. Background: Imparting communication skills has been given great importance in medical curricula. In addition to standardized assessments, students should communicate with real patients in actual clinical situations during workplace-based assessments and receive structured feedback on their performance. The aim of this project was to pilot a formative testing method for workplace-based assessment. Our investigation centered in particular on whether or not physicians view the method as feasible and how high acceptance is among students. In addition, we assessed the reliability of the method.Method: As part of the project, 16 students held two consultations each with chronically ill patients at the medical practice where they were completing GP training. These consultations were video-recorded. The trained mentoring physician rated the student’s performance and provided feedback immediately following the consultations using the Berlin Global Rating scale (BGR). Two impartial, trained raters also evaluated the videos using BGR. For qualitative and quantitative analysis, information on how physicians and students viewed feasibility and their levels of acceptance was collected in written form in a partially standardized manner. To test for reliability, the test-retest reliability was calculated for both of the overall evaluations given by each rater. The inter-rater reliability was determined for the three evaluations of each individual consultation.Results: The formative assessment method was rated positively by both physicians and students. It is relatively easy to integrate into daily routines. Its significant value lies in the personal, structured and recurring feedback. The two overall scores for each patient consultation given by the two impartial raters correlate moderately. The degree of uniformity among the three raters in respect to the individual consultations is low.Discussion: Within the scope of this pilot project, only a small sample of physicians and students could be surveyed to a limited extent. There are indications that the assessment can be improved by integrating more information on medical context and student self-assessments. Despite the current limitations regarding test criteria, it is clear that workplace-based assessment of communication skills in the clinical setting is a valuable addition to the communication curricula of medical schools. 1. Introduction1.1 BackgroundIn the international and German recommendations for designing curricula for medical degree programs, teaching communication skills is identified as one of the core objectives for successful medical education , , . Programs have already been implemented at many German medical schools to teach and assess social and communicative competencies , , , . At the University of Düsseldorf the interdisciplinary and longitudinal curriculum CoMeD has been put into place for teaching and testing communication skills. Assessment procedures have previously focused on basic and practical knowledge, as well as the application of what has been learned during an OSCE (Objective Structured Clinical Examination) using actors .In addition, workplace-based learning at stations and GP training practices is seen as essential to the acquisition of communication skills and competencies , . During clinical clerkships and practicums, physicians-to-be need to practice their skills communicating with patients in supervised surroundings. Students frequently feel they are left on their own and desire more active instruction and feedback from experienced physicians , . In contrast to the often well-structured and supervised training sessions and seminars in the Skills Lab and the theoretical subjects , the learning process that takes place during a practicum is not adequately guided , . Consequently, the question arises as to which formative assessment methods can be employed during the practicum to foster and structure the student learning process as it relates to communication.The aim of a workplace-based assessment is to observe specific student performance during routine clinical work and to provide feedback to guide learning , , . In medical education, structured observation and feedback in the workplace often concentrate on practical skills such as anamnesis or physical examination techniques. At present there are very few instruments available for differentiated workplace-based assessment of communicative competencies in complex doctor-patient interactions. Global ratings are more likely to be recommended for this purpose, as are methods for giving direct feedback to students , . In this project the Berlin Global Rating (BGR) scale, which has been successfully used in summative simulation assessments , has been transferred to the practicum and drawn upon for the workplace-based, formative assessment of communication skills. To our knowledge, no prior experience with this has been gathered.1.2 Project aimsThe goal of this pilot project was to test the possibilities and limits of a workplace-based assessment of doctor-patient communication using BGR that evaluates student performance in the clinical setting and provides structured feedback. Answers to the following questions were sought:Is a formative workplace-based assessment using BGR feasible within the setting of a general medical practice?What is the level of acceptance among students for this assessment method?How reliable is BGR as a test instrument for the workplace-based assessment? 1. Einleitung1.1 HintergrundDie Vermittlung kommunikativer Kompetenzen wird in den nationalen und internationalen Empfehlungen für die curriculare Ausgestaltung des Medizinstudiums als eines der Kernziele für eine erfolgreiche ärztliche Ausbildung angesehen , , . An vielen medizinischen Fakultäten wurden bereits Programme zur Lehre und Prüfung sozialer und kommunikativer Kompetenzen implementiert , , , . Am Standort Düsseldorf wurde das interdisziplinäre und longitudinale Curriculum CoMeD zur Lehre und Prüfung kommunikativer Kompetenzen etabliert. Prüfverfahren fokussieren bisher v.a. auf Basis- und Anwendungswissen sowie die Anwendung des Gelernten im Rahmen eines OSCE (Objective Structured Clinical Examination) mit Schauspielpatienten .Darüber hinaus wird für den Erwerb kommunikativer Kompetenzen das arbeitsplatzbasierte Lernen auf Stationen und in Lehrpraxen als essenziell angesehen , . Im Rahmen klinischer Praktika sollen die angehenden Ärzt/innen ihre kommunikativen Kompetenzen im Patientenkontakt unter Supervision einüben. Häufig fühlen sich die Studierenden dabei jedoch allein gelassen und vermissen Anleitung und Feedback durch erfahrene Ärzte , . Im Gegensatz zu den oft gut strukturierten und supervidierten Trainings- und Seminarprogrammen der „Skills Labs“ und der theoretischen Fächer wird der Lernprozess in den Praktika nur unzureichend unterstützt , . Es stellt sich somit die Frage, mit welchen formativen Prüfungsmethoden der kommunikationsbezogene Lernprozess der Studierenden am Praktikumsplatz gefördert und strukturiert werden kann. Ziel eines sogenannten „arbeitsplatzbasierten Assessment“ ist die Beobachtung der spezifischen Leistung von Studierenden im Praxisalltag und die Gabe von Feedback zur Lernsteuerung , , . Strukturierte Beobachtung und Feedback am Arbeitsplatz konzentrieren sich im Medizinstudium vielfach auf praktische Fertigkeiten wie Anamneseerhebung oder körperliche Untersuchungstechniken. Für das differenzierte arbeitsplatzbasierte Assessment kommunikativer Kompetenzen in komplexen Arzt-Patienten-Interaktionen sind bisher kaum Instrumente verfügbar. Hierbei werden eher Globale Ratings empfohlen sowie Verfahren zur unmittelbaren Rückmeldung an Studierende , . Im vorliegenden Projekt wurde das Berlin Global Rating (BGR), welches in der summativen Simulationsprüfung bisher erfolgreich eingesetzt wurde , in den Praktikumsalltag transferiert und für das arbeitsplatzbasierte formative Assessment der kommunikativen Kompetenzen herangezogen. Hierzu gibt es unseres Wissens noch keine Erfahrungen. 1.2 ProjektzieleZiel des Pilotprojektes war, die Möglichkeiten und Grenzen eines anhand des BGR vorgenommenen arbeitsplatzbasierten Assessments zur Arzt-Patienten-Kommunikation zu erproben, welches die Studierenden im klinischen Setting beurteilt und strukturiertes Feedback ermöglicht. Folgende Fragen sollten beantwortet werden:Ist ein formatives arbeitsplatzbasiertes Assessment mit Hilfe des BGR im hausärztlichen Arbeitsalltag praktikabel?Wie ist die Akzeptanz der Prüfmethode bei den Studierenden?Wie ist die Reliabilität des Prüfungsinstruments BGR im arbeitsplatzbasierten Assessment? 2. Methods2.1 Project planning and recruitmentRepresentatives from the subjects covered by the communication curriculum participated in regular meetings concerning the design and development of the workplace-based assessment. Organization and realization took place over the course of a year through the efforts of a graduate assistant.The resulting assessment was administered as part of the 14-day practicum in general practice during the fourth year of study for which students are prepared in case-based seminars on general medicine and training sessions on communication . One of the main learning objectives is independently holding patient consultations. Students are supervised and guided by mentoring physicians who serve as medical student trainers in one-on-one teaching sessions. Students also have access to an online logbook .First, only mentoring physicians with GBR training were recruited for the pilot project. All students who were doing their GP practicum at one of these practices were then invited to voluntarily participate in the project. Efforts were made to increase the response rate by holding informational meetings and approaching individuals personally. As a result, 16 students agreed to participate and, using a set of guidelines, were informed about the project’s aims and procedure. Student participation was rewarded with a 20 Euro gift certificate for books. The students were each assigned to one of nine medical practices. The participating nine mentoring physicians were then informed in detail a second time and given instructions based on the guidelines.The mentoring physician selected and briefed the patients on-site at the practice. Patients were given written information explaining the study procedure before they gave their consent to participate and be recorded on video; participating patients also acknowledged the provisions for data privacy.2.2 Assessment of communicative competencies using the Berlin Global Rating ScaleThe BGR scale developed by Hodges and McIlroy and validated in German by Scheffer was used as a test instrument for the workplace-based assessment. The BGR scale measures the quality of communication with four items: empathy, structuring doctor-patient conversations, verbal and nonverbal expression. Using a five-point Likert scale, student performance regarding these aspects is rated, with clear definition of the extremes (e.g. for empathy: “The student does not respond or responds inappropriately to obvious verbal and nonverbal cues or the needs of the patient”=1 point versus “The student consistently responds with understanding to verbal and nonverbal cues and the needs of the patient or responds in an appropriate manner”=5 points). Students can earn a maximum of 20 points.2.3 Data collection and analysisStudents were assigned the task of holding and recording two consultations at the practice with chronically ill patients (e.g. within the context of a disease management program or check-up). Recording devices were borrowed from the university; students were explicitly asked not to use cell phones to record. The mentoring physician observed and rated the student’s performance according to the four BGR items. Detailed feedback was then given at the end. As an aid, there was an information sheet with concrete recommendations for giving feedback on each of the items (see attachment 1 ).After completion of the practicum, the video recordings were given to the project team so that consultations could be blindly evaluated by two independent raters. This task was also assumed by other persons who were familiar with BGR. As a result each consultation was evaluated by three different raters.Finally, the nine mentoring physicians were surveyed using a partially standardized questionnaire regarding the feasibility of the assessment method in the context of routine clinical practice. Information was collected on sociodemographic profile, amount of time (four-point scale from “very time intensive” to needing “very little time”), and the overall evaluation of the assessment method (expressed as a standardized academic grade). In open-ended responses physicians were also able to comment on the reactions of the patients, practicability in terms of daily workloads, added value, transferability, and suggestions for improvement.Students were asked in writing about their experiences and overall evaluation of the assessment method (also expressed as a standardized academic grade). In open-ended responses they were able to share what they considered positive about the assessment method, and what they thought was problematic.2.4 AnalysesThe quantitative information contained in the physician surveys was scrutinized to ascertain the ease with which the assessment method could be incorporated into daily routines. The open-ended responses were paraphrased, parsed and condensed using summarizing content analysis. To determine the level of acceptance among students, the content of their open-ended responses was also evaluated by content analysis.To verify the test-retest reliability, both overall evaluations of each rater were correlated using Pearson’s correlation coefficient (p<=0.05). The inter-rater reliability, meaning the correlation between the mentoring physician and the two impartial raters, who only viewed the video material, was calculated as an intra-class correlation (ICC) (type C, model with mixed two-way effects, 95% confidence interval; see attachment 2 ). Values greater than 0.75 indicate good reliability . The quantitative analyses were performed with IBM SPSS Statistics 22. 2. Methoden2.1 Projektplanung und RekrutierungAn der konzeptuellen Entwicklung des arbeitsplatzbasierten Assessments beteiligten sich die am Kommunikations-Curriculum beteiligten Fächer im Rahmen regelmäßiger Sitzungen. Die Organisation und Durchführung wurde über ein Jahr von einer wissenschaftlichen Hilfskraft vorgenommen.Das resultierende Assessment wurde im Rahmen des 14-tägigen Hausarztpraktikums im 4. Studienjahr durchgeführt, welches durch fallorientierte Seminare „Allgemeinmedizin“ und Kommunikationstraining vorbereitet wird . Eines der zentralen Lernziele ist die selbständige Durchführung von Beratungs- und Aufklärungsgesprächen. Die Studierenden werden dabei durch Lehrärzt/innen im „Ein-zu-Eins“-Teaching sowie durch ein Online-Logbuch begleitetet .Für das Pilotprojekt wurden zunächst ausschließlich Lehrärzt/innen rekrutiert, die im Umgang mit dem BGR geschult waren. Zur freiwilligen Teilnahme wurden dann alle Studierenden eingeladen, die ihr Hausarztpraktikum zeitnah in einer dieser Lehrpraxen absolvierten. Durch Informationsveranstaltungen und persönliche Ansprachen sollte der Rücklauf gesteigert werden. Infolge willigten sechzehn Studierende zur Teilnahme ein. Diese wurden über Projektziele und -ablauf aufgeklärt und mit einem Leitfaden instruiert. Die Teilnahme der Studierenden wurde mit einem Buchgutschein über 20 Euro honoriert. Die Studierenden waren auf neun Lehrpraxen verteilt. Die somit teilnehmenden neun Lehrärzt/innen wurden dann nochmal ausführlich informiert und ebenfalls mit einem Leitfaden zum Ablauf instruiert.Die Auswahl und Aufklärung der Patienten übernahm der Lehrarzt vor Ort. Den Patient/innen wurde ein Informationsblatt zum Studienablauf ausgehändigt und es wurde die Einwilligungserklärung zu Teilnahme, Videoaufzeichnung und Datenschutz eingeholt. 2.2 Prüfung kommunikativer Kompetenzen mit dem Berlin Global RatingFür das arbeitsplatzbasierte Assessment wurde das Prüfungsinstrument BGR eingesetzt, welches von Hodges und McIlroy entwickelt und in der deutschen Version durch Scheffer validiert wurde. Das BGR misst die Qualität der Kommunikation mittels vier Items: Empathie, Gesprächsstrukturierung, verbaler und nonverbaler Ausdruck. Anhand einer fünfstufigen Likertskala wird die Leistung der Studierenden hinsichtlich dieser Aspekte bewertet, wobei die Extrempole mit einer Erläuterung versehen sind (z.B. Empathie: „Der Studierende geht nicht auf offensichtliche verbale und nonverbale Hinweise und Bedürfnisse des Patienten ein oder reagiert unangemessen.“ = 1 Punkt vs. „Der Studierende geht durchgehend verständnisvoll auf die verbalen und nonverbalen Hinweise und Bedürfnisse des Patienten ein oder reagiert angemessen.“ = 5 Punkte). Studierende können max. 20 Gesamtpunkte erreichen. 2.3 Datenerhebung und BewertungDie Studierenden erhielten die Aufgabe, je zwei Aufklärungs- oder Beratungsgespräche mit chronisch kranken Patient/innen (z.B. im Rahmen von Disease-Management-Programmen oder Gesundheitsuntersuchungen) in ihrer Lehrpraxis zu führen und aufzuzeichnen. Für die Aufzeichnung bekamen sie Videogeräte der Universität ausgeliehen. Von einer Aufzeichnung per Handy wurde explizit abgesehen. Der Lehrarzt war als Beobachter anwesend, um nach dem Gespräch die Leistung des Studierenden anhand der vier Items des BGR zu bewerten. Abschließend erfolgte ein ausführliches Feedback. Zur Unterstützung waren für jedes Item konkrete Empfehlungen zum Verhaltensfeedback in einem Merkblatt formuliert worden (siehe Anhang 1 ).Nach dem Praktikum wurden die Videoaufnahmen im Projektteam abgegeben, so dass die Gespräche jeweils von zwei unabhängigen externen Prüfern verblindet beurteilt werden konnten. Diese Aufgabe wurde ebenfalls von Personen übernommen, welche mit dem BGR vertraut waren. Damit wurde jedes Gespräch von drei Prüfern beurteilt. Schließlich wurden die neun Lehrärzte mit einem teilstandardisierten Fragebogen zur Anwendbarkeit der Prüfmethode im Arbeitsalltag befragt. Es wurden soziodemographische Daten, Zeitaufwand (4er-Skala von „sehr“ bis „gar nicht zeitaufwändig“) und die allgemeine Beurteilung der Prüfmethode (Schulnote) erhoben. Im Freitext konnten sich die Ärzt/innen darüber hinaus zu Reaktionen der Patienten, Umsetzbarkeit im Alltag, Mehrwert, Übertragbarkeit und Ergänzungen äußern. Die Studierenden wurden schriftlich nach ihren Erfahrungen und der allgemeine Beurteilung der Prüfmethode (Schulnote) gefragt. Im Freitext konnten sie mitteilen, was sie am Prüfverfahren als positiv wahrgenommen und was sie als problematisch erlebt haben. 2.4 AnalysenUm die Praktikabilität im Arbeitsalltag auszumachen, wurden die im ärztlichen Fragebogen vorgenommenen quantitativen Angaben ausgezählt. Die Freitexteinträge wurden mittels zusammenfassender Inhaltsanalyse paraphrasiert, reduziert und zusammengefasst. Um die Akzeptanz der Studierenden abzuschätzen, wurden ihre Freitexteinträge ebenfalls inhaltanalytisch ausgewertet. Zur Prüfung der Retest-Reliabilität wurden die beiden Gesamtbewertungen des jeweiligen Prüfers anhand des Pearson Korrelationskoeffizienten korreliert (p<=0,05). Die Inter-Rater-Reliabilität, d.h. die Übereinstimmung zwischen dem Hausarzt und den beiden externen Prüfern, die nur das Videomaterial sahen, wurde als Intra-Class-Correlation (ICC) ermittelt (Typ C, Modell mit gemischten Zwei-Weg-Effekten, 95% Konfidenzintervall, siehe Anhang 2 ). Werte über 0,75 verweisen auf eine gute Reliabilität . Die quantitativen Analysen wurden mit IBM SPSS Statistics 22 durchgeführt. 3. Results3.1 Project participants and data materialOf the mentoring physicians, three were female and six male. The mean age was 49.6 years with the mean length of professional experience in general practice amounting to 17.7 years.In addition, 12 female and four male students participated in the pilot and were assigned among nine GP training practices. At the time of the project the students were in their eighth semester of medical study. With only one exception, each student recorded two consultations resulting in a total of 31 consultations for analysis. The results are presented in terms of the three main issues.3.2 FeasibilityPracticability on a daily basis: seven of nine physicians reported having no problems implementing the assessment method. Two physicians stated that it can be difficult to implement depending on the patients coming into the practice, for instance, if there is insufficient space available for the assessment, or if the mentoring physician does not have enough time due to emergencies. The amount of time needed was viewed as being neither great, nor particularly small (see Table 1 ).Added value: In response to the question about the added value of the assessment method, two respondents named the feedback, two respondents the self-observation and gain in self-knowledge, and one person identified the reward of empathetic communication techniques. One person stated that the OSCE to assess communicative competencies with actors standing in for patients was sufficient.Transferability: Eight of nine physicians were of the opinion that the method can be transferred to other communicative contexts, for example, for anamnesis or setting therapy goals. One person viewed the transferability as challenging.Improvements: In response to the question about what could be added to the evaluation criteria, one person suggested a comparison between the self-assessment and those by observers. Another person recommended giving more detailed information on the context for the consultation; a third person proposed that the medical expertise of the students also be evaluated.On average, the mentoring physicians rated the assessment method with “good.”3.3 AcceptanceOn average the students also rated the assessment method positively (see Table 1 ). The feedback provided by the students on the positive and negative aspects of the workplace-based assessment yielded the following points:Positive aspectsAuthenticity: Students frequently praised the fact that during the workplace-based assessment they had spoken with actual patients in an authentic setting under real conditions. The doctor-patient exchange was viewed as being more authentic than the interchange with actors posing as patients, as takes place in the OSCE.Time: Several students wrote that they found it good that they were able to take time for the doctor-patient consultation.Feedback: Most students stated that they had received direct, personal and differentiated feedback from their mentoring physician. This feedback was given in part directly after the consultation and later as part of the joint analysis of the recorded material. One participant wrote that this was the first time he had experienced this during the clinical phase of his medical education. Some students had the impression that the physicians addressed their strengths and weaknesses in a differentiated manner. It was frequently reported that BGR was helpful in structuring the feedback according to different aspects. Students also reported that repeating the assessment was helpful and presented an opportunity to apply the criticism from the first consultation. Progress was subjectively noticeable based on the second round of feedback. One student stated that he also found the feedback given by the patient useful. This was not intended to be part of this assessment, but does suggest a possible variation of the assessment method.One student was of the opinion that all students, regardless of any participation in the research project, should have the opportunity to experience such a workplace-based assessment.Two particularly indicative statements by students are presented as quotations in the following Figure 1 .Negative aspectsSetting: One student found that it was impossible to plan for the consultation’s context, and that time was needed to adjust. Some students stated that the situation felt artificial. They felt inhibited by the running camera or the presence of the mentoring physician. One student reported that this also affected the patients.Assigned task: Two students stated that the assignment was unclear. One felt a need for a more clearly formulated objective for the consultation; another found the physician was not clear on how to handle the videos.Role of the mentoring physician: Some students reported that the assessment depended heavily on the teaching skills and commitment of the physician. They also expressed the concern that the evaluation was affected by the personal acquaintance between physician and student making it less objective.BGR: On the topic of BGR one student responded that the scale was so finely graduated that it led to discrepancies between evaluations.3.4 ReliabilityFor the 31 patient consultations, the students earned a mean score of 15.55 out of a possible total of 20 points on the BGR scale. The two evaluations by the raters correlated with r=0.669, r=0.520, and r=0.653. The correlation between the mentoring physician and the two impartial raters was ICC=0.445. The correlation between pairs was ICC=0.619, ICC=0.301, and ICC=0.443 (see Table 2 ). 3. Ergebnisse3.1 Projektteilnehmer und DatenmaterialEs nahmen drei Lehrärztinnen und sechs Lehrärzte teil. Sie waren im Durchschnitt 49,6 Jahre alt und hatten eine mittlere hausärztliche Berufserfahrung von 17,7 Jahren. Weiterhin nahmen 12 weibliche und vier männliche Studierende teil, die sich auf die neun Lehrpraxen verteilten. Die Studierenden befanden sich zum Zeitpunkt der Projektteilnahme im achten Fachsemester. Mit einer Ausnahme wurden von jedem Studierenden zwei Gesprächsvideos aufgezeichnet, so dass insgesamt 31 Gespräche für die Analysen vorlagen.Die Ergebnisse werden im Folgenden entlang der drei Forschungsfragen dargestellt.3.2 PraktikabilitätUmsetzbarkeit im Alltag: Sieben von neun Ärzten meldeten eine problemlose Umsetzung der Prüfmethode. Zwei Ärzte antworteten, dass sie je nach Patientenaufkommen in der Praxis schwierig umgesetzt werden kann, etwa wenn vorübergehend Raumkapazitäten für die Prüfung fehlen oder der prüfende Hausarzt durch Notfälle nicht genügend Zeit hat. Der Zeitaufwand wurde weder als besonders groß noch als besonders gering eingestuft (siehe Tabelle 1 ). Mehrwert: Auf die Frage nach dem Mehrwert der Methode benannten zwei Personen das Feedback, zwei Personen die Selbstbeobachtung bzw. -erkenntnis, eine Person die Belohnung einfühlsamer Gesprächstechnik. Eine Person antwortete, dass der OSCE zur Prüfung kommunikativer Kompetenzen mit Schauspielpatienten ausreiche. Übertragbarkeit: Acht von neun Ärzten meinten, dass die Methode auf andere Gesprächssituationen übertragbar ist, z.B. Anamnesegespräche oder Gespräche mit klarer Zielsetzung, eine Person schätzte die Übertragbarkeit als schwierig ein. Ergänzungen: Auf die Frage, was auf dem Bewertungsbogen ergänzt werden könnte, schlug eine Person vor, die eigene und die Fremdeinschätzung gegenüberzustellen, eine weitere Person empfahl, eine differenziertere Angabe zum Gesprächskontext zu machen, eine dritte Person schlug vor, auch die fachliche Kompetenz der Studierenden zu bewerten. Im Durchschnitt bewerteten die Lehrärzt/innen die Prüfmethode als gut. 3.3 AkzeptanzIm Durchschnitt bewerteten die Studierenden die Prüfmethode ebenfalls als gut (siehe Tabelle 1 ). Die Rückmeldung der Studierenden zu positiven und negativen Aspekten der arbeitsplatzbasierten Prüfung ergab folgende Punkte:Positive AspekteAuthentizität: Die Studierenden hoben mehrfach positiv hervor, dass man in der arbeitsplatzbasierten Prüfung mit echten Patienten in einem realen Setting und unter realen Bedingungen geredet habe. Das Patientengespräch sei authentischer als das Gespräch mit Schauspielpatienten wie etwa in der OSCE Prüfung. Zeit: Mehrere Studierende schrieben, es habe ihnen gefallen, dass sie sich Zeit für das Arzt-Patienten-Gespräch nehmen konnten. Feedback: Am häufigsten meldeten die Studierenden zurück, dass sie mit dieser Prüfung ein direktes, persönliches und differenziertes Feedback vom Hausarzt/der Hausärztin erhalten haben. Das Feedback wurde teilweise direkt im Anschluss an das Patientengespräch gegeben oder später im Rahmen einer gemeinsamen Videoanalyse. Ein Teilnehmer schrieb, dies sei für ihn das erste Mal in der klinischen Ausbildung gewesen. Einige Studierende hatten den Eindruck, dass die Ärzte differenziert auf ihre persönlichen Stärken und Schwächen eingingen. Mehrfach wurde zurückgemeldet, dass die BGR Skala dabei half, das Feedbackgespräch bzgl. verschiedener Qualitäten zu strukturieren. Auch, so die Studierenden, sei die Wiederholung der Prüfung hilfreich gewesen. Man habe dadurch die Möglichkeit gehabt, die Kritik aus dem vorangegangenen Gespräch umzusetzen. Durch das nochmalige Feedback seien Fortschritte subjektiv erkennbar geworden. Ein Student meldet zurück, dass für ihn auch das Feedback des Patienten nützlich gewesen sei. Dies war in der Prüfung nicht vorgesehen, gibt aber einen Hinweis auf eine mögliche Variante der Prüfung. Ein Studierender meinte, dass alle Studierenden - unabhängig von der Teilnahme am Lehrforschungsprojekt - die Gelegenheit zu einer solchen arbeitsplatzbasierten Prüfung bekommen sollte. In der folgenden Abbildung 1 sind exemplarisch zwei besonders eindrückliche Originalzitate aufgeführt. Negative AspekteSetting: Ein Studierender meinte, die Gesprächssituation sei nicht planbar und man müsse sich erst darauf einstellen. Einige meinten, die Gesprächssituation sei künstlich gewesen. Sie fühlen sich durch die Beobachtung der Kamera oder der Arztes gehemmt. Dies hätte, so eine Rückmeldung, auch für den Patienten zugetroffen. Arbeitsauftrag: Zwei Studierende meldeten Unklarheiten bzgl. des Arbeitsauftrages: Einer wünschte sich eine genauere Fragestellung für das Gespräch. Ein anderer meinte, dem Arzt sei nicht klar gewesen, wie mit den Videos verfahren werden sollte. Rolle des Lehrarztes: Einige Studierende meinten, die Prüfung sei stark von der Lehrkompetenz und dem Engagement des Arztes/der Ärztin abhängig. Auch äußerten sie die Befürchtung, dass die Beurteilung durch das bessere Kennenlernen von Arzt und Student verzerrt wird und wenig objektiv ausfällt. BGR: Zum BGR meldete ein Studierender zurück, es sei zu kleinschrittig, so dass Diskrepanzen zwischen Urteilen entstünden. 3.4 Reliabilität In den 31 Patientengesprächen erzielten die Studierenden durchschnittlich 15,55 von möglichen 20 Punkten im BGR. Die beiden Bewertungen des jeweiligen Prüfers korrelieren mit r=0,669, r=0,520 und r=0,653. Die Übereinstimmung zwischen dem Hausarzt und den beiden externen Prüfern beträgt ICC=0,445. Die paarweise Übereinstimmung beträgt ICC=0,619, ICC=0,301 und ICC=0,443 (siehe Tabelle 2 ). 4. DiscussionThe aim of this project was to pilot a workplace-based assessment of communication skills at the University of Düsseldorf. The results are discussed here according to the three main issues.4.1 FeasibilityThe responses of the mentoring physicians indicate general concurrence. One very positive aspect is the near consensus among the physicians regarding the ease of integrating the evaluation and BGR feedback into the daily workloads shouldered in medical practices. No one indicated that the method demands “great amounts of time”, however, it is also true that no one stated that the method could be implemented with just a little effort here and there. A suitable point in time must be found, and it depends primarily on the presence of patients in the practice. Half of the nine physicians perceived added value in the new assessment method identifying, above all, the feedback. This corresponds not only with the philosophy underlying workplace-based assessments but also with statements made by the participating students. In this context, an interesting suggestion was made to include self-assessment on the evaluation sheet. Learners can give themselves feedback and compare their observations with the evaluations of other observers. Furthermore, the desire for more information on the reason for the consultation is understandable since the evaluation of the communication skills depends upon the context . Suitable instruments could augment the formative assessment in valuable ways .4.2 AcceptanceStudents consistently rated the assessment positively. Some criticism was expressed, but no one rejected the assessment method. As described in the literature , there is the impression that students rarely receive feedback on their clinical competencies. They particularly valued the chance to interact with “real” patients in “real” situations. A significant aspect of this workplace-based assessment is that students are given feedback immediately following their performance. In terms of the evaluation, some students felt that the BGR scale defined the grading criteria well and provided a structured and performance-centered evaluation, allowing the student to know their level of proficiency. Others, in contrast, felt that the mentoring physicians’ evaluations were too subjective and depended on how well they were trained or how long mentor and student had known each other. This is not an issue if the BGR is used for formative assessment. The opportunity of the second assessment to apply the criticism from the first round and potentially make progress was viewed as particularly positive.According to Crooks , workplace-based assessment should be integrated into the learning process, feedback should be given immediately, students should have multiple chances to take assessments, and grading criteria should be clearly defined and formulated. The BGR scale can certainly serve as a framework here to organize some of the basic aspects of doctor-patient communication: structuring the medical consultation, responding to the patient, verbal and nonverbal communication. It clearly defines the expectations for each grade category and provides guidance for the feedback.4.3 ReliabilityThe results regarding the reliability of the assessment method are sobering. There is a moderate correlation among the overall evaluations of raters. This is to be expected with the short interval between the two consultations. In addition, there is a low level of correlation between the evaluations of the mentoring physicians and the impartial raters. From this it can be derived that it is urgently necessary to provide for physician training, joint standard setting, and clear definition of the context for consultations if this instrument is used for summative workplace-based assessment.4.4 LimitationsDespite multiple recruiting measures, only a small number of students could be acquired for participation in the pilot project. Consequently, the sample size is too small to draw any firm conclusions from the statistical results. The participants were not chosen randomly, but rather because of their interest and are not representative of the full student body. In terms of the participating medical practices, a selection bias must be assumed in favor of physicians who are generally open to the formative assessment method presented here. The students here involve a group that is interested in the topic of doctor-patient communication in a way that exceeds the average level of interest exhibited by medical students. However, a comparison with the OSCE scores shows that the student participants do not distinguish themselves significantly from the cohort average (results not shown here).No validated survey instrument was available for the physician or student evaluations. The evaluation based on open-ended written responses is limited to a descriptive analysis of content; to evaluate more deeply held attitudes or motives, interviews or focus groups using qualitative research methods would be necessary.4.5 ConclusionDespite various methodological limitations, there are indications for continued development of a workplace-based assessment of communicative competencies in the clinical setting. It has become clear that this formative assessment is a valuable addition to the communication curricula of medical schools. As part of the model study program at the University of Düsseldorf, the communication training program using actors to stand in as patients is now supplemented by a training program (with online logbook) using real patients that takes place during the clerkships of the fourth and fifth years of medical study and the 14-day practicum at a GP training practice . The assessment presented here should continue to be tried out as a formative assessment method and developed further in response to evaluation results.The results also demonstrate that use as a summative assessment requires a considerably greater amount of training and coordination than could be easily mastered by many medical practices. Together with other assessments, the concept discussed here involving observation and feedback yields a longitudinal portfolio of communicative competencies. It also poses a chance for and a challenge to medical schools to implement an improved culture of feedback in routine clinical practice. 4. DiskussionDas Ziel der vorliegenden Arbeit war, am Standort Düsseldorf eine arbeitsplatzbasierte Prüfung zur kommunikativen Kompetenz zu pilotieren. Die Ergebnisse werden wieder entlang der drei Forschungsfragen diskutiert.4.1 PraktikabilitätDie Rückmeldungen der Lehrärzt/innen ergaben insgesamt ein zustimmendes Bild. Besonders positiv hervorzuheben ist die fast einstimmige Rückmeldung der Ärzte, dass Bewertung und Feedback mit Hilfe der BGR gut im Praxisalltag zu integrieren sind. Niemand hat geantwortet, dass die Methode „sehr zeitaufwändig ist“, allerdings auch niemand, dass sie „gut zwischendurch zu erledigen ist“. Es muss ein geeigneter Zeitpunkt gefunden werden, der v.a. vom Patientenaufkommen abhängt. Die Hälfte der neun Ärzte sah einen Mehrwert in dem neuen Prüfverfahren. Hier wurde v.a. das Feedback genannt. Dies entspricht dem Konzept der arbeitsplatzbasierten Prüfung als auch den Rückmeldungen der Studierenden. In diesem Zusammenhang ergab sich der interessante Hinweis, die Selbsteinschätzung in den Bewertungsbogen aufzunehmen. Feedback kann der Lernende sich auch selbst gewähren, und seine eigene Einschätzung kann er mit der des externen Beobachters vergleichen. Ferner ist der Wunsch einer differenzierten Erfassung des Gesprächskontextes nachvollziehbar, da die Beurteilung kommunikativer Kompetenzen kontextabhängig ist . Entsprechende Instrumente könnten die Prüfung sinnvoll ergänzen . 4.2 Akzeptanz Die Studierenden beurteilten die Prüfung durchweg als gut. Es gab zwar einige Kritikpunkte, aber niemand lehnte die Prüfmethode ab. Entsprechend der Literatur entsteht hier der Eindruck, dass die Studierenden selten eine Rückmeldung zu ihrer klinischen Kompetenz erhalten. Sie schätzten besonders, dass sie es mit „echten“ Patienten in „echten“ Situationen zu tun haben. Ein wesentliches Merkmal dieser arbeitsplatzbasierten Prüfung ist, dass Studierende direkt nach der Leistung eine Rückmeldung erhalten. Bei der Bewertung fanden es einige Studierende günstig, dass der BGR die Bewertungskriterien definiert und eine strukturierte und leistungsbezogene Bewertung (i.S.v. „Wo stehe ich?“) ermöglicht. Andere hielten jedoch dagegen, dass bei der Bewertung durch den Arzt immer noch viel Subjektives einfließt, in Abhängigkeit davon, wie gut er oder sie geschult ist oder wie lange man einander kennt. Wenn das BGR als formative Prüfung eingesetzt wird, ist dies jedoch unproblematisch. Besonders positiv wurde hervorgehoben, dass durch die beiden Prüfungen eine Umsetzung der ersten Kritik im Rahmen des zweiten Gespräches und somit eine Entwicklung möglich sei. Nach Crooks sollten arbeitsplatzbasierte Prüfungen in den Lernprozess integriert werden, Feedback direkt im Anschluss an das Prüfereignis gewährt werden, Auszubildende mehrere Gelegenheiten zur Prüfung erhalten und Bewertungskriterien klar definiert und artikuliert werden. Hierbei kann die BGR Skala sicherlich ein Vehikel sein, welches den Rahmen für einige wesentliche Aspekte der Arzt-Patienten-Kommunikation aufspannt: Gesprächsstrukturierung, Eingehen auf den Patienten, verbale und nonverbale Kommunikation. Sie präzisiert Kriterien für den Erwartungshorizont und benennt Leitpunkte für das Feedback. 4.3 ReliabilitätDie Ergebnisse zur Reliabilität der Prüfmethode sind ernüchternd. Es findet sich eine mittlere Korrelation der Gesamtbewertungen der jeweiligen Prüfer. Diese ist bei dem kurzen Zeitintervall zwischen den beiden Gesprächen zu erwarten. Ferner findet sich eine geringe Übereinstimmung zwischen den Bewertungen der Lehrärzte mit den externen Prüfern. Hieraus lässt sich ableiten, dass im Falle der Verwendung des Instrumentes für eine summative Prüfung am Arbeitsplatz die gemeinsame Schulung der Ärzt/innen inklusive einer gemeinsamen Standardsetzung („standard setting“) und Präzisierung der Gesprächssituation dringend notwendig wäre. 4.4 LimitationenTrotz mehrerer Rekrutierungsmaßnahmen konnte nur eine kleine Anzahl an Studierenden für die Teilnahme am Pilotprojekt gewonnen werden. Die Stichprobe ist somit zu klein, um aus der Teststatistik sichere Schlüsse zu ziehen. Die Teilnehmer wurden auch nicht zufällig, sondern nach Interesse ausgewählt und sind nicht repräsentativ für die Grundgesamtheit. Bei den teilnehmenden Hausarztpraxen ist ein Selektionsbias zugunsten derjenigen Lehrärzte anzunehmen, die gegenüber der hier dargestellten formativen Prüfmethode grundsätzlich aufgeschlossen sind. Bei den Studierenden handelt es sich möglicherweise um eine Gruppe, die überdurchschnittlich am Thema „Arzt-Patienten-Kommunikation“ interessiert ist. Ein Vergleich mit den OSCE Prüfungsergebnissen der Gesamtkohorte zeigte jedoch, dass sich die Studienteilnehmer nicht wesentlich vom Durchschnitt der Kohorte unterscheiden (Ergebnisse hier nicht gezeigt).Für die Evaluation seitens der Lehrärzt/innen und der Studierenden standen ferner keine validierten Befragungsinstrumente zur Verfügung. Die Evaluation auf Basis von Freitextkommentaren ist auf eine deskriptive Inhaltsauswertung limitiert, für die Evaluation tieferer Haltungen und Motive wären Interviews oder Fokusgruppen unter Anwendung qualitativer Forschungsmethoden erforderlich. 4.5 SchlussfolgerungTrotz verschiedener methodischer Limitationen haben sich wichtige Hinweise für die weitere Entwicklung einer arbeitsplatzbasierte Bewertung kommunikativer Kompetenzen im klinischen Setting ergeben. Es ist deutlich geworden, dass diese formative Prüfung eine sinnvolle Ergänzung in einem Kommunikations-Curriculum einer medizinischen Fakultät ist. Am Standort Düsseldorf wird im Rahmen des Modellstudiengangs das Kommunikationstraining mit Schauspielpatienten um ein Online-Logbuch-gestütztes Trainingsprogramm mit Realpatienten im Rahmen der Praxisblöcke des 4. und 5. Studienjahres und des 14-tägigen Hausarztpraktikums ergänzt . Das hier vorgestellte Assessment soll dabei als formative Prüfungsmethode weiter erprobt und den Anregungen entsprechend entwickelt werden. Die Ergebnisse zeigen auch, dass die Verwendung als summative Prüfung einen deutlich größeren Schulungs- und Abstimmungsaufwand erfordern würde, der bei einer Vielzahl von Lehrpraxen schwer umsetzbar wäre. Zusammen mit anderen Prüfungen bildet das vorgestellte Konzept von Beobachtung und Feedback ein longitudinales Portfolio zur kommunikativen Kompetenz ab. Hier besteht die Chance, aber auch Herausforderung der Fakultätsentwicklung auf dem Weg zu einer verbesserten Feedbackkultur im klinischen Alltag. AcknowledgementsWe wish to extend our gratitude to the QVM Kommission der Medizinischen Fakultät Düsseldorf for supporting this educational project. A special thanks goes to the students and general practitioners who participated in this project. DanksagungWir danken der QVM Kommission der Medizinischen Fakultät Düsseldorf für die Förderung des Lehrprojektes. Besonders danken wir den Studierenden und Hausärztinnen und -ärzten, die an diesem Projekt teilgenommen haben. Competing interestsThe authors declare that they have no competing interests. InteressenkonfliktDie Autoren erklären, dass sie keine Interessenkonflikte im Zusammenhang mit diesem Artikel haben. Informed ConsentApproval was given for this project by the Ethics Commission of the University of Düsseldorf’s Medical School (no. 7194). Aufklärung und EinwilligungFür das Projekt liegt ein positives Votum der Ethikkommission der Medizinischen Fakultät der HHU vor. (Nr. 7194). Bachmann C Barzel A Dunkelberg S Schrom K Erhardt M van den Bussche H Fachübergreifendes Kommunikationstraining mit Simulationspatienten: ein Pilotprojekt ins Curriculum 2008 GMS Z Med Ausbild Doc58 Bachmann C, Barzel A, Dunkelberg S, Schrom K, Erhardt M, van den Bussche, H. Fachübergreifendes Kommunikationstraining mit Simulationspatienten: ein Pilotprojekt ins Curriculum. GMS Z Med Ausbild. 2008;25(1):Doc58. Zugänglich unter/available from: http://www.egms.de/static/en/journals/zma/2008-25/zma000542.shtml http://www.egms.de/static/en/journals/zma/2008-25/zma000542.shtml Frank JR 2005 The CanMEDS 2005 physician competency framework. Better standards - better physicians - better care Frank JR. The CanMEDS 2005 physician competency framework. Better standards - better physicians - better care. Ottawa: Royal College of Physicians and Surgeons of Canada; 2005. Zugänglich unter/available from: http://www.royalcollege.ca/portal/page/portal/rc/common/documents/canmeds/resources/publications/framework_full_e.pdf http://www.royalcollege.ca/portal/page/portal/rc/common/documents/canmeds/resources/publications/framework_full_e.pdf Kiessling C Dieterich A Fabry G Hölzer H Langewitz W Mühlinghaus I Pruskil S Scheffer S Schubert S Basler Consensus Statement "Kommunikative und soziale Kompetenzen im Medizinstudium": Ein Positionspapier des GMA-Ausschusses Kommunikative und soziale Kompetenzen 2008 GMS Z Med Ausbild Doc83 Kiessling C, Dieterich A, Fabry G, Hölzer H, Langewitz W, Mühlinghaus I, Pruskil S, Scheffer S, Schubert S. Basler Consensus Statement "Kommunikative und soziale Kompetenzen im Medizinstudium": Ein Positionspapier des GMA-Ausschusses Kommunikative und soziale Kompetenzen. GMS Z Med Ausbild. 2008;25(2):Doc83. Zugänglich unter/available from: http://www.egms.de/static/de/journals/zma/2008-25/zma000567.shtml http://www.egms.de/static/de/journals/zma/2008-25/zma000567.shtml Jünger J Lauber H Schultz JH Herzog W 5 Jahre Kommunikations- und Interaktionstraining von Medizinstudenten (Medi-KIT) von der Insellösung zum longitudinalen Curriculum 2007 GMS Z Med Ausbild Doc68 Jünger J, Lauber H, Schultz JH, Herzog W. 5 Jahre Kommunikations- und Interaktionstraining von Medizinstudenten (Medi-KIT) von der Insellösung zum longitudinalen Curriculum. GMS Z Med Ausbild. 2007;24(1):Doc68. Zugänglich unter/available from: http://www.egms.de/static/de/journals/zma/2007-24/zma000362.shtml http://www.egms.de/static/de/journals/zma/2007-24/zma000362.shtml Roch K Trubrich A Haidinger G Mitterauer L Frischenschlager O Unterricht in ärztlicher Gesprächsführung - eine vergleichende Erhebung in Deutschland, Österreich und der Schweiz 2010 GMS Z Med Ausbild Doc48 Roch K, Trubrich A, Haidinger G, Mitterauer L, Frischenschlager O. Unterricht in ärztlicher Gesprächsführung - eine vergleichende Erhebung in Deutschland, Österreich und der Schweiz. GMS Z Med Ausbild. 2010;27(3):Doc48. DOI: 10.3205/zma000685 http://dx.doi.org/10.3205/zma000685 Langewitz W Evaluation eines zweijährigen Curriculums in Psychosozialer und Psychosomatischer Medizin–Umgang mit Emotionen und patientenzentrierter Gesprächsführung 2010 Psychother Psychos Med Psychol 451-456 Langewitz W. Evaluation eines zweijährigen Curriculums in Psychosozialer und Psychosomatischer Medizin–Umgang mit Emotionen und patientenzentrierter Gesprächsführung. Psychother Psychos Med Psychol. 2010;60(11):451-456. DOI: 10.1055/s-0030-1251980 http://dx.doi.org/10.1055/s-0030-1251980 Mortsiefer A Rotthoff T Schmelzer R Immecke J Ortmanns B in der Schmitten J Altiner A Karger A Implementation of the interdisciplinary curriculum Teaching and Assessing Communicative Competence in the fourth academic year of medical studies (CoMeD) 2012 GMS Z Med Ausbild Doc06 Mortsiefer A, Rotthoff T, Schmelzer R, Immecke J, Ortmanns B, in der Schmitten, J, Altiner A, Karger A. Implementation of the interdisciplinary curriculum Teaching and Assessing Communicative Competence in the fourth academic year of medical studies (CoMeD). GMS Z Med Ausbild. 2012;29(1):Doc06. DOI: 10.3205/zma000776 http://dx.doi.org/10.3205/zma000776 Mortsiefer A Immecke J Rotthoff T Karger A Schmelzer R Raski B Schmitten JL Altiner A Pentzek M Summative assessment of undergraduates' communication competence in challenging doctor-patient encounters. Evaluation of the Düsseldorf CoMeD-OSCE 2014 Pat Educ Couns 348–355 Mortsiefer A, Immecke J, Rotthoff T, Karger A, Schmelzer R, Raski B, Schmitten JL, Altiner A, Pentzek M. Summative assessment of undergraduates' communication competence in challenging doctor-patient encounters. Evaluation of the Düsseldorf CoMeD-OSCE. Pat Educ Couns. 2014;95(3):348–355. DOI: 10.1016/j.pec.2014.02.009 http://dx.doi.org/10.1016/j.pec.2014.02.009 Jolly BC Macdonald MM Education for practice: the role of practical experience in undergraduate and general clinical training 1989 Med Educ 189–195 Jolly BC, Macdonald MM. Education for practice: the role of practical experience in undergraduate and general clinical training. Med Educ. 1989;23(2):189–195. DOI: 10.1111/j.1365-2923.1989.tb00885.x http://dx.doi.org/10.1111/j.1365-2923.1989.tb00885.x Evans DE Wood DF Roberts CM The effect of an extended hospital induction on perceived confidence and assessed clinical skills of newly qualified pre-registration house officers 2004 Med Educ 998–1001 Evans DE, Wood DF, Roberts CM. The effect of an extended hospital induction on perceived confidence and assessed clinical skills of newly qualified pre-registration house officers. Med Educ. 2004;38(9):998–1001. DOI: 10.1111/j.1365-2929.2004.01908.x http://dx.doi.org/10.1111/j.1365-2929.2004.01908.x Daelmans R Hoogenboom A Donker A Scherpbier A Stehouwer C Van Der Vleuten C Effectiveness of clinical rotations as a learning environment for achieving competences 2004 Med Teach 305–312 Daelmans R, Hoogenboom A, Donker A, Scherpbier A, Stehouwer C, Van Der Vleuten, C. Effectiveness of clinical rotations as a learning environment for achieving competences. Med Teach. 2004;26(4):305–312. DOI: 10.1080/01421590410001683195 http://dx.doi.org/10.1080/01421590410001683195 Köhl-Hackert N Krautter M Andreesen S Hoffmann K Herzog W Jünger J Nikendei C Workplace learning: an analysis of students' expectations of learning on the ward in the Department of Internal Medicine 2014 GMS Z Med Ausbild Doc43 Köhl-Hackert N, Krautter M, Andreesen S, Hoffmann K, Herzog W, Jünger J, Nikendei C. Workplace learning: an analysis of students' expectations of learning on the ward in the Department of Internal Medicine. GMS Z Med Ausbild. 2014;31(4):Doc43. DOI: 10.3205/zma000935 http://dx.doi.org/10.3205/zma000935 Wimmers PF Schmidt HG Splinter TA Influence of clerkship experiences on clinical competence 2006 Med Educ 450–458 Wimmers PF, Schmidt HG, Splinter TA. Influence of clerkship experiences on clinical competence. Med Educ. 2006;40(5):450–458. DOI: 10.1111/j.1365-2929.2006.02447.x http://dx.doi.org/10.1111/j.1365-2929.2006.02447.x Remmen R Denekens J Scherpbier A Hermann I van der Vleuten C van Royen P Bossaert L An evaluation study of the didactic quality of clerkships 2000 Med Educ 460–464 Remmen R, Denekens J, Scherpbier A, Hermann I, van der Vleuten C, van Royen P, Bossaert L. An evaluation study of the didactic quality of clerkships. Med Educ. 2000;34(6):460–464. DOI: 10.1046/j.1365-2923.2000.00570.x http://dx.doi.org/10.1046/j.1365-2923.2000.00570.x Schrauth M Weyrich P Kraus B Jünger J Zipfel S Nikendei C Lernen am späteren Arbeitsplatz: Eine Analyse studentischer Erwartungen und Erfahrungen im Praktischen Jahr 2009 Z Evid Fortbild Qual Gesundheitswes 169–174 Schrauth M, Weyrich P, Kraus B, Jünger J, Zipfel S, Nikendei C. Lernen am späteren Arbeitsplatz: Eine Analyse studentischer Erwartungen und Erfahrungen im Praktischen Jahr. Z Evid Fortbild Qual Gesundheitswes. 2009;103(3):169–174. DOI: 10.1016/j.zefq.2008.05.005 http://dx.doi.org/10.1016/j.zefq.2008.05.005 Van Der Vleuten AJ Scherpbier DH Dolmans LW Schuwirth GM Verwijnen HA Wolfhagen CP Clerkship assessment assessed 2000 Med Teach 592–600 Van Der Vleuten AJ, Scherpbier DH, Dolmans LW, Schuwirth GM, Verwijnen HA, Wolfhagen CP. Clerkship assessment assessed. Med Teach. 2000;22(6):592–600. DOI: 10.1080/01421590050175587 http://dx.doi.org/10.1080/01421590050175587 Norcini JJ The Mini-CEX: A Method for Assessing Clinical Skills 2003 Ann Int Med 476 Norcini JJ. The Mini-CEX: A Method for Assessing Clinical Skills. Ann Int Med. 2003;138(6):476. DOI: 10.7326/0003-4819-138-6-200303180-00012 http://dx.doi.org/10.7326/0003-4819-138-6-200303180-00012 Norcini J Burch V AMEE Guide Workplace-based assessment as an educational tool: AMEE Guide No. 31 2007 Med Tech 855–871 Norcini J, Burch V. AMEE Guide Workplace-based assessment as an educational tool: AMEE Guide No. 31. Med Tech. 2007;29(9):855–871. DOI: 10.1080/01421590701775453 http://dx.doi.org/10.1080/01421590701775453 Langewitz W Zur Erlernbarkeit der Arzt-Patienten-Kommunikation in der Medizinischen Ausbildung 2012 Bundesgesundheitsbl 1176–1182 Langewitz W. Zur Erlernbarkeit der Arzt-Patienten-Kommunikation in der Medizinischen Ausbildung. Bundesgesundheitsbl. 2012;55(9):1176–1182. DOI: 10.1007/s00103-012-1533-0 http://dx.doi.org/10.1007/s00103-012-1533-0 Kurtz SM Silverman J Draper J 2005 Teaching and learning communication skills in medicine Kurtz SM, Silverman J, Draper J. Teaching and learning communication skills in medicine. 2nd ed. Oxford, San Francisco: Radcliffe Pub.; 2005. Gummersbach E Abholz HH Altiner A Stock K Schürer-Maly C Online-Logbuch im Hausarztpraktikum – Bericht über die erste Nutzung in Deutschland 2010 Z Allgemeinmed 73–79 Gummersbach E, Abholz HH, Altiner A, Stock K, Schürer-Maly C. Online-Logbuch im Hausarztpraktikum – Bericht über die erste Nutzung in Deutschland. Z Allgemeinmed. 2010;2:73–79. Hodges B McIlroy JH Analytic global OSCE ratings are sensitive to level of training 2003 Med Educ 1012–1016 Hodges B, McIlroy JH. Analytic global OSCE ratings are sensitive to level of training. Med Educ. 2003;37(11):1012–1016. DOI: 10.1046/j.1365-2923.2003.01674.x http://dx.doi.org/10.1046/j.1365-2923.2003.01674.x Scheffer S 2009 Validierung des Berlin Global Rating" (BGR) - ein Instrument zur Prüfung kommunikativer Kompetenzen Medizinstudierender im Rahmen klinisch-praktischer Prüfungen (OSCE): Dissertation Scheffer S. Validierung des Berlin Global Rating" (BGR) - ein Instrument zur Prüfung kommunikativer Kompetenzen Medizinstudierender im Rahmen klinisch-praktischer Prüfungen (OSCE): Dissertation. Berlin: Charité; 2009. Portney LG Watkins MP 2000 Foundations of clinical research. Applications to practice Portney LG, Watkins MP. Foundations of clinical research. Applications to practice. New Jersey: Prentice Hall Inc.; 2000. Baig LA Violato C Crutcher RA Assessing clinical communication skills in physicians: are the skills context specific or generalizable 2009 BMC Med Educ 22 Baig LA, Violato C, Crutcher RA. Assessing clinical communication skills in physicians: are the skills context specific or generalizable. BMC Med Educ. 2009;9:22. DOI: 10.1186/1472-6920-9-22 http://dx.doi.org/10.1186/1472-6920-9-22 Essers G Kramer A Andriesse B van Weel C Van Der Vleuten C van Dulmen S Context factors in general practitioner - patient encounters and their impact on assessing communication skills - an exploratory study 2013 BMC Fam Pract 65 Essers G, Kramer A, Andriesse B, van Weel C, Van Der Vleuten C, van Dulmen S. Context factors in general practitioner - patient encounters and their impact on assessing communication skills - an exploratory study. BMC Fam Pract. 2013;14:65. DOI: 10.1186/1471-2296-14-65 http://dx.doi.org/10.1186/1471-2296-14-65 Crooks J The impact of classroom evaluation practices on students 1988 Rev Educ Res 438–481 Crooks J. The impact of classroom evaluation practices on students. Rev Educ Res. 1988;58(4):438–481. DOI: 10.3102/00346543058004438 http://dx.doi.org/10.3102/00346543058004438 11en1de

Table 1: Feasibility and acceptance of the assessment method

Tabelle 1: Praktikabilität und Akzeptanz der Prüfmethode

22en2de

Table 2: Reliability of the scoring; CI=confidence interval

Tabelle 2: Reliabilität der Messung; KI=Konfidenzintervall

2

1 1en 1de Figure 1: Selected quotes from students Abbildung 1: Ausgewählte Zitate der Studierenden

1 0 1 1en 1de BGR with Feedback BGR mit Feedback 2 2en 2de ICC output ICC output 2