zma000944 10.3205/zma000944 urn:nbn:de:0183-zma0009441 article – project report Artikel – Projektbericht Wie kann Lehre durch Evaluation verbessert werden? Durch eine Integrative Lehrberatung Wibbecke Wibbecke Gerald G Dipl.-Psych.

Medizinische Fakultät Heidelberg, Zentrale Evaluation und Integrative Lehrberatung, Im Neuenheimer Feld 155, D-69120 Heidelberg, GermanyMedizinische Fakultät Heidelberg, Zentrale Evaluation und Integrative Lehrberatung, Heidelberg, Germany

Medizinische Fakultät Heidelberg, Zentrale Evaluation und Integrative Lehrberatung, Im Neuenheimer Feld 155, D-69120 Heidelberg, DeutschlandMedizinische Fakultät Heidelberg, Zentrale Evaluation und Integrative Lehrberatung, Heidelberg, Deutschland

gerald.wibbecke@med.uni-heidelberg.de author Kahmann Kahmann Janine J

Medizinische Fakultät Heidelberg, Zentrale Evaluation und Integrative Lehrberatung, Heidelberg, Germany

Medizinische Fakultät Heidelberg, Zentrale Evaluation und Integrative Lehrberatung, Heidelberg, Deutschland

janine.kahmann@med.uni-heidelberg.de author Pignotti Pignotti Tanja T

Medizinische Fakultät Heidelberg, Zentrale Evaluation und Integrative Lehrberatung, Heidelberg, Germany

Medizinische Fakultät Heidelberg, Zentrale Evaluation und Integrative Lehrberatung, Heidelberg, Deutschland

tanja.pignotti@med.uni-heidelberg.de author Altenberger Altenberger Leander L

Universität Heidelberg, Zentrale Studienberatung/Career Service, Heidelberg, Germany

Universität Heidelberg, Zentrale Studienberatung/Career Service, Heidelberg, Deutschland

leander.altenberger@zuv.uni-heidelberg.de author Kadmon Kadmon Martina M Prof. Dr. med.

Carl-von-Ossietzky Universität Oldenburg, Campus Wechloy, Gebäude W16a, Oldenburg, Germany

Carl-von-Ossietzky Universität Oldenburg, Campus Wechloy, Gebäude W16a, Oldenburg, Deutschland

martina.kadmon@uni-oldenburg.de author German Medical Science GMS Publishing House

Düsseldorf

610 Teaching consultation student evaluation faculty development Lehrberatung Lehrevaluation Fakultätsentwicklung medicine Humanmedizin 20140311 20140723 20141201 20150211 engl germ This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). 1860-3572 32 1 GMS Zeitschrift für Medizinische Ausbildung GMS Z Med Ausbild 2 Zielsetzung: Die Weiterentwicklung der medizinischen Lehre hat die Erwartungen an die Lehrkompetenz der Lehrenden erhöht. Da der flächendeckende Einsatz studentischer Lehrveranstaltungsevaluationen allein weder zu einer Verbesserung der Lehre noch zu einer Weiterentwicklung der persönlichen Lehrkompetenz führt, haben wir das Konzept der Integrativen Lehrberatung entwickelt. Methodik: Lehrende erarbeiten mit professionellen Lehrberatern das Verbesserungspotential ihrer Lehre und setzen sich selbst didaktische Ziele. Anschließend hospitieren Lehrberater die Lehrveranstaltungen, werten die studentische Lehrveranstaltungsevaluation inhaltsanalytisch aus und geben den Dozenten ein Expertenfeedback. Ergebnisse: Die Integrative Lehrberatung kann durch die Kombination von professioneller Beratung und eigenen Zielsetzungen nachhaltige Verbesserungen der Lehre in Gang setzen. Schlussfolgerung: Das Konzept der Integrativen Lehrberatung unterstützt bestehende Fakultätsentwicklungsprogramme und bietet eine effiziente Möglichkeit, studentisches Feedback in das Qualitätsmanagement der Lehre zu integrieren. Objective: Due to the development of medical education in the past decade the role of teachers has changed and requires higher didactic competence. Student evaluation of teaching alone does not lead to considerable improvement of teaching quality. We present the concept of "Integrative Teaching Consultation", which comprises both the teacher’s reflection and own objectives to improve their teaching as well as data from students ratings.Methods: Teachers in collaboration with a teaching consultant reflect on their teaching ability and set themselves improvement goals. Then the consultant himself observes a teaching session and subsequently analyses the respective student evaluation in order to give meaningful feedback to the teacher.Results: The combination of student feedback with professional consultation elements can initiate and maintain improvements in teaching. Conclusion: Teaching consultation complements existing faculty development programs and increases the benefit of student evaluations. Introduction: how education can be improved by evaluationParallel to the paradigm shift from teaching to learning the role expectations towards teachers change , . They are far more required to support self-directed learning among students. Competency frameworks for teachers include the ability to flexibly select suitable didactic strategies towards this end . At the same time they assume that teachers acquire a student-centered approach to teaching only through experience , . This includes the ability to reflect on the impact of their teaching from a student perspective. To become a reflective practitioner requires continuous professional development. Teachers are often not prepared for this challenging task , even experienced and committed medical teachers see a need for further qualification for themselves . As an essential part of faculty development programs, workshops and seminars have been designed to improve teacher effectiveness. While the literature describes successful programs, their long-term effect and the sustainability remain unclear . The transfer of theory into practice and the anticipation and handling of obstacles remain major challenges. Communication between teachers and students about teaching and students’ needs is an important prerequisite for successful teaching and learning . Lecturers usually receive systematic feedback by questionnaire-based surveys of their students . Student evaluations of teaching (SET) are often used to assess teaching quality at universities . However, neither numerical evaluation data nor additional free-text-comments of students provide a sound enough basis for improvement. Our experience with free text comments shows that students can name weaknesses of teaching sessions, but they are not able to stimulate new ways of teaching. These limitations of SETs are confirmed by empirical data. SET feedback does not lead to better evaluation results , or to a perceived change in teaching quality . In order to support curricular development and change as well as teachers’ ability to improve their teaching habits, further interventions are necessary. Einleitung: Wie kann Lehre durch Evaluation verbessert werden?Mit dem Paradigmenwechsel des shift from teaching to learning verändert sich auch die Rollenerwartung an die Lehrenden , . Lehrende werden motiviert, stärker den selbstgesteuerten Lernprozess der Studierenden zu unterstützen. Lehrkompetenz ist die Fähigkeit, flexibel eine passende pädagogische Handlungsstrategie auswählen zu können . Entwicklungsmodelle der Lehrkompetenz , sehen die Fähigkeit, studierendenzentrierte Lehre flexibel und passend umzusetzen, als eine Lehrorientierung, zu der Lehrende sich erst hin entwickeln. Dazu gehört, die Wirkung ihrer Lehre aus der Perspektive der Studierenden zu betrachten. Diese Reflexionsfähigkeit entsteht erst durch die Lehrpraxis und bedarf regelmäßiger Weiterentwicklung. Hochschullehrende sind auf diese anspruchsvolle Aufgabe oftmals unzureichend vorbereitet ; selbst erfahrene und engagierte Lehrende der Medizin sehen für sich selbst Qualifizierungsbedarf . Fakultätsentwicklungsprogramme, häufig in Form von Workshops und Seminaren, bilden die Grundlage für die Professionalisierung der Lehrenden. Diese bewirken in der medizinischen Lehre messbare Erfolge, offen bleibt allerdings deren langfristige Wirkung und Nachhaltigkeit . Eine Hürde stellt die konkrete Umsetzung in die Praxis und die Reflexion der Hindernisse dar. Die offene Kommunikation zwischen Lehrenden und Studierenden über Lehre und Bedürfnisse der Lernenden ist dabei eine wichtige Voraussetzung für erfolgreiche Lehr- und Lernprozesse . Systematische Rückmeldungen zu ihrer Lehre erhalten Lehrende in der Regel durch fragebogenbasierte studentische Evaluation von Lehrveranstaltungen oder Lehrveranstaltungsreihen . Diese Form der Lehrveranstaltungsevaluation (LVE) basiert auf der Annahme, dass die Qualität der Lehre durch Studierende beurteilt werden kann . Numerische Evaluationsdaten erfüllen aber nicht die Funktion, Lehrenden konkrete Hinweise für Verbesserungen zu geben. Auch die studentischen Kommentare sind nur begrenzt aufschlussreich. Die praktische Erfahrung mit studentischen Freitexten zeigt, dass Studierende subjektive Defizite der Lehre durchaus benennen können. Ohne didaktische Fachexpertise sind sie aber nicht in der Lage, Rückmeldungen zu geben, die den Lehrenden neue Verhaltensweisen aufzeigen. Diese Limitation der LVE steht in Einklang mit empirischen Befunden, wonach die bloße Aufbereitung und Rückmeldung studentischer LVE an die Lehrenden nur eine sehr geringe Effektivität für adäquate Veränderungsprozesse hat. Weder in Bezug auf Evaluationsergebnisse , , noch auf die wahrgenommene Verbesserung der Lehre . Um die Entwicklung des Curriculums und der Lehrenden durch Evaluation zu unterstützen, bedarf es einer Perspektive, die über die der Studierenden hinausgeht und die Lehrenden in ihrer Reflexionsfähigkeit unterstützt. Project descriptionThe "Integrative Teaching Consultation" (ITC) is a team of pedagogues and psychologists headed by a medical doctor. The aim of the ITC is to combine SETs with counseling and professional feedback in order to enhance the ability of teachers to translate the SET feedback into concrete measures of teaching behavior. Evidence on teaching and learning and principles of effective consultative feedback are used during consultation. This includes active involvement of teachers in the counseling process, the use of teacher self-ratings and feedback from teaching observations . Studies have shown over 30 years that consultative feedback interventions have an impact on teaching effectiveness , , , but are rarely implemented at universities. At the Medical Faculty of Heidelberg all departments receive additional feedback from the ITC on the basis of SETs. Successful lecturers receive positive feedback on their key factors of success. Lecturers with less positive evaluation results receive didactical advice to improve their teaching, as well as an offer for teaching consultation. The goal of the ITC is to support the teachers individually in order to improve their teaching and to strengthen their ability of self-assessment (see figure 1 ). During the first appointment, teachers report which challenges they experience as the most important ones and on which the focus during the subsequent classroom observation should be put (supported reflection). Thus, they set improvement goals for themselves. Furthermore, SETs are analyzed together with the consultant. The second step (preparation) includes planning of the teaching session ahead and, optionally, training measures. The focus in this phase may be revision of teaching material or planning specific didactic activities. Finally, the teaching observation with the previously defined observation aspects takes place (teaching observation). The results are then being discussed in a personal encounter in order to detect and agree on possibilities for further development. During this feedback situation the results of the SETs are taken into consideration (feedback and SET). Lecturers as Reflecting PractitionersIf the consultation is successful, the lecturers improve on their ability to reflect their own teaching and may, hence, develop measures to advance their teaching independently. This way, student-centered teaching may be adopted. Ideally, the effectiveness of consultation should show in subsequent SETs. The approach of the ITC will be further illustrated in the following example. ProjektbeschreibungDie Integrative Lehrberatung (ILB) ist ein pädagogisch-psychologisches Team unter der Leitung einer Medizinerin. Die ILB kombiniert die studentische Lehrveranstaltungsevaluation mit Beratungselementen und zeigt auf, wie die Lehrenden ihre Lehre selbst wirksamer evaluieren und weiterentwickeln können. Dabei werden wissenschaftliche Erkenntnisse zum Lehren und Lernen, sowie die Wirkfaktoren des Beratungsansatzes berücksichtigt, insbesondere die aktive Einbindung der Lehrenden in den Beratungsprozess, die Erhebung der Selbsteinschätzungen der Lehrenden als Grundlage für die Beratung und die Rückmeldung von professionellem Feedback nach Hospitationen . Dass die Kombination von Evaluation und Beratung wirksam ist, wird bereits seit 30 Jahren empirisch gezeigt , , , aber bislang kaum an Hochschulen umgesetzt. An der Medizinischen Fakultät Heidelberg erhalten alle Fächer begleitend zu den fragebogenbasierten Ergebnissen der LVE didaktische Rückmeldungen von der ILB. Erfolgreiche Lehrende bekommen die Erfolgsfaktoren ihrer Lehre zurückgemeldet. Lehrende mit schlechteren Evaluationsergebnissen erhalten didaktische Empfehlungen zur Verbesserung ihrer Lehre und zusätzlich das Angebot einer Lehrberatung. Das übergeordnete Ziel der ILB besteht darin, Lehrende bei ihrer Entwicklung individuell zu unterstützen und ihre Fähigkeit zur Selbstreflexion zu stärken (siehe Abbildung 1 ). Während des ersten Beratungstermins berichten die Lehrenden, welche Herausforderungen sie für sich selbst als besonders wichtig erachten und in den anschließenden Lehrhospitationen fokussiert werden sollen (unterstützte Reflexion). Lehrende setzen sich so aufgrund ihrer Erfahrungen eigene Ziele. Darüber hinaus werden Evaluationen der Studierenden gemeinsam ausgewertet. Der zweite Schritt (Vorbereitung) beinhaltet die Planungen und eventuelle Trainingsmaßnahmen, die im Vorfeld stattfinden sollten. Dies beinhaltet beispielsweise die Überarbeitung von Vorlesungsfolien oder die Planung von konkreten didaktischen Handlungen. Anschließend finden Lehrhospitationen mit den zuvor besprochenen Beobachtungsschwerpunkten statt (Lehre mit Hospitation). Die Beobachtungen werden in einem persönlichen Gespräch rückgemeldet und gemeinsam mögliche Weiterentwicklungen erarbeitet. Dies geschieht in enger Anbindung an die Ergebnisse studentischer Evaluation (Feedbackgespräch und Evaluation). Lehrende als reflektierte PraktikerWenn die Lehrberatung erfolgreich verläuft, gelingt es den Lehrenden, ihre Reflexionsfähigkeit zu steigern und, damit verbunden, ihre Lehre selbstständig weiterzuentwickeln. So kann sich professionelle studierendenzentrierte Lehre entwickeln. Der Effekt einer Lehrberatung sollte sich auch in studentischen LVE als Qualitätsindikator der Lehre wiederspiegeln. Das Vorgehen der ILB wird im Folgenden an einem konkreten Beispiel genauer beschrieben. Outcome. An example from practiceSETs revealed need for improvement in a scientific, preclinical subject. Two professors shared a series of lectures (each of them taught six), which were complemented by practical training sessions and tutorials. One of the lecturers sought the support of the ITC in order to aim to adapt and improve his lectures and tutorials. On the basis of his reflections, the feedback and the SETs, he implemented concrete changes in his lectures and tutorials: learning objectives were clearly defined and communicated to the students in order to enhance the transparency of content and success criteria. Application exercises related to practice were integrated into the seminars to stress the importance of certain learning objectives and to uncover possible queries of the learners during the lecture. At the same time the content of the lessons was reduced. Tutorials were adapted with the help of assistant tutors who had received good evaluations in the past. The entire counseling process including teaching observation, pre- and post-processing extended over a period of 18 months.To analyze the effectiveness of the consultation process, the free texts of the students relating to the didactic lecture and the tutorials were analyzed using the method of Mayring . The texts were abstracted step-by-step and summarized. In order to compare SETs at different time points, free text statements were assigned to three different categories: Praise (positive comments on teaching), criticism (negative comments on teaching) and recommendationss (ideas for improvement). The sum of the statements in each category was related to the total sum of statements. The data from three different SETs in three different semesters were included in the analysis. The first SET (t1) took place before the consultation, the second one (t2) six months after the beginning of the consultation process and the last one (t3) two years after the first evaluation. The results (see table 1 ) indicate a clear shift in the free text statements. The number of positive statements (praise) increased both in the lecture of the teacher who had engaged in the counseling (from 1.1% on t1 to 10.9% on t3) and in the respective tutorials (from 10% on t1 to 20.3% on t3). The amount of criticisms and recommendations decreased. The teaching staff who had participated in the consultation process reached better subsequent evaluation results. Quality of explanations (n=59) and learning atmosphere (n=58) were the most frequently mentioned positive aspects. Recent studies on teaching consultation suggest that teaching competency may well be estimated on the basis of SETs , . The comparability of the evaluation results is somewhat limited because they come from different student cohorts at the three evaluation time points. However, since admissions criteria were constant, we assume homogeneity of the student cohorts and their judgment. Whether the higher response rate at t3 causes a distortion of results remains an open question. Ergebnisse. Ein Beispiel aus der PraxisBei einem naturwissenschaftlichen, vorklinischen Fach, mit kontinuierlich kritischer studentischer Evaluation, wiesen die Evaluationsergebnisse auf didaktischen Verbesserungsbedarf hin. Zwei Professoren teilten sich in dem Fach eine Vorlesungsreihe (jeder hielt sechs Vorlesungen). Diese wurden durch ein Praktikum und Tutorien vertieft. Einer der beiden verantwortlichen Professoren nahm die ILB in Anspruch, mit dem Ziel, das Vorgehen in seinen Vorlesungen und den Tutorien zu überarbeiten. In Folge der unterstützten Reflexion und der Feedbackgespräche sowie der Evaluationen führte er mit seinem Assistententeam, dass die entsprechenden Tutorien leitete, Veränderungen durch: die Transparenz der Inhalte und der Anforderungen wurde erhöht, in dem die Lernziele definiert und gegenüber den Studierenden kommuniziert wurden. Praxisrelevante Bezüge und anwendungsbezogene Übungen wurden in die Vorlesung integriert, um die Wichtigkeit der Lehrinhalte zu verdeutlichen und Verständnisprobleme seitens der Lernenden bereits in der Vorlesung aufzudecken. Dabei wurde auf das Wissen einer studentischen Hilfskraft der Medizin zurückgegriffen. Gleichzeitig wurde die Stoffmenge etwas reduziert. Auf Basis der Erfahrungen von in der Vergangenheit gut evaluierten Assistenten wurden Strategien entwickelt, wie die Tutorien verbessert werden können. Dabei wurde auch die Haltung der Assistenten reflektiert. Die Begleitung des Projektes, inklusive der Hospitationen und der Vor- und Nachbereitung, erstreckte sich über 18 Monate. Um die Wirkung der Maßnahme zu prüfen, haben wir die studentischen Freitexte mit der qualitativen Inhaltsanalyse nach Mayring analysiert. Hierfür wurden die studentischen Aussagen, die den Lehrprofessor sowie die Tutorien betrafen, schrittweise abstrahiert und zusammengefasst. Um eine Vergleichbarkeit zwischen den Evaluationszeitpunkten zu erzielen, wurden die so ausgewerteten Aussagen quantifiziert, in dem sie den übergeordneten Kategorien Lob (positive Äußerungen zu der Lehrkompetenz), Kritik (Kritik an der Lehrkompetenz) und Empfehlung (Ideen, welche Aspekte verbessert werden können) zugeordnet wurden. Die Summe der einzelnen Nennungen wurde in Beziehung zu der Summe aller Freitextaussagen gesetzt. Die Untersuchung fand zu drei Zeitpunkten statt: Zeitpunkt 1 (t1) bezeichnet die Evaluationsergebnisse vor dem Beratungsprozess, Zeitpunkt 2 (t2) bezeichnet den Zeitpunkt ein Jahr nach der Basisevaluation (t1) und wenige Monate nach Beginn der integrativen Lehrberatung, Zeitpunkt 3 (t3) zwei Jahre nach der Basisevaluation.Die Ergebnisse in Tabelle 1 belegen, dass eine Verschiebung der Freitextinhalte erkennbar ist. Die Nennung von Lob stieg sowohl bei dem für die Vorlesung verantwortlichen Professor (von 1,1% zu t1 auf 10,9% zu t3) als auch bei den Tutorien an (von 10,0% zu t1 auf 20,3% zu t3). Kritik an der Lehrperson und den Tutorien wurde dagegen seltener genannt. Auch konkrete Empfehlungen zur Verbesserung der Lehre wurden seltener geäußert. Die Personen, die aktiv mit der Lehrberatung gearbeitet haben, wurden zunehmend besser evaluiert. Die häufigsten positiven Erwähnungen bezogen sich auf die Qualität der Erklärungen (n=59) und die Lernatmosphäre (n=58). Wie in anderen Studien zur Wirksamkeit von Beratungselementen gezeigt, kann die Lehrkompetenz näherungsweise anhand studentischer Evaluationsergebnisse erschlossen werden , . Dabei muss berücksichtigt werden, dass die Evaluationen von Lehrveranstaltungen stets von einer neuen Studierendekohorte stammen, so dass die Vergleichbarkeit eingeschränkt ist. Da die Zulassungsvoraussetzungen konstant geblieben sind, kann allerdings von einer Vergleichbarkeit der Kohorten ausgegangen werden. Offen bleibt, ob die höhere Beteiligung bei Zeitpunkt 3 zu einer Verzerrung der Ergebnisse geführt hat. ConclusionIf SETs alone do not lead to considerable improvement of teaching quality, it should not be the centerpiece of quality assurance. Combined with feedback interventions, the effectiveness of SETs can be improved. Our findings suggest that consultation on the basis of student ratings is an effective method for enhancing the teaching effectiveness of university teachers.This is based on the prerequisite that a long-term support of lecturers and disciplines is possible. The close connection between faculty consultant, faculty development and the SETs seems to be important. The concept of ITC may also be applied to other faculties. For the improvement of teaching quality, a teaching consultation should be integrated into the quality management of medical universities. Future research should attempt to clarify, what changes can be expected and which factor of consultation is notably relevant for lecturers and the curriculum. SchlussfolgerungWenn die studentische Evaluation alleine die Lehre nicht verbessern kann, sollte sie auch nicht alleine als Herzstück der Qualitätssicherung der Lehre eingesetzt, sondern durch wirksame zusätzliche Maßnahmen flankiert werden. Mit einem Beratungskonzept lässt sich die Wirkung von Evaluationen steigern. Die hier dargestellten Ergebnisse weisen darauf hin, dass mit einem strukturierten, die Evaluationen begleitenden Beratungskonzept, spürbare Veränderungen erreicht werden und diese auch nachhaltig sind. Die Voraussetzung für eine erfolgreiche Lehrberatung sehen wir daher in der längerfristigen Begleitung von Lehrenden und Fächern. Wichtig sind die Verankerung der Lehrberater in der Fakultät und im Fakultätsentwicklungsprogramm sowie die enge Verzahnung mit der studentischen Evaluation. Das Konzept der Integrativen Lehrberatung lässt sich auf andere Fakultäten übertragen. Für die Qualitätssteigerung der Lehre sollte eine Lehrberatung eine feste Einrichtung an medizinischen Hochschulen werden. Zukünftige Studien müssen zeigen, welche Veränderungen nach didaktischen Beratungen zu erwarten sind und welche Wirkfaktoren der Beratung sich als besonders relevant für die Lehrenden und das Curriculum erweisen. Competing interestsThe authors declare that they have no competing interests. InteressenkonfliktDie Autoren erklären, dass sie keine Interessenkonflikte im Zusammenhang mit diesem Artikel haben. CRE/UNESCO-CEPES 1997 A European Agenda for Change for Higher Education in the XXIst Century. Results of the European Regional forum CRE/UNESCO-CEPES. A European Agenda for Change for Higher Education in the XXIst Century. Results of the European Regional forum. Palermo: Unesco; 1997. Zugänglich unter/available from: http://unesdoc.unesco.org/images/0011/001133/113346eo.pdf [zuletzt zitiert am 30.10.2013] http://unesdoc.unesco.org/images/0011/001133/113346eo.pdf Barr RB Tagg J From Teaching to Learning. A New Paradigm for Undergraduate 1995 Educ Change 12-25 Barr RB, Tagg J. From Teaching to Learning. A New Paradigm for Undergraduate. Educ Change. 1995;27(6):12-25. DOI: 10.1080/00091383.1995.10544672 http://dx.doi.org/10.1080/00091383.1995.10544672 Harden RM Crosby J AMEE Guide No 20: The good teacher is more than a lecturer – the twelve roles of the teacher 2000 Med Teach 334–347 Harden RM, Crosby J. AMEE Guide No 20: The good teacher is more than a lecturer – the twelve roles of the teacher. Med Teach. 2000;22(4):334–347. DOI: 10.1080/014215900409429 http://dx.doi.org/10.1080/014215900409429 Merkt M Trautwein C Lehrportfolios für die Darstellung und Entwicklung akademischer Lehrkompetenz 2012 Das Lehrportfolio. Entwicklung, Dokumentation und Nachweis von Lehrkompetenz an Hochschulen. 75-98 Merkt M, Trautwein C. Lehrportfolios für die Darstellung und Entwicklung akademischer Lehrkompetenz. In: Szczyrba B, Gotzen S (Hrsg). Das Lehrportfolio. Entwicklung, Dokumentation und Nachweis von Lehrkompetenz an Hochschulen. Berlin: LIT Verlag; 2012. S.75-98. Kugel P How professors develop as teachers 1993 Stud High Educ 315-328 Kugel P. How professors develop as teachers. Stud High Educ. 1993;18(3):315-328. DOI: 10.1080/03075079312331382241 http://dx.doi.org/10.1080/03075079312331382241 Kember D A reconceptualisation of the research into university academics' conceptions of teaching 1997 Learn Instruc 255-275 Kember D. A reconceptualisation of the research into university academics' conceptions of teaching. Learn Instruc. 1997;7(3):255-275. DOI: 10.1016/S0959-4752(96)00028-X http://dx.doi.org/10.1016/S0959-4752(96)00028-X Helmke A Schrader FW Hochschuldidaktik 2010 Handwörterbuch Pädagogische Psychologie 273-279 Helmke A, Schrader FW. Hochschuldidaktik. In: Rost D (Hrsg). Handwörterbuch Pädagogische Psychologie. 4th ed. Weinheim: Beltz Psychologische Verlags Union; 2010. S.273-279. Huwendiek S Dern P Hahn E Pediadikatis D Tönshoff B Nikendei C Qualifizierungsbedarf, Expertise und Rahmenbedingungen engagierter Lehrender in der Medizin in Deutschland 2008 ZEFQ 613-617 Huwendiek S, Dern P, Hahn E, Pediadikatis D, Tönshoff B, Nikendei C. Qualifizierungsbedarf, Expertise und Rahmenbedingungen engagierter Lehrender in der Medizin in Deutschland. ZEFQ. 2008;102:613-617. Steinert Y Mann K Centeno A Dolmans D Spencer J Gelula M Prideaux DA Systematic review of faculty development initiatives designed to improve teaching effectiveness in medical education 2006 Med Teach 497-526 Steinert Y, Mann K, Centeno A, Dolmans D, Spencer J, Gelula M, Prideaux DA. Systematic review of faculty development initiatives designed to improve teaching effectiveness in medical education. Med Teach. 2006;28(6):497-526. DOI: 10.1080/01421590600902976 http://dx.doi.org/10.1080/01421590600902976 Hattie JC 2009 Visible Learning: A Synthesis of Over 800 Meta-Analyses Relating to Achievement Hattie JC. Visible Learning: A Synthesis of Over 800 Meta-Analyses Relating to Achievement. London, New York: Routledge; 2009. Schweer M Evaluation der Lehre 2006 Handwörterbuch Pädagogische Psychologie 168-174 Schweer M. Evaluation der Lehre. In: Rost D (Hrsg). Handwörterbuch Pädagogische Psychologie. 3rd ed. Weinheim: Beltz Psychologische Verlags Union; 2006. S.168-174. Kulik JA Student ratings: Validity, utility, and controversy 2001 New Dir Instit Res 9-25 Kulik JA. Student ratings: Validity, utility, and controversy. New Dir Instit Res. 2001;109:9-25. DOI: 10.1002/ir.1 http://dx.doi.org/10.1002/ir.1 Marsh HW Do university teachers become more effective with experience? A multilevel growth model of students' evaluations of teaching over 13 years 2007 J Educ Psychol 775-790 Marsh HW. Do university teachers become more effective with experience? A multilevel growth model of students' evaluations of teaching over 13 years. J Educ Psychol. 2007;99(4):775-790. DOI: 10.1037/0022-0663.99.4.775 http://dx.doi.org/10.1037/0022-0663.99.4.775 Schnell R Kopp J 2000 Theoretische und methodische Diskussionen der Lehrevaluationsforschung und deren praktische Bedeutung 1-79 Schnell R, Kopp J. Theoretische und methodische Diskussionen der Lehrevaluationsforschung und deren praktische Bedeutung. Forschungsbericht Universität Konstanz. Konstanz: Universität Konstanz; 2000. S.1-79. Krawietz M 2006 Evaluation der Evaluationen. Erfolg und Misserfolg von Evaluationen an deutschen Hochschulen-Die Perspektive der Studierenden. HISBUS-Kurzinformation (16) Krawietz M. Evaluation der Evaluationen. Erfolg und Misserfolg von Evaluationen an deutschen Hochschulen-Die Perspektive der Studierenden. HISBUS-Kurzinformation (16). Hannover: HIS; 2006. Zugänglich unter/available from: https://hisbus.his.de/hisbus/docs/hisbus16.pdf [zuletzt zitiert am 30.10.2013] https://hisbus.his.de/hisbus/docs/hisbus16.pdf Penny AR Coe R Effectiveness of consultation on student ratings feedback: A meta-analysis 2004 Rev Educ Res 215-253 Penny AR, Coe R. Effectiveness of consultation on student ratings feedback: A meta-analysis. Rev Educ Res. 2004;74(2):215-253. DOI: 10.3102/00346543074002215 http://dx.doi.org/10.3102/00346543074002215 Cohen PA Effectiveness of student-rating feedback for improving col¬lege instruction: A meta-analysis of findings 1980 Res high educ 321-341 Cohen PA. Effectiveness of student-rating feedback for improving college instruction: A meta-analysis of findings. Res high educ. 1980;13:321-341. DOI: 10.1007/BF00976252 http://dx.doi.org/10.1007/BF00976252 Marsh HW Roche L The Use of Students' Evaluations and an Individually Structured Intervention to Enhance University Teaching Effectiveness 1993 Am Educ Res J 217-251 Marsh HW, Roche L. The Use of Students' Evaluations and an Individually Structured Intervention to Enhance University Teaching Effectiveness. Am Educ Res J. 1993;30(1):217-251. DOI: 10.3102/00028312030001217 http://dx.doi.org/10.3102/00028312030001217 Rindermann H Kohler J Meisenberg G Quality of instruction improved by evaluation and consultation of instructors 2007 Int J Acad Dev 73-85 Rindermann H, Kohler J, Meisenberg G. Quality of instruction improved by evaluation and consultation of instructors. Int J Acad Dev. 2007;12(2):73-85. DOI: 10.1080/13601440701604849 http://dx.doi.org/10.1080/13601440701604849 Mayring P Qualitative Inhaltsanalyse 2010 Handbuch Qualitative Forschung in der Psychologie 601-613 Mayring P. Qualitative Inhaltsanalyse. In: Mey G, Mruck K (Hrsg). Handbuch Qualitative Forschung in der Psychologie. Wiesbaden: VS Verlag für Sozialwissenschaften; 2010. S.601-613. DOI: 10.1007/978-3-531-92052-8_42 http://dx.doi.org/10.1007/978-3-531-92052-8_42http://dx.doi.org/10.1007/978-3-531-92052-8_42 11en1de

Table 1: Analysis of the free text comments before and after the consultation.

Tabelle 1: Inhaltsanalyse der Freitexte vor und nach der Lehrberatung

1

1 1en 1de Figure 1: Process of the ITC Abbildung 1: Ablauf der Integrativen Lehrberatung

1 0 0