Die Portfolio-Methode

zma000262 Projekt Die Portfolio-Methode Modernes Assessment auf dem Prüfstand The Portfolio-Method Modern Assessment put to Test Stosch Stosch Christoph C Dr. h.c. (RUS)

Universität zu Köln, Medizinische Fakultät, Studiendekanat, Robert-Koch-Straße 10, Geb. 55, 50931 Köln, Deutschland, Tel.: 0221/478-3390, Fax: 0221/478-6625Universität zu Köln, Medizinische Fakultät, Studiendekanat, Köln, Deutschland

c.stosch@uni-koeln.de author Wichelhaus Wichelhaus Anne-Sophie AS

Universität zu Köln, Medizinische Fakultät, Modelstudiengang, Köln, Deutschland

as.wichelhaus@web.de author Matthes Matthes Jan J Dr. med.

Universität zu Köln, Medizinische Fakultät, Institut für Pharmakologie, Köln, Deutschland

jan.matthes@uni-koeln.de author German Medical Science

Düsseldorf, Köln

610 Medical education Assessment Portfolio Medizinische Ausbildung Prüfungsmethoden Portfolio Humanmedizin 20050516 20060815 germ 1860-3572 23 3 GMS Zeitschrift für Medizinische Ausbildung GMS Z Med Ausbild Themenheft Prüfungen 43 Der Portfolio-Ansatz bietet die Möglichkeit, ein umfassendes Bild des Lernprozesses sowie des Lernfortschrittes zu erhalten. Die Möglichkeit, durch (Selbst-) Reflexion aus Erfahrung zu lernen, steht hier im Vordergrund. In Abhängigkeit von der Strenge des vorgegebenen Formates kann die eher moderate Reliabilität deutlich verbessert werden. Inhaltliche Validität im Sinne der "face validity" ist sichergestellt, während ansonsten die Daten zur Validität des Portfolio bislang unzureichend sind. Das "Portfolio" ist somit ein Instrument, das sich besonders zum formativen Einsatz (Rückmeldung an die Studierenden) und nur mit Einschränkungen zur summativen Prüfung des Leistungsstandes von Studierenden eignet. Dies ist stets im Zusammenhang mit der "Lehr- und Lernphilosophie" zu diskutieren, die einem Curriculum zugrunde liegt, im Rahmen dessen Portfolios zum Einsatz kommen sollen. Das Portfolio ist somit (derzeit) kein Ersatz für etablierte Prüfungsformate, sondern will als wertvolle Ergänzung im Lernprozess (dessen unabdingbarer Bestandteil Prüfungen sind) verstanden werden. The use of portfolio offers the possibility to get an overall picture of the learning process and the learning progress. Here, the possibility to learn from experience by self-reflection is in the centre of attention. Depending on the strictness of the given format the rather moderate reliability can be improved significantly. Content validity understood as face validity is guaranteed, while otherwise data on the validity of portfolios are insufficient at the moment. Thus portfolio is a tool, which particularly fits to a formative use (feedback to the students) and only with restrictions to the summative assessment of the students' work. It always has to be discussed considering the "teach and learn philosophy" the framing curriculum is based on. Portfolio assessment as such has to be understood (for the moment) not as a substitute for traditional assessment formats but as a useful complement in the learning process (of which examinations are an indispensable part). Einleitung In den 1990er Jahren hat sich die medizinische Ausbildung zunehmend den berufspraktischen, ärztlichen Inhalten zugewandt. Unter anderem entwickelte die Gruppe um Ronald Harden das Konzept der "Outcome-based Education", um Ausbildungsziele zu formulieren, die den praktischen Anforderungen gerecht werden , . Hand in Hand mit den Bestrebungen, die Lehre zu reformieren, wurden Prüfungen weiterentwickelt oder neu konzipiert, die den veränderten Lehr- und Lernformaten entsprechen . Während viele Prüfungsansätze sehr gezielt auf spezifische Fähigkeiten und Fertigkeiten abheben (z.B. Multiple-Choice-Fragen, hier v.a. Wiedergabe und Anwendung von Faktenwissen), versucht man mit Portfolios ein komplexeres Bild der (höheren) Fähigkeiten (z.B. Problem-Lösen, analytisches Denken, Fähigkeit zur (Selbst-) Evaluation) der Studierenden unter Berücksichtigung des Ausbildungsstandes zu erhalten (Übersichten in: und ). Wichtig ist hierbei der reflexiv-formative Aspekt, der dem Prinzip "Learning through Assessment" Rechnung tragen soll (die Autoren behalten sich vor, die komplexe Bedeutung des Begriffes "assessment" hier nicht durch i.d.R. unzureichende Versuche der Übersetzung ins Deutsche zu reduzieren). Methoden Was ist ein Portfolio? Die Idee des Portfolio ist dem Studium der bildenden Künste entlehnt, wo in Form sog. "Mappen" eine aussagekräftige und zielgerichtete (also nicht willkürlich zusammengestellte) Sammlung von Belegen für einen absolvierten Lernprozess zusammengestellt wird, aus denen die Bemühungen, der Lernerfolg und v.a. der Lernfortschritt erkennbar werden. Bekannter allerdings ist der Begriff durch den Verwendungszusammenhang im Umfeld wirtschaftswissenschaftlichen Expertentums (eine kurze Erläuterung findet sich z.B. in ). Diese Belege orientieren sich somit an Lehr- und Lernzielen und können nach Friedman unterschiedliche Inhalte umfassen: Aufsätze bzw. Hausarbeiten, Berichte und Projektbeschreibungen, Beurteilungen der praktischen Fertigkeiten (z.B. im Rahmen der Famulatur), (Video-) Protokolle von Gesprächen mit (Schauspieler-) Patienten, Dokumentation praktischer Tätigkeiten ("Logbuch"), erhobene Anamnesen, durch Ausbilder ausgestellte Zeugnisse etc.. Es ist zu beachten, dass ein Portfolio mit unterschiedlicher Zielsetzung erstellt werden kann - über die sich natürlich die/der Lernende sowie die/der "Beurteilende" verständigen müssen . Der Zweck der Portfolioarbeit bestimmt maßgeblich seinen Inhalt, die Auswahlprozesse und die Interaktion zwischen Lehrenden und Lernenden. Nach Tomkinson werden dabei verschiedene Dimensionen (Stil, Struktur, Umfang, Zielsetzung, Diskretion, Inhalte und Zeitverlauf) unterschieden, die sehr unterschiedliche Ausprägungen annehmen können (siehe Tabelle 1 ). So ist das Portfolio primär formativ (zum Unterschied formativ / summativ siehe Abbildung 1 ), also der Rückmeldung des Lernfortschrittes dienend, mit der Absicht, Stärken und Schwächen aufzuzeigen, um letztere ggf. gezielt zu beheben. Andererseits kann das Portfolio summativ zum Leistungsnachweis herangezogen werden, um z.B. das Erreichen von Minimalanforderungen sicher zu stellen. Unabhängig von der verfolgten Zielsetzung muss das Portfolio dem Lernprozess entsprechend konzipiert sein, den es begleitend dokumentieren soll. Generell soll das Portfolio folgende zentrale Aspekte beinhalten (nach ): - Erfahrungen - was ist geschehen? was wurde getan, gesehen, geschrieben, erstellt etc.? - Lernprozess - das Bewusstsein, dass das Erfahrene für die zukünftige Tätigkeit oder Entwicklung bedeutsam ist - Nachweis - Belege für (erfolgreiches) Lernen unter angemessen Rahmenbedingungen (!) - Lernbedürfnis - Identifizierung der Richtung, in die sich der Lernprozess in (nächster) Zukunft orientieren sollte - Lernbedingungen - Wege, um den Lernbedürfnissen gerecht zu werden. Challis betont, dass das Portfolio materielles und intellektuelles Eigentum des das Portfolio erstellenden Lerners ist. Dies erscheint uns sinnvoll, um den formativen Aspekt des Portfolio zu gewährleisten und zu unterstreichen sowie die Identifikation mit und Motivation gegenüber der Prüfungsform zu steigern, denn: die Studierenden würden das Portfolio auch entlang des extern Erwünschten und nicht nur des internen Bedarfes nach entwickeln. Testgütekriterien In der Literatur finden sich eher wenige (aussagekräftige) Untersuchungen zu Testgütekriterien der Portfolios. Hierbei wird die Reliabilität der Portfolios als moderat bis niedrig beschrieben , , , , , . Dies bezieht sich v.a. auf die sog. Interrater-Reliabilität, d.h. die Übereinstimmung der Beurteilung durch verschiedene Gutachter. Diese Berichte legen die Schlussfolgerung nahe, mit dem Einsatz der Portfolios zum (summativen) Leistungsnachweis zurückhaltend zu sein . In verschiedenen Ansätzen wurde der Versuch unternommen, die Reliabilität zu verbessern, z.B. durch Standardisierung der Kriterien für Erstellung und Bewertung der Portfolios, Schulung der Gutachter, Verwendung von Checklisten zur Beurteilung und Beteiligung einer größeren Zahl von Gutachtern pro Portfolio. So konnten zum Teil respektable Ergebnisse erzielt werden (, , , ; zu Standards zur Prüfungskompetenz der Prüfenden siehe ). Allerdings weisen einige Autoren zu Recht auf die Gefahr hin, Portfolios zu "entstellen", (nur) um den üblichen Anforderungen an Testgütekriterien zu genügen . Als Alternative wird die Möglichkeit aufgezeigt, Methoden in Anlehnung an Kriterien zur Beurteilung qualitativer Forschung anzuwenden (z.B. Feedback-Runden, Einbeziehung der Lerner in die Beurteilung, sequenzielle Beurteilungsverfahren) , . Naturgemäß ist die inhaltliche Validität des Portfolio hoch, da seine Inhalte unmittelbar dem Lernprozess entstammen, den es zu "überprüfen" gilt. Dies bezieht sich vorrangig auf die sog. "face validity" (Prüfung als Abbild der zu prüfenden Inhalte). Je nach Freizügigkeit in der Gestaltung des Portfolio mag es Abweichungen seiner Inhalte von den Inhalten des Curriculums bzw. deren (z.B. quantitativen) Gewichtung geben, was zu einer geringeren Inhaltsvalidität führt. Grundsätzlich problematisch ist die oft unzureichende Reliabilität, die streng genommen Voraussetzung für Validität ist. Daten zur prädiktiven Validität des Portfolio sind unzureichend und z.T. wohl durch Positivselektion (Abgabe von hochmotivierten Studierenden in einem freiwilligen Setting) verzerrt . Die Konstruktvalidität scheint auch eher mäßig zu sein (z.B. ), wobei gerade bei dieser Form der Validität eine ausreichende Reliabilität unabdingbar ist. Insgesamt sind die Daten zur Quantifizierung (!) der Validität des Portfolio bisher unzureichend. Diskussion Challis weist in einem 2001 erschienenen Editorial auf das steigende Interesse am Einsatz von Portfolios in der Medizinischen Ausbildung hin. So fand McKimm in einer Befragung Medizinischer Hochschulen in Großbritannien, dass bereits zehn von 24 Universitäten Portfolios im Rahmen des Medizinstudiums einsetzten, weitere zwölf verwendeten Logbücher, wie sie neben Portfolios vom General Medical Council (GMC) in seiner Schrift "Tomorrow's Doctors" empfohlen wurden . Aus dem für den Workshop "Universitäre Prüfungen" des Stifterverbandes am 03.07.2003 in Bonn erarbeiteten Blueprint zu verwendeten Prüfungsformen lässt sich für Deutschland ablesen, dass die Portfolio-basierte Prüfung im großen und ganzen nicht eingesetzt wird . Eine Ausnahme stellt die vereinzelt gefundene Verwendung in der Allgemeinmedizin dar. Dies mag daran liegen, dass der deutsche Begriff der "Prüfung" uneinheitlich zu der des englischen Begriffes "Assessement" benutzt wird. Ist dem Englischen "Assessment" die Bedeutung "Einschätzung, (Be-) Wertung" zugeordnet, so zielt der Begriff Prüfung im Deutschen (auch und gerade im Sinne des Hochschulrechts) auf die summative Überprüfung kognitiver Inhalte im Allgemeinen. Damit ergibt sich auch die Leitdifferenz: die Justiziabilität. Bezogen auf die in der Millerpyramide abgebildeten Prüfungskategorien (sieh Abbildung 2 ; nach ) wird mit Portfolios die komplexeste Ebene angesprochen. Portfolio geht also deutlich über das hinaus, was mit reinen Wissenstests erhoben werden kann (und derzeit bei uns vornehmlich erhoben wird), und ist somit ein Instrument, um die in der Approbationsordnung festgeschriebene Zielsetzung der Ärztlichen Ausbildung umzusetzen (§1 Abs.1 ÄAppO 2002, ): "Ziel der Ärztlichen Ausbildung ist der wissenschaftlich und praktisch in der Medizin ausgebildete Arzt, der zur eigenverantwortlichen und selbständigen ärztlichen Berufsausübung, zur Weiterbildung und zu ständiger Fortbildung befähigt ist." Die Selbstreflexion des Lernenden ist das Herzstück des Portfolio (siehe ). Hier zeigt sich auch der Unterschied zwischen Portfolios im eigentlichen Sinne und dem bloßen, zusammenhanglosen Sammeln von Arbeiten. Das Portfolio impliziert eine metakognitive Interpretation, die es ermöglicht, Spuren des individuellen Lernprozesses abzubilden, zu interpretieren und Konsequenzen für das eigene Weiterlernen zu ziehen ("Reflective Practitioner" siehe ). Diese aufwändige, selbstgesteuerte Prüfungsform ist denn auch in der eigenverantwortlichen Weiterbildung weit verbreitet , , , . Dennoch kann ein Prüfungsansatz wie der des Portfolio nicht Teil einzelner Innovationsbestrebungen sein, sondern muss integraler Bestandteil einer grundlegend neu orientierten Konzeption der Medizinischen Ausbildung sein. So urteilt Snadden : "Until we can make a mental shift that allows us to include a more holistic approach to assessment, one which values the development of individuals over a period of time, we will continue to struggle to measure the unmeasurable, and may end up measuring the irrelevant because it is easier." (Frei übersetzt: "Solange wir nicht eine mentale Veränderung vornehmen können, die uns einen mehr ganzheitlichen Zugang zu Prüfungen ermöglicht, einen der die Weiterentwicklung des Individuums über die Zeit wertschätzt, solange werden wir uns damit abmühen, das nicht Messbare zu messen und es wird damit enden, dass wir das Bedeutungslose messen, weil das einfacher ist.“) Dementsprechend ist aus unserer Sicht der größte Hemmschuh für die Einführung Portfolio-basierter Prüfungsformate die derzeit vorherrschende "technologisch instrumentell-funktionale Lernkultur" , deren Lernform immer noch der "Nürnberger Trichter" und deren Symbol der "Aktenschrank" ist. Vor diesem Hintergrund erscheint eine auf der Subjektiven Theorie fußende "kommunikativ orientierte Lernkultur" , deren Kennzeichen u.a. die kooperative Vereinbarung von Erwartungen und Zielen (so auch Lernzielen; siehe Abbildung 3 ) ist, zwar inhaltlich passgenau, wird aber derzeit nur von geringer Akzeptanz getragen, auch wenn Gehirnforschung , , Kognitionsbiologie , und etwa die Kognitive Psychologie mittlerweile andere Modelle von Lernen und Lernumgebungen favorisieren. An dieser Stelle sei auf die o.g. Problematik des Reliabilitätsnachweises hingewiesen, aus deren Diskussion die Empfehlung zur eher "qualitativen" Prüfungsanwendung von Portfolios hervorgeht , . Im Hinblick auf Portfolio-Prüfungen schreibt auch Challis : "It is not to reach a 'correct' answer. Correctness belongs to a positivist paradigm where quantifiable 'truths' are accessible. [...] Portfolios have a distinct advantage over other assessment methods, as long as they are judged within their own terms, and not by trying to make them replicate other assessment processes." (Frei übersetzt: "Es geht nicht darum, die "korrekte“ Antwort zu finden. Korrektheit gehört zu einem positivistischen Denkmuster, in dem quantifizierbare "Wahrheiten“ verfügbar sind. [...] Portfolios haben einen klaren Vorteil gegenüber anderen Bewertungsmethoden, solange sie im Rahmen ihrer eigenen Bedingungen beurteilt werden und nicht indem wir sie heranziehen, um andere Beurteilungsverfahren zu ersetzen.“) Anwendungsbeispiele international Drei jüngere Beispiele sollen die vielfältigen Möglichkeiten und die Aktualität des Portfolioansatzes verdeutlichen. An der Universität Maastricht in den Niederlanden wird das Portfolio bereits bei Medizinstudierenden im ersten Studienjahr eingesetzt (. Unter einem primär formativen Ansatz sammeln die Studierenden hier Belege für ihre Ausbildung in vier Kategorien, die sich auf verschiedene Rollen des Arztes beziehen ("medizinischer Experte", "Wissenschaftler", "Angehöriger des Gesundheitswesens" und "Mensch"). Zielsetzung ist es, anhand von Fremdeinschätzungen, Prüfungsergebnissen, Hausarbeiten und anderem eigene Stärken und Schwächen bezüglich der o.g. Rollen herauszuarbeiten. Darüber hinaus sind die Studierenden gehalten, einen entsprechenden Lernplan für den nachfolgenden Studienabschnitt zu erstellen. Die Bemühungen der Studierenden werden dabei regelmäßig von Mentoren begleitet, deren Rolle über die Supervision der Portfolioerstellung hinaus geht. Eine Studie in diesem Ausbildungsszenario zeigte, dass mäßige Testgütekriterien durch qualitative Aspekte wie Glaubwürdigkeit und Zuverlässigkeit im Umgang mit dem Portfolio z.T. kompensiert werden können . In Nottingham (GB) werden Portfolios bei der Ausbildung von Studierenden der Medizin im zweiten Studienjahr eingesetzt . Unter der Überschrift "How has the course influenced my development as an effective communicator?" ist das Portfolio hier (ergänzend zu einem OSCE) Bestandteil einer summativen Prüfung. Kernstück des Kurses sind sechs praktische Übungen, die von Vorlesungen und Seminaren flankiert werden. In den praktischen Übungen müssen sowohl echten als auch Simulationspatienten einerseits Informationen übermittelt, andererseits "entlockt" werden. Kommilitonen und Dozenten beobachten die Treffen mit den Simulationspatienten und geben anhand eines Fragebogens Feedback an die jeweiligen Studierenden. Bestandteile des Portfolio sind diese Fragebögen, selbst-reflexive Dokumentationen über die praktischen Übungen sowie ein Essay, der zur eigenen Erfahrung mit kommunikativen Fertigkeiten sowie deren Entwicklung, unter Berücksichtigung der im Rahmen des Kurses vermittelten theoretischen Grundlagen, Stellung bezieht. Eine Studie im Rahmen dieses Kurses zeigte, dass durch Schulung und Übung der Anwendung von Beurteilungskriterien eine Reliabilität erzielt werden kann, die den summativen Einsatz des Portfolio rechtfertigt. Ein Beispiel der Anwendung von Portfolios in der Postgraduierten-Ausbildung kommt aus Arkansas (USA, ). Hier wird das Portfolio als Teil der halbjährlichen Beurteilung der in der vierjährigen Weiterbildung zum Psychiater befindlichen Ärzte ("Residents") genutzt. Das Portfolio besteht aus Dokumentationen der alltäglichen Tätigkeit im Rahmen der Weiterbildungsrotation und fokussiert auf dreizehn im Vorfeld definierte Themenschwerpunkte (z.B. Psychotherapie, Krisenmanagement oder Teamarbeit). Jede Dokumentation wird durch eine reflexive Selbsteinschätzung begleitet, aus der hervorgehen soll, inwieweit und warum die eigenen Kompetenzen durch den jeweiligen Beitrag zum Portfolio demonstriert werden. Zwei externe Gutachter beurteilen hier die Portfolios anhand von sechs Rubriken, innerhalb derer jeweils eine Einschätzung von "gefährlich für den Patienten" bis "Einbringen von Erfahrungen im Umgang mit komplexen Problemsituationen, deren Lösung über Standardlösungen hinaus geht" erfolgt. Die Untersuchungen aus Arkansas zeigen, dass hier durch den Einsatz von zwei Gutachtern eine normbezogene (relative), durch den Einsatz eines dritten Gutachters auch eine kriterienbezogene (absolute) Beurteilung mit akzeptabler Reliabilität möglich ist. Anwendungsbeispiele in Köln Die Medizinische Fakultät der Universität zu Köln hat sich in den Jahren 2001-2002 ein Leitbild für die Lehre erarbeitet, welches auf drei Säulen steht. "Kölner Absolventen der Humanmedizin haben die erforderlichen Kenntnisse und Fertigkeiten, um die wichtigen und häufigen Erkrankungen sowie akut lebensbedrohliche Situationen zu erkennen und deren Behandlung einzuleiten, legen Verhaltensweisen und Einstellungen an den Tag, welche ihrer Akzeptanz durch Patienten und Angehörige der Heilberufe, sowie dem Ansehen der Ärzteschaft in der Gesellschaft förderlich sind, [und] sind willens und geeignet, eine eigenverantwortliche und wissenschaftlich fundierte Weiterbildung in Allgemeinmedizin, aber auch in einer klinischer Disziplin oder einem Grundlagenfach ihrer Wahl aufzunehmen" (§ 1 Abs. 2 Reformziel: Studienordnung Humanmedizin der Medizinischen Fakultät der Universität zu Köln). In Anbetracht dieses Leitbildes und als Umsetzung der aus der Approbationsordnung resultierenden Anforderungen wird Portfolio-basiertes Prüfen derzeit in zwei Unterrichtseinheiten - im Modellstudiengang im 1. Studienabschnitt und im Regelstudiengang im Praktischen Jahr - eingeführt. Im Hinblick auf den Einsatz im Praktischen Jahr ist die Umformulierung des §3 Abs.7 ÄAppO leitend: Durch die Erstellung einer nicht nur die Regelmäßigkeit sondern auch das ordnungsgemäße Absolvieren nachweisenden Teilnahmebescheinigung ergibt sich rein formal ein vormals nicht gekannter qualitativer Prüfungsaspekt im Praktischen Jahr. Erstmals muss im Zweifel nachgewiesen werden können, wie das ordnungsgemäße Absolvieren nun auszusehen hat. Zu diesem Zweck hat die Medizinische Fakultät ihre bis dahin fakultativ auszufüllende "Checkliste" in den Ausbildungsrichtlinien für das Praktische Jahr (die auch Bestandteile der Verträge mit den Akademischen Lehrkrankenhäusern sind) überprüft, erweitert und begonnen, dies als Portfolio-basiertes Prüfungssystem auszubauen. Dabei stehen neben den tradierten Inhalten des Praktischen Jahres insbesondere die Verbesserungen der Kommunikation im Sinne einer Lehr-Lern-Vereinbarung und der Aspekt der bewussten Fortbildungsplanung im Vordergrund. Studierende und Ausbilder sind nun gehalten (rein formal gesehen mindestens 3 x in der Ausbildungszeit), den Inhaltskatalog gemeinsam zu besprechen und entsprechende Lernfortschritte aber auch Lernpotenziale zu dokumentieren (siehe Tabelle 2 ). Besuchte Fortbildungsveranstaltungen (von der lokal angebotenen bis zum überregionalen Kongress) gehören dabei ebenfalls zum studentischen Portfolio wie auch in den Anweisungen vermerkt ist, dass sich die Ausbildungsinhalte nicht in den genannten Aspekten erschöpfen müssen. Auf diese Weise ist insgesamt ein streng formalisiertes, dadurch aber handhabbares Instrument entstanden, welches sich jetzt in der Umsetzung mit kompletten Semestern noch wird beweisen müssen. Ein zweites Beispiel betrifft das sog. "Studi-Pat", eine Veranstaltung der Allgemeinmedizin, im Rahmen derer die bzw. der Studierende eine Patientin bzw. einen Patienten in der hausärztlichen Praxis über mehrere Semester hinweg begleitet, um die Versorgungsrealitäten der hausärztlichen Betreuung zu erfahren. Einem Portfolio gleich werden die anfängliche Epikrise und die fortlaufende Dokumentation der Kontakte von Studierenden und Patienten gesammelt, um als Grundlage für die (formativen) Besprechungen mit den allgemeinmedizinischen Hochschulkollegen zu dienen. Schlussfolgerung Das Portfolio bietet eine wertvolle Ergänzung des Instrumentariums von Prüfungsformaten. Insbesondere der Einsatz mit formativer Ausrichtung, d.h. zur Reflexion des eigenen Lernfortschrittes macht das Portfolio für unsere medizinische Hochschullandschaft interessant, da Studierenden hier eine Möglichkeit zur Standortbestimmung im Rahmen des Ausbildungsprozesses gegeben und die reflexive Kompetenz gestärkt wird. Auf Seiten der Ausbilder ist der Mehrwert eine neue, vielleicht sehr interessante Ebene der Kommunikation mit Studierenden durch den Rollentausch des "Prüfers" zum "Lernhelfer". ÄAppO 9. Novelle der Approbationsordnung für Ärzte 2002 Bundesgesetzbl 2405-2435 ÄAppO. 9. Novelle der Approbationsordnung für Ärzte. Bundesgesetzbl. 2002;1(44):2405-2435. Baume D Yorke M The reliability of assessment by portfolio on a course to develop and accredit teachers in higher education 2002 Studies Higher Educ 7-25 Baume D, Yorke M. The reliability of assessment by portfolio on a course to develop and accredit teachers in higher education. Studies Higher Educ 2002;27(1):7-25. Beijaard D Driessen EW van Tartwijk J van der Vleuten CPM Portfolio's verder uitgewerkt (Further development of portfolios) 2002 Portfolios 119-136 Beijaard D, Driessen EW, van Tartwijk J, van der Vleuten CPM. Portfolio's verder uitgewerkt (Further development of portfolios). In: EW Driessen, D Beijaard, J van Tartwijk, CPM avn der Vleuten (Hrsg). Portfolios. Groningen: Wolters-Noordhoff. 2002;119-136. Bortz J Döring N 1995(2) Forschungsmethoden und Evaluation Bortz J, Döring N. Forschungsmethoden und Evaluation. Berlin, Heidelberg, New York: Springer; 1995(2). Challis M Portfolio-based learning and assessment in medical education 1999 Med Teach 370-386 Challis M. Portfolio-based learning and assessment in medical education. Med Teach. 1999;21(4):370-386. Challis M Portfolios and assessment: meeting the challenge 2001 Med Teach 437-440 Challis M. Portfolios and assessment: meeting the challenge. Med Teach. 2001;23 (5):437-440. Davis MH Friedman Ben-David M Harden RM Howie P Ker J McGhee C Pippard MJ Snadden D Portfolio assessment in medical students' final examinations 2001 Med Teach 357-366 Davis MH, Friedman Ben-David M, Harden RM, Howie P, Ker J, McGhee C, Pippard MJ, Snadden D. Portfolio assessment in medical students' final examinations. Med Teach. 2001;23:357-366. Donner-Banzhoff N 2003 Lernen mit einem Portfolio Donner-Banzhoff N. Lernen mit einem Portfolio. Göttingen: Deutsche Gesellschaft für Allgmeinmedizin und Familienmedizin (DEGAM); 2003. Zugänglich unter: http://www.degam.de/cme/p_folio.htm. Driessen E van der Vleuten C Schuwirth L van Tartwijk J Vermunt J The use of qualitative research criteria for portfolio assessment as an alternative to reliability evaluation: a case study 2005 Med Educ 214-220 Driessen E, van der Vleuten C, Schuwirth L, van Tartwijk J, Vermunt J. The use of qualitative research criteria for portfolio assessment as an alternative to reliability evaluation: a case study. Med Educ. 2005;39:214-220. Driessen EW van Tartvijk J Vermunt JD van der Vleuthen CPM Use of portfolios in early undergraduate medical training 2003 Med Teach 18-23 Driessen EW, van Tartvijk J, Vermunt JD, van der Vleuthen CPM. Use of portfolios in early undergraduate medical training. Med Teach. 2003;25:18-23. Finlay IG Maughan TS Webster DJ A randomized controlled study of portfolio learning in undergraduate cancer education 1998 Med Educ 172-176 Finlay IG, Maughan TS, Webster DJ. A randomized controlled study of portfolio learning in undergraduate cancer education. Med Educ. 1998;32:172-176. Friedman Ben-David M Davis MH Harden RM Howie PW Ker J Pippard MJ Portfolios as a method of student assessment 2001 Med Teach 535-551 Friedman Ben-David M, Davis MH, Harden RM, Howie PW, Ker J, Pippard MJ. Portfolios as a method of student assessment. Med Teach. 2001;23:535-551. Friedman Ben-David M Assessment in outcome-based education 1999 Med Teach 23-25 Friedman Ben-David M. Assessment in outcome-based education. Med Teach. 1999;21:23-25. Friedman Ben-David M The role of assessment in expanding professionl horizons 2000 Med Teach 472-477 Friedman Ben-David M. The role of assessment in expanding professionl horizons. Med Teach. 2000;22:472-477. Füser K 1999(2) Modernes Management: Lean Management, Business Reengeneering, Benchmarking und viele andere Methoden Füser K. Modernes Management: Lean Management, Business Reengeneering, Benchmarking und viele andere Methoden. München: Beck-Wirtschaftsberater im dtv; 1999(2). General Medical Council 1993 Tomorrow's Doctors: Recommendations on Undergrduate Medical Education General Medical Council. Tomorrow's Doctors: Recommendations on Undergrduate Medical Education. London: GMC; 1993. Harden RM Crosby JR Davis MH Friedman Ben-David M Outcome-based education from competency to meta competency: a model for specification of learning outcomes 1999 Med Teach 546-552 Harden RM, Crosby JR, Davis MH, Friedman Ben-David M. Outcome-based education from competency to meta competency: a model for specification of learning outcomes. Med Teach. 1999;21:546-552. Jorzik B 2003 Workshop "Universitäre Prüfungen" - Auswertung der Prüfungs-Blueprints Jorzik B. Workshop "Universitäre Prüfungen" - Auswertung der Prüfungs-Blueprints. Frankfurt/Main: Stifterverband; 2003:Persönliche Mitteilung. Koesel E 1997(3) Die Modellierung von Lernwelten Koesel E. Die Modellierung von Lernwelten. Ein Handbuch zur Subjektiven Didaktik. Eltztal-Dallau: Verlag Laub; 1997(3). Koretz D Stecher B Klein S McCaffrey D The Vermont Portfolio Assessment Program: findings and implications 1994 Educ Meas: Issues Pract 5-16 Koretz D, Stecher B, Klein S, McCaffrey D. The Vermont Portfolio Assessment Program: findings and implications. Educ Meas: Issues Pract. 1994;13:5-16. Linn RL Miller MD 2005(9) Measurement and Assessment in Taeching Linn RL, Miller MD. Measurement and Assessment in Teaching. New Jersey: Prentice Hall; 2005(9). Mathers NJ Challis MC Howe AC Field NJ Portfolios in continuing medical education-effective and efficient? 1999 Med Teach 521-530 Mathers NJ, Challis MC, Howe AC, Field NJ. Portfolios in continuing medical education-effective and efficient? Med Teach. 1999;33:521-530. Maturana HR Kognition 1991(4) Der Diskurs des Radikalen Konstruktivismus 89 ff Maturana HR. Kognition. In Schmidt SJ. Der Diskurs des Radikalen Konstruktivismus. Frankfurt: Suhrkamp. 1991(4):89 ff. McCullan M Endacott R Gray MA Jasper M Miller CM Scholes J Webb C Portfolios and assessment of competence: a review of the literature 2003 J Adv Nurs 283-294 McCullan M, Endacott R, Gray MA, Jasper M, Miller CM, Scholes J, Webb C. Portfolios and assessment of competence: a review of the literature. J Adv Nurs. 2003;41(3):283-294. McKimm J 2001 Using portfolios in medical education McKimm J. Using portfolios in medical education. London: Imperial College School of Medicine. 2001: Projektbericht. Melville C Rees M Brookfield D Anderson J Portfolios for assessment of pediatric specialist registrars 2004 Med Educ 1117-1125 Melville C, Rees M, Brookfield D, Anderson J. Portfolios for assessment of pediatric specialist registrars. Med Educ. 2004;38:1117-1125. Miller GE The assessment of clinical skills/ competence/ performance 1990 Acad Med S63-67 Miller GE. The assessment of clinical skills/ competence/ performance. Acad Med. 1990;65(9):S63-67. Norman GT Schmidt HG The psychological basis of problem based learning: A review of the evidence 1992 Acad Med 557-565 Norman GT, Schmidt HG. The psychological basis of problem based learning: A review of the evidence. Acad Med. 1992;67:557-565. O'Sullivan P Reckase MD McClain T Savidge MA Clardy JA Demonstration of portfolios to assess competency of residents 2004 Adv Health Sci Ed Theory Pract 309-323 O'Sullivan P, Reckase MD, McClain T, Savidge MA, Clardy JA. Demonstration of portfolios to assess competency of residents. Adv Health Sci Ed Theory Pract. 2004;9:309-323. Pitts J Coles C Thomas P Educational portfolios in the assessment of general practice trainers: reliability of assessors 1999 Med Educ 515-520 Pitts J, Coles C, Thomas P. Educational portfolios in the assessment of general practice trainers: reliability of assessors. Med Educ. 1999;33:515-520. Pitts J Coles C Thomas P Enhancing reliability in portfolio assessment: 'shapinfg' the portfolio 2001 Med Teach 351-356 Pitts J, Coles C, Thomas P. Enhancing reliability in portfolio assessment: 'shaping' the portfolio. Med Teach. 2001;23:351-356. Pitts J Coles C Thomas P Smith F Enhancing reliability of portfolio assessment: discussions between assessors 2002 Med Teach 197-201 Pitts J, Coles C, Thomas P, Smith F. Enhancing reliability of portfolio assessment: discussions between assessors. Med Teach. 2002;24:197-201. Rees C Sheard C Undergraduate medical students' views about a reflective portfolio assessment of their communication skills learning 2004 Med Educ 125-128 Rees C, Sheard C. Undergraduate medical students' views about a reflective portfolio assessment of their communication skills learning. Med Educ. 2004;38:125-128. Roberts C Newble DI O'Rourke A Portfolio-based assessments in medical education: are they valid and reliable for summative purposes? 2002 Med Educ 899-900 Roberts C, Newble DI, O'Rourke A. Portfolio-based assessments in medical education: are they valid and reliable for summative purposes?. Med Educ. 2002;36:899-900. Roth G Das Gehirn und sein reale Wirklichkeit 1987 Der Diskurs des Radikalen Konstruktivismus 229 Roth G. Das Gehirn und sein reale Wirklichkeit. In Schmidt SJ (Hrsg). Der Diskurs des Radikalen Konstruktivismus. Frankfurt/Main: Suhrkamp. 1987;4:229. Roth G Neuronale Grundlagen des Lernens und Gedächtnisses 1991 Gedächtnis 127 Roth G. Neuronale Grundlagen des Lernens und Gedächtnisses. In Schmidt SJ. Gedächtnis. Frankfurt /Main.: Suhrkamp. 1991:127. Royal College of General Practitioneers 1993 Portfoliobased Learning in General Practice 63 Royal College of General Practitioneers. Portfoliobased Learning in General Practice. Report of a Working Group on Higher Professional Education. London: The Royal College of General Practitioners. Occasional. 1993:63. Schmidt SJ 1991 Gedächtnis Schmidt SJ. Gedächtnis. Frankfurt/Main: Suhrkamp; 1991. Snadden D Portfolios - attempting to measure the unmeasurable? 1999 Med Educ 478-479 Snadden D. Portfolios - attempting to measure the unmeasurable?. Med Educ. 1999;33:478-479. Tomkinson B Towards a taxonomy of teaching portfolios. Nach Challis M. Portfolios and assessment: meeting the challenge 2001 Med Teach 437-440 Tomkinson B. Towards a taxonomy of teaching portfolios. Nach Challis M. Portfolios and assessment: meeting the challenge. Med Teach. 2001;23:437-440. Webb C Gray M Jasper M McMullan M Scholes J Evaluating portfolio assessment systems: what are the appropriate criteria? 2003 Nurse Educ Today 600-609 Webb C, Gray M, Jasper M, McMullan M, Scholes J. Evaluating portfolio assessment systems: what are the appropriate criteria?. Nurse Educ Today. 2003;23:600-609. 22

2 2 Abbildung 2: Die Millerpyramide und deren Gebrauchsnutzen für die Kategorisierung von Prüfungsparametern und zugehörigen Methoden (nach [27])

3 3 Abbildung 3: Kennzeichen der kommunikativ orientierten Lernkultur (nach [19])

1 1 Abbildung 1: Die summative und formative Evaluation (angelehnt an [4]) 3 0 0