zma000988 10.3205/zma000988 urn:nbn:de:0183-zma0009886 article Artikel Entwicklung eines formativen kompetenzorientierten Progresstests mit MC-Fragen von Studierenden – Ergebnisse einer multifakultären Pilotstudie Wagener Wagener Stefan S Dipl.-Psych.

University of Heidelberg, Faculty of Medicine, Im Neuenheimer Feld 346, 69120 Heidelberg, GermanyUniversity of Heidelberg, Faculty of Medicine, Heidelberg, Germany

Universität Heidelberg, Medizinische Fakultät, Im Neuenheimer Feld 346, 69120 Heidelberg, DeutschlandUniversität Heidelberg, Medizinische Fakultät, Heidelberg, Deutschland

stefan.wagener@med.uni-heidelberg.de author Möltner Möltner Andreas A

University of Heidelberg, Center of Excellence for Assessment in Medicine - Baden-Wuerttemberg, Heidelberg, Germany

Universität Heidelberg, Kompetenzzentrum Prüfungen in der Medizin Baden-Württemberg, Heidelberg, Deutschland

andreas.moeltner@med.uni-heidelberg.de author Tımbıl Tımbıl Sevgi S

University of Heidelberg, Faculty of Medicine, Heidelberg, Germany

Universität Heidelberg, Medizinische Fakultät, Heidelberg, Deutschland

author Gornostayeva Gornostayeva Maryna M

University of Heidelberg, Center of Excellence for Assessment in Medicine - Baden-Wuerttemberg, Heidelberg, Germany

Universität Heidelberg, Kompetenzzentrum Prüfungen in der Medizin Baden-Württemberg, Heidelberg, Deutschland

Maryna.Gornostayeva@med.uni-heidelberg.de author Schultz Schultz Jobst-Hendrik JH

University of Heidelberg, Faculty of Medicine, Heidelberg, Germany

Universität Heidelberg, Medizinische Fakultät, Heidelberg, Deutschland

jobst-hendrik_schultz@med.uni-heidelberg.de author Brüstle Brüstle Peter P

Albert-Ludwigs-University Freiburg, Freiburg Competence Center for Evaluation of Teaching in Medicine - Baden-Wuerttemberg, Freiburg, Germany

Albert-Ludwigs-Universität Freiburg, Kompetenzzentrum Evaluation in der Medizin Baden-Württemberg, Freiburg, Deutschland

peter.bruestle@uniklinik-freiburg.de author Mohr Mohr Daniela D

University of Tübingen, Faculty of Medicine, Tübingen, Germany

Universität Tübingen, Medizinische Fakultät, Tübingen, Deutschland

daniela.mohr@med.uni-tuebingen.de author Vander Beken Vander Beken Anna A

University of Ulm, Faculty of Medicine, Ulm, Germany

Universität Ulm, Medizinische Fakultät, Ulm, Deutschland

author Better Better Julian J

University of Marburg, Faculty of Medicine, Marburg, Germany

Universität Marburg, Medizinische Fakultät, Marburg, Deutschland

author Fries Fries Martin M

University of Marburg, Faculty of Medicine, Marburg, Germany

Universität Marburg, Medizinische Fakultät, Marburg, Deutschland

author Gottschalk Gottschalk Marc M

University of Magdeburg, Faculty of Medicine, Magdeburg, Germany

Universität Magdeburg, Medizinische Fakultät, Magdeburg, Deutschland

author Günther Günther Janine J

University of Freiburg, Faculty of Medicine, Freiburg, Germany

Universität Freiburg, Medizinische Fakultät, Freiburg, Deutschland

author Herrmann Herrmann Laura L

University of Freiburg, Faculty of Medicine, Freiburg, Germany

Universität Freiburg, Medizinische Fakultät, Freiburg, Deutschland

author Kreisel Kreisel Christian C

University of Marburg, Faculty of Medicine, Marburg, Germany

Universität Marburg, Medizinische Fakultät, Marburg, Deutschland

author Moczko Moczko Tobias T

University of Witten/Herdecke, Faculty of Medicine, Witten, Germany

Universität Witten/Herdecke, Medizinische Fakultät, Witten, Deutschland

author Illg Illg Claudius C

University of Heidelberg, Faculty of Medicine, Heidelberg, Germany

Universität Heidelberg, Medizinische Fakultät, Heidelberg, Deutschland

author Jassowicz Jassowicz Adam A

University of Heidelberg, Faculty of Medicine, Heidelberg, Germany

Universität Heidelberg, Medizinische Fakultät, Heidelberg, Deutschland

author Müller Müller Andreas A

University of Heidelberg, Faculty of Medicine, Heidelberg, Germany

Universität Heidelberg, Medizinische Fakultät, Heidelberg, Deutschland

author Niesert Niesert Moritz M

University of Heidelberg, Faculty of Medicine, Heidelberg, Germany

Universität Heidelberg, Medizinische Fakultät, Heidelberg, Deutschland

author Strübing Strübing Felix F

University of Heidelberg, Faculty of Medicine, Heidelberg, Germany

Universität Heidelberg, Medizinische Fakultät, Heidelberg, Deutschland

author Jünger Jünger Jana J

University of Heidelberg, Center of Excellence for Assessment in Medicine - Baden-Wuerttemberg, Heidelberg, Germany

Universität Heidelberg, Kompetenzzentrum Prüfungen in der Medizin Baden-Württemberg, Heidelberg, Deutschland

jana_juenger@med.uni-heidelberg.de author German Medical Science GMS Publishing House

Düsseldorf

610 progress test competency-based medical students medical education multiple-choice questions Progresstest kompetenzorientiert Medizinstudierende medizinische Ausbildung MC-Fragen Assessment Prüfungen 20141118 20150225 20150506 20151015 engl germ This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). 1860-3572 32 4 GMS Zeitschrift für Medizinische Ausbildung GMS Z Med Ausbild Prüfungen 46 Einleitung: Progresstests geben Studierenden Feedback über ihren Wissenszuwachs im Verlauf ihres Studiums. In der medizinischen Ausbildung haben Peer-assisted-learning und kompetenzbasierte Ausbildung zunehmend Bedeutung erlangt. Während Progresstests sich als longitudinales Feedback-Instrument bewährt haben, gibt es bisher keine Progresstests, die in Zusammenarbeit mit Studierenden erstellt wurden und die die Kompetenzorientierung der medizinischen Ausbildung aufgreifen.In dieser Studie soll zum einen untersucht werden, inwieweit Studierende in die Prüfungsentwicklung eines Progresstests eingebunden werden können und zum anderen soll gezeigt werden, dass sich die Wissensaspekte von Kompetenzen in einem kompetenzorientierten Progresstest abbilden lassen.Methoden: Für den kompetenzorientierten Progresstest wurde ein zweidimensionaler „Blueprint“ für 144 MC-Fragen mit gruppierten medizinischen Fächern und gruppierten Kompetenzbereichen von drei Expertengruppen erstellt. An der Entwicklung des kompetenzorientierten Progresstests haben sich 31 Studierende aus sieben medizinischen Fakultäten in Deutschland aktiv beteiligt. Nach einem intensiven und umfassenden Schulungsprogramm erstellen und reviewten die Studierenden unter Nutzung einer eigenständigen Plattform des ItemManagementSystems die Prüfungsfragen des kompetenzorientierten Progresstests. Der kompetenzorientierte Progresstest wurde im November 2013 an acht medizinischen Fakultäten in Deutschland als formativer Test im Rahmen einer Pilotstudie durchgeführt, an dem 469 Studierende teilnahmen. Die erzielten Punktwerte wurden für den Gesamttest sowie in differenzierter Form für die „Fächergruppen“ und „Kompetenzbereiche“ analysiert. Ergebnisse: Für den Piloteinsatz im Jahr 2013 wurde von den Studierenden ein MC-Fragenpool von über 200 MC-Fragen entwickelt. 118 MC-Fragen von Studierenden wurden im Progresstest verwendet. 26 MC-Fragen wurden von Dozenten insbesondere im Bereich Wissenschaftskompetenz ergänzt. Es zeigte sich, dass die MC-Fragen von Studierenden hinsichtlich teststatistischer Kriterien und inhaltlicher Prüfung im Postreview von hoher Qualität waren. Der Progresstest weist insgesamt eine sehr hohe Reliabilität auf. Im Vergleich der Studienjahre bildete sich der Progress im Verlauf des Studiums sowohl in der Gesamtbetrachtung des Tests als auch hinsichtlich der „Fächergruppen“ und „Kompetenzbereiche“ ab.Ausblick: Die Weiterentwicklung in Kooperation mit Studierenden wird fortgesetzt. Im Fokus steht dabei die Erweiterung auf zusätzliche Fragen- und Prüfungsformate, die Kompetenzorientierung auf einem höheren Kompetenzlevel abbilden können, wie z.B. Key Feature-Fragen, Situational-Judgement-Test-Fragen und OSCE. Des Weiteren werden die Feedbackformate sukzessive erweitert. Auch ist geplant, den formativen kompetenzorientierten Progresstest webbasiert anzubieten. Introduction: Progress tests provide students feedback on their level of proficiency over the course of their medical studies. Peer-assisted learning and competency-based education have become increasingly important in medical education. Although progress tests have been proven to be useful as a longitudinal feedback instrument, there are currently no progress tests that have been created in cooperation with students or that focus on competency in medical education.In this study, we investigated the extent to which students can be included in the development of a progress test and demonstrated that aspects of knowledge related to competency can be represented on a competency-based progress test.Methods: A two-dimensional blueprint for 144 multiple-choice questions (MCQs) covering groups of medical subjects and groups of competency areas was generated by three expert groups for developing the competency-based progress test. A total of 31 students from seven medical schools in Germany actively participated in this exercise. After completing an intensive and comprehensive training programme, the students generated and reviewed the test questions for the competency-based progress test using a separate platform of the ItemManagementSystem (IMS). This test was administered as a formative test to 469 students in a pilot study in November 2013 at eight medical schools in Germany. The scores were analysed for the overall test and differentiated according to the subject groups and competency areas.Results: A pool of more than 200 MCQs was compiled by the students for pilot use, of which 118 student-generated MCQs were used in the progress test. University instructors supplemented this pool with 26 MCQs, which primarily addressed the area of scientific skills. The post-review showed that student-generated MCQs were of high quality with regard to test statistic criteria and content. Overall, the progress test displayed a very high reliability. When the academic years were compared, the progress test mapped out over the course of study not only by the overall test but also in terms of the subject groups and competency areas.Outlook: Further development in cooperation with students will be continued. Focus will be on compiling additional questions and test formats that can represent competency at a higher skill level, such as key feature questions, situational judgement test questions and OSCE. In addition, the feedback formats will be successively expanded. The intention is also to offer the formative competency-based progress test online. IntroductionThe progress test is internationally recognized and used as a method for assessing learning progress over the course of university study , and it is also used in Germany by various university faculties . Progress tests primarily fulfil two functions: they provide continual feedback to students about their level of knowledge during medical study and they also make it possible for universities to monitor curricula and cohort progress and to compare different curricula . One special aspect of the progress test is its design, which is independent of a specific curriculum and allows for inter-university cooperation in test design, generation and administration , .The active involvement of students in teaching has been anchored for many years in several educational systems. Using peer-assisted learning (PAL) as a teaching mode, experienced students (seniors) are usually made to instruct younger students (juniors) , , . Studies on training practical clinical skills have shown that trained tutors are just as able as instructors to impart procedural clinical techniques, such as physical examinations, communicative skills, surgical skills and the clinical skills required in hospital wards , , , , . It has also been shown that communicative skills integrated with practical clinical skills can be effectively taught by student tutors during the pre-clinical phase . Emphasis is placed on the idea that more advanced students, as peers, are better able to put themselves into the position of the younger students who do not (yet) know very much and that instruction by peers is found to be more comfortable . Frameworks now show how PAL can be implemented in medical education , .In contrast to teaching, students are much less involved in assessments (peer assessment). In a few studies, some involving medical education, students were shown to participate in the drafting of MCQs , , which proved valuable for generating questions for a test question bank , . The influence of writing MCQs on learning strategies and behaviour has also been addressed , , . Analysis of the quality of student-generated MCQs shows that students are able to create good quality MCQs , with indications that student-generated questions can be of the same level of quality as those written by instructors . To date, we are unaware of studies in which students have developed tests completely on their own.The positive experiences with PAL and peer assessment make the involvement of students both sensible and promising:The students’ point of view on a formative and voluntary progress test is important for the design and use of a progress test. Students are able to provide important information regarding needs assessment, relevance and motivation to participate.By involving students in the process, steps can be taken towards creating a positive testing culture. Students can share their needs in terms of the overall concept of the progress test and gain the opportunity to participate in the creation of a test, whose feedback is helpful for their academic development.Student participation can provide insight on the extent to which students are able to not only generate a progress test in terms of content and organisation but also advance, implement and even develop it further in future.By involving students in the process, it is possible to explore the extent to which a progress test can also be organized by and administered at multiple universities.In Germany, the international development of competency-based education , has led to the drafting of a national catalogue of competency-based learning objectives for undergraduate medical and dental education (NKLM/NKLZ) [http://www.nklm.de, last verified on 14 December 2014]. The objective of the NKLM/NKLZ is to describe the competencies that may be expected of physicians or dentists at the time of licensing [http://www.mft-online.de/files/nklm_nklz_information_20130419_kurz.pdf, last verified on 14 December 2014]. A national consensus regarding the catalogue’s content was expected to be reached by May 2015.The national catalogue of competency-based learning objectives for undergraduate medical education (NKLM) is divided into three sections, with the first section dealing with competency roles and competencies; the second section addressing medical knowledge, clinical skills and professional decision-making and the third one covering patient-centred healthcare (see Figure 1 ). The NKLM contains overarching competencies as roles, which are based on the CanMEDS model [http://www.royalcollege.ca/portal/page/portal/rc/canmeds/framework, last verified on 14 December 2014].The goals of the NKLM include not only the integration of learning objectives in teaching but also the assessments conducted in medical education. With the implementation of the NKLM in medical education, there are new requirements to expand on established forms of assessment and to develop innovative testing formats to measure competencies.Within the scope of the joint project “Medical Education Research – Lehrforschung im Netz BW” (MERLIN) [http://www.merlin-bw.de/, last verified on 14 December 2014], promoted by the German Federal Ministry of Education and Research as part of the Quality Pact for Teaching [http://www.bmbf.de/de/15375.php, last verified on 14 December 2014], the call to develop a competency-based progress test was answered by the University of Heidelberg’s Center of Excellence for Assessment in Medicine and was combined with the involvement of students to design the test to develop a competency-based progress test suitable for providing longitudinal feedback.This requires a step-by-step approach. The initial starting point for the development of a competency-based progress test and the focus of this study are the knowledge components that are present in each competency (see the steps to knowledge according to North or Miller’s Pyramid ). These components of knowledge, as a theoretical aspect of competence, can be assessed using MCQs. Even if competencies are to be assessed eventually, to the maximum extent possible, as a whole on a higher level than just in relation to the related knowledge components, this pilot study represents the first step in the direction of a competency-based progress test.A comparison of established progress tests shows that many blueprints have been used in which a focus on competency is present in sections but does not represent a design criterion of the blueprint itself. The test questions (generally type A MCQs) are developed on the basis of one- or two-dimensional blueprints using organ systems, disciplines or tasks [http://ptm.charite.de/, http://www.nbme.org/Students/sas/ifom.html and http://www.ivtg.nl/en, all of which were last verified on 14 December 2014]. However, developing a blueprint for a competency-based progress test requires mapping out the performance requirements in the medical degree programme and competency-based education and applying these as the design principle.In this study, the design of a competency-based blueprint is explained and attention is provided to the following issues. To what extent can students be included in the development of a progress test? Is it possible to reliably incorporate knowledge components of competencies in a progress test that consists of MCQs? EinleitungDer Progresstest ist in der medizinischen Ausbildung ein weltweit anerkanntes und verwendetes Verfahren, um den Lernfortschritt im Verlauf des Studiums abzubilden und wird auch in Deutschland in verschiedenen Fakultäten durchgeführt . Progresstests erfüllen vornehmlich zwei Funktionen: Einerseits geben sie Studierenden ein fortlaufendes Feedback über ihren individuellen Wissensstand im Studium, andererseits bieten sie die Möglichkeit, Curricula zu monitoren, Kohortenverläufe zu beobachten und unterschiedlich gestaltete Curricula zu vergleichen . Eine Besonderheit des Progresstests ist die curriculumsunabhängige Konstruktion, welche eine interfakultäre Zusammenarbeit bei Konzeption, Erstellung und Durchführung des Tests ermöglicht , . Die aktive Beteiligung der Studierenden an der Lehre ist seit mehreren Jahren in vielen Ausbildungssystemen verankert. Beim „peer assisted learning“ (PAL) werden in der medizinischen Ausbildung meist fortgeschrittene Studierende („seniors“) beim Unterricht jüngerer Studierender („juniors“) eingesetzt , , . Studien zum Training klinisch-praktischer Fertigkeiten konnten zeigen, dass geschulte Tutoren genauso fähig wie Dozenten sind, prozedurale klinische Techniken zu vermitteln, wie z.B. körperliche Untersuchungen, kommunikative Kompetenzen, chirurgischen Fertigkeiten und die Vermittlung klinischer Kompetenzen im Stationsalltag , , , , . So konnte auch gezeigt werden, dass bereits in der Vorklinik kommunikative Kompetenzen integriert mit klinisch praktischen Fertigkeiten durch studentische Tutoren wirksam gelehrt werden können . Betont wird dabei, dass sich ältere Studierende als „peers“ besser in die Situation jüngerer Studierender hineinversetzen können, die vieles (noch) „nicht wissen“ und der Unterricht durch „peers“ als angenehmer empfunden wird . Mittlerweile zeigen Frameworks, wie PAL in die medizinische Ausbildung implementiert werden kann , .Im Gegensatz zur Lehre sind Studierende in Prüfungen (peer assessment) weit weniger eingebunden. In wenigen Studien außerhalb und innerhalb der medizinischen Ausbildung wurden Studierende bei der Erstellung von MC-Fragen eingesetzt , , was sich u. a. zur Erstellung von Fragen für eine Aufgabendatenbanken als wertvoll erwiesen hat , . Auch wird der Einfluss des Erstellens von MC-Fragen auf Lernstrategien und Lernverhalten thematisiert , , . Bei der Untersuchung der Qualität von MC-Fragen von Studierenden zeigte sich, dass Studierende MC-Fragen mit guter Qualität erstellen können , wobei es im Vergleich von Fragen von Studierenden und von Dozenten Hinweise gibt, dass beide gleichwertig sein können . Bisher sind uns allerdings keine Studien bekannt, bei denen Studierende Prüfungen vollständig selbst entwickelt haben.Die nachweislich positiven Erfahrungen zum „peer-assisted-learning“ und „peer assessment“ machen die Beteiligung von Studierenden sinnvoll und vielversprechend: Die studentische Perspektive auf einen formativen und freiwilligen Progresstest ist wichtig für die Planung und den Einsatz eines Progresstests. Die Studierenden können aus ihrer Sicht wesentliche Hinweise für die Bedarfsanalyse, die Relevanzeinschätzung und die Teilnahmemotivation beitragen. Mit der Integration von Studierenden kann zu einer positiven Prüfungskultur beitragen werden. Studierende können ihre Anforderungen im Hinblick auf Gesamtkonzept des Progresstests einbringen und erhalten die Möglichkeit, einen Test mit zu entwickeln, dessen Feedback für ihre Entwicklung im Studium hilfreich ist. Die Beteiligung von Studierenden kann Aufschluss darüber geben, inwieweit Studierende einen Progresstest inhaltlich und organisatorisch erarbeiten, diesen voranbringen, umsetzen und zukünftig auch weiterentwickeln können.Mit der Beteiligung von Studierenden kann erkundet werden, inwieweit es möglich ist, einen Progresstest auch fakultätsübergreifend zu organisieren und durchzuführen.Die internationale Entwicklung der kompetenzbasierten medizinischen Ausbildung („competency based education“ CBE) , hat in Deutschland zur Entwicklung der „Nationalen Kompetenzbasierten Lernzielkataloge für Medizin und Zahnmedizin“ (NKLM/NKLZ) geführt [http://www.nklm.de, zuletzt geprüft am 14.12.2014]. Ziel des NKLM/NKLZ ist es, zu beschreiben, „welche Kompetenzen von einer (Zahn-)Ärztin oder einem (Zahn-)Arzt zum Zeitpunkt der Approbation erwartet werden dürfen“ [http://www.mft-online.de/files/nklm_nklz_information_20130419_kurz.pdf, zuletzt geprüft am 14.12.2014]. Die inhaltliche Abstimmung darüber erfolgt bis voraussichtlich Mai 2015 in einem nationalen Konsensprozess. Der Nationale Kompetenzbasierte Lernzielkatalog für Medizin (NKLM) folgt dabei einer Einteilung in drei Abschnitte: Abschnitt I beinhaltet „Kompetenzrollen und Teilkompetenzen“, Abschnitt II umfasst „medizinisches Wissen, klinische Fähigkeiten und professionelle Haltungen“, Abschnitt III umfasst „Patientenzentrierte Gesundheitsversorgung“ (siehe Abbildung 1 ). Im NKLM sind damit übergeordnete Kompetenzen als Rollen abgebildet, die sich am CanMEDS-Modell orientieren [http://www.royalcollege.ca/portal/page/portal/rc/canmeds/framework, zuletzt geprüft am 14.12.2014]. Die Zielsetzungen des NKLM umfassen dabei sowohl die Integration der Lernziele in die Lehre als auch in die Prüfungen der medizinischen Ausbildung. Somit sind mit der Umsetzung des NKLM in der medizinischen Ausbildung neue Anforderungen gesetzt, etablierte Prüfungsformen zu erweitern und innovativer Prüfungsformate zur Erfassung von „Kompetenzen“ zu entwickeln.Im Rahmen des durch das Bundesministerium für Bildung und Forschung im Förderprogramm „Qualitätspakt Lehre“ [http://www.bmbf.de/de/15375.php, zuletzt geprüft am 14.12.2014] geförderten Verbund-Projekts „Medical Education Research – Lehrforschung im Netz BW“ (MERLIN) [http://www.merlin-bw.de/, zuletzt geprüft am 14.12.2014] wurden durch das „Kompetenzzentrum für Prüfungen in der Medizin / Baden-Württemberg“ der Medizinischen Fakultät Heidelberg diese Anforderungen aufgegriffen und mit der Einbindung von Studierenden in die Entwicklung des Progresstests kombiniert, um gerade den für ein longitudinales Feedback geeigneten Progresstest in Richtung Kompetenzorientierung zu entwickeln. Dieses erfordert ein schrittweises Vorgehen. Ausgangspunkt der Entwicklung eines kompetenzorientierten Progresstests und Fokus dieser Studie sind zunächst die Wissenskomponenten, die in jeder Kompetenz enthalten sind (siehe dazu z.B. die Kompetenztreppe nach North oder die Kompetenzpyramide nach Miller ). Diese Wissenskomponenten lassen sich als theoretischer Teil einer Kompetenz mit MC-Fragen überprüfen. Auch wenn Kompetenzen möglichst in ihrer Gesamtheit auf einem höheren Level als nur in Bezug auf ihre Wissensanteile zu prüfen sind, stellt diese Pilotstudie den ersten Schritt in Richtung eines kompetenzorientierten Progresstests dar. Betrachtet man bereits etablierte Progresstests im Vergleich, zeigt sich, dass vielfach Blueprints verwendet werden, in denen eine Kompetenzorientierung zwar in Teilen enthalten ist, nicht aber ein Konstruktionskriterium des jeweiligen Blueprints darstellt. Die Entwicklung von Prüfungsfragen (in der Regel MC-Fragen Typ A) erfolgt auf Basis ein- bis zweidimensionaler Blueprints anhand von Organsystemen, Disziplinen oder Tasks [http://ptm.charite.de/, zuletzt geprüft am 14.12.2014], [http://www.nbme.org/Students/sas/ifom.html, zuletzt geprüft am 14.12.2014], [http://www.ivtg.nl/en, zuletzt geprüft am 14.12.2014]. Um einen Blueprint für einen kompetenzorientierten Progresstest zu entwickeln, ist es hingegen erforderlich, Leistungsanforderungen im Medizinstudium und Kompetenzorientierung gleichermaßen abzubilden und als Konstruktionsprinzip zu verwenden.In der vorliegenden Studie wird die Konstruktion eines kompetenzorientierten Blueprints erläutert und der Fokus auf folgende Fragestellungen gelegt: Inwieweit können Studierende in die Prüfungsentwicklung eines Progresstests eingebunden werden? Lassen sich Wissensanteile von Kompetenzen reliabel in einem Progresstest, der auf MC-Fragen basiert, abbilden? MethodsBlueprint development for a competency-based progress testBoth the current German medical licensing regulations (ÄAppO) [http://www.gesetze-im-internet.de/_appro_2002/BJNR240500002.html, last verified on 14 December 2014] and the NKLM were drawn upon to design the blueprint. The goal was to incorporate the 55 subjects listed in the ÄAppO and the 17 relevant areas of the NKLM (sections I and II) in a two-dimensional blueprint for a written assessment. To make the blueprint feasible for compiling an examination, the number of cells must be limited, for which the subjects and the NKLM areas were put into groups. As part of the ItemManagementSystem (IMS) conference in January 2013, three inter-university and interdisciplinary expert groups were formed and, as a first step, each given the task of independently placing the NKLM areas into clusters of competency areas. In a second step, the expert groups were assigned the task of building clusters of subjects based on those listed in the ÄAppO in such a way that each cluster contained pre-clinical and clinical subjects in as equal a measure as possible.When generating MCQs, the blueprint guarantees that each of the questions will reflect the integration of a subject group and a competency area.Recruiting studentsStudents were recruited by contacting German medical schools requesting them to cooperate and forward the information to interested students. Initially, 31 students from seven medical schools in Germany (Düsseldorf, Freiburg, Heidelberg, Magdeburg, Marburg, Tuebingen and Witten-Herdecke) participated in the development of the progress test. A core team emerged comprising 17 students in their third to ninth semesters of study from five universities (Freiburg, Heidelberg, Magdeburg, Marburg and Witten-Herdecke). All of the participating students were offered work-study contracts as a means of ensuring long-term cooperation, and a majority of them accepted this offer.Training studentsThe students were extensively trained in five 2-day workshops, which occurred between February and October 2013. The following topics were covered:competency-based assessmentCanMeds role modelsconcept of the progress testblueprint of the competency-based progress testformative and summative assessmentsquality criteria for MCQsgroup review of MCQsworking with the IMSDuring the working phases, the students were responsible for using the blueprint to draft appropriate MCQs regarding the subject groups and competency areas. This was accomplished partly during the workshops and partly in self-organized, small groups using a separate platform of the IMS dedicated solely to this progress test [https://www.ucan-assess.org/cms/de/tools/item-and-exam-management/, last verified on 14 December 2014]. This included the following topics:MCQ generationgroup reviewrevision of the MCQsre-reviewGroup reviews together with the trainers occurred during the workshops as a quality assurance measure.The process of having students write MCQs for the formative competency-based progress test was presented by a team of committed students at the 2013 annual convention of the Gesellschaft für Medizinische Ausbildung in Graz .MCQ pool Exclusively type A MCQs were used in the pool of questions for piloting the formative competency-based progress test. The entire MCQ pool was then reviewed by university lecturers with regard to form and content.Piloting the formative competency-based progress testPilot administration of the formative competency-based progress test occurred at the end of November 2013 at eight medical schools. This included the medical schools that participated in the MERLIN project in Baden-Württemberg (Freiburg, Heidelberg, Mannheim, Tuebingen and Ulm) and three other medical schools at the Universities of Magdeburg, Marburg and Witten-Herdecke. Announcement of the progress test, student registration and on-site administration were independently undertaken by each medical school. Leadership laid with the University of Heidelberg’s Center of Excellence for Assessment in Medicine.The time allotted for 144 MCQs was 3 h, providing the students the option of finishing the progress test earlier.Before starting the test, students were provided standardized instructions – analogous to a “don’t know”-option – not to guess the answers of questions they did not know, so as to minimize the effect of guessing , .Quality of the progress test and results based on academic yearThe reliability of the entire test and those for the sections on subject groups and competency areas, as defined by the two blueprint axes, were measured by calculating the internal consistency (Cronbach’s α). To allow comparison of the reliabilities for the scales consisting of different numbers of questions, the reliability standardized for test length 1 was also calculated using the Spearman–Brown formula.The percentages of correctly answered and unanswered questions (don’t know) were determined depending on the academic level of the participating students.Discriminant validity was analysed for the competency areas. Following principal component analysis of the data , discriminatory analysis was conducted on the questions in the individual competency areas (a detailed description of this procedure can be found elsewhere ).RepresentativenessRegarding the representativeness, it must be noted that the participant sample cannot be viewed as representative due to the voluntary nature of participation and the different recruiting methods. Whether or not the data are subject to a selection bias as a result (e.g. if the more successful or less successful students participated) cannot be determined within the context of this pilot study because no comparative data could be gathered on participants and non-participants.Feedback on the formative competency-based progress testA procedure for giving feedback was designed for the formative competency-based progress test to tell students where they stand in terms of performance and to give schools an overview of the students’ performance in each academic year:The participating students received specific feedback regarding their performance in the medical programme compared with cohorts at the same semester level at their school not only in the form of an overall summary but also differentiated according to subject groups and competency areas. (An example of this feedback can be viewed online [https://www.ucan-assess.org/cms/networks/student-progress-test/, last verified on 14 December 2014]).The universities received information on the cohorts according to the academic year in summary form and differentiated according to subject groups and competency areas.A comparison of the participating medical schools was not undertaken due to differences in curricular designs and the assumption that the participants were not representative.EvaluationThe evaluation of the formative competency-based progress test was conducted by Freiburg University’s Competence Center for Evaluation of Teaching in Medicine, one of the MERLIN project partners. Immediately after taking the progress test, all of the students responded to a brief survey of 11 questions about the progress test. MethodenBlueprintentwicklung für einen kompetenzorientierten ProgresstestZur Blueprintentwicklung wurden einerseits die aktuell geltende deutsche Approbationsordnung für Ärzte (ÄAppO) [http://www.gesetze-im-internet.de/_appro_2002/BJNR240500002.html, zuletzt geprüft am 14.12.2014] sowie andererseits der Nationale Kompetenzbasierte Lernzielkatalog Medizin (NKLM) http://www.nklm.de, zuletzt geprüft am 14.12.2014] herangezogen. Ziel der Blueprintentwicklung war es, die 55 Leistungsnachweise der ÄAppO und die 17 relevanten Gebiete des NKLM (Abschnitt I+II des NKLM) in einem zweidimensionalen Blueprint für einen schriftlichen Test abzubilden. Um einen Blueprint für eine Prüfungszusammenstellung praktikabel zu machen, ist eine Begrenzung der Zahl der Zellen erforderlich. Hierzu erfolgte eine Gruppierung der Leistungsnachweise und der Gebiete des NKLM. Im Rahmen des IMS-Anwendertreffens im Januar 2013 wurden drei interfakultäre und interdisziplinäre Expertengruppen gebildet, die in einem ersten Schritt unabhängig voneinander die Aufgabe hatten, die Gebiete des NKLM in Clustern von „Kompetenzbereichen“ zusammenzustellen. In einem zweiten Schritt erhielten die Expertengruppen die Aufgabe, für die Leistungsnachweise der ÄAppO Cluster von „Fächergruppen“ zu bilden mit der zusätzlichen Bedingung, dass die Cluster jeweils vorklinische und klinische Fächer möglichst ausgewogen enthalten sollten. Als Konsequenz für die Erstellung von MC-Fragen bedeutete der Blueprint somit, dass die MC-Fragen jeweils eine Fächergruppe und einen Kompetenzbereich integriert abbilden.Rekrutierung der StudierendenDie Rekrutierung der Studierenden erfolgte durch ein Anschreiben an alle Studiendekanate der medizinischen Fakultäten in Deutschland mit der Anfrage um Kooperation und Weiterleitung an interessierte Studierende an den jeweiligen Standorten. An der Entwicklung des Progresstest haben sich darauf hin zu Beginn 31 Studierende aus sieben medizinischen Fakultäten in Deutschland (Düsseldorf, Freiburg, Heidelberg, Magdeburg, Marburg, Tübingen, Witten-Herdecke) beteiligt. Daraus entwickelte sich ein studentisches Kernteam von 17 Studierenden aus fünf Fakultäten (Freiburg, Heidelberg, Magdeburg, Marburg, Witten-Herdecke). Dieses setzte sich aus Studierenden aus dem 3. bis 9. Semester zusammen. Allen aktiv beteiligten Studierenden wurde ein Vertrag als studentische Hilfskraft angeboten, um die Verbindlichkeit der Mitarbeit sicherzustellen. Dies wurde von den meisten Studierenden in Anspruch genommen.Training der StudierendenDie Studierenden erhielten im Zeitraum von Februar 2013 bis Oktober 2013 in insgesamt fünf 2-tägigen Workshops ein umfassendes Trainingsprogramm. Dies umfasste die Themen:Kompetenzbasiertes PrüfenCanMeds-RollenmodellKonzept des Progresstests Blueprint des kompetenzorientierten Progresstestsformative und summative PrüfungenQualitätskriterien von MC-Fragen Gruppenreview von MC-Fragen Arbeiten mit dem ItemManagmentSystemIn den Arbeitsphasen hatten die Studierenden die Aufgabe, anhand des Blueprints passende MC-Fragen hinsichtlich Fächergruppen und Kompetenzbereiche zu entwickeln. Dies erfolgte zum Teil innerhalb der Workshops und zum Teil in selbstorganisierten standortübergreifenden Kleingruppen unter Einsatz einer eigenständigen und ausschließlich für den Progresstest bereitgestellten Plattform des ItemManagementSystems [https://www.ucan-assess.org/cms/de/tools/item-and-exam-management/, zuletzt geprüft am 14.12.2014]. Dies umfasste: MC-Fragen-Erstellung GruppenreviewÜberarbeitung der MC-FragenRe-ReviewWährend der Workshops fanden zur Qualitätssicherung Gruppenreviews gemeinsam mit Dozenten statt. Der Prozess der MC-Fragen-Entwicklung für den formativen kompetenzorientierten Progresstests durch Studierende wurde von einem Team von engagierten Studierenden im Rahmen der Jahrestagung der Gesellschaft für medizinische Ausbildung, GMA 2013 in Graz vorgestellt .MC-Fragen-Pool Für den MC-Fragen-Pool des formativen kompetenzorientierten Progresstest wurden für die Pilotierung ausschließlich MC-Fragen (Typ A) verwendet. Der gesamte MC-Fragen-Pool wurde abschließend von Dozenten formal und inhaltlich gereviewt.Pilotierung des formativen kompetenzorientierten ProgresstestsDie Pilotstudie des formativen kompetenzorientierten Progresstests fand Ende November 2013 an acht medizinischen Fakultäten statt. Dies umfasste einerseits die am MERLIN-Projekt beteiligten medizinischen Fakultäten in Baden-Württemberg (Freiburg, Heidelberg, Mannheim, Tübingen und Ulm) sowie die drei weiteren medizinischen Fakultäten in Magdeburg, Marburg und Witten-Herdecke. Die Ankündigung und Anmeldung der Studierenden sowie die Durchführung des Progresstests vor Ort erfolgte selbständig seitens der beteiligten medizinischen Fakultäten. Die Federführung lag beim Kompetenzzentrum für Prüfungen in der Medizin / Baden-Württemberg der Medizinischen Fakultät Heidelberg.Die Testzeit für 144 MC-Fragen betrug drei Stunden, wobei die Studierenden auch vor Ablauf der Testzeit den Progresstest beenden konnten. Vor Beginn der Testdurchführung wurden die Studierenden standardisiert instruiert – analog zu einer „Don’t know option“ – MC-Fragen, die sie nicht beantworten können, nicht anzukreuzen, um Rateeffekte zu minimieren , .Testgüte des Progresstests und Ergebnisse in Abhängigkeit vom StudienjahrFür den Gesamttest und die nach den beiden Achsen des Blueprints definierten Teilbereiche der Fächergruppen und Kompetenzbereiche wurden die Reliabilitäten durch Bestimmung der internen Konsistenz (Cronbachs α) abgeschätzt. Um einen Vergleich zwischen den Reliabilitäten der aus unterschiedlich vielen Aufgaben bestehenden Skalen zu ermöglichen, wurde zusätzlich die auf Testlänge 1 normierte Reliabilität nach der Spearman-Brown-Formel bestimmt.Der Anteil der korrekt und der nicht beantworteten Aufgaben („Don’t know“) wurden in Abhängigkeit vom Studienjahr der teilnehmenden Studierenden bestimmt. Für die Kompetenzbereiche wurde eine Untersuchung der diskriminanten Validität vorgenommen. Hierzu erfolgte nach einer Hauptkomponentenanalyse der Daten eine Diskriminanzanalyse der Aufgaben der einzelnen Kompetenzbereiche (eine eingehende Beschreibung des Vorgehens findet sich bei ). RepräsentativitätZur Repräsentativität ist anzumerken, dass die Teilnehmerstichprobe aufgrund der freiwilligen Teilnahme und der unterschiedlichen Rekrutierungswege nicht als repräsentativ angesehen werden kann. Inwieweit die erhobenen Daten damit einem Selektions-Bias unterliegen (z.B. ob eher erfolgreiche oder eher weniger erfolgreiche Studierende teilgenommen haben), kann im Rahmen der Pilotstudie nicht geklärt werden, da keine Vergleichsdaten von Teilnehmern und Nicht-Teilnehmern erhoben werden konnten.Feedback zum formativen kompetenzorientierten ProgresstestFür den formativen kompetenzorientierten Progresstest wurde ein Feedbackverfahren entwickelt, mit dem einerseits den Studierenden ein Leistungsstand in ihrem Studium zurückgemeldet und andererseits den Fakultäten eine Übersicht der jeweiligen Studienjahre geben wird:Die teilnehmenden Studierenden erhielten ein individuelles Feedback in Bezug auf ihren Leistungsstand im Studium im Vergleich zur Kohorte des Studienjahres am eigenen Standort sowohl summarisch als auch differenziert nach Fächergruppen und Kompetenzbereichen (ein exemplarisches Feedback ist online einsehbar [https://www.ucan-assess.org/cms/de/networks/studentischer-progresstest/, zuletzt geprüft am 14.12.2014]). Die Fakultäten erhielten ein Feedback zu den Studienjahrkohorten am Standort sowohl summarisch als auch differenziert nach Fächergruppen und Kompetenzbereichen. Von Vergleichen zwischen den teilnehmenden medizinischen Fakultäten wurde aufgrund der unterschiedlichen Ausgestaltung der jeweiligen Curricula sowie der nicht anzunehmenden Repräsentativität der Teilnehmer abgesehen.EvaluationDie Evaluation des formativen kompetenzorientierten Progresstests wurde seitens der MERLIN-Projektpartner der Medizinischen Fakultät Freiburg im „Kompetenzzentrum Evaluation in der Medizin Baden-Württemberg“ der Universität Freiburg entwickelt. Alle Studierenden beantworteten direkt nach der Durchführung des Progresstests einen kurzen Fragebogen mit 11 Fragen zum Progresstest. ResultsBlueprint of the competency-based progress testA two-dimensional blueprint emerged from the consensus reached by the expert groups. The 17 relevant areas in the NKLM were clustered into five weighted competency areas and the 55 disciplines defined by the ÄAppO into eight weighted subject groups (see Table 1 ). The blueprint contains 144 items to allow for both the weighting and an appropriate amount of time to take the test (see Figure 2 ).Student generation of MCQsFor the pilot study, the students generated 207 reviewed questions that covered 118 of the 144 blueprint MCQs. Examples of MCQs integrating a subject group and a competency area as foreseen by the blueprint are presented in table 2 .Figure 3 shows that very few MCQs were generated for Competency Area C (Scientific Skills) and also in part for Competency Area A (Communication Skills). To cover the entire blueprint, the 26 additionally required questions were provided by instructors.Pilot study: participating studentsA total of 469 students participated in the pilot study conducted at eight medical schools at the end of November 2013, during which the formative competency-based progress test was administered. The number of students per school or per academic year was subject to great variance (see Table 3 ).Results of the MCQsQuality of the MCQsAll of the MCQs were subjected to a post-review and evaluated in terms of statistical values. Of the total 144 MCQs, which also included the 26 questions written by instructors, 31 questions were checked due to conspicuous statistical values with respect to the level of difficulty (P≤0.40 and P≥0.85) and the corrected discriminating power (r‘≤0.20), wherein the corrected discriminating power is the product-moment correlation of the points for the question with the sum of the points of all other questions. After another expert review of the statistically conspicuous MCQs, an additional response was counted as correct for five of these MCQs. Of these five questions, three were written by students and two by instructors. Four student-generated MCQs were excluded from the evaluation leaving a total of 140 MCQs in the analysis.Test valuesA mean of 69.38 points out of 140 possible points was scored (SD=23.69). The difficulty of the overall test was thus P=0.496.ReliabilityThe reliability of the entire progress test (n=140) was α=0.954 (Cronbach’s α). The overall reliability, the reliability differentiated according to subject groups and competency areas and the reliability according to the academic year are presented in Table 4 .Don’t know-optionAll unanswered MCQs were interpreted as “don’t know” responses due to the standardized instructions provided to all participating students at the beginning of the progress test.ScoresThe number of correct answers increased steadily with advancing semester level (see Figure 4 ). This is demonstrated by the overall analysis of the right answers (22.02% in the first academic year to 66.67% in the sixth academic year) and also by the differentiated analysis of the subject groups and competency areas (see Figure 5 and 6 ). Similarly, the number of ‘don’t know’ responses decreased with advancing semester level. Although the number of wrong answers slightly increased absolutely with advancing semester level, it declined in relation to the number of questions answered as the semester level progressed (percentage of wrong answers).EvaluationThe total number of students who participated in the evaluation was 463, of which 284 (61.3%) were females, 162 (35.0%) were males and 17 without an indication of their gender. The mean age of the participating students was 24.56 years (SD=3.30). The results of the 11 items are given in Table 5 . ErgebnisseBlueprint des kompetenzorientierten ProgresstestsAus dem Konsensprozess der Expertenrunde resultierte ein zweidimensionaler Blueprint. Dieser clustert die 17 relevanten Gebiete des NKLM in fünf gewichtete Fächergruppen und die 55 Leistungsnachweise der ÄAppO in acht gewichtete Kompetenzbereiche (siehe Tabelle 1 ). Der Blueprint enthält 144 Items, um sowohl der Gewichtung als auch einer angemessenen Bearbeitungszeit Rechnung zu tragen (siehe Abbildung 2 ). MC-Fragen-Erstellung durch Studierende Die Studierenden erstellten für die Pilotstudie 207 gereviewte MC-Fragen, diese deckten 118 der 144 MC-Fragen des Blueprints ab. Beispiele von MC-Fragen, die gemäß Blueprint jeweils eine Fächergruppe und einen Kompetenzbereich integriert abbilden, sind in Tabelle 2 dargestellt.Abbildung 3 zeigt, dass aber insbesondere für den Kompetenzbereich C (Wissenschaftskompetenz) und in Teilen auch für den Kompetenzbereich A (kommunikative Kompetenz) zu wenig MC-Fragen erstellt werden konnten. Die zur Abdeckung des Blueprints zusätzlich erforderlichen 26 MC-Fragen wurden von Dozenten ergänzt.Pilotstudie: Teilnehmende Studierende An der Pilotstudie des formativen kompetenzorientierten Progresstests Ende November 2013 an acht medizinischen Fakultäten nahmen insgesamt 469 Studierende teil. Die Anzahl der Studierenden pro Fakultät bzw. pro Studienjahr unterlag hohen Schwankungen (siehe Tabelle 3 ). Ergebnisse der MC-FragenQualität der MC-Fragen Alle MC-Fragen wurden einem Postreview unterzogen und nach statistischen Kennwerten bewertet. Von den insgesamt 144 MC-Fragen, die auch 26 MC-Fragen von Dozenten umfassten, wurden 31 MC-Fragen aufgrund auffälliger statistischer Kennwerte in Bezug auf die Aufgabenschwierigkeit (P≤0.40 bzw. P≥0.85) und die korrigierte Trennschärfe (r‘≤0.20) überprüft, wobei als korrigierte Trennschärfe die Produkt-Moment-Korrelation der Punktzahl der Aufgabe mit der Summe der Punktzahl aller anderen Aufgaben verwendet wurde. Nach weiterem inhaltlichen Review der statistisch auffälligen MC-Fragen durch Fachexperten, wurde bei fünf MC-Fragen je eine zusätzliche Antwort als korrekt gewertet, davon wurden drei MC-Fragen von Studierenden und zwei MC-Fragen von Dozenten erstellt. Vier MC-Fragen, die von Studierenden erstellt wurden, wurden aus der Wertung genommen. Insgesamt gingen 140 MC-Fragen in die Auswertung ein. Kennwerte der PrüfungEs wurden im Mittel 69,38 Punkte von 140 möglichen Punkten erzielt (SD=23,69). Die Schwierigkeit des gesamten Tests lag damit bei P=0,496.ReliabilitätDie Reliabilität des gesamten Progresstests (n=140) lag bei α=0,954 (Cronbachs α). Die Gesamt-Reliabilität, die Reliabilität differenziert nach Fächergruppen und Kompetenzbereiche sowie die Reliabilität nach Studienjahr sind in Tabelle 4 dargestellt.Don’t Know-OptionAufgrund der standardisierten Instruktion zur „Don’t know“-Option während der Einführung des Progresstests, die alle teilnehmenden Studierenden erhalten hatten, wurden alle Nicht-Beantwortungen von MC-Fragen als „Don’t know“-Beantwortungen interpretiert.Erzielte Punktwerte Die Anzahl der richtigen Antworten steigt mit zunehmendem Studienjahr kontinuierlich an (siehe Abbildung 4 ). Dies zeigt sich in der Gesamtbetrachtung der richtigen Antworten (1. Studienjahr: 22,02% bis 6. Studienjahr: 66,67%) und auch in der differenzierten Betrachtung nach Fächergruppen und der Kompetenzbereiche (siehe Abbildung 5 und Abbildung 6 ). Ebenso verringert sich die Anzahl der „Don’t Know“-Antworten mit zunehmendem Studienjahr. Die Anzahl falscher Antworten steigt mit zunehmendem Studienjahr zwar absolut leicht an, in Relation zur den jeweils beantworteten Fragen („Anteil Falsch“) nimmt sie aber mit zunehmendem Studienjahr ab.EvaluationAn der Evaluation nahmen insgesamt 463 Studierende teil (98,7%), davon 284 (61,3%) weibliche Studierende, 162 (35,0%) männliche Studierende. 17 Studierende machten keine Angabe zum Geschlecht. Das Alter der teilnehmenden Studierenden lag im Mittel bei 24,56 Jahren (SD=3,30). Die Ergebnisse der 11 Items sind in Tabelle 5 dargestellt. DiscussionThis multi-centre pilot study demonstrates how the formative progress test format was developed and implemented as a competency-based test. Clustering the 55 disciplines from the ÄAppO and the 17 work packages of the NKLM according to the content in a two-dimensional blueprint with eight subject groups and five competency areas has proved to be a viable instrument for developing MCQs for the competency-based progress test.This study is also a positive example of student involvement in medical education. Involving students in the development of the progress test and writing the MCQs, as well as the conduction of the pilot study at eight medical schools, was both feasible and successful.However, there were also limitations in designing the pilot study with respect to the drafting of MCQs by the students. As Figure 3 shows, the students were not able to come up with enough questions particularly for the Competency Area C (Scientific Skills) and in part for Competency Area A (Communication Skills). This may suggest that, when designing the pilot study, the students were not able to recognize these competency areas from their own studies or to think of a sufficient number of good scenarios, which implies that more intensive training in these competency areas is required. Comparing these two areas with the number of questions written for Competency Areas B (Practical Clinical Skills) and E (Theoretical Clinical Skills) shows that many more MCQs were generated for these areas, since their combination with the subject groups allows for MCQs of a more ‘classic’ nature.The drafting of MCQs by trained students based on the blueprint led to MCQs of a very high quality, which is confirmed by the low number of corrected (5) and excluded (4) MCQs out of the 144 questions in the post-review. However, it must be noted that the difficulty of the student-generated MCQs must be considered too high, with P=0.496 in relation to all academic levels, and P=0.667 for the sixth academic year in the pilot study.Overall, the formative competency-based progress test demonstrates a high reliability. Similarly, the reliabilities are sufficiently high for the subject groups, competency areas and among the academic levels.A significant result is that the formative competency-based progress test shows growth of knowledge in the cross-sectional view of all academic years , . This applies not only to the overall consideration of the progress test but also with regard to the subject groups and competency areas. The number of correct answers increased steadily over time, while the number of “don’t know” responses and the percentage of wrong answers diminished steadily in relation to the answered MCQs. The latter finding might indicate that students are able to recognize answerable MCQs with more confidence as they progress to more advanced semester levels. This study shows that the theoretical knowledge forming the basis of competence (in terms of the steps to competence based on North or Miller’s pyramid of competence ) can be reflected in a competency-based progress test with MCQs drafted by students. However, competence is only captured as an aspect of knowledge in this competency-based progress test.Future studies should explore whether competency-based test questions drafted by students can be successfully applied to other testing formats that can assess skills at a higher level, as is possible with key feature questions and situational judgement questions, to evaluate professional decision-making , or OSCEs.Aspects such as the focus on competency and the related blueprint must also be discussed with regard to further development of the competency-based progress test. It has already been possible to demonstrate using the discriminant validity analysis of the five competency clusters that these clusters are indeed reflected in the empirical results and that differentiation according to these groups makes sense when scoring and providing feedback to students and medical schools (see Table 6 ).Evaluation of the pilot test at eight medical schools shows that students were highly motivated to take the progress test and become familiar with this exam format (see Table 5 ). The students expressed a desire to have the progress test as a permanent part of the study programme and to receive helpful and altogether more feedback on their performance in the medical programme (items 1, 2, 7, 8 and 10). Since the progress test was offered as a formative test, these high values were to be expected. The questions about the administration of the progress test (items 4 and 5) were answered positively overall, whereby certain concessions must be made with respect to informing students in advance about the concept of progress testing (item 3). Regarding the design of the progress test, students cast a clear vote in favour of having it administered as a formative test (item 9). The majority of students preferred an exam frequency of once a year (item 11). However, only in a limited sense did the students perceive it as a test with a learning effect (item 6). If this question is considered in connection with the desire for more helpful feedback on the proficiency levels during the medical programme (item 7), it indicates the future direction for developing feedback for students, even though no direct learning effect can be expected based on taking the progress test alone. Nonetheless, the feedback offers learning opportunities in two ways. Through detailed feedback on individual responses to the separate questions, the knowledge tested by the progress test can be subsequently learned. Of more interest is the feedback on the subject groups and competency areas, which can be used by the participating students to define the focus of their studies according to specific strengths and weaknesses. DiskussionDie multifakultäre Pilotstudie zeigt, wie das Prüfungsformat „formativer Progresstests“ als kompetenzorientierte Prüfung entwickelt und eingesetzt wurde. Die inhaltliche Clusterung der 55 Leistungsnachweise nach der ÄAppO sowie der 17 Arbeitspakte des NKLM in einen zweidimensionalen Blueprint mit acht Fächergruppen und fünf Kompetenzbereichen erweist sich als ein praktikables Instrument zur Entwicklung von MC-Fragen für den kompetenzorientierten Progresstest. Die positiven Erfahrungen mit der Integration von Studierenden in die medizinische Ausbildung konnten auch in dieser Studie gezeigt werden. Die Beteiligung von Studierenden an der Entwicklung des Progresstests, der Erstellung der MC-Fragen und der Durchführung der Pilotstudie an acht medizinischen Fakultäten war praktikabel und erfolgreich. Allerdings ergaben sich in der Vorbereitung zur Pilotstudie auch Limitationen bei der Erstellung von MC-Fragen durch Studierende. Wie Abbildung 3 zeigt, konnten die Studierende insbesondere für den Kompetenzbereich C („Wissenschaftskompetenz“) und in Teilen für den Kompetenzbereich A („Kommunikative Kompetenz“) nicht genügend MC-Fragen erstellen. Dies mag darauf hinweisen, dass es den Studierenden in der Vorbereitung auf den Piloteinsatz noch nicht gelungen ist, diese Kompetenzbereiche hinreichend in ihrem Studium wieder zu erkennen bzw. hinreichend gute Szenarien dafür zu erdenken, weshalb eine intensivere Schulung zu diesen Kompetenzbereichen zu erfolgen hat. Vergleicht man dies mit der Anzahl von Fragen zu den Kompetenzbereichen B („klinisch-praktische Kompetenz“) und E („klinisch-theoretische Kompetenz“), so zeigt sich, dass dort meist überproportional viele MC-Fragen erstellt wurden, da diese Kompetenzbereiche in Kombination mit den Fächergruppen, ggf. mehr „klassische“ MC-Fragen erlauben.Das Erstellen von MC-Fragen durch geschulte Studierende auf Basis des Blueprints führte insgesamt zu einer hohen Qualität der MC-Fragen, was die niedrige Anzahl von 5 korrigierten bzw. 4 ausgeschlossenen MC-Fragen von 144 MC-Fragen aufgrund des Postreviews zeigen. Insgesamt ist allerdings anzumerken, dass die Schwierigkeit der von Studierenden entwickelten MC-Fragen mit P=0,496 in Bezug auf alle Studienjahre und P=0,667 für das 6. Studienjahr für die Pilotstudie als zu hoch anzusehen ist.Insgesamt weist der formative kompetenzorientierte Progresstest eine sehr hohe Reliabilität auf. Ebenso sind die Reliabilitäten bezogen auf die Fächergruppen und die Kompetenzbereiche und auch innerhalb der Studienjahre ausreichend hoch.Als wesentliches Ergebnis ist festzuhalten, dass der formative kompetenzorientierte Progresstest den Wissensfortschritt in der Querschnittbetrachtung über alle Studienjahre hinweg anzeigt , . Dies gilt sowohl in der Gesamtbetrachtung des Progresstests als auch hinsichtlich der Fächergruppen und Kompetenzbereiche. Die Anzahl der richtigen Antworten nimmt kontinuierlich zu, wobei die Anzahl der „Don’t know“-Antworten und auch der Anteil falscher Antworten in Relation auf die beantworteten MC-Fragen kontinuierlich abnimmt. Letzteres scheint darauf hinzudeuten, dass Studierende beantwortbare MC-Fragen mit ansteigendem Studienjahr sicherer auswählen können.Somit zeigt diese Studie, dass sich die theoretischen Wissensaspekte als Basis von Kompetenzen (im Sinne der Kompetenztreppe nach North oder der Kompetenzpyramide nach Miller ) in einem kompetenzorientierten Progresstest mit MC-Fragen von Studierenden abbilden lassen. Allerdings sind in dem vorliegenden kompetenzorientierten Progresstest die Kompetenzen damit auch nur in ihren Wissensaspekten erfasst. So ist zukünftig nachzuweisen, ob eine Kompetenzorientierung mit Prüfungsfragen von Studierenden auch mit anderen Prüfungsformaten gelingt, die Kompetenzen auf eine höheren Level prüfen, wie dies etwa unter Einsatz von Key Feature-Fragen, Situational-Judgement-Test-Fragen für das Assessment von professionellem Verhalten , oder OSCE möglich ist.Auch sind in Bezug auf die Weiterentwicklung des kompetenzorientieren Progresstests Aspekte des verwendeten Konzepts der Kompetenzbasierung und des darauf basierenden Blueprints zu diskutieren. So konnte bei der Untersuchung der diskriminanten Validität der fünf Kompetenzcluster bereits nachgewiesen werden, dass diese Cluster sich auch in den empirischen Ergebnissen abbilden und damit eine Differenzierung nach diesen Gruppen bei Auswertung und Rückmeldung an Studierende und Fakultäten sinnvoll ist (siehe Tabelle 6 ).Die Evaluation des Piloteinsatzes an acht medizinischen Fakultäten zeigt (siehe Tabelle 5), dass die Studierenden sehr motiviert waren, am Progresstest teilzunehmen und dieses Prüfungsformat kennen zu lernen. Die Studierenden wünschen sich einerseits den Progresstest als festen Bestandteil des Studienangebots sowie andererseits hilfreiche bzw. insgesamt mehr Rückmeldung über ihren Leistungsstand im Medizinstudium (Fragen 1, 2, 7, 8 und 10). Da der Progresstest als freiwilliger formativer Test angeboten wurde, waren die hohen Werte zu erwarten. Die Fragen zur Durchführung des Progresstest (Fragen 4 und 5) wurden insgesamt positiv beantwortet, wobei bei der Vorinformation der Studierenden zum Konzept des Progresstests (Frage 3) gewisse Abstriche zu machen sind. Zur Ausrichtung des Progresstests gaben die Studierenden ein deutliches Votum, dass der Progresstest aus Sicht der Studierenden als formativer Test stattfinden soll (Frage 9). Mehrheitlich wird von den Studierenden dabei ein Turnus von 1mal jährlich favorisiert (Frage 11). Die Studierenden sehen im Progresstest jedoch nur bedingt einen Test mit unmittelbarem Lerneffekt, was aufgrund der Testkonstruktion als Feedback-Instrument erwartungsgemäß war (Frage 6). Sieht man diese Frage im Zusammenhang mit dem Wunsch nach mehr hilfreichem Feedback zum Leistungsstand im Studium (Frage 7), so zeigt dies die zukünftige Richtung der Entwicklung von Feedbacks an Studierende an. Zwar ist aufgrund der reinen Teilnahme am Progresstest kein direkter Lerneffekt zu erwarten. Allerdings bietet das Feedback Lernmöglichkeiten in zweierlei Weise an. Durch Detailfeedback zu Einzelbeantwortungen der einzelnen Items kann das im Progresstest abgefragte fachliche Wissen nachträglich gelernt werden. Noch interessanter erscheint darüber hinaus das Feedback in Bezug zu den Fächergruppen und Kompetenzbereichen, das teilnehmende Studierenden dazu nutzen können, die Ausrichtung ihres Studiums mit Schwerpunktsetzungen bei Stärken und Schwächen zu steuern. OutlookBased on the results of this multi-centre pilot study using the formative competency-based progress test with student-generated MCQs, further development and use of this exam format is aimed for with the active inclusion of students in the process. The focus of continued development will be on the feedback for participating students, the type of test administration (e.g. online test) and the expansion to include other questions and exam formats (e.g. key feature questions, situational judgement questions and OSCE) that are able to represent the basis of competency at a higher level than is possible with MCQs. AusblickAufgrund der Resultate des multifakultären Piloteinsatzes des formativen kompetenzorientierten Progresstests mit MC-Fragen von Studierenden werden die Weiterentwicklung und der weitere Einsatz dieses Prüfungsformats unter direkter Beteiligung von Studierenden angestrebt. Im Fokus der Weiterentwicklung sind dabei das Feedback an die teilnehmenden Studierenden, die Art der Prüfungsdurchführung (z.B. als online-basierter Test) sowie die Ergänzung um weitere Fragen- und Prüfungsformate (z.B. Key Feature-Fragen, Situational-Judgement-Test-Fragen und OSCE), welche insbesondere die Kompetenzorientierung auf einem höheren Level abbilden können, als dies mit MC-Fragen möglich ist. Competing interestsThe authores declare that they have no competing interests. InteressenkonfliktDie Autoren erklären, dass sie keine Interessenkonflikte im Zusammenhang mit diesem Artikel haben. Van der Vleuten CP Verwijnen GM Wijnen WH Fifteen years of experience with progress testing in a problem-based learning curriculum 1996 Med Teach 103-109 Van der Vleuten CP, Verwijnen GM, Wijnen WH. Fifteen years of experience with progress testing in a problem-based learning curriculum. Med Teach. 1996;18(2):103-109. DOI: 10.3109/01421599609034142 http://dx.doi.org/10.3109/01421599609034142 Nouns ZM Georg W Progress testing in German speaking countries 2010 Med Teach 467-70 Nouns ZM, Georg W. Progress testing in German speaking countries. Med Teach. 2010;32(6):467-70. DOI: 10.3109/0142159X.2010.485656 http://dx.doi.org/10.3109/0142159X.2010.485656 Wrigley W van der Vleuten CP Freeman A Muijtjens A A systemic framework for the progress test: strengths, constraints and issues: AMEE Guide No. 71 2012 Med Teach 683–697 Wrigley W, van der Vleuten CP, Freeman A, Muijtjens A. A systemic framework for the progress test: strengths, constraints and issues: AMEE Guide No. 71. Med Teach. 2012;34(9):683–697. DOI: 10.3109/0142159X.2012.704437 http://dx.doi.org/10.3109/0142159X.2012.704437 Schuwirth LW van der Vleuten CP The use of progress testing 2012 Perspect Med Educ 24–30 Schuwirth LW, van der Vleuten CP. The use of progress testing. Perspect Med Educ. 2012;1(1):24–30. DOI: 10.1007/s40037-012-0007-2 http://dx.doi.org/10.1007/s40037-012-0007-2 Finucane P Flannery D Keane D Norman G Cross-institutional progress testing: Feasibility and value to a new medical school 2010 Med Educ 184-186 Finucane P, Flannery D, Keane D, Norman G. Cross-institutional progress testing: Feasibility and value to a new medical school. Med Educ. 2010;44(2):184-186. DOI: 10.1111/j.1365-2923.2009.03567.x http://dx.doi.org/10.1111/j.1365-2923.2009.03567.x Topping K The Effectiveness of Peer Tutoring in Higher and Further Education: A Typology and Review of the Literature 1996 High Educ 321–345 Topping K. The Effectiveness of Peer Tutoring in Higher and Further Education: A Typology and Review of the Literature. High Educ. 1996;32(3):321–345. DOI: 10.1007/BF00138870 http://dx.doi.org/10.1007/BF00138870 Topping K Ehly S 1998 Peer-assisted learning Peer-assisted learning Topping K, Ehly S. Peer-assisted learning. Mahwah NJ: Lawrence Erlbaum Associates; 1998. Erlich DR Shaughnessy AF Student–teacher education programme (STEP) by step: Transforming medical students into competent, confident teachers 2014 Med Teach 322-332 Erlich DR, Shaughnessy AF. Student–teacher education programme (STEP) by step: Transforming medical students into competent, confident teachers. Med Teach. 2014;36(4):322-332. DOI: 10.3109/0142159X.2014.887835 http://dx.doi.org/10.3109/0142159X.2014.887835 Weyrich P Celebi N Schrauth M Möltner A Lammerding-Köppel M Nikendei C Peer-assisted versus faculty staff-led skills laboratory training: A randomised controlled trial 2009 Med Educ 113-120 Weyrich P, Celebi N, Schrauth M, Möltner A, Lammerding-Köppel M, Nikendei C. Peer-assisted versus faculty staff-led skills laboratory training: A randomised controlled trial. Med Educ. 2009;43(2):113-120. DOI: 10.1111/j.1365-2923.2008.03252.x http://dx.doi.org/10.1111/j.1365-2923.2008.03252.x Silbert B Lake FR Peer-assisted learning in teaching clinical examination to junior medical students 2012 Med Teach 392-397 Silbert B, Lake FR. Peer-assisted learning in teaching clinical examination to junior medical students. Med Teach. 2012;34(5):392-397. DOI: 10.3109/0142159X.2012.668240 http://dx.doi.org/10.3109/0142159X.2012.668240 Nestel D Kidd J Peer assisted learning in patient-centred interviewing: The impact on student tutors 2005 Med Teach 439-444 Nestel D, Kidd J. Peer assisted learning in patient-centred interviewing: The impact on student tutors. Med Teach. 2005;27(5):439-444. DOI: 10.1080/01421590500086813 http://dx.doi.org/10.1080/01421590500086813 Saleh M Sinha Y Weinberg D Using peer-assisted learning to teach basic surgical skills: medical students' experiences 2013 Med Educ Online 10.3402/meo.v18i0 Saleh M, Sinha Y, Weinberg D. Using peer-assisted learning to teach basic surgical skills: medical students' experiences. Med Educ Online. 2013;18:10.3402/meo.v18i0.21065. DOI: 10.3402/meo.v18i0.21065 http://dx.doi.org/10.3402/meo.v18i0.21065 Nikendei C Andreesen S Hoffmann K Jünger J Cross-year peer tutoring on internal medicine wards: Effects on self-assessed clinical competencies - a group control design study 2009 Med Teach 32-35 Nikendei C, Andreesen S, Hoffmann K, Jünger J. Cross-year peer tutoring on internal medicine wards: Effects on self-assessed clinical competencies - a group control design study. Med Teach. 2009;31(2):32-35. DOI: 10.1080/01421590802464452 http://dx.doi.org/10.1080/01421590802464452 Ringel N Maatouk-Bürmann B Fellmer-Drüg E Roos M Herzog W Nikendei C Wischmann T Weiss C Eicher C Engeser P Schultz JH Jünger J Integriertes Peer Teaching klinischer und kommunikativer Kompetenzen – Wie bereiten wir studentische Tutoren darauf vor? 2015 Psychother Psychosom Med Psychol Ringel N, Maatouk-Bürmann B, Fellmer-Drüg E, Roos M, Herzog W, Nikendei C, Wischmann T, Weiss C, Eicher C, Engeser P, Schultz JH, Jünger J. Integriertes Peer Teaching klinischer und kommunikativer Kompetenzen – Wie bereiten wir studentische Tutoren darauf vor? Psychother Psychosom Med Psychol. 2015. DOI: 10.1055/s-0034-1398549 http://dx.doi.org/10.1055/s-0034-1398549 Baillie S Shore H Gill D May SA Introducing peer-assisted learning into a veterinary curriculum: A trial with a simulator 2009 J Vet Med Educ 174-179 Baillie S, Shore H, Gill D, May SA. Introducing peer-assisted learning into a veterinary curriculum: A trial with a simulator. J Vet Med Educ. 2009;36(2):174-179. DOI: 10.3138/jvme.36.2.174 http://dx.doi.org/10.3138/jvme.36.2.174 Ten Cate O Durning S Dimensions and psychology of peer teaching in medical education 2007 Med Teach 546-552 Ten Cate O, Durning S. Dimensions and psychology of peer teaching in medical education. Med Teach. 2007;29(6):546-552. DOI: 10.1080/01421590701583816 http://dx.doi.org/10.1080/01421590701583816 Jünger J Schultz JH Schönemann J Wagener S Drude N Duelli R Resch F Narciß E Peer-assisted learning: A planning and implementation framework. Guide supplement 30.6 - practical application 2009 Med Teach 55-56 Jünger J, Schultz JH, Schönemann J, Wagener S, Drude N, Duelli R, Resch F, Narciß E. Peer-assisted learning: A planning and implementation framework. Guide supplement 30.6 - practical application. Med Teach. 2009;31(1):55-56. DOI: 10.1080/01421590802298181 http://dx.doi.org/10.1080/01421590802298181 Ten Cate O AMEE Guide Supplements: Peer-assisted learning: A planning and implementation framework. Guide supplement 30.5–Viewpoint1 2009 Med Teach 57-58 Ten Cate O. AMEE Guide Supplements: Peer-assisted learning: A planning and implementation framework. Guide supplement 30.5–Viewpoint1. Med Teach. 2009;31(1):57-58. DOI: 10.1080/01421590802298173 http://dx.doi.org/10.1080/01421590802298173 Green DH Student-generated exams: testing and learning 1997 J Market Educ 43-53 Green DH. Student-generated exams: testing and learning. J Market Educ. 1997;19(2):43-53. DOI: 10.1177/027347539701900205 http://dx.doi.org/10.1177/027347539701900205 Palmer E Devitt P Constructing multiple choice questions as a method for learning 2006 Ann Acad Med Singapore 604-608 Palmer E, Devitt P. Constructing multiple choice questions as a method for learning. Ann Acad Med Singapore. 2006;35(9):604-608. Gooi AC Sommerfeld CS Medical school 2.0: How we developed a student-generated question bank using small group learning 2014 Med Teach 1-5 Gooi AC, Sommerfeld CS. Medical school 2.0: How we developed a student-generated question bank using small group learning. Med Teach. 2014;13:1-5. DOI: 10.3109/0142159X.2014.970624 http://dx.doi.org/10.3109/0142159X.2014.970624 McLeod PJ Snell L Student-generated MCQs 1996 Med Teach 23-25 McLeod PJ, Snell L. Student-generated MCQs. Med Teach. 1996;18(1):23-25. DOI: 10.3109/01421599609040257 http://dx.doi.org/10.3109/01421599609040257 Baerheim A Meland E Medical students proposing questions for their own written final examination: evaluation of an educational project 2003 Med Educ 734-738 Baerheim A, Meland E. Medical students proposing questions for their own written final examination: evaluation of an educational project. Med Educ. 2003;37(8):734-738. DOI: 10.1046/j.1365-2923.2003.01578.x http://dx.doi.org/10.1046/j.1365-2923.2003.01578.x Denny P Luxton-Reilly A Simon B Quality of student contributed questions using PeerWise 2009 Proc. 11th Australasian computing education conference - Volume 9 55-63 Denny P, Luxton-Reilly A, Simon B. Quality of student contributed questions using PeerWise. In: Hamilton M, Clear T (Hrsg). Proc. 11th Australasian computing education conference - Volume 95. Darlinghurst: Australian Computer Society, Inc.; 2009. S.55-63. Frank JR Snell LS Cate OT Holmboe ES Carraccio C Swing SR Harris P Glasgow NJ Campbell C Dath D Harden RM Iobst W Long DM Mungroo R Richardson DL Sherbino J Silver I Taber S Talbot M Harris KA Competency-based medical education: theory to practice 2010 Med Teach 638–645 Frank JR, Snell LS, Cate OT, Holmboe ES, Carraccio C, Swing SR, Harris P, Glasgow NJ, Campbell C, Dath D, Harden RM, Iobst W, Long DM, Mungroo R, Richardson DL, Sherbino J, Silver I, Taber S, Talbot M, Harris KA. Competency-based medical education: theory to practice. Med Teach. 2010;32(8):638–645. DOI: 10.3109/0142159X.2010.501190 http://dx.doi.org/10.3109/0142159X.2010.501190 Morcke AM Dornan T Eika B Outcome (competency) based education: An exploration of its origins, theoretical basis, and empirical evidence 2013 Adv Health Sci Educ 851-863 Morcke AM, Dornan T, Eika B. Outcome (competency) based education: An exploration of its origins, theoretical basis, and empirical evidence. Adv Health Sci Educ. 2013;18(4):851-863. DOI: 10.1007/s10459-012-9405-9 http://dx.doi.org/10.1007/s10459-012-9405-9 North K Reinhardt K 2005 Kompetenzmanagement in der Praxis North K, Reinhardt K. Kompetenzmanagement in der Praxis. Wiesbaden: Gabler; 2005. DOI: 10.1007/978-3-322-84634-1 http://dx.doi.org/10.1007/978-3-322-84634-1 Miller GE The assessment of clinical skills/competence/performance 1990 Acad Med 63-67 Miller GE. The assessment of clinical skills/competence/performance. Acad Med. 1990;65(9 Suppl.):63-67. DOI: 10.1097/00001888-199009000-00045 http://dx.doi.org/10.1097/00001888-199009000-00045 Better J Fries M Gottschalk M Günther J Illg C Jassowicz A Kreisel C Kwakmann S Maier P Moliere F Moczko T Niesert M Speck H Strübing F Zelienka I Wagener S Schultz JH Jünger J Entwicklung eines formativen kompetenzbasierten Progresstests durch Studierende 2013 Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA). Graz, 26.-28.09.2013 DocS02_02 Better J, Fries M, Gottschalk M, Günther J, Illg C, Jassowicz A, Kreisel C, Kwakmann S, Maier P, Moliere F, Moczko T, Niesert M, Speck H, Strübing F, Zelienka I, Wagener S, Schultz JH, Jünger J. Entwicklung eines formativen kompetenzbasierten Progresstests durch Studierende. Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA). Graz, 26.-28.09.2013. Düsseldorf: German Medical Science GMS Publishing House; 2013. DocS02_02. DOI: 10.3205/13gma299 http://dx.doi.org/10.3205/13gma299 Burton RF Misinformation, partial knowledge and guessing in true/false tests 2002 Med Educ 805–811 Burton RF. Misinformation, partial knowledge and guessing in true/false tests. Med Educ. 2002;36(9):805–811. DOI: 10.1046/j.1365-2923.2002.01299.x http://dx.doi.org/10.1046/j.1365-2923.2002.01299.x Yong AG Pearce S A Beginner's Guide to Factor Analysis: Focusing on Exploratory Factor Analysis 2013 Tut Quant Method Psychol 79-94 Yong AG, Pearce S. A Beginner's Guide to Factor Analysis: Focusing on Exploratory Factor Analysis. Tut Quant Method Psychol. 2013;9(2):79-94. Möltner A Tımbıl S Wagener S Jünger J Strukturanalyse des Studentischen Progress-Tests: Reliabilität und diskriminante Validität von Kompetenzbereichen , GMS Z Med Ausbild Doc42 Möltner A, Tımbıl S, Wagener S, Jünger J. Strukturanalyse des Studentischen Progress-Tests: Reliabilität und diskriminante Validität von Kompetenzbereichen. GMS Z Med Ausbild., 2015;32(4):Doc42. DOI: 10.3205/zma000984 http://dx.doi.org/10.3205/zma000984 Dijksterhuis MG Scheele F Schuwirth LW Essed GG Nijhuis JG Braat DD Progress testing in postgraduate medical education 2009 Med Teach e464–e468 Dijksterhuis MG, Scheele F, Schuwirth LW, Essed GG, Nijhuis JG, Braat DD. Progress testing in postgraduate medical education. Med Teach. 2009;31(10):e464–e468. DOI: 10.3109/01421590902849545 http://dx.doi.org/10.3109/01421590902849545 Dijksterhuis MG Schuwirth LW Braat DD Scheele F An exploratory study into the impact and acceptability of formatively used progress testing in postgraduate obstetrics and gynaecology 2013 Perspect Med Educ 126–141 Dijksterhuis MG, Schuwirth LW, Braat DD, Scheele F. An exploratory study into the impact and acceptability of formatively used progress testing in postgraduate obstetrics and gynaecology. Perspect Med Educ. 2013;2(3):126–141. DOI: 10.1007/s40037-013-0063-2 http://dx.doi.org/10.1007/s40037-013-0063-2 Metcalfe D Dev H 2014 Situational Judgement Test Metcalfe D, Dev H. Situational Judgement Test. 2nd ed. Oxford: Oxford University Press.; 2014. Foucault A Dubé S Fernandez N Gagnon R Charlin B Learning medical professionalism with the online concordance-of-judgment learning tool (CJLT): A pilot study 2014 Med Teach 1-6 Foucault A, Dubé S, Fernandez N, Gagnon R, Charlin B. Learning medical professionalism with the online concordance-of-judgment learning tool (CJLT): A pilot study. Med Teach. 2014;22(Oct):1-6. DOI: 10.3109/0142159X.2014.970986 http://dx.doi.org/10.3109/0142159X.2014.970986 11en1de

Table 1: Blueprint of the formative competency-based progress test: subject group and competency area clusters.

Tabelle 1: Blueprint des formativen kompetenzorientierten Progresstests: Cluster der Fächergruppen und Kompetenzbereiche.

22en2de

Table 2: Examples of student-generated MCQs integrating subject group and competency area [https://www.ucan-assess.org/cms/networks/student-progress-test/].

Tabelle 2: Bespiele von durch Studierende erstellte MC-Fragen mit inhaltlich integrierter Fächergruppe und Kompetenzbereich [https://www.ucan-assess.org/cms/de/networks/studentischer-progresstest/].

33en3de

Table 3: Number of students participating in the pilot study conducted in November 2013 at eight medical schools.

Tabelle 3: Teilnehmende Studierende an der Pilotstudie im November 2013 an acht medizinischen Fakultäten.

44en4de

Table 4: Reliability of the entire test and of the subject groups, competency areas and academic years: internal consistency (Cronbach’s α), standard error of measurement for the scale (sem), standardized reliability for test length 1 according to the Spearman–Brown formula (α[1]).

Tabelle 4: Reliabilität des Gesamttests differenziert nach Fächergruppen und Kompetenzbereichen sowie die Reliabilität nach Studienjahren: Interne Konsistenz (Cronbachs α), Standardmessfehler der Skala (Standard error of measurement, sem), auf Testlänge 1 normierte Reliabilität nach der Spearman-Brown-Formel (α[1]).

55en5de

Table 5: Results of the progress test evaluation at eight schools (n=463). The survey was conducted using a 4-point scale (1=strongly disagree, 2=disagree, 3=agree and 4=strongly agree) with the additional option “not applicable”.

Tabelle 5: Ergebnisse der Evaluation des Progresstests an acht Fakultäten (n=463). Die Befragung erfolgte anhand einer 4-Punkte-Skala (1=Trifft nicht zu, 2=Trifft eher nicht zu, 3=Trifft eher zu, 4=Trifft zu) mit zusätzlicher Antwortoption „Keine Angabe möglich“.

66en6de

Table 6: Discriminant validity analysis of the questions in the competency areas based on the four principal components defined by principal component analysis of the data. Results of the cross-validation according to the leave-one-out method.

Tabelle 6: Diskriminanzanalyse der Aufgaben der Kompetenzbereiche auf Basis der vier Hauptkomponenten einer Hauptkomponentenanalyse der Daten. Ergebnisse der Kreuzvalidierung nach der „Leave one out-Methode“.

6

1 1en 1de Figure 1: Structure of the national competence-based learning objectives for undergraduate medical education in Germany, NKLM [http://www.mft-online.de/files/nklm_nklz_information_20130419_kurz.pdf, last verified on 14 December 2014]. Abbildung 1: Struktur des Nationalen Kompetenzbasierten Lernzielkatalogs Medizin, NKLM [http://www.mft-online.de/files/nklm_nklz_information_20130419_kurz.pdf, zuletzt geprüft am 14.12.2014].

2 2en 2de Figure 2: Blueprint of the formative competency-based progress test: weighting of the subject groups and competency areas and the resulting item numbers. Abbildung 2: Blueprint des formativen kompetenzorientierten Progresstests: Gewichtung der Fächergruppen und Kompetenzbereiche und der daraus resultierenden Itemanzahl.

3 3en 3de Figure 3: Fulfilment of the blueprint of the formative competency-based progress test by student-generated MCQs. The number of missing MCQs is summed. Abbildung 3: Abdeckung des Blueprints des formativen kompetenzorientierten Progresstests durch die MC-Fragen von Studierenden. Die Anzahl fehlender MC-Fragen ist summiert.

4 4en 4de Figure 4: Results of the progress test at all eight schools (n=469): Overall test; correct (green), don’t know (yellow), incorrect (red) and percent wrong (incorrect / (correct + incorrect)). Abbildung 4: Ergebnisse des Progresstests aller acht Fakultäten (n=469): Gesamter Test. „Korrekt“ (grün), „Don´t Know“ (gelb), „Falsch“ (rot) sowie „Anteil Falsch“ (Falsch / (Korrekt + Falsch)).

5 5en 5de Figure 5: Results of the progress test at all eight schools (n=469): Subject groups; correct (green), don’t know (yellow), incorrect (red) and percent wrong (incorrect / (correct + incorrect)). Abbildung 5: Ergebnisse des Progresstests aller acht Fakultäten (n=469): Fächergruppen. „Korrekt“ (grün), „Don´t Know“ (gelb), „Falsch“ (rot) sowie „Anteil Falsch“ (Falsch / (Korrekt + Falsch)).

6 6en 6de Figure 6: Results of the progress test at all eight schools (n=469): Competency areas; correct (green), don’t know (yellow), incorrect (red) and percent wrong (incorrect / (correct + incorrect)). Abbildung 6: Ergebnisse des Progresstests aller acht Fakultäten (n=469): Kompetenzbereiche. „Korrekt“ (grün), „Don't Know“ (gelb), „Falsch“ (rot) sowie „Anteil Falsch“ (Falsch / (Korrekt + Falsch)).

6 0 0