zma000983 10.3205/zma000983 urn:nbn:de:0183-zma0009838 article Artikel Elektronische Erfassung von Prüfungsleistungen bei OSCE-Prüfungen mit Tablets Hochlehnert Hochlehnert Achim A Dr. MSc

Universitätsklinikum Heidelbeg, Klinik für Allg. Innere und Psychosomatische Medizin, Im Neuenheimer Feld 410, 69120 Heidelberg, Deutschland, Tel.: +49 (0)6221/56-38564, Fax: +49 (0)6221/56-5749Universität Heidelberg, Kompetenzzentrum für Prüfungen in der Medizin/Baden-Württemberg, Heidelberg, Deutschland

achim_hochlehnert@med.uni-heidelberg.de author Schultz Schultz Jobst-Hendrik JH

Universität Heidelberg, Kompetenzzentrum für Prüfungen in der Medizin/Baden-Württemberg, Heidelberg, Deutschland

jobst-hendrik_schultz@med.uni-heidelberg.de author Möltner Möltner Andreas A

Universität Heidelberg, Kompetenzzentrum für Prüfungen in der Medizin/Baden-Württemberg, Heidelberg, Deutschland

andreas.moeltner@med.uni-heidelberg.de author Tımbıl Tımbıl Sevgi S

Universität Heidelberg, Kompetenzzentrum für Prüfungen in der Medizin/Baden-Württemberg, Heidelberg, Deutschland

author Brass Brass Konstantin K

Universität Heidelberg, Kompetenzzentrum für Prüfungen in der Medizin/Baden-Württemberg, Heidelberg, Deutschland

author Jünger Jünger Jana J Prof. Dr. med. MME

Universität Heidelberg, Kompetenzzentrum für Prüfungen in der Medizin/Baden-Württemberg, Heidelberg, Deutschland

ana_juenger@med.uni-heidelberg.de author German Medical Science GMS Publishing House

Düsseldorf

610 Quality assurance OSCE computer-based assessments tablets iPad IT solution Qualitätssicherung OSCE-Prüfungen PC-basierte Prüfungen Tablets i-Pad IT Lösung Assessment Prüfungen 20131205 20141016 20150302 20151015 engl germ This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). 1860-3572 32 4 GMS Zeitschrift für Medizinische Ausbildung GMS Z Med Ausbild Prüfungen 41 Hintergrund: OSCE-Prüfungen sind oft mit einem erheblichen Material- und Organisationsaufwand verbunden, da die Leistungserfassung üblicherweise auf Papier durchgeführt wird. Eine elektronisch unterstützte Durchführung stellt hierzu eine Alternative dar, mit der der Verbrauch materieller Ressourcen reduziert werden kann. Insbesondere erscheint hier der Einsatz von Tablets sinnvoll, da diese zudem leicht zu transportieren sind und damit flexibel eingesetzt werden können. Zielsetzung: Die Nutzerakzeptanz der Verwendung von Tablets bei OSCE-Prüfungen wurde bislang allerdings nur wenig untersucht. Ziel dieser Studie war daher eine Evaluation Tablet-basierter OSCE-Prüfungen aus Sicht der Benutzer (Prüfer) und der geprüften Studierenden.Methodik: Bei zwei OSCE-Prüfungen des Faches Innere Medizin der Universität Heidelberg wurde die Nutzerakzeptanz einer Tablet-basierten Durchführung (Zufriedenheit mit der Funktionalität) und die subjektive Anstrengung aus Sicht der Prüfer untersucht. Hierzu wurden standardisierte Fragebögen und halbstandardisierte Interviews eingesetzt (Vollerfassung aller teilnehmenden Prüfer). Zudem wurde bei einer der Prüfungen die subjektive Bewertung dieser Prüfungsvariante an einer Stichprobe teilnehmender Studierender mittels halbstandardisierter Interviews erhoben.Ergebnisse: Die Prüfer waren mit der Tablet-Prüfungsvariante insgesamt sehr zufrieden. Die subjektive Anstrengung der Bedienung der Tablets wurde im Mittel als „kaum anstrengend“ empfunden. In den Interviews wurden insbesondere die einfache Handhabung und die geringe Fehleranfälligkeit von den Prüfern als Vorteile dieser Prüfungsvariante genannt. In der Befragung der geprüften Studierenden zeigte sich ebenfalls eine Akzeptanz der Tablet-Prüfungsvariante. Diskussion: Insgesamt hat sich gezeigt, dass der Einsatz von Tablets in OSCE-Prüfungen sowohl von Prüfern als auch Studierenden gut angenommen wird. Es wird erwartet, dass diese Prüfungsvariante auch hinsichtlich Prüfungsdokumentation, Ressourceneinsatz und Fehleranfälligkeit gegenüber der papierbasierten Form Vorteile bietet, was Gegenstand weiterer Studien sein sollte. Background: Objective Structured Clinical Examinations (OSCEs) often involve a considerable amount of resources in terms of materials and organization since the scores are often recorded on paper. Computer-assisted administration is an alternative with which the need for material resources can be reduced. In particular, the use of tablets seems sensible because these are easy to transport and flexible to use.Aim: User acceptance concerning the use of tablets during OSCEs has not yet been extensively investigated. The aim of this study was to evaluate tablet-based OSCEs from the perspective of the user (examiner) and the student examinee.Method: For two OSCEs in Internal Medicine at the University of Heidelberg, user acceptance was analyzed regarding tablet-based administration (satisfaction with functionality) and the subjective amount of effort as perceived by the examiners. Standardized questionnaires and semi-standardized interviews were conducted (complete survey of all participating examiners). In addition, for one OSCE, the subjective evaluation of this mode of assessment was gathered from a random sample of participating students in semi-standardized interviews.Results: Overall, the examiners were very satisfied with using tablets during the assessment. The subjective amount of effort to use the tablet was found on average to be “hardly difficult”. The examiners identified the advantages of this mode of administration as being in particular the ease of use and low rate of error. During the interviews of the examinees, acceptance for the use of tablets during the assessment was also detected.Discussion: Overall, it was found that the use of tablets during OSCEs was well accepted by both examiners and examinees. We expect that this mode of assessment also offers advantages regarding assessment documentation, use of resources, and rate of error in comparison with paper-based assessments; all of these aspects should be followed up on in further studies. 1. IntroductionObjective Structured Clinical Examinations (OSCEs) are often administered during medical education to assess practical and communicative skills . However, this type of testing requires a great amount of staff, organization and materials , . Computer-assisted alternatives can be used to reduce the use of resources and are now generally recommended by the majority (Ottawa Conference 2010 ).Computers can be specifically used during OSCEs by the examiner to enter scores and comment on evaluations, but using computers to conduct this type of assessment still often entails great effort and can pose various difficulties. Obstacles to using computers are primarily the inability to transport them easily and the risk that monitors or other components could block the assessor’s view of the testing situation. This is why the use of computers for OSCEs has not yet established itself. The use of tablets in the OSCE setting makes much more sense due to their suitable smallness of size (e.g. a half sheet of paper), portability, and flexibility in terms of use.Overall, conducting an assessment using tablets offers the practical advantages of reducing paper consumption and the need for space when compared to paper-based and computer-based examinations, respectively. To implement this mode of assessment on a broader basis, it should not just be a more feasible method, but also well accepted by the examiner and examinee. The subjective acceptance of administering OSCEs using tablets has not yet been closely investigated. Two studies , , , in which the program eOSCE was used on iPads, point to a comparable or even higher level of acceptance in both student examinees and examiners for the tablet-based version in comparison with the paper-based one.A module for administering OSCEs with tablets (tOSCE) was also developed at Heidelberg University in 2011 as part of the Item Management System (IMS) . Its user interface hardly differs from the eOSCE used in the previous studies , , . Thus it remained open how well tOSCE would be accepted since this could have been dependent on the assessment software used.The aim of this study was to evaluate tablet-based assessment using the software tOSCE from the perspectives of the user (examiner) and the student examinee. For two OSCEs, the level of satisfaction regarding functionality and the subjective amount of effort was measured by means of a questionnaire (examiners only) and capturing general impressions in interviews (examiners and examinees). If the software in use here is also well received, then this would indicate a generalized acceptance of tablet-assisted OSCEs (assuming that adequate software is used). 1. EinleitungObjektiv-strukturierte klinische Prüfungen (objective structured clinical examinations; OSCE) werden im Rahmen des Medizinstudiums häufig eingesetzt, um praktische und kommunikative Fähigkeiten zu erfassen . Diese sind allerdings mit einem hohen personellen, materiellen und logistischen Aufwand verbunden , . Zur Verringerung des Ressourceneinsatzes könnten elektronisch unterstützte Alternativen verwendet werden, deren Einsatz bei Prüfungen allgemein inzwischen mehrheitlich empfohlen wird (Ottawa-Conference 2010 ). Speziell bei OSCE-Prüfungen können Computer zwar zur Eingabe und Kommentierung der Bewertungen durch die Prüfer verwendet werden, allerdings ist die Durchführung mit PCs oft noch sehr aufwendig und kann verschiedene Schwierigkeiten beinhalten. Hindernisse für den Einsatz von PCs stellen vor allem ihre mangelnde Transportabilität und mögliche Sichtverdeckungen der Prüfungssituation durch Bedienelemente und Monitore dar. Dies hat dazu geführt, dass sich der Einsatz von PCs bei OSCE-Prüfungen noch nicht etabliert hat. Hier bietet sich daher der Einsatz von Tablets an, die in geeigneter Größe (z.B. DIN A4-Format) leicht zu transportieren, platzsparend und somit flexibler einsetzbar sind.Insgesamt bietet eine Prüfungsdurchführung mittels Tablets einige praktische Vorteile gegenüber einer Papier-basierten (z.B. Papierreduktion) oder PC-basierten Durchführung (z.B. Platzersparnis). Um diese Prüfungsvariante auf breiter Basis zu implementieren, sollte sie jedoch nicht nur praktikabel sein, sondern seitens der Prüfer und Geprüften auch gut akzeptiert werden. Die subjektive Akzeptanz der Durchführung von OSCE-Prüfungen mittels Tablets wurde jedoch kaum untersucht. Zwei Studien , , , in denen das Programm eOSCE auf i-Pad-Tablets verwendet wurde, weisen bisher auf eine vergleichbare oder sogar bessere Akzeptanz der Tablet gegenüber der Papiervariante bei geprüften Studierenden und Prüfern hin. An der Universität Heidelberg wurde 2011 im Rahmen des Prüfungssystems „Item-ManagementSystem“ (IMS) ebenfalls ein Modul zur Durchführung von OSCEs mit Tablets (tOSCE) entwickelt . Dieses unterscheidet sich in seiner Benutzeroberfläche von dem eOSCE-System der vorherigen Studien , , jedoch deutlich. Somit bleibt offen, wie die Akzeptanz für den Einsatz der tOSCE-Variante ausfallen würde, da diese von der verwendeten Prüfungssoftware abhängig sein könnte.Ziel dieser Studie war daher eine Evaluation der Tablet-basierten Prüfungsvariante bei Verwendung der Software tOSCE aus Sicht der Benutzer (Prüfer) und der geprüften Studierenden. Hierzu wurde bei zwei OSCE-Prüfungen die Zufriedenheit mit der Funktionalität und die subjektiv erlebte Anstrengung anhand von Fragebögen (nur Prüfer) sowie allgemeine Eindrücke im Rahmen von Interviews (Prüfer und geprüfte Studierende) erfasst. Sollte die hier verwendete Software ebenfalls gut angenommen werden, würde dies für eine Generalisierbarkeit der Akzeptanz von Tablet-unterstützten OSCEs sprechen (Verwendung adäquater Software vorausgesetzt). 2. Method2.1 Issue and Study Design To evaluate the satisfaction with functionality, the subjective perception of ease and the general impressions of tablet-based OSCE administration, both quantitative data and general impressions were collected. This was done by means of two different questionnaires and the conduction of semi-standardized interviews. A total of two surveys were conducted: one for the 2012 summer semester (questionnaire for examiners) and another for the 2012-13 winter semester (questionnaires for examiners, interviews with students).Procedure for the assessment and survey2012 summer semester:The evaluation of the tablet-based assessment took place during an OSCE in Internal Medicine at the Heidelberg University Hospital in the summer of 2012. In two OSCE circuits of 10 stations each, 184 students were assessed over the course of two days. The length of the individual assessments was five minutes; the time allotted for moving between stations was one minute.Paper-based and tablet-based assessments were conducted in equal measure at the OSCE stations. In each circuit, the assessment at five of the stations was paper-based and at the other five tablet-based. At noon, the mode was switched at each station, so that examiners who used the paper-based method in the morning used the tablet at the same station in the afternoon, and vice versa. Each student was thus assessed on paper at five stations and at the other five with tablets (see table 1 ).After completing the assessments, the examiners were each given a questionnaire, addressing the level of satisfaction with the software and the perceived level of difficulty regarding tablet-based administration of the assessment. These are described in more detail below.2012-13 winter semester:Due to the positive results of the first examiner survey, the assessment was conducted exclusively with tablets during the following semester. As a technical improvement, a comment function with predefined text blocks was added to the assessment software. During this semester, the examiners were asked about the individual aspects of this new comment function, their experiences and suggestions for improvements (questionnaire). In addition, interviews were conducted with students (see table 2 ).2.2 Recruiting the Examiners 2012 summer semester:A total of 37 instructors participated as examiners in the 2012 summer semester assessment; each received Survey 1. All participants underwent special training on how to use tablets (length of time was approximately 20-30 minutes). During the training session each examiner had the opportunity to do a complete test run of an assessment at the particular OSCE station using a checklist.2012-13 winter semester:A total of 35 examiners participated in the 2012-13 winter semester assessment; each received Survey 2. With the exception of four examiners (two female, two male), all of the examiners had participated in the OSCE during the previous summer. Once again, all examiners underwent tablet training, which also covered the new function for entering comments.2.3 Recruiting the StudentsAfter completing each OSCE, a group of student examinees were surveyed about their impressions of the tablet-based OSCEs. Data was collected from a total of 19 randomly selected students (for practical reasons strict randomization was not possible).2.4 Description of the Questionnaires and Interviews2012 summer semester:General information was gathered from the examiners regarding demographics (age, sex), professional status (chief physician, senior physician, specialty physician or assistant physician), and prior knowledge concerning computer or iPad literacy as well as the conduction of OSCEs.To evaluate the overall satisfaction with tablet-based administration of the OSCE, the following question was posed: How satisfied are you overall with digital administration of OSCEs? (1=dissatisfied, 2=mostly dissatisfied, 3=less satisfied, 4=satisfied, 5=very satisfied).To measure the subjective level of difficulty associated with using the software, the internationally evaluated SMEQ questionnaire was used with a visual analog scale (VAS) ranging from 0 (not at all difficult) to 220 (exceptionally difficult) , (German version ).With this questionnaire, information was collected about the subjectively perceived effort needed to find and select a candidate, enter and correct scores, view assessment results, use additional functions (timer), and enter comments.In addition, the examiners responded to the open-ended questions: Do you have the impression that your conduct as an examiner changed when using a tablet, if so, in what ways? What do you consider are the advantages and disadvantages of using tablets to administer assessments?2012-13 winter semester:Questionnaire for examiners:The questionnaire used for the winter semester also included the question regarding overall satisfaction (see above), along with the questions: In your estimation what is the need for training and the time needed for refresher training? Which comment functions did you use? What other improvements would you like to see? In your opinion, what are the major differences between table-based and paper-based assessment in terms of conducting an examination? For you, what are the major differences between tablet-based and paper-based assessment in terms of evaluating examinees?Interviewing the students:The student survey occurred immediately following the OSCE. A random selection of students were questioned in semi-standardized interviews about their impressions regarding any changes in the testing atmosphere and asked to give feedback comparing the two types of assessment administration. The following questions were posed: What are your perceptions of the tablet-based assessment? What consequences do you see for yourself? What was your overall impression of the assessment? Two raters qualitatively analyzed the responses in terms of content and classified them according to categories .2.5 Description of the Hardware (Tablet/WLAN)Tablets were used to record the performance at the OSCE stations. This involved the use of portable, flat computers of a lightweight design with touchscreens and no keyboard [source: https://www.wikipedia.de/]. A laptop functioned as the server (see Figure 1 ).2.6 Description of the software (tOSCE)With the software application (tOSCE), the examiner uses a tablet as the medium for entering scores. tOSCE was developed as a quality assurance measure to limit the rate of error and the effort involved with analysis ]. In addition, the software offers the same advantages regarding system reliability and legal certainty as CAMPUS Prüfungsplayer, which has been in use since 2005 at a number of medical schools . In order to support the largest selection of suitable tablets, the player was developed in a platform-neutral manner, meaning that the software can be used with the common tablet operating systems, such as iOS or Android. The following contains descriptions of the most important software features:2.6.1 Entry and export of the testing stations prior to the assessmentJust as with a paper-based OSCE, the test questions are entered into the Item Management System (IMS) and the examination is compiled . The examination can then be printed out from the IMS not only in hardcopy form, but also exported to the tablets as a digital examination (see Figure 2 ).2.6.2 Identification of the examinees using QR codesUpon registering for the assessment, each student is assigned a QR code that can be printed from the server. The students bring these codes with them to the assessment. By pointing the tablet’s camera at the QR code, the examinee is immediately and accurately identified at each station, so that there is little risk of mistake and yet sufficient flexibility for dealing with last-minute switching of places among the students (in principle, there is also the possibility of identifying the station and the instructors through QR scanning).2.6.3 Entry of the score with a checklist or global ratingResponses can be evaluated with a checklist, whereby individual questions have been assigned one or more points in advance, or with global ratings, in which the examiners evaluate the overall impression of a particular aspect, for instance the communicative performance.2.6.4 Use of different comment featuresSince the examiner is responsible for recording scores and documenting performance (primarily very poor or excellent performance), multiple means were developed for conveniently entering comments about exam performance. Comments can be entered using the integrated keyboard function, an externally connected keyboard, by means of handwritten notes (finger tipping or using a special tablet stylus), or by means of audio recording (integrated microphone).To enter comments quickly and easily, standardized blocks of text were put together in coordination with the instructors. These texts can be entered very quickly during the assessment or added immediately afterwards during the time allowed for changing stations (see Figure 3 ).2.6.5 Quality assurance after the assessmentAfter scoring each student performance, the examination is wrapped up by the examiner by double clicking on the appropriate button for finalizing the assessment. This not only saves the scores, but also creates a screenshot of the completed checklist. This increases legal validity since, along with the database entry, a photo of the information entered by the examiner is created allowing for uncomplicated and transparent review of the examination .After the assessment, the scores are automatically transmitted by the tablets to the server via WLAN and these are immediately available for test statistical analysis. 2. Methodik2.1 Fragestellung und Studiendesign Um die Zufriedenheit mit der Funktionalität, die subjektiv erlebte Anstrengung sowie allgemeine Eindrücke zur Tablet-basierten Durchführung von OSCE-Prüfungen zu evaluieren, wurden sowohl quantitative Daten als auch allgemeine Eindrücke erhoben. Dies erfolgte mit der Verwendung von zwei verschiedenen Fragebögen und der Durchführung eines halb-standardisierten Interviews. Insgesamt wurden zwei Befragungen zu den Zeitpunkten Sommersemester 2012 (Fragebogen für Prüfer) und Wintersemester 2012/13 (Fragebogen für Prüfer, Interviews mit Studierenden) durchgeführt. Ablauf der Prüfung und BefragungSommersemester 2012:Die Evaluation der Tablet-basierten Prüfungsvariante fand bei einer OSCE-Prüfung im Fach Innere Medizin an der Uniklinik Heidelberg im Sommer 2012 statt. Es wurden 184 Studierende in zwei OSCE-Parcours à 10 Stationen an zwei Tagen geprüft. Die Prüfungsdauer betrug 5 min, die Wechselzeit eine Minute.An den OSCE-Stationen wurden Papier-basiert wie auch Tablet-basiert geprüft. Dabei war der Ablauf balanciert. In jedem Parcours wurden 5 Stationen Papier-basiert und 5 Stationen mit Tablets geprüft, jeweils zur Tagesmitte wurde die Prüfungsvariante an den Stationen gewechselt. Somit prüfte jeder Prüfer, der am Vormittag Papier-basiert bewertet hatte, an denselben Stationen nachmittags mit Tablets und umgekehrt. Jeder Studierende wurde demzufolge an 5 Stationen papierbasiert, an den 5 anderen Stationen mit Tablets geprüft (siehe Tabelle 1 ).Nach dem Abschluss der Prüfungen wurde ein Fragebogen an die Prüfer verteilt, in dem Fragen zur Zufriedenheit mit der Funktionalität der Software sowie der subjektiv erlebten Anstrengung der Tablet-basierten Prüfungsdurchführung gestellt wurden, die unten näher beschrieben sind. Wintersemester 12/13:Im darauffolgenden Semester wurde aufgrund der positiven Ergebnisse der ersten Prüferbefragung die Prüfung vollständig mit Tablets durchgeführt. Als technische Neuerung wurde in der Prüfungssoftware eine Kommentarfunktion mit Textbausteinen eingeführt. In diesem Semester wurden die Prüfer zu einzelnen Aspekten bezüglich der neuen Kommentar-Funktionalität sowie zu ihren Erfahrungen und Verbesserungsvorschlägen befragt (Fragebogen). Darüber hinaus wurden auch Interviews mit Studierenden durchgeführt (siehe Tabelle 2 ). 2.2 Rekrutierung der Prüfer Sommersemester 2012:An der Prüfung im Sommersemester 2012 nahmen insgesamt 37 Dozenten als Prüfer teil, die alle den Fragebogen 1 erhielten. Alle Teilnehmer nahmen an einer speziellen Tablet-Schulung (Zeitaufwand ca. 20-30 min) teil, in der jeder Prüfer anhand einer Checkliste die zu betreuende OSCE-Station in einem kompletten Prüfungsablauf testen konnte.Wintersemester 2012/2013:An der Prüfung im Wintersemester 2012/13 nahmen insgesamt 35 Prüfer teil, die alle den Fragebogen 2 erhielten. Mit Ausnahme von 4 Prüfern (zwei weiblich, zwei männlich) waren nur Prüfer beteiligt, die auch im Sommersemester an der OSCE-Prüfung als Prüfer teilnahmen. Wieder nahmen alle Prüfer an einer Tablet-Schulung teil, die auch die Bedienung der neuen Kommentarfunktion mit Textbausteinen beinhaltete. 2.3 Rekrutierung der StudierendenNach jedem Durchgang eines OSCE wurde eine Gruppe von geprüften Studierenden zu ihren Eindrücken des Tablet-basierten OSCEs befragt. Insgesamt wurden Daten von 19 zufällig ausgewählten Studierenden erhoben (aus Gründen der Durchführbarkeit konnte jedoch keine strenge Randomisierung erfolgen).2.4 Beschreibung der eingesetzten Fragebögen und InterviewsSommersemester 2012: Bei den Prüfern wurden allgemeine Informationen zu ihrer Demographie (Alter, Geschlecht), ihrem beruflichen Status (Chefarzt, Oberarzt, Facharzt oder Assistenzarzt) und ihren Vorkenntnissen hinsichtlich PC- oder i-PAD-Erfahrungen und der Durchführung von OSCE-Prüfungen erhoben. Zur Einschätzung der Gesamtzufriedenheit der Tablet-basierten Durchführung der OSCE-Prüfung wurde folgende Frage verwendet: „Wie zufrieden sind Sie insgesamt mit der Funktionalität der elektronischen Durchführung von OSCE-Prüfungen?“ (1=unzufrieden, 2=eher unzufrieden, 3=weniger zufrieden, 4=zufrieden, 5=sehr zufrieden). Zur Erfassung der subjektiven Anstrengung bei der Bedienung der Software wurde bei der Befragung der international evaluierte SMEQ-Fragebogen mit einer visuellen Analog Skala (VAS) von minimal 0 (nicht anstrengend) bis maximal 220 (außerordentlich anstrengend) verwendet , (deutsche Version ). Mit diesem Fragebogen wurde die subjektive Anstrengung bei „Prüfling suchen und aufrufen“, „Bewertungen eintragen und korrigieren“, „Prüfungsergebnisse einsehen“, „Nutzung der Zusatzfunktionen, z.B. Timer“ und „Kommentare eingeben“ erhoben.Darüber hinaus wurden die Prüfer in offenen Fragen zu ihrem Prüfungsverhalten befragt: „Haben Sie den Eindruck, dass sich Ihr Prüfungsverhalten bei der Tablet-basierten Prüfungsvariante verändert hat, und wenn ja, inwiefern?“, „Wo sehen Sie Vorteile bzw. Nachteile bei der Tablet-basierten Prüfungsvariante?“.Wintersemester 2012/13: Fragebogen bei den Prüfern:Der im Wintersemester eingesetzte Fragebogen enthielt erneut die Frage zur Gesamtzufriedenheit (s. o.), sowie die Fragen „Wie beurteilen Sie den Schulungsbedarf bzw. den Zeitaufwand für eine Nachschulung?“, „Welche Kommentarfunktion haben Sie genutzt?“, „Welche weitere Verbesserung würden Sie sich wünschen?“, „Was sind für Sie die Hauptunterschiede im Vergleich Tablet vs. Papierbasierte Prüfung hinsichtlich der Handhabung?“ und „Was sind für Sie die Hauptunterschiede im Vergleich Tablet vs. Papierbasierte Prüfung hinsichtlich der Bewertung der Prüflinge?“Interview-Befragung bei den Studierenden:Die Studentenbefragung erfolgte unmittelbar nach der OSCE-Prüfung. Hier wurde eine zufällige Auswahl von Studenten in einem halbstandardisierten Interview zu ihren Eindrücken bezüglich möglicher Veränderungen der Prüfungsatmosphäre befragt und um Rückmeldung zum Vergleich zur papierbasierten Prüfungsform gebeten. Hierbei wurden die folgenden Fragen gestellt: „Wie empfanden Sie die Tablet-basierte Prüfung?“, „Welche Folgen sehen Sie für sich?“, „Wie war Ihr Eindruck über die Prüfung insgesamt?“. Die Antworten wurden von zwei Ratern qualitativ-inhaltsanalytisch evaluiert und nach Kategorien geordnet . 2.5 Beschreibung der eingesetzten Hardware (Tablet/WLAN)Zur Erfassung der Prüfungsleistung an OSCE-Stationen wurden Tablets eingesetzt. Hierbei handelt es sich um „tragbare, flache Computer in leichter Ausführung mit einem Touchscreen ohne eigenständige Tastatur“ [Quelle: https://www.wikipedia.de/]. Für die Bereitstellung der serverseitigen Funktionalität wurde ein Laptop verwendet (siehe Abbildung 1 ).2.6 Beschreibung der eingesetzten Software (tOSCE)Bei der eingesetzten Software-Anwendung (tOSCE) verwendet der Prüfer einen Tablet als Eingabemedium zur Leistungserfassung. tOSCE wurde entwickelt, um die Fehleranfälligkeit im Rahmen der Qualitätssicherung und den Aufwand bei der Auswertung zu begrenzen . Darüber hinaus bietet die Software die gleichen Vorteile bezüglich Ausfallsicherheit und rechtssicherer Dokumentation wie der CAMPUS Prüfungsplayer, der seit 2005 an mehreren Fakultäten eingesetzt wird . Um eine möglichst große Auswahl an geeigneten Tablets unterstützen zu können, wurde der Player plattformneutral entwickelt, d.h. die Software kann auf den gängigen Tablet-Betriebssystemen wie iOS oder Android eingesetzt werden. Im Folgenden werden die wichtigsten Funktionalitäten der Software beschrieben:2.6.1 Eingabe und Übertragung der Prüfungsstationen vor der Prüfung:Genau wie bei einer papier-basierten OSCE-Prüfung werden die Prüfungsaufgaben in die Prüfungsplattform Item-Management-Sytem (IMS) eingegeben und die Prüfung zusammengestellt . Die fertige Prüfung kann aus dem IMS heraus als normale Papiervariante ausgedruckt aber auch als „elektronische“ Prüfung für die Tablets übertragen werden (siehe Abbildung 2 ).2.6.2 Identifizierung der Prüflinge anhand eines QR-Codes Nutzung:Bei der Anmeldung zur Prüfung wird den Studierenden ein QR-Code zugeordnet, der vom Server ausgedruckt werden kann. Die Studierenden bringen diesen QR-Code zur Prüfung mit. Durch Richten der eingebauten Kamera des Tablets auf den QR-Code wird der Prüfling an den Prüfungsstationen sofort und sicher identifiziert, sodass hier zum einen weniger Verwechslungsgefahr als auch genügend Flexibilität bei einem kurzfristigen Tausch der Studierenden untereinander besteht (prinzipiell besteht auch die Möglichkeit, die Prüfungsstation und den Dozenten per QR-Scan zu identifizieren). 2.6.3 Eingabe der Bewertung mit Checkliste oder Global-Rating Scale: Aufgaben können entweder mit einer Checkliste bewertet werden, wobei einzelnen Aufgaben vorab ein oder mehrere Punkte zugeordnet werden, oder mit sog. Global-Ratings, in denen die Prüfer insgesamt den Eindruck der z.B. kommunikativen Leistung bewerten. 2.6.4 Nutzung verschiedener Kommentarfunktionen: Da der Prüfer neben der Leistungserfassung v.a. auch für die Dokumentation der Prüfungsleistung zuständig ist (v.a. bei schlechten oder sehr guten Prüfungsergebnissen relevant), wurden mehrere Wege entwickelt, um Kommentare zu der Prüfungsleistung komfortabel eingeben zu können. So kann das Erfassen von Kommentaren sowohl über die eingebaute Tastaturfunktion, über eine externe anzuschließende Tastatur als auch über handschriftliche Notizen (per Finger oder speziellem Tablet-Stift) oder mit Audio-Aufnahmen (per eingebautem Mikrophon) durchgeführt werden. Um Kommentare zu der jeweiligen Bewertung komfortabel und zeitsparend eingeben zu können, wurden in mehreren Abstimmungsschleifen mit den Dozenten Textbausteine ermittelt, mit denen sowohl bereits während der Prüfungszeit als auch in den Wechselzeiten zwischen den Prüfungsstationen sehr schnell ergänzende Kommentare zu den vorangegangenen Prüfling dokumentiert werden können (siehe Abbildung 3 ).2.6.5 Qualitätssichernde Aspekte nach der Prüfung:Am Ende jeder Studierendenbewertung wird die Prüfung vom Prüfer durch einen Doppelklick auf den Knopf „Prüfung abschließen“ beendet. Dabei werden nicht nur die Ergebnisse der Eingabe gespeichert sondern auch ein Screenshot von der ausgefüllten Checkliste angefertigt. Dieses erhöht zum einen die rechtliche Sicherheit, da neben den Einträgen in der Datenbank auch ein Foto der Eingaben des Prüfers angefertigt wird, zum anderen ermöglicht dies auch eine einfache und transparente Klausureinsicht .Nach der Prüfung werden die Prüfungsergebnisse von allen Tablets per WLAN automatisch auf den Server übertragen und stehen für die teststatistische Auswertung unmittelbar zur Verfügung. 3. Results3.1. Survey of the Instructors2012 summer semester:Thirty-five of the 37 instructors (95%) filled out the questionnaire; 27 were male and 8 female (11 chief physicians, 11 senior physicians, 12 specialty physicians and one assistant physician). Most of the participants were computer literate (6 very good, 21 good, 8 average) and had experience with the OSCE (19 with more than 5 years, 15 with 1-4 years, one with none).The instructors found the software to be very good and evaluated it very positively: the mean value for the response to the question about overall evaluation was 4.7 on a Likert scale of 1-5 (1=dissatisfied, 5=very satisfied) with a standard deviation of 0.5 (a one-time response of 3 was the lowest value).When questioning the instructors about the subjective amount of effort (SMEQ), it was seen that this was very low for most of the questions (VAS from 0-220; 0=not at all difficult, 220=exceptionally difficult).The average values for the functions to find and select candidate (21.1), enter and correct assessments (30.1), view assessment results (32.6), and use additional functions, such as the timer (34.6), all lie within the range “hardly to slightly difficult”. Only the function used to enter comments (64.2) was rated as “slightly to somewhat difficult” (see Figure 4 ).In response to the question asking if their testing behavior changed, the majority of examiners answered that they did not give the examinees lower scores when using tablets than when using paper. This is supported by the observation that the scores for the tablet-based stations did not significantly differ from those earned at the paper-based stations (unpublished data). The advantages listed by the examiners were the ease of handling, lower rate of error, better overview, and the time saved allowing for more time to observe the examinee. The disadvantage cited by examiners on the questionnaire for the 2012 summer semester was that entering comments was not as easy as it was for the paper-based assessment.2012-13 winter semester:For the second survey, 33 of the 35 instructors (94%) filled out the questionnaire, of which 27 were male and six female.Again, a high level of satisfaction with the software was seen (20 were very satisfied, 12 satisfied, and one less satisfied). Using the same Likert scale used for the first survey (1=dissatisfied, 5=very satisfied), the second survey showed a mean value of 4.6 with a standard deviation of 0.5 (a “3” was seen once as the lowest value).An average of 11.8 minutes and a standard deviation of 12.4 minutes were estimated as the time needed to demonstrate tablet operation (4x zero minutes as lowest value, 1x 60 minutes as highest).In response to which comment function they had used (multiple responses possible) to comment on the assessment performance, 10 examiners said that they had used finger tipping, seven examiners answered that they had used the tablet keyboard, 14 examiners had used the predefined texts. Eleven examiners reported not having used the comment function at all.When asked about the main differences between conducting assessments using tablets or paper, six instructors reported that the documentation was less subject to error, that they had more time for the examinee, and that it was possible to make better observations.3.2. Survey of the StudentsThe additional survey of a random sample of 19 students revealed that the students rated the tablet-based assessment very positively. The following aspects were mentioned specifically:Better focus on the assessment: The instructors were able to follow the time exactly and thus manage the time for the assessment more fairly (1x). The examiners could focus more on the examinee (1x). During the assessment, the examiner was less distracted by the paperwork and totaling points and was better able to concentrate on the examinee (1x).No computational errors: The scoring was more direct and fair, since the examiners don’t total the point values anymore, but rather the computer takes over the task of adding the points (1x). Examiners cannot enter any incorrectly added point values (2x).Better transmission of information: Scanning in the examinee is convenient since there is more time for reading test questions (3x). The results are available much more quickly (1x). 3. Ergebnisse3.1. Befragung der Dozenten Sommersemester 2012:35 von den 37 Dozenten (95%) haben den Fragebogen ausgefüllt, wovon 27 männlich und 8 weiblich waren (11 Chefärzte, 11 Oberärzte, 12 Fachärzte und ein Assistenzarzt). Die meisten Teilnehmer verfügten sowohl über PC-Kenntnisse (6x sehr gut, 21x gut, 8x mittel) als auch über OSCE-Erfahrung (19x „mehr als 5 Jahre“, 15x „1-4 Jahre“, 1x „keine“).Es zeigte sich, dass die Software von den Dozenten sehr gut angenommen und bewertet wurde: In der Frage zur Gesamteinschätzung war auf einer Likert-Skala von 1-5 (1=unzufrieden, 5=sehr zufrieden) der Mittelwert 4,7 mit einer Standardabweichung von 0,5 (einmal 3 als niedrigster Wert).Bei der Befragung der Dozenten zur subjektiven Anstrengung (SMEQ) hat sich ergeben, dass diese bei den meisten Fragen sehr niedrig liegt (jeweils VAS von 0-220; 0=nicht anstrengend, 220=außerordentlich anstrengend):Die Mittelwerte für die Funktionalitäten „Prüfling suchen und aufrufen“ (21,1), „Bewertungen eintragen und korrigieren“ (30,1), „Prüfungsergebnisse einsehen“ (32,6) und „Nutzung der Zusatzfunktionen, z.B. Timer“ (34,6) lagen alle in dem Bereich „kaum bis etwas anstrengend“. Lediglich die Funktion „Kommentare eingeben“ (64,2) wurde mit „etwas bis einigermaßen anstrengend“ bewertet (siehe Abbildung 4 ). Bei der Frage, ob sich ihr Prüferverhalten verändert habe, gaben die Prüfer mehrheitlich an, den Prüfling mit der Tablet-basierten Prüfungsvariante nicht schlechter zu bewerten als mit der papierbasierten Prüfungsvariante. Das wird unterstützt durch die Beobachtung, dass sich die Prüfungsleistungen bei den Tablet-basierten Stationen nicht signifikant von den papierbasiert-bewerteten Stationen unterscheiden (unveröffentlichte Daten). Als Vorteile werden von den Prüfern die einfache Handhabung, die „geringere Fehleranfälligkeit“, die „bessere Übersichtlichkeit“ und die „Zeitersparnis“ genannt, die es erlauben, „mehr Zeit für die Beobachtung der Prüflinge“ zu haben. Als Nachteile wurde bei der Befragung im Sommersemester 2012 die Eingabe von Kommentaren genannt, die nicht so einfach wie bei der Papierbasierten Prüfung sei. Wintersemester 2012/13:Bei der zweiten Befragung haben 33 von den 35 Dozenten (94%) den Fragebogen ausgefüllt, wovon 27 männlich und 6 weiblich waren. Es zeigte sich erneut die große Zufriedenheit mit der Software (20x sehr zufrieden, 12x zufrieden, 1x weniger zufrieden). Bei der Bewertung mit der gleichen Likert-Skala wie in der ersten Befragung (1=unzufrieden, 5=sehr zufrieden) resultiert somit bei der zweiten Befragung ein Mittelwert von 4,6 mit einer Standardabweichung von 0,5 (einmal 3 als niedrigster Wert). Der Zeitbedarf für eine Schulung bez. einer Tablet-Bedienung wurde mit einem Mittelwert von 11,8 Minuten und einer Standardabweichung von 12,4 min eingeschätzt (4x „0 min“ als niedrigster Wert, einmal „60 min“ als höchster Wert).Auf die Frage, welche Kommentarfunktion sie genutzt hätten (Doppelnennungen möglich), gaben 10 Prüfer an, die zur Kommentierung der Prüfungsleistung die handschriftliche Kommentarfunktion genutzt zu haben, 7 Prüfer haben hierzu die Tastatur des Tablets benutzt, 14 Prüfer haben zur Kommentierung Textbausteine verwendet. 11 Prüfer gaben an, die Kommentarfunktion überhaupt nicht genutzt zu haben.Bei der Frage nach den Hauptunterschieden im Vergleich Tablet vs. Papierbasierte Prüfung berichteten 6 Dozenten, dass die „Dokumentation weniger fehleranfällig“ sei, sie „mehr Zeit für die Prüflinge“ hätten und eine „bessere Beobachtung möglich“ sei.3.2. Befragung der StudentenDie ergänzende Befragung bei einer Zufallsstichprobe von insgesamt 19 Studenten ergab, dass die Studenten die Prüfungs-Variante mit Tablets sehr positiv bewerten. Im Einzelnen wurden folgende Themengebiete genannt:Besserer Fokus auf die Prüfung: „Die Dozenten können hierbei die Zeit direkt ablesen und das Zeitmanagement bei der Prüfung gerechter gestalten.“ (1x) „Die Prüfer konnten sich hierdurch besser auf mich konzentrieren.“ (1x) „Der Prüfer wurde während der Prüfung weniger von Papierkram und Punkte-Addieren abgelenkt und konnte sich besser auf mich konzentrieren.“ (1x)Kognitive Erleichterung: „Die Bewertung ist direkter und gerechter, da die Prüfer keine Punktzahlen mehr eintragen, sondern die Addition der Punkte von einem Computer übernommen wird.“ (1x) „Die Prüfer können keine falsch addierten Punktzahlen eintragen.“ (2x)Bessere Weitergabe der Ergebnisse: „Das Scannen des Prüflings ist eine Erleichterung, da hierdurch dem Prüfling mehr Zeit zum Lesen der Aufgabenstellung bleibt. (3x)“, „Die Ergebnisse sind schneller verfügbar“ (1x). 4. DiscussionThis study analyzed the level of satisfaction with functionality, the subjectively perceived amount of effort, and the general impressions and evaluations of tablet-based OSCE administration.4.1 Survey of the ExaminersThe survey of the examiners showed that tablet-based assessment was well received by the instructors. The level of satisfaction among instructors regarding the functionality of this assessment variant was very high. The subjective experience concerning difficulty and effort involved with various aspects of assessment administration were usually perceived to be low.Finding and selecting a candidate was rated as the simplest operation, which can be explained by the use of QR codes to identify the students (this is a difference between the tOSCE software used here and eOSCE , , ).Only the function for making comments was found to be more difficult to use (M 64 “slightly to somewhat difficult”). This could be due to the fact that, with a tablet, the comments had to be entered using the keyboard or by hand, possibly increasing the difficulty in comparison to paper-based assessment. The expansion of the comment function to include predefined texts led to an improvement in the following semester, as was seen in the feedback given by examiners.A very large number of examiners indicated that they were better able to concentrate on the examinee. Indeed, the tablet-based variant does have several advantages when compared to an assessment done using a computer: since the tablet is small and can lie flat on a table, there is no monitor standing between the examiner and examinee, something which would compromise visibility. In addition, the examiner can change positions during an assessment and still be able to enter the points, an aspect primarily important for recording procedural skills. Due to a tablet’s portability, an examiner can observe the examinee from different angles and thus participate more actively in the assessment.Overall, the survey of the examiners points out that routine use of tOSCE software is accepted by users and can be implemented without problems. This corresponds with the results of a Swiss study , , in which it was also shown that the use of tablets in OSCEs meets with a high level of acceptance on the part of examiners.4.2 Survey of the StudentsThe results of our student survey align with studies by Schmitz et al. , according to which electronic checklists as a method of documentation is positively rated by students and is accepted in a manner comparable to that of hardcopy checklists. In the interviews we conducted, students named other aspects that they valued, such as correct addition of the point values and the impression that the examiners were better able to concentrate on the student’s performance.4.3 Limitations of the StudySince the assessment only covered one subject and was administered at only one medical school, broader analysis in the form of a systematic study would be desirable. In addition, no direct comparison of tablet-based and paper-based assessment was undertaken, but rather this was only indirectly addressed in some of the questions (e.g. the question about advantages and disadvantages of the tablet in relation to paper). In respect to the evaluation of the assessment performance, there was no difference found in the scores with tablets compared to earlier conventional assessment procedures using hardcopy checklists.4.4 Conclusion and OutlookThis study was able to show that tablet-based administration of OSCEs with the software tOSCE is accepted by examiners and examinees.The use of tablets has the advantage of administering paper-free and flexible assessments. In terms of the future, further developments are conceivable for use in workplace-based assessments (e.g. encounter cards, mini-cex, DOPS) with even smaller devices, for instance those fitting in the pocket of a physician’s white coat.Furthermore, to develop tOSCE it would certainly be helpful if it were used at other sites for other subject combinations. This would also indicate the extent to which the results seen here for tOSCE can be applied to OSCEs in general, regardless of the hospital or subject.It is expected that tablet-based assessment also offers advantages in terms of completeness of documentation (automatic record of the assessment, examiner comments), use of resources, and rate of error in relation to the paper-based form. These aspects should be investigated in future studies. 4. DiskussionIn der vorliegenden Studie wurde die Zufriedenheit mit der Funktionalität, die subjektiv erlebte Anstrengung sowie allgemeine Eindrücke und Bewertungen der Tablet-basierten Durchführungen von OSCE-Prüfungen untersucht. 4.1 Befragung der PrüferBei der Befragung der Prüfer zeigte sich, dass die Tablet-basierte Prüfungsvariante von den Dozenten gut angenommen wurde. Die Zufriedenheit der Dozenten bezüglich der Funktionalität dieser Prüfungsvariante fiel sehr hoch aus. Die subjektiv erlebte Anstrengung für verschiedene Aspekte der Durchführung wurde meist als eher gering erlebt. Die Funktion „Prüfling suchen und aufrufen“ wird als am wenigsten anstrengend eingestuft, was auf die Verwendung von QR-Codes zur Identifikation der Studierenden zurückgeführt werden kann (dies unterscheidet die hier verwendete Software tOSCE von der Software eOSCE , , ).Nur die Nutzung der Kommentarfunktion wurde als eher anstrengend empfunden (MW 64 „etwas bis einigermaßen anstrengend“). Dies könnte daran liegen, dass Kommentare mit dem Tablet per Tastatur bzw. handschriftlich erfasst werden müssen (mögliches Erschwernis gegenüber der Papiervariante). Die daraufhin durchgeführten Änderungen bei der Kommentarfunktion (Benutzung von Textbausteinen) führten im Folgesemester zu einer Verbesserung, wie sich in den Rückmeldungen der Prüfer zeigte. Sehr viele Prüfer gaben in der Befragung an, sich besser auf den Prüfling konzentrieren zu können. In der Tat hat die Tablet-basierte Prüfungsvariante gegenüber einer Prüfung an einem PC mehrere Vorteile: Da das Tablet klein ist und flach auf dem Tisch liegt, steht kein Monitor bei der Prüfung zwischen dem Prüfer und dem Prüfling, was das Blickfeld einschränken würde. Außerdem kann der Prüfer während der Prüfung den Standort verändern und dabei gleichzeitig die Punkte weiterhin eintragen (wichtig v.a. bei der Erfassung von prozeduralen Fertigkeiten). Aufgrund der Portabilität kann ein Prüfer die Prüfung leicht aus verschiedenen Perspektiven beobachten und damit aktiver an der Prüfung teilnehmen. Insgesamt weist die Befragung der Prüfer darauf hin, dass die tOSCE-Software im Routinebetrieb aus Sicht der Anwender akzeptiert und somit problemlos eingesetzt werden kann. Dies stimmt mit den Ergebnissen einer Schweizer Studie überein , , worin ebenfalls gezeigt werden konnte, dass der Einsatz von Tablets in OSCE-Prüfungen bei den Prüfern auf hohe Akzeptanz trifft. 4.2 Befragung der StudierendenDie Ergebnisse unserer Befragung der Prüflinge steht im Einklang mit Studien von Schmitz et al. , wonach elektronische Checklisten als Erfassungsmethode von den Studierenden positiv bewertet und in vergleichbarer Weise wie Papierchecklisten akzeptiert werden. In unserer Interviewbefragung wurden weitere Aspekte genannt, die von den Studierenden geschätzt wurden, wie z.B. die sichere Addition der Punktzahlen und den Eindruck, dass sich die Prüfer besser auf die Leistung der Studierenden konzentrieren konnten.4.3 Limitationen der StudieDa die Prüfung nur an einem Fach und an einer Fakultät durchgeführt wurde, wäre es wünschenswert, die Erkenntnisse in einer systematischen Studie zu erweitern. Zudem wurde kein direkter Vergleich der Tablet- zur Paper-basierten Prüfungsvariante durchgeführt, sondern dieser nur indirekt in einigen Fragen thematisiert (z.B. Frage nach Vorteilen bzw. Nachteilen der Tablet- gegenüber der Papier-basierten Prüfungsvariante). Was die Bewertung der Prüfungsleistung betrifft, ergab sich jedoch kein Unterschied der Prüfungsergebnisse mit Tablets zu früheren konventionellen Prüfungsabläufen mit Papier-Checklisten abzuzeichnen.4.4 Zusammenfassung und AusblickIn der vorliegenden Studie konnte gezeigt werden, dass eine Tablet-basierte Durchführung von OSCEs mit der eingesetzten Software tOSCE von den Prüfern und Prüflingen akzeptiert wird. Der Einsatz von Tablets für Prüfungen bietet den Vorteil, papierlos und flexibel Prüfungen durchführen zu können. Perspektivisch ist hier auch eine Weiterentwicklung für den Einsatz von arbeitsplatzbasierten Prüfungen (z.B. encounter cards, mini-cex, DOPS) mit noch kleineren Geräten z. B. für die Kitteltasche denkbar. Darüber hinaus wäre es für die Weiterentwicklung der Software sicher hilfreich, wenn diese auch an anderen Standorten in anderen Fächerkombinationen eingesetzt werden würde. Die würde zudem Aufschluss darüber geben, inwiefern die hier gefundenen Ergebnisse für die tOSCE Software auf die Durchführung von OSCE-Prüfungen im Allgemeinen (d. h. unabhängig von der Klinik, des Faches, etc.) übertragbar sind. Es wird erwartet, dass diese Prüfungsvariante auch hinsichtlich der Vollständigkeit der Dokumentation (automatisierte Erfassung des Prüfungsablaufs, Prüferkommentare), Ressourceneinsatz und Fehleranfälligkeit gegenüber der papierbasierten Form Vorteile bietet, die in zukünftigen Studien untersucht werden sollten. 5. Competing interestsThe authors declare that they have no competing interests. 5. InteressenkonfliktDie Autoren erklären, dass sie keine Interessenkonflikte im Zusammenhang mit diesem Artikel haben. Amin Z Boulet JR Cook DA Ellaway R Fahal A Kneebone R Maley M Ostergaard D Ponnamperuma G Wearn A Ziv A Technology-enabled assessment of health professions education: Consensus statement and recommendations from the Ottawa 2010 conference 2011 Med Teach 364-369 Amin Z, Boulet JR, Cook DA, Ellaway R, Fahal A, Kneebone R, Maley M, Ostergaard D, Ponnamperuma G, Wearn A, Ziv A. Technology-enabled assessment of health professions education: Consensus statement and recommendations from the Ottawa 2010 conference. Med Teach. 2011;33(5):364-369. DOI: 10.3109/0142159X.2011.565832 http://dx.doi.org/10.3109/0142159X.2011.565832 Eilers K Nachreiner F Hänecke K Entwicklung und Überprüfung einer Skala zur Erfassung subjektiv erlebter Anstrengung 1986 Z Arbeitswissensch 215-224 Eilers K, Nachreiner F, Hänecke K. Entwicklung und Überprüfung einer Skala zur Erfassung subjektiv erlebter Anstrengung. Z Arbeitswissensch. 1986;40:215-224. Gesellschaft für Medizinische Ausbildung Kompetenzzentrum für Prüfungen Fischer MR Leitlinie für Fakultäts-interne Leistungsnachweise während des Medizinstudiums: Ein Positionspapier des GMA-Ausschusses Prüfungen und des Kompetenzzentrums Prüfungen Baden-Württemberg 2008 GMS Z Med Ausbild Doc74 Gesellschaft für Medizinische Ausbildung, Kompetenzzentrum für Prüfungen, Fischer MR. Leitlinie für Fakultäts-interne Leistungsnachweise während des Medizinstudiums: Ein Positionspapier des GMA-Ausschusses Prüfungen und des Kompetenzzentrums Prüfungen Baden-Württemberg. GMS Z Med Ausbild. 2008;25(1):Doc74. Zugänglich unter/available from: http://www.egms.de/static/de/journals/zma/2008-25/zma000558.shtml http://www.egms.de/static/de/journals/zma/2008-25/zma000558.shtml Heid J Brass K Haag M Wojtanowski T Kurtz W Feister L Lindner M Möltner A Hochlehnert A Schultz JH Jünger J Kostengünstige, elektronische Prüfungen im Verbund: Der Einsatz von Tablets bei studienbegleitenden Examen 2012 Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA). Aachen, 27.-29.9.12 Doc581 Heid J, Brass K, Haag M, Wojtanowski T, Kurtz W, Feister L, Lindner M, Möltner A, Hochlehnert A, Schultz JH, Jünger J. Kostengünstige, elektronische Prüfungen im Verbund: Der Einsatz von Tablets bei studienbegleitenden Examen. In: Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA). Aachen, 27.-29.9.12. Düsseldorf: German Medical Science GMS Publishing House; 2012. Doc581. DOI: 10.3205/12gma211 http://dx.doi.org/10.3205/12gma211 Heid J Brass K Hochlehnert A Möltner A Schultz JH Jünger J Using tablets for OSCE exams to reduce errors and optimize documentation 2013 AMEE-Conference 2013. 24-28.8.13, Prag Heid J, Brass K, Hochlehnert A, Möltner A, Schultz JH, Jünger J. Using tablets for OSCE exams to reduce errors and optimize documentation. AMEE-Conference 2013. 24-28.8.13, Prag. Hochlehnert A Brass K Schultz JH Jünger J Fischer M Georg W IT-unterstützte Prüfungen mit einem qualitätssichernden System 2008 GMS Jahrestagung der Gesellschaft für Medizinische Ausbildung - GMA. Greifswald, 02.-05.10.2018 Doc08gma18 Hochlehnert A, Brass K, Schultz JH, Jünger J, Fischer M, Georg W. IT-unterstützte Prüfungen mit einem qualitätssichernden System. GMS Jahrestagung der Gesellschaft für Medizinische Ausbildung - GMA. Greifswald, 02.-05.10.2008. Düsseldorf: German Medical Science GMS Publishing House; 2008. Doc08gma18. Zugänglich unter: http://www.egms.de/static/de/meetings/gma2008/08gma018.shtml http://www.egms.de/static/de/meetings/gma2008/08gma018.shtml Hochlehnert A Brass K Möltner A Schultz JH Norcini J Tekian A Jünger J Good exams made easy: The item management system for multiple examination formats 2012 BMC Med Educ 63 Hochlehnert A, Brass K, Möltner A, Schultz JH, Norcini J, Tekian A, Jünger J. Good exams made easy: The item management system for multiple examination formats. BMC Med Educ. 2012;12:63. DOI: 10.1186/1472-6920-12-63 http://dx.doi.org/10.1186/1472-6920-12-63 Kruppa E Jünger J Nikendei C Einsatz innovativer Lern- und Prüfungsmethoden an den Medizinischen Fakultäten der Bundesrepublik Deutschland. Eine aktuelle Bestandsaufnahme 2009 Dtsch Med Wochensch 371–372 Kruppa E, Jünger J, Nikendei C. Einsatz innovativer Lern- und Prüfungsmethoden an den Medizinischen Fakultäten der Bundesrepublik Deutschland. Eine aktuelle Bestandsaufnahme. Dtsch Med Wochensch. 2009;134:371–372. DOI: 10.1055/s-0028-1124008 http://dx.doi.org/10.1055/s-0028-1124008 Patricio MF Juliao M Fareleira F Carneiro AV Is the OSCE a feasible tool to assess competencies in undergraduate medical education? 2013 Med Teach 503-514 Patricio MF, Juliao M, Fareleira F, Carneiro AV. Is the OSCE a feasible tool to assess competencies in undergraduate medical education? Med Teach. 2013;35(6):503-514. DOI: 10.3109/0142159X.2013.774330 http://dx.doi.org/10.3109/0142159X.2013.774330 Ritchie J Lewis J 2003 Qualitative Research Practice. A Guide for Social Science Students and Researchers Ritchie J, Lewis J. Qualitative Research Practice. A Guide for Social Science Students and Researchers. London: Sage Publications; 2003. Ruderich F Bauch M Haag M Heid J Leven FJ Singer R Geiss HK Jünger J Tonshoff B CAMPUS–a flexible, interactive system for web-based, problem-based learning in health care 2004 Medinfo 921-925 Ruderich F, Bauch M, Haag M, Heid J, Leven FJ, Singer R, Geiss HK, Jünger J, Tonshoff B. CAMPUS–a flexible, interactive system for web-based, problem-based learning in health care. Medinfo. 2004;11(Pt 2):921-925. Schmitz F Zimmermann P Studentische Akzeptanz von mobilen Checklisten zur Fremdbeurteilung von OSCE-Leistungen 2012 Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA). Aachen, 27.-29.9.12 Doc V589. Schmitz F, Zimmermann P. Studentische Akzeptanz von mobilen Checklisten zur Fremdbeurteilung von OSCE-Leistungen. In: Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA). Aachen, 27.-29.9.12. Düsseldorf: German Medical Science GMS Publishing House; 2012. Doc V589. Schmitz F Zimmermann P Der Einsatz von Apple iPads zur Bewertung von OSCE-Kandidaten als gewinnbringender Ersatz für gängige Papierchecklisten? Eine systematische Vergleichsstudie zur Akzeptanz und dem voreingenommenen Globalbewertungen von elektronischen Checklisten mit ihren Papierversionen 2011 Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA). München, 5.-8.10.11 Doc11gma066 Schmitz F, Zimmermann P. Der Einsatz von Apple iPads zur Bewertung von OSCE-Kandidaten als gewinnbringender Ersatz für gängige Papierchecklisten? Eine systematische Vergleichsstudie zur Akzeptanz und dem voreingenommenen Globalbewertungen von elektronischen Checklisten mit ihren Papierversionen. In: Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA). München, 5.-8.10.11. Düsseldorf: German Medical Science GMS Publishing House; 2011. Doc11gma066. Schmitz F Zimmermann P Gaunt K Stolze M Schär SG Electronic Rating of Objective Structured Clinical Examinations: Mobile Digital Forms Beat Paper and Pencil Checklists in a Comparative Study 2011 Inform Qua eHealth 501-512 Schmitz F, Zimmermann P, Gaunt K, Stolze M, Schär SG. Electronic Rating of Objective Structured Clinical Examinations: Mobile Digital Forms Beat Paper and Pencil Checklists in a Comparative Study. Inform Qua eHealth. 2011;7058:501-512. DOI: 10.1007/978-3-642-25364-5_35 http://dx.doi.org/10.1007/978-3-642-25364-5_35 Zijlstra FR 1993 Efficiency in work behavior: a design approach for modern tools Zijlstra FR. Efficiency in work behavior: a design approach for modern tools. Delft: Delft University, University of Technology; 1993. 11en1de

Table 1

Tabelle 1

22en2de

Table 2

Tabelle 2

2

1 1en 1de Figure 1: Tablet cart with 24 tablets and server (laptop), WLAN components:The tablets can be transported and charged simultaneously (the average battery life for a tablet depends on battery capacity, which can last up to eight hours). Prior to the assessment, the OSCE stations are saved to all the tablets at the same time; after the assessment, the scores are saved to the server. Abbildung 1: Tablet-Wagen mit 24 Tablets und Steuerungs-PC (Laptop), WLAN-Komponenten:Hiermit können die Tablets einfach transportiert und gleichzeitig geladen werden (die durchschnittliche Laufzeit eines Tablets richtet sich nach der Akkuleistung, die bis zu 8 Stunden betragen kann). Vor der Prüfung werden hier die Prüfungsstationen auf alle Tablets gleichzeitig importiert, nach der Prüfung werden hier die Prüfungsergebnisse auf den Steuerungs-PC (Server) übertragen.

2 2en 2de Figure 2: Tablet screenshot (checklist) Abbildung 2: Tablet-Screenshot (Checkliste)

3 3en 3de Figure 3: Tablet screenshot (comment function) Abbildung 3: Tablet-Screenshot (Kommentarfunktion)

4 4en 4de Figure 4: Estimation of the subjective effort as perceived by the instructors on the Subjective Mental Effort Questionnaire (SMEQ): minimum of 0 (not difficult), maximum of 220 (exceptionally difficult). Box plot depiction of mean and interval, n=35 Abbildung 4: Einschätzung der subjektiven Anstrengung der Dozenten anhand des Fragebogens „Subjective Mental Effort Questionaire (SMEQ): „minimal“ 0 (nicht anstrengend) bis „maximal“ 220 (außerordentlich anstrengend). Box plot-Darstellung, Median und In-tervall), n=35

4 0 0