mibe000139
10.3205/mibe000139
urn:nbn:de:0183-mibe0001391
Originalarbeit
Ein (halb-)automatisiertes Prüfungstool für semesterbegleitende Prüfungen im Fach Biometrie (Q1) im Medizinstudium
A (semi-)automatic tool for semester accompanying exams in the biometry course in medical studies
Muche
Muche
Rainer
R
Prof. Dr.
Institut für Epidemiologie und Medizinische Biometrie, Universität Ulm, Schwabstraße 13, 89075 Ulm, Tel.: +49-(0)731-50-26903, Fax: +49-(0)731-50-26902Institut für Epidemiologie und Medizinische Biometrie, Universität Ulm, Deutschland
rainer.muche@uni-ulm.de
author
Janz
Janz
Brigitte
B
CCCU, Universitätsklinik Ulm, Deutschland
brigitte.janz@uniklinik-ulm.de
author
Einsiedler
Einsiedler
Beate
B
Institut für Epidemiologie und Medizinische Biometrie, Universität Ulm, Deutschland
beate.einsiedler@uni-ulm.de
author
Mayer
Mayer
Benjamin
B
Institut für Epidemiologie und Medizinische Biometrie, Universität Ulm, Deutschland
benjamin.mayer@uni-ulm.de
author
German Medical Science GMS Publishing House
Düsseldorf
610
examination
evaluation tool
input module
random sampling
biometry
Prüfungen
Auswertungstool
Eingabemasken
Zufallsziehung
Biometrie
20130517
germ
1860-9171
9
3
GMS Medizinische Informatik, Biometrie und Epidemiologie
GMS Med Inform Biom Epidemiol
11
Im Fach Medizinische Biometrie/Querschnittsfach Q1 an der Universität Ulm wird jeweils in jedem Sommersemester das Pflichtseminar in einem PC Pool anhand der Statistiksoftware SAS-Analyst gelehrt. Dieser Kurs soll semesterbegleitend an jedem der sechs Termine anhand von Kurztests abgeprüft werden. Diese Prüfungsform hat sich bewährt, da so eine kontinuierliche Mitarbeit der Studierenden über das gesamte Semester erreicht wird. Die Umsetzung dieser Vorgehensweise birgt allerdings einige Probleme: Unter anderem muss das Zeitproblem in der Übung gelöst sowie die Prüfungssituation formal eingehalten werden. Außerdem ergibt sich so ein Mehraufwand für die Korrektur, da jeder Studierende einen eigenen individuellen Datensatz bei der Prüfung bekommt und so keine Standardisierung bei manueller Korrektur auf Papierbasis möglich ist.Um diesen Problemen zu begegnen, haben wir in dem vorzustellenden Prüfungstool folgende Punkte umgesetzt:Durch Zufallsziehung wird für jeden Studierenden ein eigener Datensatz mit Nebenbedingungen bzgl. der Auswertbarkeit erzeugt,ein Eingabemodul für die Eingabe der Lösungen der Studierenden wird bereitgestellt,ein Programm für die Berechnung der Musterlösung für jeden Studierenden und den Vergleich mit den Einträgen des Studierenden wurde konzipiert und umgesetzt, zusätzliche manuelle Punktevergabe für Grafiken und Klartexte wird ermöglichtund das Zusammenführen der Punkte aller Studenten sowie die anonymisierte Ausgabe in entsprechende Listen werden bereitgestellt.Das vorgesehene System ist mit mehreren Software-Tools entwickelt worden, wobei die wesentlichen Aspekte in der Statistiksoftware SAS sowie MS-Office-Programmen – MS-Excel und MS-Access – realisiert wurden.
During every summer term at Ulm University the obligatory course of biometry (Q1) is taught in a PC pool using the statistical software SAS Analyst. Short examinations are performed at each of the 6 course dates summing the results over the term. This examination principle has proved to be worthwhile, because a continuous learning of the students during the whole term can be achieved by this.Some problems have to be resolved before realization. Among others, the time problem within the exercise has to be solved, as well as the formal criteria which have to be met. In addition, more time will be needed for the correction, because all students get individual data for the exams and so a standardisation is not possible.To solve these problems we have implemented the following points into our examination tool:For every student a suitable dataset with auxiliary conditions concerning the evaluation is generated at random,a computer based input module is provided for the students’ answers,we completed a programme for comparing the individual solutions with the students’ inputs,additional manual scoring for graphics and texts is possible,and the results of exams can be brought together and presented in appropriate lists in an anonymous way.The new system has been developed with different software-tools, whereas the main aspects have been realized by the statistical software SAS as well as MS Office programmes MS Excel and MS Access.
1 EinleitungAn der Universität Ulm wird in jedem Sommersemester (SS) das Pflichtseminar Medizinische Biometrie anhand einer Statistiksoftware gelehrt. Dieser Kurs soll semesterbegleitend an jedem der sechs Termine anhand von Kurztests abgeprüft werden. Die Prüfungsform am Ende jeder Übung hat sich über Jahre bewährt, da eine kontinuierliche Mitarbeit der Studierenden über das gesamte Semester erreicht wird . Die stetige Motivation im Fach Biometrie ist wichtig, da die Themen aufeinander aufbauen und das „mathematische Fach“ im Medizinstudium nicht sehr beliebt ist. Der für Studierende und Dozenten zusätzliche Aufwand soll durch möglichst viel Automatisierung aufgefangen werden . In diesem Beitrag werden die wichtigsten Aspekte, wie Software, Prüfungsdaten, Eingabemasken und Programmstruktur, aufgegriffen und anschließend über die Erfahrungen bei der Umsetzung und die entsprechenden Schlussfolgerungen berichtet.
2 Ausgangssituation in der LehreDie Einführung von Statistiksoftware-PC-Kursen im Pflichtseminar Medizinische Biometrie (Q1) im Humanmedizinstudium wurde an der Universität Ulm im so genannten „Lehrprojekt Biometrie“ über die letzten Jahre umgesetzt . Dabei sollten folgende Ziele erreicht werden:Anpassung des Kurses Biometrie an die aktuelle Approbationsordnung für Ärzte (ÄAppO).Steigenden Ansprüchen der Studierenden an Lehrmethoden gerecht werden.Einbindung moderner Medien.Praxisnahe Umsetzung der vermittelten statistischen Kenntnisse.Leistungs- und Motivationssteigerung durch Praxisbezug.Zwei wichtige Aspekte im Lehrprojekt waren die Einführung der Statistiksoftware in die Pflichtlehre sowie die Nutzung realer Studiendaten um die Motivationssteigerung zu erreichen, die kurz dargestellt werden.Auswahl der Statistik-Software Bei der Auswahl der Statistiksoftware sind viele Kriterien untersucht worden. Eine genaue Beschreibung der Auswahl findet sich in . Ein wesentlicher Aspekt ist, dass sich die Studierenden einfach und schnell einarbeiten können. Hierfür ist ein Programm mit einer einfachen, benutzerfreundlichen, maus- und menügesteuerten Oberfläche notwendig. Die Wahl fiel auf die Oberfläche SAS-Analyst, die ohne zusätzliche Kosten mit SAS (bis einschließlich SAS Version 9.2) mitgeliefert wird. Ein weiterer wesentlicher Aspekt bei der Auswahl war das im Institut vorhandene Expertenwissen über diese Oberfläche , . Als Nachfolge der von SAS ab Version 9.3 aus dem Programm genommenen Oberfläche SAS-Analyst ist RExcel geplant. In dieser Oberfläche wird der Public Domain R-Commander, eine menügesteuerte Oberfläche für das Statistikpaket R, in MS-Excel-Umgebung eingebunden . Jede andere Statistiksoftware kann aber hier auch in der Lehre eingesetzt werden, die Auswahl ist unabhängig vom zu beschreibenden Prüfungssystem.Verwendete DatenZur Verfügung gestellt werden den Studierenden in den Übungen die Daten aus der Studie: „Prevalence of Type 2 Diabetes mellitus and Impaired Glucose Regulation in Caucasian Children and Adolescents with Obesity living in Germany“ . Die Überlegungen bei der Auswahl dieser Studie als Grundlage der Lehre umfassen folgende Aspekte:Es sind anonymisierte reale Daten eines Forschungsprojektes der Universitätskinderklinik Ulm.Adipositas und Diabetes mellitus sind Volkskrankheiten und sollten den Studierenden im 7. Semester bekannt sein.Das Patientenkollektiv besteht aus Kindern und Jugendlichen. Dies könnte eher einen emotionalen Bezug zur Fragestellung erzeugen.Der für die Lehre reduzierte Datensatz mit 219 Beobachtungen und 80 Variablen ist so groß, dass der Einsatz von Statistiksoftware zur Auswertung evident ist.
3 Überlegungen zur PrüfungssituationIm PC-Kurs Biometrie wurde zu Beginn entschieden, auch die Prüfungen anhand von Auswertungen am PC durchzuführen . Dies ist im Sinne von OSCE-Prüfungen im Medizinstudium, in denen die Fähigkeiten der Studierenden (Skills) geprüft werden. Außerdem soll semesterbegleitend jeweils am Ende eines Kurstermins ein Kurztest erfolgen, der den Lernerfolg abprüfen soll. Folgende Überlegungen führten zur nachfolgend beschriebenen Prüfungssituation im PC-Kurs Biometrie:Wir haben mit der Prüfungsdurchführung des Seminars, mit jeweiligem Kurztest am Ende eines jeden von sechs Seminarterminen gute Erfahrungen gemacht. Die Studierenden erhalten so die Ergebnisse ihrer Kurztests kontinuierlich während des Seminars. So ist ihnen ihr aktueller Punktestand bekannt und es ist ihnen möglich, ihren Lernerfolg nach jeder Übung einzuschätzen. Entsprechend können sie die Zeit der Vor- und Nachbereitung individueller einteilen. Sie bereiten sich durch die Teilprüfungen, aber vor allem auf jeden Seminartermin relativ gut vor. So ist anzunehmen, dass der Lernerfolg über das Semester besser erreicht wird, als mit einer Prüfung am Ende des Semesters. Das ist im Fach Medizinische Biometrie besonders wichtig, da der Stoff jeder einzelnen Übung auf dem Inhalt der vorhergehenden aufbaut.Ziel war es, die Vorteile der Lehre am PC mit den Vorteilen der direkten Prüfung am Ende einer jeden Übung zu verbinden. Um einigermaßen reliable und faire Prüfungen in einem PC-Pool durchführen zu können, sind allerdings einige Maßnahmen zu treffen. Die wichtigste dabei ist wohl, dass gleiche, faire Aufgaben für alle Studierenden genutzt werden und dass ein Abschreiben von Tischnachbarn verhindert wird. Daraus folgte für uns, dass für jeden Studierenden ein „eigener, individueller“ Datensatz zur Verfügung gestellt wird, der in der Prüfung am PC genutzt wird. Um die Prüfung nicht an einem komplett anderen inhaltlichen Projekt durchführen zu müssen, haben wir uns entschieden, die Prüfungsdatensätze durch Zufallsziehung aus dem Diabetes-Übungsdatensatz zu erzeugen. Diese Bereitstellung und die daraus resultierende große Vielzahl an individuellen Lösungen, mit größerem Aufwand für die Korrektur der Prüfungen, ergab die Notwendigkeit für eine möglichst weitgehende Automatisierung der Prüfung. In den folgenden Abschnitten wird die Umsetzung dieser Automatisierung beschrieben.
4 Programmelemente und ProgrammstrukturDas in Abbildung 1 dargestellte Ablaufdiagramm zeigt den umgesetzten Ablauf eines Kurztests im PC-Kurs und deren Weiterverarbeitung bis zur Ergebnisdarstellung. In diesem Abschnitt wird der in der Abbildung aufgezeigte Ablauf etwas genauer beschrieben. Die zugrunde liegende SAS-Programmierung ist in einiger Ausführlichkeit schon in , beschrieben und wird hier nicht wiederholt.4.1 Erzeugung der PrüfungsdatenDen Prüfungsdaten liegt eine Übungsdatei mit dem Originaldatensatz aus mit n=219 Beobachtungen zugrunde. Aus diesem werden für jeden Studenten durch Ziehen mit Zurücklegen 100 Datenzeilen extrahiert. Ziehen mit Zurücklegen wurde deshalb gewählt, da so mehr Möglichkeiten für unterschiedliche Datenzeilen zur Verfügung stehen. Für die Prüfungssituation bei den im Kurs gelehrten univariaten und bivariaten Methoden (Korrelation, einfache lineare Regression) ist es unerheblich, wenn einige Datenzeilen eventuell mehrfach ausgewählt werden sollten. Um die Studierenden bzgl. der Voraussetzung unabhängiger Beobachtungen nicht zu verwirren, wird dieser Umstand den Studierenden nicht mitgeteilt. Um die sinnvolle Auswertbarkeit der Daten zu gewährleisten, werden diese vorab per Programm geprüft. Zum Beispiel wird der gezogene Datensatz verworfen und die Ziehung wiederholt, wenn eine Variable fast nur fehlende Werte aufweist oder ein Merkmal sehr schief verteilt ist. Erst nach dieser Überprüfung werden die Datensätze freigegeben und in ein für den jeweiligen Studierenden zur Verfügung gestelltes Verzeichnis auf dem Server im PC-Pool als MS-Excel-Datei gespeichert.4.2 Eingabemaske für StudierendeParallel wird für jeden Studierenden eine leere MS-Access-Eingabemaske für jede Übung in dem Verzeichnis mit den Prüfungsdaten erzeugt. Die Maske (s. <![CDATA[Abbildung 2 </PlainText></TextGroup><ImgLink imgNo="2" imgType="figure"/>) gibt Felder für die Eingabe der Lösungen vor. Somit steht für jeden Studierenden und jede der sechs Prüfungen eine leere Eingabemaske zur Verfügung. Die Studierenden sollen ihre quantitativen Ergebnisse, MC-Lösungen und Freitexte in diese Access-Eingabemaske eintragen. Dies kann entweder manuell oder per Copy-Paste erfolgen. Als Dezimaltrennzeichen sind dabei sowohl Komma als auch Punkt möglich. </ListItem><ListItem level="1" levelPosition="4" numString="4.">Nachdem die Studierenden die Felder in ihren Eingabemasken ausgefüllt haben, werden die eingegebenen Werte nach dem Abspeichern in die dahinter liegende Datentabelle übergeben. So wird nach einem Kurztest für jeden Studierenden eine individuelle Tabelle erstellt, welche zur weiteren Bearbeitung in SAS importiert wird.</ListItem></OrderedList></Pgraph><SubHeadline>4.3 Erzeugung der Musterlösungen</SubHeadline><Pgraph><OrderedList><ListItem level="1" levelPosition="5" numString="5.">In einem SAS-Programm werden die Prüfungsdaten für jeden einzelnen Studierenden eingelesen, nach Aufgabenstellung mit SAS-Prozeduren ausgewertet und die richtigen Lösungen angegeben. Somit erhält man für jeden Studierenden individuelle Musterlösungen für quantitative Aufgaben und MC-Prüfungsfragen. Dazu wird für quantitative Ergebnisse ein Wertebereich bestimmt (externe Vorgabe), der die gültigen Lösungen umfasst, um z.B. kleinere Rundungsabweichungen durch die Studierenden abzufangen. </ListItem></OrderedList></Pgraph><SubHeadline>4.4 Eingabemaske für Dozenten</SubHeadline><Pgraph><OrderedList><ListItem level="1" levelPosition="6" numString="6.">Die eingegebenen Werte der Studierenden sowie die Musterlösungen werden in die Dozenten Access Eingabemaske übertragen und in entsprechenden Feldern kann dann die Punktevergabe dokumentiert werden (siehe rote Markierung in Abbildung 3 <ImgLink imgNo="3" imgType="figure"/>). <LineBreak></LineBreak>Für quantitative bzw. Auswahlaufgaben werden automatisch per Programm Punkte vergeben. Die Punktefelder für die Texteingaben und Grafiken werden zunächst auf 0 gesetzt, um anschließend eine manuelle Bewertung durchführen zu können. <LineBreak></LineBreak>Zu den Studierendenangaben sind auch die Musterlösungen inklusive Intervalle dargestellt (siehe blaue Markierung in Abbildung 3 <ImgLink imgNo="3" imgType="figure"/>). Ziel dieser Dozenten-Eingabemasken ist es damit, zum einen die Möglichkeit bereitzustellen, zusätzlich manuell Punkte zu vergeben, wie im Falle der Interpretationen und Grafiken, und zum anderen die Kontrolle über die Punktevergabe zu ermöglichen.</ListItem></OrderedList></Pgraph><SubHeadline2>Beurteilung der Grafiken und Freitexte</SubHeadline2><Pgraph>In den Prüfungen sollen die Studierenden auch Grafiken erzeugen. Ihnen wird vorgegeben, dass diese im JPG- oder GIF-Format aus den SAS-Analyst-Prozeduren in ihr Lösungsverzeichnis abgelegt werden sollen. Während der Musterlösungsberechnung wird ebenfalls automatisch die Lösungs-Grafik erzeugt und in dem Verzeichnis abgelegt. Bei der Korrektur kann man beide Grafiken öffnen, vergleichen und anschließend manuell in der Dozentenmaske die entsprechende Punktzahl vergeben. Einfacher ist die Korrektur der Freitexte, da diese in die Dozentenmaske übertragen werden und neben einer Standardantwort zur Korrektur zur Verfügung stehen (s. Abbildung 3 <ImgLink imgNo="3" imgType="figure"/> unten). </Pgraph><SubHeadline>4.5 Ausgabe der Ergebnisse</SubHeadline><Pgraph>Als letzter Schritt werden alle Ergebnisse (Punkte, Lösungen und Musterlösungen) in einer SAS-Datei zusammengefasst und für die weitere Bearbeitung zum Listing der Punkte und Noten für die Studierenden und weitere Auswertungen als MS-Excel-Datei ausgelesen. Ergänzend wird mit den Ergebnisdaten eine statistische Analyse der Prüfung im Hinblick auf Reliabilität, Objektivität und Validität der Aufgaben durchgeführt, mit dem Ziel einer möglichst gerechten Beurteilung der Studierenden <TextLink reference="3"></TextLink>, <TextLink reference="6"></TextLink>.</Pgraph><SubHeadline2>Anonymisierung der Prüfungsergebnisse</SubHeadline2><Pgraph>Wichtig ist bei semesterbegleitenden Prüfungen, dass die Studierenden ihre Ergebnisse zeitnah nachlesen und überprüfen können. Die jeweils aktuelle Punkteliste für das Fach Medizinische Biometrie kann auf der Lernplattform der Medizinischen Fakultät der Universität Ulm von den Studierenden eingesehen werden. Mittels eines <TextGroup><PlainText>6-stelligen</PlainText></TextGroup> Zufallscodes, der über eine Statistiksoftware generiert wurde, wird auf der Liste die Anonymität jedes Studierenden gewährleistet. Diesen Zufallscode hat jeder Studierende vor Seminarbeginn per Serien-Mail (MS Excel, Internet Explorer, Outlook) an seine Mailadresse erhalten. Dies gewährleistet, dass jeder Studierende nur seinen eigenen Zahlencode, unter dem die Kurztestergebnisse veröffentlicht werden, erhält. </Pgraph></TextBlock>
<TextBlock linked="yes" name="5 Testläufe und Erfahrungen">
<MainHeadline>5 Testläufe und Erfahrungen</MainHeadline><Pgraph>Für die Durchführung des Seminars steht ein PC-Pool mit 24 Plätzen zur Verfügung. Ein Verzeichnis für das Fach Biometrie ist auf dem Server des PC-Pools angelegt. In einem Testlauf sind für alle Kurztests Zufallsziehungen und Eingabemasken erstellt worden und anschließend auf einen Datenträger (USB-Stick) auf dieses Verzeichnis kopiert worden. Des Weiteren wurden über verschiedene PCs die Datensätze mit SAS-Analyst aufgerufen und die erzielten Lösungen in die Eingabemasken eingetragen. Bei einigen Testdaten wurden dabei beabsichtigt Fehler eingebaut, um die anschließenden Auswirkungen auf die Richtigkeit der automatischen Korrekturen und die Punktevergabe zu beurteilen (siehe Kapitel 4.3 und 4.4). Die gespeicherten Ergebnisse des Testlaufs wurden nach dem Kurztest per Datenträger vom PC-Pool genommen und mit SAS ausgewertet. Folgende Anforderungen an das System wurden getestet:</Pgraph><Pgraph><UnorderedList><ListItem level="1">Zugriff der PCs auf das gemeinsame Verzeichnis</ListItem><ListItem level="1">Aufrufen der entsprechenden Datensätze mit SAS-Analyst</ListItem><ListItem level="1">Öffnen der Access-Eingabemasken</ListItem><ListItem level="1">Füllen der einzelnen Felder in den Eingabemasken</ListItem><ListItem level="1">Abspeichern der Lösungen</ListItem><ListItem level="1">Musterlösung der gezogenen Datensätze</ListItem><ListItem level="1">Import der Eingabemasken</ListItem><ListItem level="1">Überprüfung und ggf. Umsetzung des Dezimaltrennzeichens auf Punkt </ListItem><ListItem level="1">Vergleich von Ergebnis und Musterlösung</ListItem><ListItem level="1">Punktevergabe</ListItem><ListItem level="1">Abspeichern von Graphiken</ListItem><ListItem level="1">Export in die Dozenten-Eingabemasken</ListItem></UnorderedList></Pgraph><Pgraph>Da in den Access-Eingabemasken die Matrikelnummer als Primärschlüssel verwendet wird, wird der Studierende beim Versuch seine Daten zu speichern darauf aufmerksam gemacht, dass dies ohne die Matrikelnummer nicht möglich ist. Somit wird erreicht, dass jede Eingabemaske eindeutig einem Studierenden zugeordnet werden kann. Wenn beim Eintragen der Lösungen in den Eingabemasken Leerzeichen entstanden sein sollten, werden diese beim Einlesen der Felder ignoriert. Die Ergebnisse können nun in den Feldern entweder von Hand eingetippt oder aus dem Output kopiert und eingefügt werden.</Pgraph><Pgraph>Während des Semesters sind neben diesen eher technischen Schwierigkeiten didaktisch prüfungsrelevante Probleme aufgetreten. Das größte Problem besteht darin, dass einzelne Studierende, trotz des 7. Semesters im Studium, teilweise nur geringe Erfahrungen im Umgang mit dem PC haben und dementsprechend die Kurztestaufgaben sehr langsam und vorsichtig abgearbeitet wurden. Wir haben deshalb mehrfach bei einzelnen Studierenden die Dauer der Prüfung kurzfristig verlängert. </Pgraph><Pgraph>Da die PCs sehr nahe beieinander stehen, wird – trotz der unterschiedlichen Daten – eine Zusammenarbeit der Studierenden beobachtet. Wir diskutieren deshalb unterschiedliche Versionen der Aufgaben für die Prüfungen zu entwickeln. Allerdings ist dann die mangelnde Vergleichbarkeit des Schweregrades wieder eine mögliche Schwachstelle der Prüfung <TextLink reference="3"></TextLink>. </Pgraph><Pgraph>Aus Kapazitätsgründen wurden die Studierenden in drei Gruppen eingeteilt, die jeweils an einem anderen Nachmittag die Übungen und Kurztests absolvierten. Die Weitergabe der Aufgabenstellung konnte so nicht verhindert werden und führte zumindest zu einem Nachteil für die erste Gruppe. Wir diskutierten, die Termine rotieren zu lassen, so dass alle Gruppen gleich oft dieses Manko bekommen; dies war aber aufgrund von Überschneidungen im Studienplan der Studierenden bisher nicht möglich.</Pgraph><Pgraph>In der Medizinischen Fakultät der Universität Ulm wird regelmäßig in jedem Kurs eines Semesters eine Akzeptanzevaluation durchgeführt. In Abbildung 4 <ImgLink imgNo="4" imgType="figure"/> werden die Frage zur Prüfung und die zusammenfassende Gesamtbeurteilung für das letzte Sommersemester 2012 dargestellt. Sie zeigen unserer Meinung nach für die Prüfungssituation eine sehr gute und allgemein für unser Fachgebiet eine akzeptable Beurteilung.</Pgraph></TextBlock>
<TextBlock linked="yes" name="6 Diskussion und Ausblick">
<MainHeadline>6 Diskussion und Ausblick</MainHeadline><Pgraph>Mit den vorliegenden Programmen und Eingabemasken stehen Prüfungstools zur Verfügung, um im Statistiksoftwarekurs im Pflichtseminar Medizinische Biometrie (Q1) Prüfungen semesterbegleitend als Kurztests am Ende einer jeden Übung (insgesamt 6) durchzuführen. Die Umsetzung der Vorgaben und die Programme sind vor Beginn des Sommersemesters 2009 fertig geworden und konnten unter realen Bedingungen bis jetzt viermal getestet und eingesetzt werden. </Pgraph><Pgraph>Die Akzeptanz durch die Studierenden war in den PC-Kursen 2012 gut. Unser Eindruck, dass die Mitarbeit der Studierenden über das Semester besser ist als bei einer einmaligen Prüfung im Semester, z.B. über eine Klausur, können wir nur indirekt messen, haben aber diesen Eindruck bei vielen der Kursteilnehmer gewonnen. Der Einsatz eines Statistiksoftware-Programms am PC bei der Lehre im Fach Biometrie erleichtert den Studierenden nach dem Kurs die Umsetzung biometrischer Fragestellungen in der Dissertation und im Beruf. </Pgraph><Pgraph>Der unserer Meinung nach wichtigste Vorteil einer semesterbegleitenden Prüfung ist die Bereitschaft der Studierenden, während des Semesters mitzuarbeiten. Dies ist gerade in einem Fach wie Medizinische Biometrie, indem die einzelnen Methoden aufeinander aufbauen, sehr wichtig. Außerdem wissen die Studierenden während des Semesters, ob ihr Abschluss, d.h. ihr Biometrie-Schein, gefährdet ist oder nicht. Entsprechend können sie ihren Lernumfang anpassen.</Pgraph><Pgraph>Den Bezug zur Praxis durch den Einsatz des PCs, Statistiksoftware und eines realen und relevanten Datensatzes sehen wir durch die Durchführungen als bestätigt an. Wir glauben, dass trotz des höheren Personalaufwandes bei der Durchführung (2 Betreuer) der Prüfungen den Studierenden ein akzeptabler Kurs zur Vermittlung von Kenntnissen für den weiteren Verlauf des Studiums zur Verfügung gestellt wird. Studierende sollten anschließend in der Lage sein, mit geringem Betreuungsaufwand Standard-Datensätze im Rahmen von Dissertationsprojekten auszuwerten.</Pgraph><Pgraph>Weitere, kleinere Vorteile bei diesem Vorgehen sind die Lesbarkeit der Klartexte, die sonst bei papierbasierter Prüfung immer sehr schwierig zu interpretieren waren, sowie die Zeitersparnis bei den Korrekturen durch die Automatisierungen nach der Einführungsphase.</Pgraph><Pgraph>Die grundsätzliche Realisierungsmöglichkeit einer solchen Prüfung haben wir mit unseren Programmen erreicht. Es bleiben noch einige Probleme zu lösen. Das für uns größte Hindernis bei der Nutzung des Systems ist die Unflexibilität gegenüber Änderungen in den Aufgaben. Bei papierbasierten Prüfungen lassen sich die Aufgaben sehr schnell editieren und abändern. In unserem System sind neben den Aufgaben auch die Musterlösungsprogramme, die Access-Masken sowie die Punktebewertungen zu überarbeiten. Wir hoffen, dass dies nicht dazu führt, statisch bei der ausgearbeiteten ersten Prüfungsversion zu verharren. Die Auswertung der Prüfungen auf Aufgabenebene (s. <TextLink reference="6"></TextLink>) und die daraus gewonnenen Ergebnisse werden dies hoffentlich verhindern.</Pgraph><Pgraph>Mit einem Sachverhalt werden wir uns aber in nächster Zeit beschäftigen müssen, welcher eher die Durchführung des Kurses und weniger die Prüfungsform und -durchführung betrifft: Die Firma SAS hat sich entschieden, die von uns genutzte Statistiksoftwareoberfläche SAS-Analyst in der nächsten SAS Version 9.3 ersatzlos aufzugeben. Wir sind deshalb gezwungen, den Kurs auf eine andere Softwareoberfläche zu transferieren, mit der Konsequenz der Umstellung aller mühsam entwickelten Lehrmaterialien. Wenn man sich auf Softwareprodukte in der Lehre einlässt, ist diese Abhängigkeit von den Herstellern immer gegeben und leider nicht zu ändern. Zurzeit prüfen wir das Softwaretool RExcel <TextLink reference="1"></TextLink>, <TextLink reference="8"></TextLink> für den Einsatz im Studierendenunterricht, welches die maus- und menügesteuerte Oberfläche R-Commander der Statistiksoftware R auf MS-Excel-Basis nutzt. </Pgraph><Pgraph>Unser Prüfungstool ist aber von dieser Änderung unabhängig. Wir nutzen als Grundlage für unsere eigenen Auswertungen MS-Office und SAS-Programme, die auf längere Sicht weiter lauffähig sein werden. Änderungen in MS-Access für die Eingabemasken könnten allerdings unser System tangieren. Insgesamt sind wir aber mit dem bisher Erreichten sehr zufrieden. Einiges Potential für Verbesserungen bleibt aber bestehen, so dass uns die Feinjustierung des Systems in der Zukunft begleiten wird. Außerdem glauben wir, dass unser Ansatz auch als Prototyp für ähnliche Vorgehensweisen in anderen Fächern dienen kann.</Pgraph></TextBlock>
<TextBlock linked="yes" name="Anmerkungen">
<MainHeadline>Anmerkungen</MainHeadline><SubHeadline>Danksagung</SubHeadline><Pgraph>Wir möchten uns recht herzlich bei vielen Beteiligten bedanken, die die Erstellung des Prüfungstools und deren erste Anwendungen unterstützt haben. Das sind namentlich Semra Kocak für die Programmierarbeiten des Prüfungstools, Evelyn Jäckel für die Erstellung der Access-Masken und Begleitung der ersten Durchführung im SS 2009 und Jessica Strobel, die nach dem Semester die notwendigen Änderungen und Verbesserungen in das System implementiert hat. Danken möchten wir auch unseren Kollegen, die es auf sich genommen haben, das neue System in ihren Seminargruppen zu erproben. Zuletzt möchten wir uns beim Studiendekanat der Medizinischen Fakultät Ulm bedanken, die die Entwicklung des Prüfungstools im Rahmen einer Lehrprojektförderung „<Mark2>Prüfungsmodul für eine PC-gestützte Prüfung des Statistiksoftwareeinsatzes im Seminar Q1/Biometrie</Mark2>“ finanziell unterstützt hat. Bei Interesse an dem System bzw. an einer Zusammenarbeit/Weiterentwicklung setzen Sie sich bitte mit uns in Verbindung.</Pgraph><SubHeadline>Interessenkonflikte</SubHeadline><Pgraph>Die Autoren erklären, dass sie keine Interessenkonflikte in Zusammenhang mit diesem Artikel haben.</Pgraph></TextBlock>
<References linked="yes">
<Reference refNo="1">
<RefAuthor>Heidberger RM</RefAuthor>
<RefAuthor>Neuwirth E</RefAuthor>
<RefTitle></RefTitle>
<RefYear>2009</RefYear>
<RefBookTitle>R Through Excel</RefBookTitle>
<RefPage></RefPage>
<RefTotal>Heidberger RM, Neuwirth E. R Through Excel. New York: Springer Verlag; 2009. DOI: 10.1007/978-1-4419-0052-4</RefTotal>
<RefLink>http://dx.doi.org/10.1007/978-1-4419-0052-4</RefLink>
</Reference>
<Reference refNo="2">
<RefAuthor>Kocak S</RefAuthor>
<RefTitle></RefTitle>
<RefYear>2009</RefYear>
<RefBookTitle>Programmierung eines Prüfungstools mit SAS im PC-Kurs Biometrie [BSc-Arbeit]</RefBookTitle>
<RefPage>Programmierung eines Prüfungstools mit SAS im PC-Kurs Biometrie [BSc-Arbeit]</RefPage>
<RefTotal>Kocak S. Programmierung eines Prüfungstools mit SAS im PC-Kurs Biometrie [BSc-Arbeit]. Ulm: Hochschule Ulm, Med. Dokumentation und Informatik; 2009.</RefTotal>
</Reference>
<Reference refNo="3">
<RefAuthor>Möltner A</RefAuthor>
<RefAuthor>Schellberg D</RefAuthor>
<RefAuthor>Jünger J</RefAuthor>
<RefTitle>Grundlegende quantitative Analysen medizinischer Prüfungen</RefTitle>
<RefYear>2006</RefYear>
<RefJournal>GMS Z Med Ausbild</RefJournal>
<RefPage>Doc53</RefPage>
<RefTotal>Möltner A, Schellberg D, Jünger J. Grundlegende quantitative Analysen medizinischer Prüfungen. GMS Z Med Ausbild. 2006;23(3):Doc53. Available from: http://www.egms.de/de/journals/zma/2006-23/zma000272.shtml</RefTotal>
<RefLink>http://www.egms.de/de/journals/zma/2006-23/zma000272.shtml</RefLink>
</Reference>
<Reference refNo="4">
<RefAuthor>Muche R</RefAuthor>
<RefAuthor>Babik T</RefAuthor>
<RefTitle>Auswahl und Einbindung einer Statistiksoftware im "Lehrprojekt Biometrie" an der Universität Ulm</RefTitle>
<RefYear>2008</RefYear>
<RefJournal>GMS Med Inform Biom Epidemiol</RefJournal>
<RefPage>Doc02</RefPage>
<RefTotal>Muche R, Babik T. Auswahl und Einbindung einer Statistiksoftware im "Lehrprojekt Biometrie" an der Universität Ulm. GMS Med Inform Biom Epidemiol. 2008;4(1):Doc02. Available from: http://www.egms.de/en/journals/mibe/2008-4/mibe000061.shtml</RefTotal>
<RefLink>http://www.egms.de/en/journals/mibe/2008-4/mibe000061.shtml</RefLink>
</Reference>
<Reference refNo="5">
<RefAuthor>Muche R</RefAuthor>
<RefAuthor>Habel A</RefAuthor>
<RefAuthor>Rohlmann F</RefAuthor>
<RefTitle></RefTitle>
<RefYear>2000</RefYear>
<RefBookTitle>Medizinische Statistik mit SAS-Analyst</RefBookTitle>
<RefPage></RefPage>
<RefTotal>Muche R, Habel A, Rohlmann F. Medizinische Statistik mit SAS-Analyst. Heidelberg: Springer Verlag; 2000. DOI: 10.1007/978-3-642-57319-4</RefTotal>
<RefLink>http://dx.doi.org/10.1007/978-3-642-57319-4</RefLink>
</Reference>
<Reference refNo="6">
<RefAuthor>Muche R</RefAuthor>
<RefAuthor>Janz B</RefAuthor>
<RefAuthor>Einsiedler B</RefAuthor>
<RefTitle>Quantitative Analysen medizinischer Prüfungen mittels eines (teil-) automatisierten SAS-Programms</RefTitle>
<RefYear>2009</RefYear>
<RefBookTitle>Proceedings der 13. KSFE-Tagung; Halle/Saale</RefBookTitle>
<RefPage>187-94</RefPage>
<RefTotal>Muche R, Janz B, Einsiedler B. Quantitative Analysen medizinischer Prüfungen mittels eines (teil-) automatisierten SAS-Programms. In: Proceedings der 13. KSFE-Tagung; Halle/Saale. Aachen: Shaker Verlag; 2009. p. 187-94.</RefTotal>
</Reference>
<Reference refNo="7">
<RefAuthor>Muche R</RefAuthor>
<RefAuthor>Kocak S</RefAuthor>
<RefAuthor>Jäckel E</RefAuthor>
<RefAuthor>Janz B</RefAuthor>
<RefAuthor>Einsiedler B</RefAuthor>
<RefTitle>Automatisierte Unterstützung für Prüfungen in Statistiksoftwarekursen im Humanmedizinstudium</RefTitle>
<RefYear>2009</RefYear>
<RefBookTitle>Proceedings der 13. KSFE-Tagung; Halle/Saale</RefBookTitle>
<RefPage>195-210</RefPage>
<RefTotal>Muche R, Kocak S, Jäckel E, Janz B, Einsiedler B. Automatisierte Unterstützung für Prüfungen in Statistiksoftwarekursen im Humanmedizinstudium. In: Proceedings der 13. KSFE-Tagung; Halle/Saale. Aachen: Shaker Verlag; 2009. p. 195-210.</RefTotal>
</Reference>
<Reference refNo="8">
<RefAuthor>Muche R</RefAuthor>
<RefAuthor>Lanzinger S</RefAuthor>
<RefAuthor>Rau M</RefAuthor>
<RefTitle></RefTitle>
<RefYear>2011</RefYear>
<RefBookTitle>Medizinische Statistik mit R und Excel. Einführung in die RExcel- und R-Commander-Oberflächen zur statistischen Auswertung</RefBookTitle>
<RefPage></RefPage>
<RefTotal>Muche R, Lanzinger S, Rau M. Medizinische Statistik mit R und Excel. Einführung in die RExcel- und R-Commander-Oberflächen zur statistischen Auswertung. Heidelberg: Springer Verlag; 2011. DOI: 10.1007/978-3-642-19484-9</RefTotal>
<RefLink>http://dx.doi.org/10.1007/978-3-642-19484-9</RefLink>
</Reference>
<Reference refNo="9">
<RefAuthor>Muche R</RefAuthor>
<RefAuthor>Weirather-Herrlein S</RefAuthor>
<RefAuthor>Wildt M</RefAuthor>
<RefAuthor>Radlinger K</RefAuthor>
<RefAuthor>Seefried K</RefAuthor>
<RefAuthor>Jordan J</RefAuthor>
<RefTitle></RefTitle>
<RefYear>2005</RefYear>
<RefBookTitle>Dokumentation des Lehrprojektes „Biometrie“ an der Universität Ulm</RefBookTitle>
<RefPage></RefPage>
<RefTotal>Muche R, Weirather-Herrlein S, Wildt M, Radlinger K, Seefried K, Jordan J. Dokumentation des Lehrprojektes „Biometrie“ an der Universität Ulm. Aachen: Shaker Verlag; 2005.</RefTotal>
</Reference>
<Reference refNo="10">
<RefAuthor>Wabitsch M</RefAuthor>
<RefAuthor>Hauner H</RefAuthor>
<RefAuthor>Hertrampf M</RefAuthor>
<RefAuthor>Muche R</RefAuthor>
<RefAuthor>Hay B</RefAuthor>
<RefAuthor>Mayer H</RefAuthor>
<RefAuthor>Kratzer W</RefAuthor>
<RefAuthor>Debatin KM</RefAuthor>
<RefAuthor>Heinze E</RefAuthor>
<RefTitle>Type II diabetes mellitus and impaired glucose regulation in Caucasian children and adolescents with obesity living in Germany</RefTitle>
<RefYear>2004</RefYear>
<RefJournal>Int J Obes Relat Metab Disord</RefJournal>
<RefPage>307-13</RefPage>
<RefTotal>Wabitsch M, Hauner H, Hertrampf M, Muche R, Hay B, Mayer H, Kratzer W, Debatin KM, Heinze E. Type II diabetes mellitus and impaired glucose regulation in Caucasian children and adolescents with obesity living in Germany. Int J Obes Relat Metab Disord. 2004 Feb;28(2):307-13. DOI: 10.1038/sj.ijo.0802555</RefTotal>
<RefLink>http://dx.doi.org/10.1038/sj.ijo.0802555</RefLink>
</Reference>
</References>
<Media>
<Tables>
<NoOfTables>0</NoOfTables>
</Tables>
<Figures>
<Figure format="png" height="828" width="632">
<MediaNo>1</MediaNo>
<MediaID>1</MediaID>
<Caption><Pgraph><Mark1>Abbildung 1: Ablauf der Unterstützung der Prüfung im PC-Kurs Biometrie</Mark1></Pgraph></Caption>
</Figure>
<Figure format="png" height="525" width="673">
<MediaNo>2</MediaNo>
<MediaID>2</MediaID>
<Caption><Pgraph><Mark1>Abbildung 2: Eingabemaske für Ergebnisse der Studierenden</Mark1></Pgraph></Caption>
</Figure>
<Figure format="png" height="606" width="845">
<MediaNo>3</MediaNo>
<MediaID>3</MediaID>
<Caption><Pgraph><Mark1>Abbildung 3: Beispiel einer Eingabemaske für Dozenten zur Punktevergabe mit Einträgen des Studenten und der zugehörigen Musterlösung.</Mark1></Pgraph></Caption>
</Figure>
<Figure format="png" height="419" width="847">
<MediaNo>4</MediaNo>
<MediaID>4</MediaID>
<Caption><Pgraph><Mark1>Abbildung 4: „Prüfung und Lerninhalte sind sehr gut aufeinander abgestimmt.“ und „Gesamtbeurteilung“ des PC-Kurses Biometrie im SS 2012 (aus Akzeptanzevaluation der Medizinischen Fakultät)</Mark1></Pgraph></Caption>
</Figure>
<NoOfPictures>4</NoOfPictures>
</Figures>
<InlineFigures>
<NoOfPictures>0</NoOfPictures>
</InlineFigures>
<Attachments>
<NoOfAttachments>0</NoOfAttachments>
</Attachments>
</Media>
</OrigData>
</GmsArticle>]]></plaintext></textgroup></listitem></orderedlist></pgraph></textblock></origdata></gmsarticle>