mibe000084 10.3205/mibe000084 urn:nbn:de:0183-mibe0000849 Originalarbeit User attitudes on the eLearning platform Moodle at the University Medical Centre Hamburg-Eppendorf – stocktaking and analyses using continuous compulsory evaluations in 2006–2007 Riemer Riemer Martin M Dipl.-Ing.

Institut für Medizinische Informatik, Universitätsklinikum Hamburg-Eppendorf, Haus S14, Martinistr. 52, 20246 Hamburg, Tel.: (040) 42803-2109, Fax: (040) 42803-4882Universitätsklinikum Hamburg-Eppendorf, Institut für Medizinische Informatik, Hamburg, Deutschland

riemer@uke.uni-hamburg.de author Wollatz Wollatz Marc M

Universitätsklinikum Hamburg-Eppendorf, Institut für Medizinische Informatik, Hamburg, Deutschland

author Peimann Peimann Claus-Jürgen CJ

Universitätsklinikum Hamburg-Eppendorf, Institut für Medizinische Informatik, Hamburg, Deutschland

author Handels Handels Heinz H

Universitätsklinikum Hamburg-Eppendorf, Institut für Medizinische Informatik, Hamburg, Deutschland

author German Medical Science GMS Publishing House

Düsseldorf

610 eLearning Evaluation Pflichtevaluation Auswertung Lehrevaluation 20090225 germ 1860-9171 5 1 GMS Medizinische Informatik, Biometrie und Epidemiologie GMS Med Inform Biom Epidemiol eLearning in der Medizin 2.0 05 Seit Herbst 2006 wird im Universitätsklinikum Hamburg-Eppendorf eLearning basierend auf der Open-Source-Plattform Moodle eingesetzt. Es wurde anhand von Pflichtevaluationen überprüft, in welchen Bereichen, in welchem Umfang und mit welcher Resonanz eLearning von den Studierenden benutzt worden ist. Die Nutzung des Systems stieg über den Zeitraum besonders stark an in Bereichen, in denen neue attraktive Inhalte eingestellt wurden. Nur in einem Bereich, in dem Dozenten wechselten und deren Nachfolger eLearning nicht mehr so intensiv in die Lehre einbanden, war ein Rückgang der Nutzung zu beobachten. In Bereichen mit häufigerem Einsatz von interaktiven Angeboten wuchs die Nutzung überproportional an. Es wird gezeigt, dass die Nutzung des eLearning-Systems stark von dessen Inhalten und der Grad der Einbindung in die Lehre abhängt. Since autumn 2006 eLearning based on the open source platform Moodle has been introduced to the University Medical Centre Hamburg-Eppendorf. Compulsory student evaluations were used to find out in which areas, to which extend and how much eLearning has been accepted by students. The use of the system increased particularly in areas with new and attractive content. Only in one area where lecturers changed and their successors did not incorporate very many eLearning modules/techniques in their teaching a declining usage was observed. In areas with frequent interactive content usage increased overproportionally. It is shown that the use of an eLearning system strongly depends on its content and degree of integration into teaching. Fragestellung Seit Herbst 2006 wird im Universitätsklinikum Hamburg-Eppendorf (UKE) eLearning , , , basierend auf der Open-Source-Plattform Moodle (, Software verfügbar über http://moodle.org) eingesetzt. Im 2. Studienabschnitt, der nach dem Physikum beginnt, wurde anhand von Pflichtevaluationen nach jedem Trimester überprüft, wie häufig in den sechs von der UKE-Studienordnung vorgegebenen Themenblöcken die eLearning-Plattform von den Studierenden benutzt worden ist. Auf der Plattform wurden von den einzelnen Fächern eLearning-Kurse angelegt und verwaltet, die von den Studierenden genutzt werden können. Diese müssen bei den Pflichtevaluationen u.a. angeben, wie häufig sie die eLearning-Plattform genutzt haben. Der zeitliche Verlauf dieser Häufigkeiten wird dargestellt und mit in derselben Evaluation erfassten freiwilligen Freitextantworten verglichen. Die Ergebnisse werden analysiert und im Hinblick auf zukünftige Entwicklungsmöglichkeiten interpretiert. Methodik Als Basis wurden in Bezug auf die Studierenden anonymisierte Pflichtevaluationen aus jedem einzelnen Themenblock (abgekürzt “TB“) über die ersten 4 Trimester mit eLearning ausgewertet. Die Themenblöcke behandeln im 2. Studienabschnitt, d.h. dem 3.–5. Jahr des Regelstudiums der Humanmedizin, die Gebiete „Reproduktion und Schwangerschaft“, „Kindheit und Jugend“, „Operative Medizin“, „Der innere und äußere Mensch“, „Der Kopf“, „Psychosoziale Medizin“ und „Diagnostische Medizin“. Aus Gründen des Datenschutzes für die Dozenten wurden die Themenblöcke anonymisiert, d.h. in einer zufälligen Reihenfolge TB A bis TB F genannt und von deren Inhalten nur in allgemeiner Form berichtet. In jedem der 6 Themenblöcke haben im Mittel 137 (112 bis 150) Studierende (= im Mittel 824 aktive Studierenden pro Trimester) die Evaluationen innerhalb von ca. 4 Wochen nach Trimesterende ausgefüllt. Innerhalb von 4 Trimestern wurden jeweils im Semesterrhythmus ca. 2/9 der Studierenden aus dem 1. Studienabschnitt aufgenommen. Gleichzeitig gingen im Trimesterrhythmus 1/9 der Studierenden in das Praktische Jahr (PJ) über. So wurden in dem Zeitraum in 3 Stufen insgesamt 3/9 der Befragten ausgetauscht. Um trotz der schwankenden Zahl (112 bis 150) der Studierenden in den Themenblöcken vergleichbare Ergebnisse zu haben, wurde die prozentuale Sichtweise gewählt. In TB A gibt es zum Zeitpunkt dieser Auswertung 4 Kurse (+3 in Vorbereitung), in TB B: 6 Kurse (keine in Vorb.), in TB C: 4 Kurse (+1 in Vorb.), in TB D: 7 Kurse (+2 in Vorb.), in TB E: 4 Kurse (+5 in Vorb.) und in TB F: 4 Kurse (+3 in Vorb.). Es wurden nach jedem Trimester vor der Bekanntgabe der Zensuren die in Abbildung 1 genannten Fragen gestellt. Darüber hinaus wurde um freiwillige Freitextkommentare zur eLearning-Plattform gebeten: „Was war gut, was war schlecht, was sollte ausgebaut werden?“ Diese Evaluationen werden dadurch quasi verpflichtend, dass die Studierenden die Benotungen ihrer Klausuren erst nach dem Ausfüllen der Evaluation des gerade abgeschlossenen TBs erhalten. Der Begriff „eLearning“ wird in der Fragestellung durch die Begriffe „Plattform“ und „Kurse“ für die Studierenden auf die Nutzung der eLearning-Plattform eingeschränkt, wenngleich in den Freitextkommentaren bisweilen auch auf die didaktische Einbettung in den Unterricht eingegangen wird. Die Ergebnisse werden mit den jeweiligen Inhalten der eLearning-Plattform, den freiwilligen Freitextantworten der Studierenden und – soweit bekannt – dem Engagement von Dozenten im eLearning-Bereich verglichen. Ergebnisse Die Auswertung der Evaluation erfolgt in diesem Beitrag nicht nur in Bezug auf die Studierenden, sondern auch in Bezug auf die evaluierten Dozenten und Inhalte anonymisiert. Im Folgenden werden die Antworten nach Themenblöcken und Zeit sortiert, teilweise zusammengefasst quantitativ dargestellt und danach deskriptiv analysiert. Auf die qualitativen Bewertungen der Freitextantworten wird in der Diskussion eingegangen. eLearning nie genutzt Die Zahl derer, die eLearning nie genutzt haben, nahm ab (Abbildung 2 ). So sank die Zahl derer, die eLearning nicht benutzten, in 4 Trimestern von ca. 44% auf 13%. Dabei ist das Verhalten in den einzelnen Themenblöcken bis auf die tendenzielle Abnahme unterschiedlich. Eine Ausnahme zeigt sich hier im TB A mit einem starken Anstieg der Nichtnutzung von ca. 16% auf über 53% im 3.Trimester. eLearning stark genutzt Eine auf hohem Niveau starke Nutzung (>20x) gab es nach dem 1. Trimester vor allem im TB B (Abbildung 3 ). In allen anderen Themenblöcken stieg diese hohe Nutzung auf deutlich niedrigerem Niveau über die 4 Trimester an. Ausnahme ist hier auch wieder TB A. Mittlere bis starke Nutzung von eLearning Wenn man auch die weniger häufige Nutzung (2x und mehr) mit einbezieht, ergibt sich fast überall eine steigende oder gleich bleibende Nutzung auf hohem Niveau mit einem Gesamtanstieg von 42% auf über 80% (Abbildung 4 ). Ausnahme ist auch hier der TB A mit einem Abfall nach dem 2. Trimester. eLearning nur einmal genutzt Die Zahl der Studierenden, die eLearning nur einmal genutzt haben, zeigt in den verschiedenen Themenblöcken keine einheitlichen Entwicklungen, in der Summe aber eine Abnahme von 14% auf 7% (Abbildung 5 ). Mit eLearning insgesamt zufrieden Die Gesamtzufriedenheit derer, die die eLearning-Plattform benutzt haben, steigt in fast allen Themenblöcken oder bleibt auf gutem Niveau (Abbildung 6 ). Nur in TB A ergibt sich ein Abfall nach dem 2. Trimester, d.h. in der Mitte des untersuchten Zeitraumes. Die sinkende Zufriedenheit derer, die in TB A eLearning nicht mehr benutzen (Abbildung 2 ), ist dabei aufgrund der Fragestellung nicht mit berücksichtigt, weil diese mit „Falls Sie die Plattform besucht haben“ eingeschränkt wird. In den Freitextantworten waren häufige Kommentare: „Nur die zur Verfügungstellung von Materialien der Veranstaltungen reicht nicht“, „Die zentrale Bereitstellung kommt gut an“, „Warum sind nicht alle Fächer hier vertreten?“ und „Single Sign On unbedingt ausbauen“ (bisher gibt es Single Sign On für Email und eLearning mit CASUS, dazu sollte möglichst bald die Studienverwaltung durch FACT Web-Service, STiNE (http://www.factscience.de/ und http://www.info.stine.uni-hamburg.de/) u.a. kommen). Diskussion Der Vorteil der Pflichtevaluationen gegenüber den bisherigen freiwilligen Evaluationen besteht darin, dass nicht nur die Gruppe der Studierenden erfasst wird, die mit eLearning gut umgehen kann, sondern annährend alle Studierenden eines Trimesters. Mit diesen Daten wird versucht, einige der Entwicklungen im gesamten eLearning-Bereich im 2. Studienabschnitt und in den einzelnen Themenblöcken zu erklären: Die Zahl derer, die die eLearning-Plattform nicht benutzt haben, nahm allgemein ab, was ein Zeichen für die wachsende Akzeptanz ist (Abbildung 2 ). Wenn zu Beginn der Evaluation wenige (z.B. TB F) oder fast keine eLearning-Angebote (z.B. TB C) gemacht werden, ergab sich ein hoher Anteil von Nichtnutzern. Dieser Trend ist auch in der steigenden Benutzung (2x und mehr, Abbildung 4 ) zu erkennen. Die einzige gegenläufige Nutzung ist im TB A seit dem 3. Trimester zu beobachten. Der Abfall in der Nutzung und der starke Anstieg der Nichtnutzer könnte mit dem Weggang von sehr engagierten eTutoren (PJ-Studierenden) zusammenhängen, die alle Studierenden der ersten 2 Trimester in diesem Block sehr gut mit Blended Learning in Seminaren erreicht haben. Seit dem 3.Trimester wird eLearning nur noch kurz im UAK (Unterricht am Krankenbett) erwähnt, was wohl die Nutzung stark reduziert hat. Dieser Trend zeigt sich auch etwas in der abnehmenden Zufriedenheit (Abbildung 6 ), obwohl die 40% bis 50% der Studierenden, die nach dem 2. Trimester nie eLearning benutzt haben, dabei nicht berücksichtigt werden, weil sie wegen der Einleitung „Falls Sie die Plattform besucht haben“ nicht dazu aufgefordert wurden. Gute Angebote in zumindest einem Fach eines Themenblocks, mit denen auch interaktiv gearbeitet werden kann, führen zu einer hohen Nutzung, wie z.B. im TB B (Abbildung 3 ), der sich nach einem schwachen Start mit nur zwei Fächern, in denen hauptsächlich Vorlesungs- und Seminarfolien zum Download zur Verfügung gestellt wurden, in den nächsten beiden Trimestern stark steigerte. Sehr bald nach dem ersten Trimester waren fast alle Fächer auf der eLearning-Plattform vertreten. Vor allem ein Angebot von vielen interaktiven Fällen in Form von Selbsttests und sicherlich auch die Links auf sehr beliebte interaktive Programme aus dem eLearning-Verzeichnis der Medizinischen Fakultät der Universität Bern (http://e-learning.studmed.unibe.ch/, z.T. passwortgeschützt) scheint das Interesse der Studierenden getroffen zu haben. Dazu beigetragen hat sicherlich auch, dass die Fälle verteilt über die ganzen 12 Wochen des Trimesters bearbeitet wurden, sodass sich jeder mitarbeitende Studierende mindestens zwölfmal beim eLearning anmelden musste. Die Zahl der Studierenden, die nur einmal die eLearning-Plattform benutzt haben, zeigt über die Themenblöcke keinen einheitlichen Trend. Diese Studierenden haben vielleicht nach dem ersten Besuch enttäuscht aufgegeben oder sich gleich alles Wichtige an Materialien herunter geladen. Allerdings nimmt die Gesamtzahl dieser Studierenden ab. Ermutigend ist, dass trotz gegenläufiger Entwicklungen in TB A, die Gesamtzufriedenheit der Studierenden mit der eLearning-Plattform stetig ansteigt (Abbildung 6 ). Der häufige Wunsch in den Freitextkommentaren, dass alle Fächer eLearning anbieten sollten, hat zu der starken Ausweitung der Angebote innerhalb weniger Trimester geführt. Weitere Kommentare, die sich oft wiederholen, werden im Ausbau der eLearning-Plattform berücksichtigt. Ein didaktisches Problem scheint wegen verschiedener Interessen noch offen zu sein: Es gibt Kurse, die passwortgeschützt sind, weil es aus Sicht der Dozenten besser ist, die Folien erst nach der Veranstaltung freizuschalten, um die didaktische Spannung im Seminar aufrecht zu erhalten. Die Informations- und Lernfreiheit der Studierenden wird dadurch aber einschränkt. Ein Kompromiss könnte sein, nur die Vorlesungsfolien vorher freizuschalten, um z.B. ein Mitschreiben zu erleichtern. Anmerkung Interessenkonflikte Keine angegeben. Danksagungen Wir bedanken uns bei den Mitgliedern der eLearning Projektgruppe am UKE für die tatkräftige und vielfältig unterstützende Mitarbeit. Dieses Projekt wird vom Förderfonds Lehre FFL des Dekanats des Universitätsklinikums Hamburg-Eppendorf unterstützt. Wollatz M Münch-Harrach D Sunderbrink N Peimann CJ Hampe W Handels H Evaluation von E-Learning-Plattformen für die medizinische Lehre am Universitätsklinikum Hamburg-Eppendorf 2006 51. Jahrestagung der Deutschen Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie. Leipzig, 10.-14.09.2006 Wollatz M, Münch-Harrach D, Sunderbrink N, Peimann CJ, Hampe W, Handels H. Evaluation von E-Learning-Plattformen für die medizinische Lehre am Universitätsklinikum Hamburg-Eppendorf. In: 51. Jahrestagung der Deutschen Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie. Leipzig, 10.-14.09.2006. Düsseldorf, Köln: German Medical Science; 2006. Doc 06gmds194. Verfügbar unter: http://www.egms.de/en/meetings/gmds2006/06gmds225.shtml http://www.egms.de/en/meetings/gmds2006/06gmds225.shtml Riemer M Hampe W Wollatz M Peimann CJ Handels H Erste Erfahrungen mit der eLearning-Plattform Moodle im Universitätsklinikum Hamburg-Eppendorf - Evaluationsergebnisse im Querschnittsfach Medizinische Informatik und der Biochemie 2007 eLearning in der Medizin, Proceedings, CBT 2007 235-46 Riemer M, Hampe W, Wollatz M, Peimann CJ, Handels H. Erste Erfahrungen mit der eLearning-Plattform Moodle im Universitätsklinikum Hamburg-Eppendorf - Evaluationsergebnisse im Querschnittsfach Medizinische Informatik und der Biochemie. In: Kundt G, Bernauer J, Fischer M, Haag M, Klar R, Leven J, Matthies H, Puppe F, Hrsg. eLearning in der Medizin, Proceedings, CBT 2007. Rostock; 2007. S. 235-46. Riemer M Hampe W Wollatz M Peimann CJ Handels H eLearning-Infrastrukturen für die Medizinausbildung am Universitätsklinikum Hamburg-Eppendorf - Aufbau und Perspektiven 2007 Telemedizinführer Deutschland, Ausgabe 2008 8-13 Riemer M, Hampe W, Wollatz M, Peimann CJ, Handels H. eLearning-Infrastrukturen für die Medizinausbildung am Universitätsklinikum Hamburg-Eppendorf - Aufbau und Perspektiven. In: Jäckel A, Hrsg. Telemedizinführer Deutschland, Ausgabe 2008. Bad Nauheim; 2007. S. 8-13. Riemer M Wollatz M Handels H Aufbau einer E-Learning-Plattform am Universitätsklinikum Hamburg-Eppendorf - Erfahrungen und Evaluationen 2007 mdi - Forum der Medizin-Dokumentation und Medizin-Informatik 93-9 Riemer M, Wollatz M, Handels H. Aufbau einer E-Learning-Plattform am Universitätsklinikum Hamburg-Eppendorf - Erfahrungen und Evaluationen. mdi - Forum der Medizin-Dokumentation und Medizin-Informatik. 2007;3:93-9. Rice W 2006 Moodle E-Learning Course development 1904811299. Rice W. Moodle E-Learning Course development. Packt Pub; 2006. Boeker M Klar R E-Learning in der ärztlichen Aus- und Weiterbildung 2006 Bundesgesundheitsblatt Gesundheitsforschung Gesundheitsschutz 405-11 Boeker M, Klar R. E-Learning in der ärztlichen Aus- und Weiterbildung. Bundesgesundheitsblatt Gesundheitsforschung Gesundheitsschutz. 2006;49(5):405-11. DOI: 10.1007/s00103-006-1259-y http://dx.doi.org/10.1007/s00103-006-1259-y Ruiz JG Mintzer MJ Leipzig RM The Impact of E-Learning in Medical Education 2006 Acad Med 207-12 Ruiz JG, Mintzer MJ, Leipzig RM. The Impact of E-Learning in Medical Education. Acad Med. 2006;81(3):207-12. DOI: 10.1097/00001888-200603000-00002 http://dx.doi.org/10.1097/00001888-200603000-00002 0

1 1 Abbildung 1: Fragebogenauszug eLearning

2 2 Abbildung 2: eLearning nie genutzt (in %, TB: Themenblock)

3 3 Abbildung 3: eLearning >20x genutzt (in %, TB: Themenblock)

4 4 Abbildung 4: eLearning 2x und mehr genutzt (in %, TB: Themenblock)

5 5 Abbildung 5: eLearning nur 1x genutzt (in %, TB: Themenblock)

6 6 Abbildung 6: Mit eLearning insgesamt zufrieden: 1 (trifft nicht zu) bis 6 (trifft sehr zu)

6 0 0