zma00116310.3205/zma001163urn:nbn:de:0183-zma0011636articleArtikelPerceived usability of the National Competence Based Catalogue of Learning Objectives for Undergraduate Medical Education by medical educators at the Hannover Medical SchoolBewertung der Gebrauchstauglichkeit des Nationalen Kompetenzbasierten Lernzielkatalogs Medizin durch Lehrverantwortliche an der Medizinischen Hochschule HannoverSteffensSteffensSandraSProf. Dr. med.
Hannover Medical School, Dean's Office, Carl-Neuberg-Strasse 1, D-30625 Hannover, Germany, Phone: +49 (0)511/532-9014, Fax: +49 (0)511/532Hannover Medical School, Dean's Office, Hannover, Germany
Medizinische Hochschule Hannover, Studiendekanat, Carl-Neuberg-Str. 1, 30625 Hannover, Deutschland, Tel: +49 (0)511/532-9014, Fax: +49 (0)511/532Medizinische Hochschule Hannover, Studiendekanat, Hannover, Deutschlandsteffens.sandra@mh-hannover.deauthorPaulmannPaulmannVolkerVHannover Medical School, Dean's Office, Hannover, GermanyMedizinische Hochschule Hannover, Studiendekanat, Hannover, Deutschlandpaulmann.volker@mh-hannover.deauthorMecklenburgMecklenburgJasperJHannover Medical School, Dean's Office, Hannover, GermanyMedizinische Hochschule Hannover, Studiendekanat, Hannover, Deutschlandjasper.mecklenburg@stud.mh-hannover.deauthorBüttnerBüttnerKonstantinKHannover Medical School, Dean's Office, Hannover, GermanyMedizinische Hochschule Hannover, Studiendekanat, Hannover, Deutschlandkonstantin.buettner@stud.mh-hannover.deauthorBehrendsBehrendsMarianneMHannover Medical School, Peter L. Reichertz Institute for Medical Informatics, Hannover, GermanyMedizinische Hochschule Hannover, Peter L. Reichertz Institut für Medizinische Informatik, Hannover, Deutschlandbehrends.marianne@mh-hannover.deauthorGerman Medical Science GMS Publishing House
Düsseldorf
610National Competence Based Catalogue of Learning Objectives for Undergraduate Medical Education (NKLM)usabilityteachingcurriculumNationaler Kompetenzbasierter Lernzielkatalog Medizin (NKLM)GebrauchstauglichkeitLehreCurriculumLearning ObjectivesLernziele20170603201801232018030420180515englgermThis is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License.Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung).2366-5017352GMS Journal for Medical EducationGMS J Med Educ16Hintergrund: Das Ziel der vorliegenden Studie war es, die Gebrauchstauglichkeit des Nationalen Kompetenzbasierten Lernzielkatalogs Medizin (NKLM) aus der Sicht von Lehrenden im Studienfach Humanmedizin zu bewerten und mögliche Hindernisse bei seiner Einführung zu identifizieren.Methodik: Es wurde eine standardisierte Befragung unter den Lehrverantwortlichen, die für die inhaltliche und didaktische Gestaltung der jeweiligen Module verantwortlich sind, durchgeführt. Basierend auf dem System Usability Scale (SUS) wurden neben der Gebrauchstauglichkeit auch die generelle Vertrautheit sowie die Schwierigkeiten im Umgang mit dem NKLM untersucht.Ergebnisse: Der Fragebogen wurde von 52 der 64 befragten Lehrverantwortlichen ausgefüllt. Die meisten der befragten Personen verfügen über 6-10 Jahre Lehrerfahrung. 30% waren nicht mit dem NKLM vertraut. Die Evaluation verdeutlicht, dass die Gebrauchstauglichkeit des NKLM als unzureichend bewertet wird. Jedoch stimmen 71,9% der Lehrverantwortlichen der Aussage zu, dass die verschiedenen Aspekte des Arztberufes gut im NKLM dargestellt sind. Lediglich 12,5% können sich nicht vorstellen, den NKLM für die Lehre und die Unterrichtsvorbereitung zu nutzen.Schlussfolgerung: Die Wahrnehmung und Verbreitung des NKLM müssen verbessert werden. Des Weiteren legen die Daten nahe, dass – trotz des schwierigen Umgangs mit dem NKLM – die inhaltliche Akzeptanz gegeben ist. Die befragten Lehrverantwortlichen zeigen die Bereitschaft, mit dem NKLM zu arbeiten. Um diese Bereitschaft zu stärken müssen weitere Anstrengungen unternommen werden, um die Lehrenden auf dem Weg zum kompetenzbasierten Curriculum zu unterstützen.Background: The aim of this study was to assess usability and identify possible challenges in the implementation of the National Competence Based Catalogue of Learning Objectives for Undergraduate Medical Education (NKLM) among medical educators. Methods: A comprehensive survey among experienced medical educators (responsible for the teaching content and didactical development in their module/field) based on the System Usability Scale (SUS) was carried out focusing on the awareness, usability and challenges of the NKLM.Results: The questionnaire was completed by 52 of the 64 addressed educators. Most of the participants had 6-10 years of teaching experience. 30% of the educators were not familiar with the NKLM. During the evaluation of the NKLM, usability was rather poorly rated. However, 71.9% of medical educators agreed that the various aspects of the medical professions were well integrated in the NKLM with only 12,5% stating that they would not use the NKLM for teaching and lesson preparation. Conclusion: The awareness and promotion of the NKLM need to be improved. Furthermore, these data suggest that – although difficult to use – there is a solid acceptance of the content of the NKLM. Medical educators seem to be willing to use the NKLM. Therefore, further attempts to support colleagues with the handling of the NKLM seem to be inevitable to pave the way for a competency-based curricular change.IntroductionAfter nearly six years of development and controversial debates, finally in 2015 the National Competence Based Catalogue of Learning Objectives for Undergraduate Medical Education (NKLM) was released (http://www.nklm.de). It defines a wide range of competencies in communication, knowledge, professional skills, clinical judgment, emotions and reflection that enable a medical professional to act effectively and responsibly for the benefit of individual patients and the community .The orientation towards a more competency based medical education in Germany followed reform initiatives that were already introduced in the first decade of the new millennium when new regulations in the German National Guidelines for Medical Education were adopted (https://www.gesetze-im-internet.de/_appro_2002/BJNR240500002.html). Faculties were allowed to establish model educational programs in order to generate new impulses and enable them to keep pace with international developments (https://www.gesetze-im-internet.de/_appro_2002/BJNR240500002.html). In 2005, the Hannover Medical School (MHH) introduced the Hannover integrated adaptive practice-related learning concept (HannibaL), a model curriculum focusing on professional medical skills and patient centred approaches. Thus – with HannibaL – already elements of the current NKLM-related reform initiative such as patient- and practice-related competencies like communication and practical skills were introduced to undergraduate medical education.Just recently the “Masterplan 2020” has been released, stating that the NKLM will initially have the status of recommendations for restructuring medical curricula before it will be mandatory for medical education in Germany (https://www.bmbf.de/de/masterplan-medizinstudium-2020-4024.html). Medical faculties were called upon to compare their existing curricula with the NKLM and gather practical experience over the next years. Considering the catalogue’s volume, consisting of 234 competencies, 281 sub-competencies and 1958 learning objectives and its unambiguous subject assignment, this appeal revealed to be challenging . In addition, this is the first time since over 40 years that a nationwide catalogue of learning objectives has been released in Germany . A recently published multicentre study in south of Germany by Lammerding-Koeppel et al. stated that faculty members were not willing to deal with the NKLM emphasizing the need for validated concepts and well researched, motivational strategies are essential , . However, it remains unclear why according to the study by Lammerding-Koeppel et al. , medical educators seem to be resisting the NKLM and if this is due to its usability.Therefore, the aim of this study was to assess usability and identify possible challenges in the implementation of the NKLM among medical educators using the framework of a comprehensive questionnaire study. EinleitungNach rund sechsjähriger Entwicklungszeit und kontroversen Debatten wurde 2015 der Nationale Kompetenzbasierte Lernzielkatalog Medizin (NKLM) verabschiedet (http://www.nklm.de). Er definiert ein weites Kompetenzspektrum in den Bereichen Kommunikation, Wissen, Professionalität, klinisches Urteilsvermögen sowie Emotion und Reflexion, deren Erwerb Ärztinnen und Ärzte befähigen soll, effizient und verantwortlich zum Wohle der Patientinnen und Patienten und des Gemeinwohls tätig zu sein .Die Orientierung in Richtung einer kompetenzbasierten medizinischen Ausbildung folgte in Deutschland den Reforminitiativen, die bereits zu Beginn des neuen Jahrtausends mit der Einführung der neuen Approbationsordnung Gestalt angenommen hatten (https://www.gesetze-im-internet.de/_appro_2002/BJNR240500002.html). Um neue didaktische Impulse zu generieren und um mit den internationalen Standards Schritt zu halten, war es den medizinischen Fakultäten erlaubt, eigene Modellstudiengänge zu entwickeln (https://www.gesetze-im-internet.de/_appro_2002/BJNR240500002.html). Im Jahr 2005 hat die Medizinische Hochschule Hannover (MHH) den Modellstudiengang HannibaL (Hannoversche integrierte berufsorientierte adaptive Lehre) ins Leben gerufen, der den Fokus auf die ärztlichen Fertigkeiten und eine patientenzentrierte Ausbildung legt. Damit hat HannibaL bereits Ansätze der NKLM-Initiative – die Stärkung praxis- und patientenbezogener Kompetenzen, wie etwa Kommunikation und ärztliche Fertigkeiten – im Medizinstudium verankert.Unlängst wurde der „Masterplan 2020“ veröffentlicht, der den Fakultäten die Ausrichtung am NKLM empfiehlt und die verbindliche Implementierung im Rahmen der ÄAppO avisiert (https://www.bmbf.de/de/masterplan-medizinstudium-2020-4024.html). Die medizinischen Fakultäten werden aufgerufen, die bestehenden Curricula mit dem NKLM abzugleichen und praktische Erfahrungen bei der Umsetzung zu sammeln. Angesichts des Umfangs des NKLM mit 234 Kompetenzen, 281 Sub-Kompetenzen und 1958 Lernzielen sowie deren Fachzuordnung ist dieser Appel nicht leicht umzusetzen . Hinzu kommt, dass mit dem NKLM das erste Mal seit über 40 Jahren ein bundesweit gültiger Lernzielkatalog umgesetzt wurde . Eine von Lammerding-Koeppel et al. kürzlich publizierte Studie an mehreren süddeutschen Fakultäten hat unter den Lehrkräften eine mangelnde Bereitschaft zur Auseinandersetzung mit dem NKLM festgestellt und die Notwendigkeit validierter Konzepte und verlässlicher Strategien zur Motivierung der Lehrenden betont , . Unbeantwortet bleibt in der Studie von Lammerding-Koeppel et al. , allerdings die Frage, worauf die eher ablehnende Haltung der Dozentinnen und Dozenten gegenüber dem NKLM beruht und welche Rolle der tatsächliche Umgang mit dem NKLM dabei spielt. Aus diesem Grund zielte unsere Untersuchung darauf ab, mit Hilfe eines standardisierten Fragebogens die Sicht von erfahrenen Lehrenden auf die Gebrauchstauglichkeit des NKLM kennenzulernen und mögliche Schwierigkeiten bei dessen Einführung zu identifizieren.MethodsDevelopment of the questionnaireTo the best of our knowledge, no validated methods have been published so far that can be used to determine the usability of the NKLM among medical educators. Therefore, a questionnaire, which formed the basis of the data collection in the framework of the presented study, was developed in six focus group sessions, each consisting of three to four participants (three with many years of experience in medical education, two with added experience in development and evaluation of questionnaires in medical education and one with extensive experience regarding quality assurance of medical education). As a suitable instrument, the validated System Usability Scale (SUS) was used as groundwork and a survey developed to evaluate the NKLM with regard to awareness, usability and applicability. Basically, part of the survey consisted of ten items that contribute to a validated test score . A score of 100 represents a perfect usability. Thus, the tool can be used to compare different systems as well as different stages of development . According to Lewis two dimensions are incorporated in the SUS: The factor usability (8 Items) and the factor learnability (2 Items). In order to adopt the questions to the NKLM context, wording and order were slightly changed. This was not conceived to alter the character of subjective evaluations but to define the system adequately. In Item 5 wording (“various functions in this system“) was replaced (“various aspects of the medical professions”) to illustrate the function of the NKLM. “Using the system” (Item 9) was replaced by “identifying the learning objectives of my field in the NKLM”, to point to the character as a learning media. In Item 3 a “technical person” was substituted by “experienced person”. Otherwise, “this system” was consequently replaced by “the NKLM” (see Table 1 ). Because of the new order of the items learnability is in contrast to the original SUS order represented by items 3 and 10. In order to explore possible boundaries for the NKLM the role of teaching experience and gender of the educators was analysed. Additionally, two free-text open questions regarding the structure and aim of the NKLM were included. It took approximately 5-10 minutes to complete. The survey was conducted as part of the NKLM mapping process following the faculty wide kick-off meeting in September 2016. Participants From September 2016 to February 2017, 62 medical educators who were responsible for the teaching content and didactical development at the Hannover Medical School were questioned. The medical educators were mainly physicians from different medical fields (e.g. surgery, internal medicine, general medicine, gynaecology/obstetrics) and academics from other disciplines (e.g. physics, biochemistry, psychology, sociology, public health) responsible for their curriculum. Statistical analyses The SUS score was calculated according to the procedure described by Lewis and Sauro (8): Each item – from 1 (“strongly disagree”) to 5 (“strongly agree”) – is transformed to a value between 0 to 4. For positively worded items (4, 1, 5, 7 and 9), the score value is the scale position minus 1. For negatively worded items (2, 3, 6, 8 and 10), it is 5 minus the scale position. To calculate the overall SUS score, the sum of the 10 items is multiplied by 2.5. Thus, SUS scores range from 0 to 100.In addition to the score, single items were analyzed. In order to emphasize the character of a screening tool we report the percentages of participants agreeing or disagreeing with a particular statement. Therefore, the two outer categories on each side of the scale were aggregated e.g., “Strongly Agree and Agree”, into a single value. The student’s t-test was used for mean differences between men and women and teaching experience. Two-sided p-values below 0.05 were considered statistically significant. Usability and learnability were calculated according to the procedure described by Lewis and Sauro . Age and gender were analyzed using descriptive statistics. SPSS 25.0 (USA) was used for statistical assessment.MethodenSoweit unsere Recherchen ergaben, wurden bislang keine validierten Ansätze veröffentlicht, die zur Bestimmung der Gebrauchstauglichkeit des NKLM durch medizinisches Lehrpersonal herangezogen werden können. Eine Fokusgruppe entwickelte daher an der MHH für die Datenerhebung der vorliegenden Arbeit einen angepassten Fragebogen. An den sechs Treffen nahmen jeweils 3-4 Personen mit langjähriger Erfahrung in der medizinischen Ausbildung teil, zwei Personen verfügten zudem über weitreichende Erfahrungen in der Entwicklung von Fragebögen bzw. in Evaluierungs- und Qualitätssicherungsverfahren. Als Basis für den Fragebogen wurde der System Usability Scale (SUS) genutzt und eine Umfrage zur Vertrautheit, zur Anwendbarkeit und zum Gebrauch hinsichtlich des NKLM darauf aufgebaut. Der SUS umfasst 10 Items, die einen validierten Testscore bilden, wobei ein Wert von 100 eine perfekt bewertete Gebrauchstauglichkeit darstellt . Das Instrument kann damit für einen Vergleich unterschiedlicher Systeme in unterschiedlichen Entwicklungsstadien genutzt werden . Lewis zufolge beinhaltet der SUS zwei Dimensionen: Den Faktor Gebrauchstauglichkeit (8 Items) und den Faktor Lernbarkeit (2 Items). Für die Anpassung des Fragebogens an den NKLM-Kontext wurden einzelne Formulierungen und die Reihenfolge der Items leicht verändert. Diese Anpassungen veränderten gleichwohl nicht den Charakter der subjektiven Bewertungen sondern dienten nur der Anpassung an den NKLM. So wurde bei Item 5 die Formulierung „verschiedene Funktionen des Systems“ ersetzt durch „verschiedene Aspekte des Arztberufs“, um den Bezug zum NKLM sicherzustellen. „Gebrauch des Systems“ (Item 9) wurde ersetzt durch „Einordnung der Lernziele meines Fachgebiets in den NKLM“ um den Charakter als Lernmedium zu unterstreichen. Bei Item 3 wurde der Terminus „Techniker“ durch „erfahrene Person“ ersetzt. Ansonsten wurde der Begriff „das System“ durchgängig durch „NKLM“ ersetzt (vgl. Tabelle 1 ). Aufgrund der veränderten Reihenfolge der Items im Vergleich zum ursprünglichen SUS wird der Faktor Lernfähigkeit durch die Items 3 und 10 abgebildet. Um mögliche Schwierigkeiten im Umgang mit dem NKLM zu identifizieren, wurden auch die Lehrerfahrung und das Geschlecht kategorial erhoben. Zusätzlich wurden zwei offene Fragen für die Beurteilung des Aufbaus und der Struktur des NKLM aufgenommen. Die Bearbeitung des Fragebogens dauerte 5-10 Minuten. Die Befragung wurde papierbasiert im Rahmen des NKLM-Mappings mit den Lehrverantwortlichen durchgeführt, das zeitlich auf eine zentrale Kick-Off-Veranstaltung im September 2016 folgte.Teilnehmerinnen und Teilnehmer der UmfrageIm Zeitraum von September 2016 bis Februar 2017 wurden an der MHH 62 Lehrende befragt, die für die inhaltliche und didaktische Entwicklung von Unterrichtsmodulen verantwortlich sind. Die Gruppe der Lehrverantwortlichen setzt sich hauptsächlich aus Ärztinnen und Ärzten aus verschiedenen Fachrichtungen zusammen (Chirurgie, Innere Medizin, Allgemeinmedizin, Gynäkologie/Geburtshilfe) sowie aus Lehrenden anderer Disziplinen (Physik, Biochemie, Psychologie, Soziologie, Public Health).Statistische AuswertungenDer SUS-Score wurde entsprechend der bei Lewis und Sauro beschriebenen Prozedur berechnet: Jeder Itemwert – von 1 („stimme gar nicht zu“) bis 5 („stimme voll zu“) – wird in einen Wert zwischen 0 und 4 umgewandelt. Bei den positiv formulierten Items (4, 1, 5, 7 und 9), wird vom Punktwert auf der 5er-Skala ‚1’ subtrahiert. Bei den negativ formulierten Items (2, 3, 6, 8 und 10) wird vom Wert 5 der angegebene Wert auf der 5er-Skala abgezogen. Der Gesamtscore ergibt sich aus der Multiplikation der Summe der 10 Items mit dem Faktor 2,5. Somit kann der SUS-Score Werte zwischen 0 und 100 annehmen.Zusätzlich zum SUS-Score werden für die Items die relativen Häufigkeitsverteilungen angegeben, wobei die Ergebnisdarstellung den Charakter des Fragebogens als Screeninginstrument betont. Deshalb wurden jeweils die beiden äußeren Werte der 5-stufigen Antwortskala zusammengefasst, so dass z. B. „stimme voll zu“ und „stimme zu“ als aggregierter Wert der Zustimmung erscheinen. T-Tests wurden für Mittelwertsunterschiede zwischen Dozentinnen und Dozenten sowie hinsichtlich der Lehrerfahrung eingesetzt. Ein p-Wert von <.05 zeigt statistische Signifikanz an. Die Gebrauchstauglichkeit und die Lernbarkeit wurden als Faktoren entsprechend der Vorgaben von Lewis und Sauro (8) definiert. Alter und Geschlecht werden deskriptiv dargestellt. Für alle statistischen Ergebnisauswertungen wurde SPSS 25 (USA) verwendet.ResultsFrom 62 distributed questionnaires 52 were fully completed (response rate 84%). Five questionnaires – where the SUS was filled-in incompletely – were excluded. In one questionnaire teaching experience and gender were missing. Most of the participants had 6-10 years of teaching experience and 20 (39.2%) were female. Table 2 shows the characteristics of the survey participants regarding teaching experience and gender. 15 (30%) educators were not familiar with the NKLM and, therefore, could not answer the 10 items of the NKLM SUS. 32 medical educators completed the System Usability Scale. The average SUS score was 52.7 (standard deviation of 17,7), ranging from 27.5 to 87.5. Interestingly, 71.9% of medical educators agreed that the various aspects of the medical professions were well integrated in the NKLM (Item 5). However, 43.2% of medical educators disagreed with the statement that the NKLM is easy to use with 45.9% agreeing with the statement that the NKLM is very cumbersome to use (Items 1 and 8). In addition, 31.1% agreed to need the support of an experienced person to be able to use the NKLM (Item 3). In contrast, 45.9% think that they would use the NKLM for teaching and lesson preparation (Item 4). 37.5% found the structure of the NKLM unnecessarily complex (Item 2), 59.4% could not imagine that most people would learn to use the NKLM very quickly (Item 7) and 37.5% believe that one needs to learn a lot of things before getting along with the NKLM (Item 10). Even though, 21.9 % thought there were too many inconsistencies in the NKLM (Item 6), 50% agreed with the statement that they felt very confident identifying the learning objectives of their field in the NKLM (Item 9). Table 1 and figure 1 display the mean responses to individual NKLM SUS statements. With regard to gender and teaching experience, there are only slight differences in the SUS score that did not reach statistical significance. ErgebnisseVon 62 ausgegebenen Fragebögen wurde 52 vollständig ausgefüllt (Rücklaufquote: 84%). Fünf der Fragebögen, bei denen die Items des SUS unvollständig ausgefüllt wurden, wurden von den weiteren Analysen ausgeschlossen. In einem Fragebogen fehlten die Angaben zur Lehrerfahrung und zum Geschlecht. Die meisten der befragten Personen verfügen über 6-10 Jahre Lehrerfahrung. 20 Personen (29%) sind weiblich. Tabelle 2 zeigt die Merkmale der befragten Lehrenden hinsichtlich der beiden Kategorien. 15 (30%) der Lehrenden gaben an, mit dem NKLM nicht vertraut zu sein und konnten deshalb die zehn Items des NKLM-SUS nicht beantworten.32 der Lehrenden füllten den SUS vollständig aus. Der durchschnittliche SUS-Score lag bei 52,7 (Standardabweichung: 17,7). Die Spannweite lag zwischen 27,5 und 87,5. Dennoch stimmten 71,9% der Aussage zu, dass die verschiedenen Aspekte des Arztberufes gut dargestellt seien (Item 5). Jedoch widersprachen 43,2% der Aussage, dass der NKLM einfach zu benutzen sei, 45,9% der Lehrverantwortlichen stimmten vielmehr damit überein, dass der NKLM sehr schwerfällig im Gebrauch sei (Item 1 bzw. 8). 31,3% gaben zudem an, dass sie die Unterstützung einer erfahrenen Person benötigen würden (Item 3). Dagegen können sich 45,9% vorstellen, dass sie den NKLM für die Vorbereitung des Unterrichts und die Lehre nutzen werden (Item 4). 37,5% finden die Struktur des NKLM unnötig komplex (Item 2), 59,4% können sich nicht vorstellen, dass die meisten Lehrenden schnell lernen würden, mit dem NKLM umzugehen (Item 7) und 37,5 geben an, dass sie eine Menge lernen mussten, um mit dem NKLM zurechtzukommen (Item 10). Und obgleich 21,9% anmerkten, dass der NKLM zu viele Inkonsistenzen enthielte, gaben 50% an, dass sie sich bei der Einordnung der Lernziele ihres Fachgebietes in den NKLM sicher fühlten (Item 9). Tabelle 1 und Abbildung 1 zeigen die Durchschnittswerte der jeweiligen auf den NKLM bezogenen SUS-Items. Hinsichtlich der Geschlechtskategorien und der Lehrerfahrung gibt es nur geringe Abweichungen im SUS-Score, die statistisch keine Signifikanz aufweisen.DiscussionAny foreshadowing of even the slightest bit of change can already cause distress among individuals . Doubled with the well-known fact that educational institutions are characterized by a rather traditional culture that strives to resist any changes, the implementation of the NKLM is not only novel but could also be considered a bold move , . A just recently published multicentre study of medical faculties in south of Germany stated that faculty members were not willing to deal with the NKLM emphasizing the need for validated concepts and well-researched, motivational strategies are essential , . Therefore, as first step in the implementation of the NKLM in the Hannover Medical School, the awareness and usability were examined using the framework of a comprehensive questionnaire study. This approach fits best to step one “needs and problem identification” within the framework of the curriculum development in medical education by Thomas et al. . In our study almost 30% of the surveyed teachers indicated in response to the first question of the questionnaire that they were not familiar with the NKLM. Considering the fact that in our sample mainly experts in medical education were included, the number of educators who are not familiar enough with the NKLM to make a reasonable judgement is high. Therefore, the promotion of the NKLM needs to be improved. On the one hand, the benefit of a new curriculum needs to be communicated in a wider range. This process involves political and administrative institutions (e.g. Ministries of Education/Science) as well as vocational medical representations (e.g. Medical Association, Professional Society, National Association of Statutory Health Insurance Physicians). Frank and Danoff identified several elements that have contributed to a successful “social marketing” strategy when the CanMeds framework was implemented in Canada and abroad. It includes frequent newsletters, networking with highly motivated educators (“champions”) and the development of a pool of well-informed spokespersons . Therefore, as a key element of the implementation strategy in our faculty, a medical educator was appointed as NKLM instructor. On the other hand, on faculty level, the pervasion should be deepened by addressing informal (e.g. teaching networks) as well as formal channels (e.g. academic planning committee, senate). Bland et al. pointed to the fact that at medical schools face-to-face interaction is helpful to convey a change agenda. In addition, to support the new initiative rewards for early adopters and innovative projects could also be helpful .It is well known from research on usability and technology acceptance that the willingness to use new products or innovations can depend on the perceived usefulness, the learnability and the intention to use , . According to the ISO-definition 9241-11, “Usability is the extent to which a product can be used by specified users to achieve specified goals with effectiveness, efficiency, and satisfaction in a specified context of use.” . Learnability describes how effective usability can be learned. Often, usability testing is conducted in the framework of software engineering. Yet, other products and services may well be analysed from a usability point of view. It therefore seems sensible to take these aspects into consideration with regard to the acceptance of the NKLM. The usability aspects of the NKLM remain the biggest challenge in terms of change management. A majority in our sample finds it not easy to use (item 8) – a result that is not surprising considering the mere extent of learning objectives. Interestingly, even though there is scepticism regarding the usability of the “technical side” of NKLM (items 1,2, 6 and 8) among medical educators, the overall approach of the NKLM (item 5: I found the various aspects of the medical professions were well integrated in the NKLM) is appreciated. 72% found, that “the various aspects of the medical professions were well integrated in the NKLM” (item 5). According to Frank and Danoff the acceptance of the content is one of the most important requirements when introducing a new competency based framework. In addition, only a minority finds it difficult to identify subject-related learning objectives in the NKLM with just 13% stating that they would not use the NKLM for teaching preparing their teaching lessons (item 4). To the best of our knowledge, there is only little empirical evidence for the influence of individual-related factors on the introduction of learning catalogues. Reflections of successful realizations of other learning catalogues – as the CanMEDS initiative or the Swiss catalogue of learning objectives (SCLO) – rather focus on organizational aspects , the acceptance of the content or the development of the catalogue itself . From a cultural point of view, academia in general and academic medicine have been described differently by men and women with regard to participation, chances, job advancement and perception by students and colleagues. In a study by O’Sullivan teaching experience and gender played a role among Irish dental faculty members regarding their interest in faculty development. However, in contrast to O’Sullivan , in our sample there were no significant differences among educators with regard to gender, age or teaching experience. There are some limitations to our study, e.g. sample size and single-centre approach. In conclusion, as there are still experienced medical educators that were not familiar with the NKLM, the awareness and promotion of the NKLM need to be improved as well as the benefits. Furthermore, these data suggest that, although difficult to use, there is a solid acceptance of the content of the NKLM. Medical educators seem to be willing to use the NKLM. Therefore, further attempts aiming to improve the usability as well as supporting colleagues with the handling of the NKLM seem to be inevitable to pave the way for a competency-based curricular change.DiskussionVeränderungen, auch kleinerer Natur, können Individuen zuweilen beunruhigen . Verstärkt durch den Umstand, dass Bildungseinrichtungen durch eine eher traditionelle Kultur gekennzeichnet sind, die Umgestaltungen oftmals ablehnend gegenübersteht, wird deutlich, dass die Einführung des NKLM als mutiger Schritt betrachtet werden kann , . Eine unlängst an mehreren süddeutschen medizinischen Fakultäten durchgeführte Studie stellte fest, dass die befragten Lehrenden dem Umgang mit dem NKLM zögerlich gegenüberstehen und betonte die Notwendigkeit valider Konzepte und erfolgversprechender Strategien zur Förderung der Motivation der Lehrenden , . Aus diesem Grund wurden bei der Einführung des NKLM an der MHH im ersten Schritt die Einstellungen und die Benutzerfreundlichkeit im Rahmen einer strukturieren Erhebung untersucht. Dieser Schritt entspricht dem 1. Baustein „Bedürfnis- und Problemidentifikation“ als Teil der Curriculumsentwicklung in der medizinischen Ausbildung nach Thomas et al. .In unserer Untersuchung gaben rund 30% der befragten Lehrenden bei der Eingangsfrage an, dass sie mit dem NKLM nicht vertraut seien. Bedenkt man, dass die Gruppe der befragten Personen in erster Linie Expertinnen und Experten aus dem Bereich der medizinischen Ausbildung umfasst, ist die Quote derjenigen, die keine Einschätzung zum NKLM vornehmen können, relativ hoch. Bekanntheitsgrad und Akzeptanz des NKLM müssen deshalb gesteigert werden. Einerseits müssen die Vorteile eines neuen Curriculums auf breiterer Basis kommuniziert werden. Hier sind sowohl politische und administrative Einrichtungen (z.B. Bildungs- und Wissenschaftsministerien), als auch die Berufsverbände (medizinische Fachgesellschaften, verfasste Ärzteschaft, Bundesärztekammer) gefordert. Frank und Danoff haben verschiedene Maßnahmen identifiziert, die bei der Einführung des CanMeds-Konzeptes in Kanada und anderen Ländern zu einer erfolgreichen „Marketingstrategie“ beigetragen haben. Dazu gehören regelmäßige Newsletter, Netzwerkarbeit mit hochmotivierten Dozentinnen und Dozenten („Champions“) und der Aufbau eines Pools an gutunterrichteten Sprecherinnen und Sprechern . An der MHH wurde deshalb im Rahmen des Einführungsprozesses die Position einer zentralen NKLM-Beauftragten eingerichtet. Zusätzlich wird auf Fakultätsebene durch die Einbindung informeller (z. B. Netzwerke von Lehrenden) wie auch formeller Strukturen (z. B. Studienkommission und Senat) die Bereitschaft zur Auseinandersetzung mit dem NKLM gestärkt. Bland et al. weisen darauf hin, dass insbesondere an medizinischen Fakultäten der direkte persönliche Austausch hilfreich ist, um Richtungsänderungen durchzusetzen. Auch eine Honorierung innovativer Projekte und von frühzeitigen Anwenderinnen und Anwendern („early adopters“) kann neue Ansätze stärken .Forschungen zur Gebrauchstauglichkeit und Technologieakzeptanz haben gezeigt, dass die Bereitschaft, neue Produkte oder Prozesse einzusetzen, auch von der wahrgenommenen Zweckmäßigkeit, der Erlernbarkeit und der Nutzungsabsicht abhängt , . Die ISO-Definition 9241-11 beschreibt dies folgendermaßen: „Gebrauchstauglichkeit ist das Ausmaß, in dem ein Produkt durch bestimmte Anwender effizient, wirtschaftlich und befriedigend zur Erreichung von festen Zielvorgaben eingesetzt werden kann“ . „Lernfähigkeit“ beschreibt wie erfolgreich der Umgang erlernt werden kann. Oftmals kommt die Untersuchung der Gebrauchstauglichkeit im Rahmen von Softwareentwicklungen zum Einsatz, doch auch andere Produkte oder Leistungen können mit diesem Ansatz analysiert werden. Die Überprüfung der Akzeptanz des NKLM mit denselben Mitteln erscheint deshalb naheliegend. Hinsichtlich des Change Managements bleibt die Gebrauchstauglichkeit des NKLM die größte Herausforderung. Eine Mehrheit unserer Stichprobe findet ihn nicht leicht zu benutzen (Item 8), ein vor dem Hintergrund des Umfangs der Lernziele nicht unbedingt überraschendes Ergebnis.Trotz der Skepsis gegenüber der „praktischen Seite“ der Nutzung des NKLM (Items 1, 2, 6 und 8) wird von den befragten Lehrenden die Grundidee des Lernzielkatalogs durchaus wertgeschätzt. 72% finden “dass die verschiedenen Aspekte des Arztberufes gut im NKLM dargestellt sind“ (Item 5). Frank und Danoff zufolge ist die inhaltliche Akzeptanz der Grundbaustein für die Einführung eines kompetenzbasierten Lehrplans. Nur eine Minderheit an Dozentinnen und Dozenten gibt an, dass sie es schwierig fände, ihre fachbezogenen Lernziele im NKLM zu identifizieren. Und nur 13% geben an, dass sie den NKLM nicht für die Unterrichtsvorbereitung und die Lehre einsetzen würden (Item 4).Soweit ersichtlich liegen nur wenige Anhaltspunkte für den Einfluss personenbezogener Merkmale bei der Einführung von Lernzielkatalogen vor. Arbeiten, die die erfolgreiche Implementierung von Lernzielkatalogen – wie die CanMeds-Initiative oder der Schweizer Lernzielkatalog (SCLO) – erörtern, behandeln vorwiegend organisatorische Aspekte , die Akzeptanz der Inhalte oder den Entstehungszusammenhang des Katalogs . Betrachtet man die kulturelle Seite, so werden das Hochschulwesen und insbesondere die Hochschulmedizin von Frauen und Männern mit Blick auf die Teilhabe, Chancengleichheit, Karrierefortschritte und die Wahrnehmung durch die Studierenden unterschiedlich beschrieben. In einer Untersuchung von O’Sullivan an einer irischen Fakultät hatten die Lehrerfahrung und das Geschlecht bei Zahnmedizinerinnen und Zahnmedizinern einen Einfluss auf das Interesse an der Hochschulentwicklung. In unserer Stichprobe zeigten sich im Gegensatz dazu keine signifikanten Gruppenunterschiede bezogen auf Alter, Lehrerfahrung oder Geschlecht. Als Limitationen bei unserer Untersuchung sind in erster Linie die Größe der befragten Gruppe und die Begrenzung auf eine Hochschule zu nennen.Abschließend lässt sich feststellen, dass der Verbreitungsgrad des NKLM wie auch das Wissen um seine Vorteile weiter ausgebaut werden müssen, da selbst erfahrene Dozentinnen und Dozenten im Fach Medizin nicht hinreichend mit ihm vertraut sind. Doch weisen die Daten darauf hin, dass bei aller Schwierigkeit im Umgang die inhaltliche Akzeptanz des NKLM gegeben ist. Die Bereitschaft zur Nutzung scheint grundsätzlich vorhanden zu sein. Deshalb sind weitere Anstrengungen zur Verbesserung der Gebrauchstauglichkeit und zur Unterstützung der Lehrenden im alltäglichen Umgang mit dem NKLM unerlässlich, wenn die kompetenzbasierte Curriculumsentwicklung gelingen soll.AuthorsSandra Steffens and Volker Paulmann have contributed equally to this work.AutorenSandra Steffens und Volker Paulmann sind gleichberechtigte Erstautoren.Competing interestsThe authors declare that they have no competing interests. InteressenkonfliktDie Autoren erklären, dass sie keine Interessenkonflikte im Zusammenhang mit diesem Artikel haben.Epstein RMHundert EMDefining and assessing professional competence2002JAMA226-235Epstein RM, Hundert EM. Defining and assessing professional competence. JAMA. 2002;287(2):226-235. DOI: 10.1001/jama.287.2.226http://dx.doi.org/10.1001/jama.287.2.226Fischer MRBauer DMohn K NKLM-ProjektgruppeFinally finished! National Competence Based Catalogues of Learning Objectives for Undergraduate Medical Education (NKLM) and Dental Education (NKLZ) ready for trial2015GMS Z Med AusbildDoc35Fischer MR, Bauer D, Mohn K; NKLM-Projektgruppe. Finally finished! National Competence Based Catalogues of Learning Objectives for Undergraduate Medical Education (NKLM) and Dental Education (NKLZ) ready for trial. GMS Z Med Ausbild. 2015;32(3):Doc35. DOI: 10.3205/zma000977http://dx.doi.org/10.3205/zma000977Institut für medizinische und pharmazeutische Prüfungsfragen1973Gegenstandskatalog für den Ersten Abschnitt der Ärztlichen PrüfungInstitut für medizinische und pharmazeutische Prüfungsfragen. Gegenstandskatalog für den Ersten Abschnitt der Ärztlichen Prüfung. Mainz: Verlag Druckhaus Schmidt & Bödige; 1973.Lammerding-Koeppel MGiesler MGornostayeva MNarciss EWosnik AZipfel SGriewatz JFritze OMonitoring and analysis of the change process in curriculum mapping compared to the National Competency-based Learning Objective Catalogue for Undergraduate Medical Education (NKLM) at four medical faculties. Part I: Conducive resources and structures2017GMS J Med EducDoc7Lammerding-Koeppel M, Giesler M, Gornostayeva M, Narciss E, Wosnik A, Zipfel S, Griewatz J, Fritze O. Monitoring and analysis of the change process in curriculum mapping compared to the National Competency-based Learning Objective Catalogue for Undergraduate Medical Education (NKLM) at four medical faculties. Part I: Conducive resources and structures. GMS J Med Educ. 2017;34(1):Doc7. DOI: 10.3205/zma001084http://dx.doi.org/10.3205/zma001084Lammerding-Koeppel MGiesler MGornostayeva MNarciss EWosnik AZipfel SGriewatz JFritze OMonitoring and analysis of the change process in curriculum mapping compared to the National Competency-based Learning Objective Catalogue for Undergraduate Medical Education (NKLM) at four medical faculties. Part II: Key factors for motivating the faculty during the process2017GMS J Med EducDoc6Lammerding-Koeppel M, Giesler M, Gornostayeva M, Narciss E, Wosnik A, Zipfel S, Griewatz J, Fritze O. Monitoring and analysis of the change process in curriculum mapping compared to the National Competency-based Learning Objective Catalogue for Undergraduate Medical Education (NKLM) at four medical faculties. Part II: Key factors for motivating the faculty during the process. GMS J Med Educ. 2017;34(1):Doc6. DOI: 10.3205/zma001083http://dx.doi.org/10.3205/zma001083Sauro J2011A Practical Guide to the System Usability Scale: Background, Benchmarks, and Best PracticesSauro J. A Practical Guide to the System Usability Scale: Background, Benchmarks, and Best Practices. Denver: Measuring Usability, LLC; 2011.Brooke JSUS: A "quick and dirty" usability scale1996Usability Evaluation in Industry189-194Brooke J. SUS: A "quick and dirty" usability scale. In: Jordan PW, Thomas B, Weerdmeester BA, McClelland (Hrsg). Usability Evaluation in Industry. London, UK: Taylor & Francis; 1996. S.189-194.Lewis JRSauro J2009The Factor Structure Of The System Usability ScaleLewis JR, Sauro J. The Factor Structure Of The System Usability Scale. San Diego CA: Human Computer Interaction International Conference (HCII); 2009. DOI: 10.1007/978-3-642-02806-9_12http://dx.doi.org/10.1007/978-3-642-02806-9_12Lane IFChange in higher education: understanding and responding to individual and organizational resistance2007J Vet Med Educ85-92Lane IF. Change in higher education: understanding and responding to individual and organizational resistance. J Vet Med Educ. 2007;34(2):85-92. DOI: 10.3138/jvme.34.2.85http://dx.doi.org/10.3138/jvme.34.2.85Hargreaves AInclusive and exclusive educational change: Emotional responses of teachers and implications for leadership2004School Leadership Manag287-309Hargreaves A. Inclusive and exclusive educational change: Emotional responses of teachers and implications for leadership. School Leadership Manag. 2004;24(3):287-309. DOI: 10.1080/1363243042000266936http://dx.doi.org/10.1080/1363243042000266936Thomas PAKern DEHughes MTChen BY2016Curriculum Development for medical Education, A Six-Step ApproachThomas PA, Kern DE, Hughes MT, Chen BY. Curriculum Development for medical Education, A Six-Step Approach. 3rd rev. ed., Baltimore, Maryland: The Johns Hopkins University Press; 2016.Frank JRDanoff DThe CanMEDS initiative: implementing an outcomes-based framework of physician competencies2007Med Teach10Frank JR, Danoff D. The CanMEDS initiative: implementing an outcomes-based framework of physician competencies. Med Teach. 2007;29(7):642-627 DOI: 10.1080/01421590701746983http://dx.doi.org/10.1080/01421590701746983Bland CJStarnaman SWersal LMoorhead-Rosenberg LZonia SHenry RCurricular Change in Medical Schools: How to Succeed2000Acad Med575-594Bland CJ, Starnaman S, Wersal L, Moorhead-Rosenberg L, Zonia S, Henry R. Curricular Change in Medical Schools: How to Succeed. Acad Med. 2000;75(6):575-594. DOI: 10.1097/00001888-200006000-00006http://dx.doi.org/10.1097/00001888-200006000-00006Venkatesh V and Davis FDA theoretical extension of the technology acceptance model: Four longitudinal field studies2000Manag Sci186-204Venkatesh V and Davis FD. A theoretical extension of the technology acceptance model: Four longitudinal field studies. Manag Sci. 2000;46(2):186-204. DOI: 10.1287/mnsc.46.2.186.11926http://dx.doi.org/10.1287/mnsc.46.2.186.11926Jeng JUsability assessment of academic digital libraries: Effectiveness, efficiency, satisfaction, and learnability2005Libri96-121Jeng J. Usability assessment of academic digital libraries: Effectiveness, efficiency, satisfaction, and learnability. Libri. 2005;55(2-3):96-121. DOI: 10.1515/LIBR.2005.96http://dx.doi.org/10.1515/LIBR.2005.96International Organization for Standardization1998ISO 9241-11: Ergonomic Requirements for Office Work with Visual Display Terminals (VDTs): Part 11: Guidance on UsabilityInternational Organization for Standardization. ISO 9241-11: Ergonomic Requirements for Office Work with Visual Display Terminals (VDTs): Part 11: Guidance on Usability. 1998.Jilg SMöltner ABerberat PFischer MRBreckwoldt JHow do Supervising Clinicians of a University Hospital and Associated Teaching Hospitals Rate the Relevance of the Key Competencies within the CanMEDS Roles Framework in Respect to Teaching in Clinical Clerkships?2015GMS Z Med AusbildDoc33Jilg S, Möltner A, Berberat P, Fischer MR, Breckwoldt J. How do Supervising Clinicians of a University Hospital and Associated Teaching Hospitals Rate the Relevance of the Key Competencies within the CanMEDS Roles Framework in Respect to Teaching in Clinical Clerkships? GMS Z Med Ausbild. 2015;32(3):Doc33. DOI: 10.3205/zma000975http://dx.doi.org/10.3205/zma000975Bloch RBürgi HThe Swiss Catalogue of Learning Objectives2002Med Teach144-150Bloch R, Bürgi H. The Swiss Catalogue of Learning Objectives. Med Teach. 2002;24(2):144-150. DOI: 10.1080/01421590220120759http://dx.doi.org/10.1080/01421590220120759Gabriel SDie obsolete Kategorie Geschlecht? Zur Wechselbeziehung von gendered organization und individuellen Handlungspraxen in der Hochschullehre2014Hochschullehre51-65Gabriel S. Die obsolete Kategorie Geschlecht? Zur Wechselbeziehung von gendered organization und individuellen Handlungspraxen in der Hochschullehre. Hochschullehre. 2014;2:51-65.Pololi LHExperiencing the Culture of Academic Medicine: Gender Matters, A National Study2013:J Gen Intern Med201-207Pololi LH. Experiencing the Culture of Academic Medicine: Gender Matters, A National Study. J Gen Intern Med. 2013: 28(2):201-207. DOI: 10.1007/s11606-012-2207-1http://dx.doi.org/10.1007/s11606-012-2207-1O'Sullivan EMA national study on the attitudes of Irish dental faculty members to faculty development2010Eur J Dent Educ43-49O'Sullivan EM. A national study on the attitudes of Irish dental faculty members to faculty development. Eur J Dent Educ. 2010;14(1):43-49. DOI: 10.1111/j.1600-0579.2009.00590.xhttp://dx.doi.org/10.1111/j.1600-0579.2009.00590.x
11en1de
Table 1: Responses to individual statements in the NKLM System Usability Scale. Distribution of the responses to the single items in total / percent, N=32. The two outer categories on each side of the scale were aggregated e.g., “Strongly Agree and Agree”, into a single value.
Tabelle 1: Ergebnisse des an den NKLM angepassten System Usability Scale – relative und absolute Häufigkeiten (n=32). Antwortverteilungen der einzelnen Items. Die beiden außenliegenden Antwortkategorien wurden jeweils zusammengefasst, z. B. „stimme voll zu“ und „stimme zu“ zu einem Wert („Zustimmung“).
22en2de
Table 2: Characteristics of survey participants (n=51 and n=1 not applicable).
Tabelle 2: Merkmale der Stichprobe (n=51 und n=1 nicht auswertbar).
211en1de
Figure 1: Responses to individual statements in the NKLM System Usability Scale.