zma001642 10.3205/zma001642 urn:nbn:de:0183-zma0016429 article Artikel Webcam-basiertes Eye-Tracking zur Messung von visueller Expertise bei Medizinstudierenden in einem Online-Histologiekurs Darici Darici Dogus D Dr.

Westfälische-Wilhelms-University, Institute of Anatomy and Neurobiology, Vesaliusweg 2-4, D-48149 Münster, GermanyWestfälische-Wilhelms-University, Institute of Anatomy and Neurobiology, Münster, Germany

Westfälische-Wilhelms-Universität, Institut für Anatomie and Neurobiologie, Vesaliusweg 2-4, 48149 Münster, DeutschlandWestfälische-Wilhelms-Universität, Institut für Anatomie and Neurobiologie, Münster, Deutschland

darici@uni-muenster.de author Reissner Reissner Carsten C

Westfälische-Wilhelms-University, Institute of Anatomy and Neurobiology, Münster, Germany

Westfälische-Wilhelms-Universität, Institut für Anatomie and Neurobiologie, Münster, Deutschland

author Missler Missler Markus M Prof. Dr.

Westfälische-Wilhelms-University, Institute of Anatomy and Neurobiology, Vesaliusweg 2-4, D-48149 Münster, GermanyWestfälische-Wilhelms-University, Institute of Anatomy and Neurobiology, Münster, Germany

Westfälische-Wilhelms-Universität, Institut für Anatomie and Neurobiologie, Vesaliusweg 2-4, 48149 Münster, DeutschlandWestfälische-Wilhelms-Universität, Institut für Anatomie and Neurobiologie, Münster, Deutschland

markus.missler@uni-muenster.de author German Medical Science GMS Publishing House

Düsseldorf

610 digital histology eye-tracking study histology training online education visual expertise visual expertise development webcam eye-tracking webcam eye-tracking methodology digitale Histologie Eye-Tracking-Studie Histologietraining Online-Bildung visuelle Expertise Entwicklung visueller Expertise Webcam-Eye-Tracking Webcam-Eye-Tracking-Methodik expertise development Expertiseentwicklung 20220930 20230606 20230707 20230915 engl germ This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). 2366-5017 40 5 GMS Journal for Medical Education GMS J Med Educ 60 Land Nordrhein-Westfalen Ziel: Visuelle Expertise spielt eine wichtige Rolle bei der Prozessierung von Bildern, wie sie häufig in der Radiologie oder Histologie vorkommen. Studien zeigen, dass sich mit zunehmender visueller Expertise die Augenbewegungen der Untersuchenden verändern. Die Entwicklungen im Webcam-Eye-Tracking ermöglichen seit einiger Zeit den kostengünstigen und flächendeckenden Einsatz dieser Methode. Die vorliegende Studie untersuchte die Qualität dieser Technologie in einem Histologie-Kurs im Sommersemester 2021.Methoden: An zwei Zeitpunkten wurden Medizinstudierende im dritten Semester gebeten, eine Reihe histologischer Präparate zu beurteilen. Währenddessen wurden ihre Augenbewegungen aufgezeichnet und gemeinsam mit der Performanz, sowie behavioralen Parameter mittels Varianzanalysen und multipler Regressionsmodelle analysiert.Ergebnisse: Die Ergebnisse zeigten, dass Webcam-Eye-Tracking qualitativ hochwertige Daten liefern kann (mittlere Genauigkeit=115.7 px±31.1). Außerdem spiegelten Augenbewegungen die Fähigkeit der Teilnehmenden wider, relevante Bildbereiche zu finden (Fixationsanzahl relevanter Bereiche=6.96±1.56 vs. irrelevanter Bereiche = 4.50±1.25). Schließlich konnten die Augenbewegungen der Teilnehmenden deren Leistung vorhersagen (R2adj=0.39, p<0.001).Diskussion: Diese Studie unterstützt den Einsatz von Webcam-Eye-Tracking Technologie zur Erfassung von visueller Expertise. Da auch die Akzeptanz hoch war, werden mögliche Implementierungsoptionen diskutiert. Objectives: Visual expertise is essential for image-based tasks that rely on visual cues, such as in radiology or histology. Studies suggest that eye movements are related to visual expertise and can be measured by near-infrared eye-tracking. With the popularity of device-embedded webcam eye-tracking technology, cost-effective use in educational contexts has recently become amenable. This study investigated the feasibility of such methodology in a curricular online-only histology course during the 2021 summer term.Methods: At two timepoints (t1 and t2), third-semester medical students were asked to diagnose a series of histological slides while their eye movements were recorded. Students’ eye metrics, performance and behavioral measures were analyzed using variance analyses and multiple regression models.Results: First, webcam-eye tracking provided eye movement data with satisfactory quality (mean accuracy=115.7 px±31.1). Second, the eye movement metrics reflected the students’ proficiency in finding relevant image sections (fixation count on relevant areas=6.96±1.56 vs. irrelevant areas=4.50±1.25). Third, students’ eye movement metrics successfully predicted their performance (R2adj=0.39, p<0.001).Conclusion: This study supports the use of webcam-eye-tracking expanding the range of educational tools available in the (digital) classroom. As the students’ interest in using the webcam eye-tracking was high, possible areas of implementation will be discussed. IntroductionTo date, several studies have investigated the eye movement patterns of expert and novice diagnosticians , , , , , , , , , , . Differences in eye movement have been associated with levels of medical expertise and related to diagnostic accuracy , . For example, expert diagnosticians in histopathology direct their focus to relevant image sections more frequently, longer, and faster than novices , . These differences in visual behavior have been identified in a variety of domains, ranging from chess to pilot training , as well as medical applications such as radiography , , , electrocardiogram interpretation , diagnostic decision-making and histopathology , , , . Most of these studies have been carried out using modern near-infrared eye-tracking devices, which precisely record eye movements and make them available for an in-depth examination.Although this methodology seems to have the potential in measuring visual expertise, its widespread use in medical education has been sparse due to several implementation hurdles , . First, modern eye trackers are expensive, i. e., often exceeding $10,000 per device. Second, the application of such technology is very personnel intensive, as it is necessary to have a trained scientist present during both the calibration and the study procedure. Third, the analysis of the data requires special training since large amounts of data are collected and more advanced statistical methods are applied. As a result, such trackers have mostly been used in specialized laboratories in a controlled environment. To overcome these limitations, computer scientists have recently sought to develop new solutions. The most promising approach has been conducted by Papoutsaki and colleagues. They developed an open-source JavaScript code that captures eye movements using web cameras built into everyday devices such as laptops, tablets, and cell phones , . Since then, this technology has found its way into user-friendly online platforms with graphical user interfaces. In addition, execution and calibration were automated. This approach combines numerous advantages at the same time; i.e., it is less expensive, widely available, and easy to use. It enables participants to engage in online studies in a more naturalistic home environment at convenient times, hence increasing the likelihood of successful data collection. However, especially eye-tracking based investigations are vulnerable when unsupervised, because variations in participants’ behavior greatly affects the data quality .The present study attempts to address these limitations by examining the use of webcam eye trackers in a curricular histology course. During the online only course – as necessitated by the COVID-19 pandemic – a large cohort of medical students was assessed. Conceptually, this study refers to visual expertise, a construct that has a long history in the eye-tracking literature , and has been studied in the field of histopathology training , . Visual expertise provides a suitable interpretive framework for the collected data, allows the metrics to be placed in a theoretical context, and turns abstract concepts into measurable observations.Visual expertise in histopathologyVisual expertise can be defined as the complex interplay between perceptual and cognitive processes that evolves by training and leads to higher accuracy in image search, recognition, and decision-making . Originating in chess research, it is now assumed to be one of the main learning goals in courses that rely on visual cueing, such as histopathology, gross anatomy, and radiology , . Capturing eye movements is a promising method for measuring visual expertise, as it is considered to occur involuntarily and allows for the in-depth evaluation of visual pattern recognition competencies . Thus, the eye-tracking methodology enables us to gain a better understanding of the mechanisms underlying visual expertise development. This approach is supported by the eye-mind hypothesis, which postulates a direct connection between eye movements and “what the mind is engaged with” , .Existing literature on visual expertise in histopathology studied the eye movement behavior of expert pathologists , . Usually, these measurements were compared with those of novices in an expert-novice paradigm. It is assumed that novices develop visual expertise when their visual behaviors reach the level of those of experts. These processes are assumed to occur unconsciously, thereby reflecting procedural pattern-recognition competencies and tacit knowledge , , , .Theoretical concepts of visual expertiseThe most influential and empirically supported theories that try to explain visual expertise are holistic processing theory and the information reduction model , , . Holistic processing postulates that visual experts show a more integrated image perception, which allows them to rapidly focus on diagnostically relevant areas of interest (dAOI) on the slide. The time it takes to direct the gaze on dAOIs (time to first fixate dAOIs) has thus been associated with a higher level of visual expertise . This visual behavior is neurobiologically facilitated through an increased parafoveal vision , which implies that expert diagnosticians capture a wider field of view of information when viewing images. This enables them to discover important areas earlier and move their gaze on them more quickly. It is therefore to be expected that the time it takes to solve a task (view time) will likewise shorten with an increase in expertise , . Another prominent theory is the information-reduction model, which closely relates to the idea of selective processing . Briefly, this theory assumes that expert diagnosticians – in order to save mental resources – neglect diagnostically irrelevant information, while shifting their focus to dAOIs. In contrast, novice learners fail to detect dAOIs but move their gaze toward visually salient yet diagnostically redundant areas (vAOI) . Thus, according to the information-reduction model, successful visual expertise development can be operationalized by more frequent and longer fixations of dAOIs, as well as less frequent and shorter fixations of vAOIs.Many findings related to the differences between experts and novices can usefully be explained by an overlap of the abovementioned theories, in which eye-tracking enables the measurability of important propositions of these theories.Research questionsResearch question 1: How accurately can webcam eye-tracking detect eye movements? A suitable methodology would translate into good accuracy, precision measurements, high data integrity (=little data loss), and acceptable sampling rates , . Research question 2: How valid is webcam eye-tracking in regard to capturing changes in visual expertise? We expected that students would develop visual expertise in the histology course. According to holistic processing theory and information reduction model, this development would show up in increased test scores and reduced view times but also in changes in eye movements, such as a reduced time to first fixation of dAOI, as well as higher fixation counts on dAOI. We hypothesized an opposite trend with visually salient but task-redundant regions of vAOIs.Research question 3: How reliably can webcam eye-tracking distinguish between low and high performances? As eye movements are a predictor of visual expertise , interindividual differences should be predictable based on eye movement. Thus, statistical models should predict the students’ test scores based on their eye movement data. EinleitungIn zahlreichen Studien wurden die Augenbewegungsmuster erfahrener und unerfahrener Diagnostiker miteinander verglichen , , , , , , , , , , . Die Ergebnisse zeigen eindrücklich, dass Unterschiede in den Augenbewegungen mit dem Grad der Expertise in Verbindung stehen und die diagnostische Genauigkeit widerspiegeln können , . Zum Beispiel richten erfahrene Histopathologen ihren Blick häufiger, länger und schneller auf relevante Bildbereiche als Novizen , . Solche Unterschiede im visuellen Verhalten wurden auch in anderen Bereichen festgestellt, wie dem Schachspiel , der Pilotenausbildung , in medizinischen Bereichen wie Radiologie , , , EKG-Interpretation , diagnostischer Entscheidungsfindung und Histopathologie , , , . Für die Durchführung dieser Studien wurden in der Regel moderne Nahinfrarot-Eye-Tracking-Geräte verwendet, die eine präzise und zuverlässige Erfassung der Augenbewegungen am Bildschirm ermöglichen.Trotz dieser vielversprechenden Vorbefunde wird Eye-Tracking in der medizinischen Ausbildung bisher aufgrund verschiedener Implementierungshürden nur selten eingesetzt , . Zum einen sind moderne Eye-Tracking System relativ teuer, mit Kosten weit über 10.000 US-Dollar pro Gerät. Zum anderen erfordert der Einsatz dieser Technologie beträchtliche personelle Ressourcen, da geschultes Personal für die Kalibrierung und Durchführung erforderlich ist. Da zudem große Datenmengen gesammelt werden, müssen komplexe statistische Methoden angewendet werden. Aus diesen Gründen wurden Eye-Tracker bisher hauptsächlich in spezialisierten Laboren und unter kontrollierten Laborbedingungen eingesetzt. Um diese Hürden zu überwinden, arbeitet die Informatik kontinuierlich an neuen technischen Lösungen. Ein vielversprechender Ansatz wurde von Papoutsaki und Kollegen vorgeschlagen , . Sie entwickelten einen OpenSource Programmiercode in JavaScript, mit dem die Augenbewegungen mithilfe von eingebauten Webcams in alltäglichen Geräten wie Laptops, Tablets und Mobiltelefonen erfassen werden können. Diese Webcam-Eye-Tracking Technologie wurde schließlich in benutzerfreundliche Online-Plattformen mit grafischen Benutzeroberflächen integriert und die Ausführung sowie die Kalibrierung vollautomatisiert. Dieser Ansatz vereint mehrere Vorteile: Er ist kostengünstiger, weit verbreitet und einfach zu bedienen. Dadurch können Teilnehmer an Online-Eye-Tracking-Studien auch von zu Hause und zu passenden Zeiten teilnehmen, was die Wahrscheinlichkeit der Studienteilnahme erhöht. Es ist jedoch wichtig, bei Eye-Tracking-basierten Untersuchungen besonders auf die Datenqualität zu achten, da Unterschiede im Verhalten der Teilnehmer während der Durchführung die Datenqualität beeinflussen können .Die vorliegende Studie untersuchte den Einsatz von Webcam-Eye-Tracking in einem curricularen Online-Histologiekurs, der aufgrund der COVID-19-Pandemie online durchgeführt wurde. Als theoretisches Framework diente das Konstrukt der visuellen Expertise, das eine lange Tradition in der Eye-Tracking-Literatur hat , und zu dem bereits Vorbefunde in der Histopathologie vorliegen , . Visuelle Expertise bietet dabei vor allem einen interpretativen Rahmen für die erhobenen Daten, ermöglicht es, die Augenbewegungen in einen theoretischen Kontext zu stellen und abstrakte Konzepte zu operationalisieren.Visuelle Expertise in der HistopathologieVisuelle Expertise umfasst ein komplexes Zusammenspiel zwischen wahrnehmenden und kognitiven Prozessen . Sie ist domainspezifisch, entwickelt sich durch Training und führt zu einer höheren Präzision bei der Bildsuche, -erkennung und -entscheidung . Ursprünglich aus der Schachforschung stammend, wird sie heute als eines der Hauptlernziele in Trainings angesehen, bei denen die Beurteilung visueller Informationen zentral ist, wie in der Histopathologie, makroskopischen Anatomie oder Radiologie , . Zur Erfassung von visueller Expertise bieten sich Augenbewegungen an, da sie oft unwillkürlich erfolgen und die Fähigkeit zur Erkennung von Mustern widerspiegeln . Dieser Ansatz wird vor allem durch die Eye-Mind-Hypothese gestützt, die postuliert, dass es eine enge Verbindung gibt zwischen dem, was die Augen sehen und dem, womit sich das Gehirn in dem Moment „beschäftigt“ , .Bisherige Studien zur visuellen Expertise in der Histopathologie charakterisierten vor allem die Augenbewegungen erfahrener Pathologen , . In einem Experten-Novizen-Paradigma wurden die Augenbewegungen der Pathologen mit denen von Novizen verglichen. Es wird im Allgemeinen angenommen, dass Novizen visuelle Expertise entwickeln, wenn sich ihr visuelles Verhalten dem des Experten annähert. Diese Entwicklungsprozesse sind größtenteils unbewusst und spiegeln prozedurale Mustererkennungsfähigkeiten und implizites Wissen („tacit knowledge“) wider , , , .Theoretische Konzepte von visueller ExpertiseEinflussreiche und empirisch-gestützte Theorien zur Erklärung von visueller Expertise sind die holistische Verarbeitungstheorie und das Informationsreduktionsmodell , , . Die holistische Verarbeitungstheorie postuliert, dass Personen mit einer hohen visuellen Expertise eine stärker integrierte Bildwahrnehmung aufweisen, die es ihnen ermöglicht, den Fokus schnell auf diagnostisch relevante Bereiche (dAOIs) auf dem Bild zu lenken. Die Zeit, die benötigt wird, um den Blick erstmals auf ein dAOI zu lenken (Zeit bis zur ersten Fixation von dAOIs), wurde daher mit einem höheren Maß an visueller Expertise in Verbindung gebracht . Dieses visuelle Verhalten wird neurobiologisch vermutlich durch ein größeres parafoveales Sichtfeld ermöglicht , d.h., Experten erfassen und prozessieren Bildinformationen aus einem breiteren Sichtfeld. Dies ermöglicht es ihnen, wichtige Bildbereiche früher zu entdecken und ihren Blick schneller darauf zu lenken. Daher ist bei einer Zunahme von Expertise zu erwarten, dass sich die Zeit zur Lösung einer Aufgabe (Betrachtungszeit) verkürzt , . Eine weitere prominente Theorie ist das Informationsreduktionsmodell, das eng mit der Idee der selektiven Verarbeitung verknüpft ist . Diese Theorie geht davon aus, dass Experten diagnostisch irrelevante Informationen vernachlässigen und stattdessen ihren Fokus auf dAOIs lenken, um mentale Ressourcen zu sparen. Im Gegensatz dazu erkennen Novizen dAOIs nicht, sondern lenken ihren Blick vor allem auf visuell auffällige, jedoch diagnostisch irrelevante Bereiche (vAOIs) . Daher kann nach dem Informationsreduktionsmodell eine erfolgreiche Entwicklung visueller Expertise durch häufigere und längere Fixationen von dAOIs, sowie weniger häufige und kürzere Fixationen von vAOIs operationalisiert werden.Viele Unterschiede zwischen Experten und Anfängern können durch eine Kombination der oben genannten Theorien erklärt werden, wobei Eye-Tracking die Messbarkeit wichtiger Aussagen dieser Theorien überhaupt ermöglicht.ForschungsfragenForschungsfrage 1: Wie genau kann Webcam-Eye-Tracking Augenbewegungen erfassen?Eine hohe Genauigkeit würde erreicht, wenn eine hohe Akkuratheit und Präzision, sowie eine hohe Datenintegrität (=wenig Datenverlust), sowie eine hohe Bildrate erzielt werden , .Forschungsfrage 2: Wie zuverlässig kann Webcam-Eye-Tracking Unterschiede in der visuellen Expertise erfassen?Wir erwarteten, dass Studierende im Laufe des Histologiekurses natürlicherweise visuelle Expertise entwickeln. Dies würde sich in einer kürzeren Betrachtungszeit histologischer Bilder und höheren Testscores zeigen. Entsprechend der holistischen Verarbeitungstheorie, sowie dem Informationsreduktionsmodell sollten sich diese Unterschiede auch in den Augenbewegungen zeigen, wie z. B. in einer reduzierten Zeit bis zur ersten Fixation von dAOIs, sowie einer höheren Fixationanzahl von dAOIs. Wir postulierten entgegengesetzte Effekte für visuell saliente, jedoch diagnostisch irrelevante vAOIs.Forschungsfrage 3: Wie zuverlässig kann Webcam-Eye-Tracking zwischen Performanzen unterscheiden?Da Augenbewegungen ein Surrogat für visuelle Expertise sind , sollten interindividuelle Differenzen anhand von Augenbewegungen vorhersagbar sein. Daher sollten statistische Modelle die Testleistun MethodsThis study was conducted at the Westfälische Wilhelms-University in Münster during the summer term of 2021. At two particular timepoints, one third-semester preclinical cohort was evaluated longitudinally alongside an online-only histology course. More details can be retrieved from the supplementary files (see attachment 1 ).Participating studentsThe first measurement (t1) was conducted after 10 three-hour sessions. Here, N=51 students (age mean 21.56±2.21 years; 35 females) were included for data analysis. The second measurement (t2) was conducted after 20 three-hour sessions immediately before a written examination, as an improvement in students’ visual expertise can be expected at such a point. N=77 students (age mean 21.97±2.25 years; 59 females) were included in t2. Informed consent was received from all students. This study was carried out in accordance with the Declaration of Helsinki. The study protocol was reviewed by the ethics committee (“Ethik-Kommission der Ärztekammer Westfalen-Lippe und der Westfälischen Wilhelms-University”) and deemed not to require formal medical ethics approval.Study procedure of the webcam eye-tracking studyThe study design corresponds to a single-group pre-post intervention design with a measurement interval of 7 weeks (=10 course sessions) (see attachment 1 ). Due to the COVID-19 pandemic, the complete semester cohort was obliged to participate in the synchronous online-only course. A run-through pilot study was performed with two participants to optimize the eye-tracking environment. Here, the main focus was to adjust the duration of the presentation time and to assess the behavior during the study. The actual study participants were recruited during the online course and received a hyperlink that led to the online study. They could perform the study at home anytime during a period of one week around the two timepoints. After starting the study, the students passed a 40-point eye-tracking calibration and a 4-point test for accuracy (see figure 1 and figure 2 a ). The participants next looked at six histology slides for a maximum of 15 seconds each. After each slide, the participants were prompted to identify the organ on the slide. Meanwhile, the test score, view time, and eye movements were recorded.Online eye-tracking with web camerasAn open-source JavaScript code (WebGazer) was used to record the binocular gaze position . The study took approximately 10-15 minutes and ran entirely on a web browser in full view mode; no additional software was needed. No personal image data were transmitted during the session, as the JavaScript code runs locally on the participant’s computer. The output provided the respective binocular X and Y coordinates with a timestamp, and subject IDs. We offered e-mail support for students with technical problems (n=1 at t2).Description of the stimuli and instruction Six different histological slides were shown at each of the two timepoints, and care was taken to ensure that the level of difficulty was approximately the same (see figure 2 ). Different slides were used at both time points to prevent the recognition of the slides based on nonspecific patterns (e.g., staining). These slides were instructed with a slide identification task: “identify the following organ”. From our own experience in oral examinations, we think that the rapid identification of histological slides is a selective task for novice students. Slides were presented in the same order and for a maximum duration of 15 seconds. The view time was deliberately kept short, both to increase the overall difficulty and to capture early search behavior and rapid pattern recognition competencies. Scrolling or zooming was disabled to reduce the complexity for the students and enhance comparability at the expense of authenticity. Students who finished the task in less than 15 seconds could skip to the questioning to prevent idle eye movements. Returning to an image was not possible.Description of the test scoreTo reduce the probability of incidental answers and to make sure students did not simply guess the right multiple-choice answer by chance, the participants were asked free text questions (e.g., “Which organ did you identify?”) after each slide. This approach meant that correct answers had to be actively produced by the students. The written answers were evaluated manually and blindly by the first author. Correct answers were rewarded with one point. The test score was calculated as the sum of all the correct answers (max. 6 points). At the end of the study, students received sample solutions as feedback to reward them for their participation (see table 1 ).Procedure for data analysisVisualizations of the eye-tracking data were performed using RStudio software (Version 1.3.1093, RStudio Team, 2020) with the scan path extension . Statistical analyses were performed with SPSS version 28 (IBM Corp., Armonk, NY). All statistics were performed under a significance value of α=0.05 and specified by a two-tailed p value, and an effect size (partial) η2. A η2 greater than 0.14 was considered a strong effect. To capture mean differences, a two-sided t-test or ANOVA (>2 variables) for was performed with Bonferroni correction for multiple testing to counteract the likelihood of incorrectly rejecting a null hypothesis. To identify the discrete predictive value of each eye movement variable (independent variables) with the test score (dependent variable), a multivariate regression analysis was performed for each timepoint. MethodenDiese Studie wurde im Sommersemester 2021 an der Westfälischen Wilhelms-Universität in Münster durchgeführt. An zwei Messzeitpunkten wurden Medizinstudierende im dritten Fachsemester longitudinal und parallel zu einem curricularen Online-Histologiekurs untersucht (siehe Anhang 1 ).StichprobeDie erste Messung (t1) wurde nach 10 dreistündigen Kursveranstaltungen durchgeführt. Für die Datenanalyse wurden hierfür 51 Studierende einbezogen (Durchschnittsalter 21.56±2.21 Jahre; 35 weiblich). Die zweite Messung (t2) wurde nach 20 dreistündigen Sitzungen und unmittelbar vor einer schriftlichen Abschlussprüfung durchgeführt, da wir an diesem späten Punkt eine deutliche Verbesserung der visuellen Expertise der Studierenden erwarten konnten. An t2 wurden 77 Studierende rekrutiert (Durchschnittsalter 21.97±2.25 Jahre; 59 weiblich). Von allen Studierenden wurde eine informierte Einwilligung eingeholt. Diese Studie wurde gemäß der Deklaration von Helsinki durchgeführt. Das Studienprotokoll wurde von der Ethikkommission („Ethik-Kommission der Ärztekammer Westfalen-Lippe und der Westfälischen Wilhelms-Universität“) akzeptiert.Studienablauf der Webcam-Eye-Tracking-StudieDas Studiendesign entspricht einem Ein-Gruppen Prä-Post-Interventionsdesign mit einem Messintervall von 7 Wochen (= 10 Kurseinheiten) (siehe Anhang 1 ). Aufgrund der COVID-19-Pandemie nahmen alle Teilnehmenden online an dem Kurs teil. Es wurde zunächst eine Pilotstudie mit zwei Personen durchgeführt, um die Eye-Tracking-Umgebung zu optimieren. Hier lag der Schwerpunkt auf der Anpassung der Dauer der Präsentationszeit und der Beurteilung des Verhaltens während der Studie. Die eigentlichen Studienteilnehmenden wurden während des Online-Kurses rekrutiert und erhielten einen Hyperlink, der zur Online-Studie führte. Sie konnten die Studie flexibel in einem vier wöchigen Zeitraum von zu Hause aus durchführen. Nachdem der Hyperlink aufgerufen wurde, absolvierten die Teilnehmenden zunächst eine 40-Punkte Eye-Tracking-Kalibrierung und einen 4-Punkte-Genauigkeitstest (siehe Abbildung 1 und Abbildung 2 a ). Anschließend betrachteten die Teilnehmenden sechs histologische Präparate, jeweils maximal 15 Sekunden lang. Nach jedem Präparat wurden die Teilnehmenden aufgefordert, das Organ auf dem Präparat zu identifizieren. Dabei wurden die Testergebnisse, die Betrachtungszeit und die Augenbewegungen erfasst.Online-Eye-Tracking mit WebcamsFür die Aufzeichnung der binokularen Augenbewegungen wurde ein OpenSource JavaScript-Code namens WebGazer verwendet . Die Studie dauerte ungefähr 10-15 Minuten und wurde im Vollbildmodus eines Webbrowsers ausgeführt. Die Installation von zusätzlicher Software war nicht erforderlich. Während der Sitzung wurden keine persönlichen Bilddaten übertragen, da der JavaScript-Code lokal auf dem Computer der Teilnehmenden die Berechnungen durchführt. Die Ausgabe lieferte entsprechenden binokularen X- und Y-Koordinaten mit einem Zeitstempel sowie anonymisierte Teilnehmer-IDs. Wir boten per E-Mail technischen Support für Studierende an, die Probleme hatten (n=1 bei t2).Stimuli und InstruktionAn beiden Zeitpunkten wurden jeweils sechs verschiedene histologische Präparate gezeigt. Es wurde darauf geachtet, dass das Schwierigkeitsniveau zwischen den Messzeitpunkten gleich war (siehe Abbildung 2 ). An beiden Messzeitpunkten wurden unterschiedliche Präparate verwendet, um das Wiedererkennen anhand unspezifischer Muster (z. B. Färbung) zu verhindern. Die Instruktion lautete: „Identifizieren Sie das folgende Organ“. Aus unserer eigenen Erfahrung in zahlreichen mündlichen Prüfungen halten wir die schnelle Identifikation histologischer Präparate für eine hochselektive und trennscharfe Aufgabe für Novizen. Die Präparate wurden in derselben Reihenfolge und für eine maximale Dauer von 15 Sekunden präsentiert. Die Betrachtungszeit wurde bewusst kurzgehalten, um die Gesamtschwierigkeit zu erhöhen und um schnelle Mustererkennungsfähigkeiten zu erfassen. Scrollen oder Zoomen wurde deaktiviert, um die Komplexität für die Teilnehmenden zu reduzieren und die Vergleichbarkeit zu verbessern. Teilnehmende, die die Aufgabe in weniger als 15 Sekunden abgeschlossen hatten, konnten direkt zur Abfrage springen, um „unnötige Augenbewegungen“ zu vermeiden. Es war nicht möglich, zu den Präparaten zurückzukehren.TestergebnisseUm die Ratewahrscheinlichkeit zu reduzieren, wurden den Teilnehmenden Freitextfragen anstelle von Multiple-Choice Fragen gestellt („Welches Organ haben Sie identifiziert?“) . Somit mussten die Studierenden die korrekten Antworten aktiv formulieren. Die schriftlichen Antworten wurden manuell und blind vom Erstautor ausgewertet. Korrekte Antworten wurden mit einem Punkt benotet. Der Testscore wurde als Summe aller korrekten Antworten berechnet (max. 6 Punkte). Am Ende der Studie erhielten die Teilnehmenden Musterlösungen, um sie für ihre Teilnahme zu belohnen (siehe Tabelle 1 ).DatenanalyseDie Visualisierung der Eye-Tracking-Daten wurde mit der Software RStudio (Version 1.3.1093, RStudio Team, 2020) unter Verwendung der Scanpath-Erweiterung erstellt. Statistische Analysen wurden mit SPSS, Version 28 (IBM Corp., Armonk, NY) durchgeführt. Alle Testungen erfolgten unter einem Signifikanzniveau von α=0,05 und wurden durch einen zweiseitigen p-Wert sowie eine Effektstärke (partieller) η2 spezifiziert. Ein η2 größer als 0.14 wurde dabei als starker Effekt angenommen. Um mittlere Unterschiede zu erfassen, wurde ein zweiseitiger t-Test oder eine ANOVA (>2 Variablen) mit Bonferroni-Korrektur für mehrfache Tests durchgeführt. Um den diskreten Vorhersagewert der Augenbewegungen (unabhängige Variable) auf den Testscore (abhängige Variable) zu ermitteln, wurde eine multivariate Regressionsanalyse zu jedem Messzeitpunkt durchgeführt. ResultsRQ1: After strict preprocessing, the webcam eye-tracking shows an acceptable data qualityThe 4-points test for accuracy showed gaze clouds on all four dots (yellow circles) (see figure 3 a ). The gaze intensity is illustrated by different colors (red>yellow>green>blue>black), while the gaze cloud in the center of the screen corresponds to the central fixation bias. At both timepoints, there was a small off-set located downward in the upper quadrants. The click-to-gaze accuracy was suitable across both time points, with a mean=115.7 px±31.1 for t1 and M=116.9 px±25.8 for t2 (see figure 3 b ). This value represents the deviation of the target point and the actual gaze position with a smaller value indicating a higher level of accuracy. A sampling rate of the participants’ webcams was in the range of 14-32 Hz (M=28.8 Hz±4.1) for t1, and 2-32 Hz (M=28.3 Hz±5.1) for t2 (see figure 3 c ). The participants’ gaze-on-screen rate ranged from 29-99% (M=88.8%±15.3) for t1 and 3-99% (M=86.0%±19.5) for t2 (see figure 3 d ). The data integrity (completeness of the data) at t1 was M=92.17%±5.98 and for t2 M=93.35% 6.01; thus, approximately 7-8% of the data were lost in both timepoints (see figure 3 e ). Reasons for this loss may include detection difficulties and eye blinking.RQ2: Webcam eye-tracking measures visual expertise development in curricular histology trainingThe first analysis aimed to show whether the students improved in visual expertise over the course span (see figure 4 ). The following analyses on eye-tracking metrics were conducted to show that the webcam eye-tracking can reflect this development (see figure 5 ).Testscore increases and view time decreases from t1 to t2The test score increased (t(91)=5.69, p<0.001, η2=0.26) from M=1.69 points±.69 at t1 to M=3.48 points±1.31 at t2, which indicates an improvement in diagnostic accuracy in the slide identification task. The analysis of the total view time for t1 (M=14.35 s±1.09) and t2 (M=12.38 s±2.08) showed a decline (t(91)=5.99, p<0.001, η2=0.28) (see figure 4 ). There was a ceiling effect for the view time and a floor effect for the test score at both timepoints (t1>t2), which suggest that the task was challenging for the students who were under high level of time-pressure.The fixation count on dAOI is higher in t2There was no difference between the fixation counts of the dAOI and those of the vAOI at t1 (F(51)=1.74, p>0.999), which suggests that students could not effectively distinguish between visually salient but irrelevant areas and diagnostically important areas (mean fixation count for dAOI=2.10±0.69 vs. vAOI=1.12±0.37) (see figure 5 b ). Students at t2 showed an increased orientation toward the dAOI (F(42)=3.53, p=0.003, η2=0.43), thereby affirming information-reduction theory (mean fixation counts for dAOI=6.96±1.56 vs. vAOI=4.50±1.25). The fixation duration on dAOI is higher in t2Students at t1 showed a lower fixation duration on the dAOI than on the vAOI (F(51)=14.26, p<0.001, η2=0.74), which indicates a lower interaction rate with the diagnostically relevant areas (see figure 5 c ). However, in t2, the fixation duration on the dAOI increased so that the difference with the vAOI was no longer significant (F(42)=1.28, p>0.999); this indicated a higher detection rate of diagnostically relevant regions at t2. These results showed an increased ability of the trained students to interact with dAOIs; however, they were still occupied with vAOIs.The time to first fixation of dAOI is lower in t2At t1, there was no significant difference between the dAOI (M=5394 ms±1025) and the vAOI (M=5696 ms±1515) (F(51)=1.29, p>0.999), while at t2, the time to first fixation for the dAOI (M=2862 ms±965) was lower than that for the vAOI (M=3557 ms±1094) (F(51)=2.69, p=0.046, η2=0.10) (see figure 5 d ). Together, students at t2 were able to detect dAOIs faster than vAOIs, which is in line with the holistic theory of visual expertise.RQ3: Eye movements predict test performance in the slide identification taskEye movements recorded by the webcam eye-tracking could predict the test scores at t1 (see table 2 ). In other words, the statistical model was able to predict the corresponding test scores of the students by their eye movements. Approximately 39% of the test score variance (R2adj=0.392, p<0.001) was explainable by nine eye-movement variables. At t2, the statistical test result merely misses significance (R2adj=0.103, p=0.057), which indicates the lower predictive power of the model. The predictors had similar regression coefficients at both second points. These results suggest that eye metrics were robust predictors for early visual expertise. Moreover, we observed that the predictive power is higher at an early timepoint than later in the course. ErgebnisseDie Webcam-Eye-Tracking-Methode zeigt eine akzeptable DatenqualitätEine Blickwolke zeigt die Ergebnisse des 4-Punkte-Genauigkeitstests (siehe Abbildung 3 a ). Die Blickintensität wird durch verschiedene Farben veranschaulicht (rot>gelb>grün>blau>schwarz). Die Blickwolke in der Mitte des Bildschirms entspricht dem zentralen Fixationsbias. In den oberen beiden Quadranten gab es eine geringfügige Abweichung nach unten. Die Klick-zu-Blick-Genauigkeit war an beiden Zeitpunkten akzeptabel, mit einem Durchschnittswert von 115.7 px±31.1 an t1 und M=116.9 px±25.8 an t2 (siehe Abbildung 3 b ). Dieser Wert stellt die Abweichung des Ziel-Punktes von der tatsächlichen Blickposition dar, wobei ein kleinerer Wert auf eine höhere Genauigkeit hinweist. Die Webcam-Bildrate der Teilnehmenden lag im Bereich von 14-32 Hz (M=28.8 Hz±4.1) an t1 und 2-32 Hz (M=28.3 Hz±5.1) an t2 (siehe Abbildung 3 c ). Die Blick-auf-Bildschirm-Rate der Teilnehmenden lag zwischen 29-99% (M=88.8%±15.3) an t1 und 3-99% (M=86.0%±19.5) an t2 (siehe Abbildung 3 d ). Die Datenintegrität (Vollständigkeit der Daten) betrug an t1 M=92.17%±5.98 und bei t2 M=93.35%±6.01; somit gingen in beiden Zeitpunkten etwa 7-8% der Daten verloren (siehe Abbildung 3 e ). Gründe für diesen Verlust können Schwierigkeiten bei der Erkennung und Blinzeln sein.Webcam-Eye-Tracking misst die Entwicklung von visueller Expertise in der HistologieDie erste Analyse zielte darauf ab zu überprüfen, ob sich die Studierenden im Laufe des Kurses in ihrer visuellen Expertise überhaupt verbessert haben (siehe Abbildung 4 ). Die anschließenden Analysen zu den Augenbewegungen wurden durchgeführt, um zu zeigen, dass Webcam-Eye-Tracking diese Unterschiede messen kann (siehe Abbildung 5 ).Der Testscore steigt an und die Betrachtungszeit nimmt von t1 zu t2 abDer Testscore verbesserte sich (t(91)=5.69, p<0.001, η2=0.26) von M=1.69 Punkten±0.69 an t1 auf M=3.48 Punkten±1.31 an t2, was auf eine Verbesserung der visuellen Expertise hinweist. Die Analyse der Gesamtbetrachtungszeit an t1 (M=14.35 s±1.09) und t2 (M=12.38 s±2.08) zeigte erwartungsgemäß einen Rückgang (t(91)=5.99, p<0.001, η2=0.28) (siehe Abbildung 4 ). Es gab einen Deckeneffekt für die Betrachtungszeit und einen Bodeneffekt für den Testscore zu beiden Zeitpunkten (t1>t2), was darauf hindeutet, dass die Aufgabe für die Teilnehmenden sehr anspruchsvoll war.Die Fixation von dAOIs ist an t2 höher, als an t1An t1 gab es keinen Unterschied zwischen der Anzahl an Fixationen der dAOI und der vAOI (F(51)=1.74, p>0.999), was zeigt, dass die Teilnehmenden nicht effektiv zwischen irrelevanten und wichtigen Bereichen unterscheiden konnten (mittlere Fixationsanzahl für dAOI=2.10±0.69 vs. vAOI=1.12±0.37) (siehe Abbildung 5 b ). Studierende an t2 zeigten jedoch eine stärkeren Orientierung zu dAOIs (F(42)=3.53, p=0.003, η2=0.43), (mittlere Fixationsanzahl für dAOI=6.96±1.56 vs. vAOI=4.50±1.25), passend zum Informationsreduktionsmodell.Die Zeit bis zur ersten Fixation von dAOIs ist an t2 geringerAn t1 gab es keinen signifikanten Unterschied zwischen der Zeit bis zur ersten Fixation von dAOIs (M=5394 ms±1025) und vAOIs (M=5696 ms±1515), (F(51)=1.29, p>0.999), während an t2 die Zeit bis zur ersten Fixation für dAOIs (M=2862 ms±965) geringer war als für vAOIs (M=3557 ms±1094) (F(51)=2.69, p=0.046, η2=0.10) (siehe Abbildung 5 d ). Zusammenfassend konnten die Teilnehmenden an t2 dAOIs schneller erkennen als vAOIs, was im Einklang mit der holistischen Verarbeitungstheorie von visueller Expertise steht.Augenbewegungen sagen die Leistung in der Histologie vorausDie Testergebnisse an t1 konnten anhand der Webcam-Eye-Tracking Daten vorhergesagt werden (siehe Tabelle 2 ). Dabei konnten etwa 39% der Varianz (R2adj=0.392, p<0.001) durch neun Augenbewegungsvariablen aufgeklärt werden. An t2 wurde das Signifikanzniveau knapp verfehlt (R2adj=0.103, p=0.057), was auf eine geringere Vorhersagekraft des Modells hinweist. Die einzelnen Prädiktoren hatten vergleichbare Regressionskoeffizienten an beiden Messzeitpunkten. Diese Ergebnisse legen nahe, dass Augenbewegungen robuste Prädiktoren der frühen visuellen Expertise sind. DiscussionThe aim of this study was to test the use of webcam eye-tracking in an (online) histology curriculum. How accurately can webcam eye-tracking detect eye movements?To overcome some of the existing limitations of laboratory eye-tracking settings (expensive hardware, artificial laboratory environment, small sample sizes), open-source webcam-based eye-tracking has been refined over recent years , , . Our study supports the use of this methodology and demonstrates that the quality of data collected in a curricular online-only course is satisfactory. Setting up the test environment was convenient and did not require any programming skills. We were able to establish the research environments using the graphical interface, equivalent to a “drag-and-drop” principle. Care should be taken in future studies to ensure that the areas of interest are of sufficient size, i.e., large enough to compensate for potential accuracy errors. Due to the limited data quality of webcam eye trackers (see figure 3 ), strict criteria must be applied to the data quality. We arrived at the comparatively high exclusion rate of approximately 30% of participants, which means that a high number of subjects must be recruited for such studies in order to obtain valid results. This is a reasonable expectation given the ease with which this methodology can be used in a classroom context. We believe that future improvements in webcam technology itself will further resolve the data quality issues. The students’ interest level in participating in the study was high, with even more students participating at the second timepoint compared to the first. Hence, implementation and use in (distant) classroom settings could become a practical possibility for medical educators.How valid is webcam eye-tracking in regard to capturing changes in visual expertise?Our findings support the hypothesis that webcam eye-tracking can provide insights about temporal changes in visual expertise , , . We could show that with the progress of the online histology course, students enrolled showed:better test scores, reduced slide view time, more frequent fixations of diagnostically relevant areas, longer fixation durations of diagnostically relevant areas, and faster detection of relevant image areas. Subsequent to holistic processing, the trained students focused on relevant areas indicating improved pattern recognition skills and expertise-related top-down control (see figure 5 d ) , . Furthermore, the students were more confident in distinguishing relevant from irrelevant areas, which can be interpreted as an improvement in visual expertise according to the information reduction model (see figure 5 b-c ) . The observable improvements occurred over the course span of ten course sessions, thereby highlighting the importance of early visual expertise development in histopathology training. To our knowledge, this study is the first to measure the development of visual expertise in histology training with a longitudinal study design. Given the paucity of literature, further research is needed to provide more insight on these important early stages.How reliably can webcam eye-tracking distinguish between low and high performances?Combining several eye measurements, our linear models predicted up to 39% of the test score variance, which is an unexpectedly prediction level for such a complex cognitive task. A particularly interesting observation is that the predictive power of eye movements decreased with an increase in training duration (see table 2 ). Therefore, the use of the webcam eye-tracking might be of particular value at the beginning of the training to monitor early visual expertise development. Future eye-tracking studies will investigate the presence of different search profiles in histology, at what point they develop, and how they affect students’ visual searching behavior and performance. Another source of methodological triangulation would be desirable to fully understand the various cognitive processes conducted during this development (e.g., qualitative think-aloud protocols) .Possible areas of implementation in medical educationAlthough there are still many open questions, it is worth discussing implementation options early on. Medical educators may use this methodology to gain insight into learners’ unconscious perceptual mechanisms in a range of professional settings, including histopathology, surgery, and radiology. For example, webcam eye-tracking technology could be used as a practical and cost-effective method for evaluating the effectiveness of curricula. This would allow subjective self-report data to be easily supplemented with objective performance data . The affordable purchase price would enable the equipment to be installed throughout whole classes. Thus, it would be possible to use webcam eye-tracking across the board to provide real-time feedback to the instructor regarding task difficulty , cognitive load , , or students’ in-class attention . This information could help to evaluate which educational methods may be problematic and at what point a change in method is appropriate. These data could also be evaluated post hoc, for example, to revise lecture slides and identify particularly difficult parts during a lecture. With sufficiently large samples, valuable feedback on the level of visual expertise could be given both to the students themselves and to the lecturers . This method could be especially valuable in online learning environments, where feedback is more challenging due to technical limitations, as we experienced in the COVID-19 pandemic , . This methodology opens up further opportunities for educational scientists. The ease of implementation enables to measure a larger number of subjects in a short time. Thus, eye-tracking studies can recruit more participants. This approach consequently allows large (online) studies to detect smaller effects that have previously gone undetected due to small sample sizes or to conduct longitudinal studies . Another valuable source for methodological triangulation could be the use of scroll or zooming data during image inspection, which was successfully applied by van Montfort et al. and den Boer et al. . Finally, this methodology is open source, which allows countries and faculties with limited financial resources to benefit from it.LimitationsAlong with these findings, several limitations should be acknowledged. It is currently undisputed that the webcam eye tracking method provides lower quality data than that provided by conventional laboratory eye trackers . To anticipate this limitation, we recruited more participants and applied stringent procedures for data quality. Furthermore, as the study’s participation was voluntary, we cannot exclude our cohorts from selection bias. Even though we attentively inspected the time stamps, and screen resolutions for such conspicuity, we cannot rule out that certain students participated in the study multiple times. DiskussionDiese Studie untersuchte den Einsatz von Webcam-Eye-Tracking in einem Online-Histologiekurs.Wie genau kann Webcam-Eye-Tracking Augenbewegungen erfassen?Um einige der bestehenden Einschränkungen von Eye-Tracking-Einstellungen im Labor zu überwinden (u.a. teure Hardware, künstliche Laborumgebung, kleine Stichprobengrößen), wurden in den letzten Jahren OpenSource Webcam-basierte Eye-Tracking Methoden entwickelt , , . Unsere Studie unterstützt die Verwendung dieser Methode und zeigt, dass die Qualität der in einem curricularen Online-Kurs gesammelten Daten zufriedenstellend ist. Die Einrichtung der Testumgebung war bequem und erforderte keine Programmierkenntnisse. Wir konnten die Forschungsumgebung mithilfe der grafischen Benutzeroberfläche aufbauen, ähnlich einem „Drag-and-Drop“-Prinzip. In zukünftigen Studien sollte darauf geachtet werden, dass die zu untersuchenden Bildbereiche (dAOIs oder vAOIs) eine ausreichende Größe haben, um potenzielle Messungenauigkeiten auszugleichen. Aufgrund der begrenzten Datenqualität von Webcam-Eye-Trackern (siehe Abbildung 3 ) müssen insgesamt strengere Kriterien für die Datenqualität angewendet werden, als für Nahinfrarot Eye-Tracker. Um dies zu erreichen, kamen wir daher zu einer vergleichsweise hohen Ausschlussrate von etwa 30% der Teilnehmenden, was bedeutet, dass eine hohe Anzahl an Probanden für solche Untersuchungen rekrutiert werden müssen. Wir glauben, dass zukünftige Verbesserungen in der Webcam-Technologie die derzeitigen Limitationen in der Datenqualität lösen werden. Wir haben außerdem festgestellt, dass die Studierenden ein starkes Interesse an der Nutzung dieser Technologie haben. Deshalb sehen wir praktische Möglichkeiten, sie im Curriculum einzusetzen.Wie zuverlässig kann Webcam-Eye-Tracking Unterschiede in der visuellen Expertise erfassen?Unsere Ergebnisse unterstützen die Hypothese, dass Webcam-Eye-Tracking zeitliche Veränderungen der visuellen Expertise messen kann , , . Wir konnten zeigen, dass im Verlauf des Online-Histologiekurses die Studierenden:bessere Testergebnisse erzielten,kürzere Betrachtungszeiten hatten,häufiger Fixationen auf diagnostisch relevante Bildbereiche zeigten,längere Fixationsdauer auf diagnostisch relevante Bildbereiche hatten unddiagnostisch relevante Bildbereiche schneller erkannten.Gemäß der holistische Verarbeitungstheorie konzentrierten sich die trainierten Studierenden am Ende des Kurses auf relevante Bildbereiche, was auf verbesserte Mustererkennungsfähigkeiten und top-down-Kontrolle hinweist (siehe Abbildung 5 d ) , . Darüber hinaus waren die Studierenden sicherer darin, diagnostisch relevante von irrelevanten Bereichen zu unterscheiden, was gemäß dem Informationsreduktionsmodell als Verbesserung der visuellen Expertise interpretiert werden kann (siehe Abbildung 5 b-c ) . Die beobachtbaren Verbesserungen erfolgten über den Zeitraum von zehn Kurseinheiten und unterstreichen damit die Bedeutung der frühen Entwicklungsphasen der visuellen Expertise im histopathologischen Training. Soweit uns bekannt ist, ist diese Studie die erste, die die Entwicklung dieser frühen visuellen Expertise im histologischen Training mit einem longitudinalen Studiendesign untersucht. Aufgrund der begrenzten Literatur sind daher weitere Untersuchungen dringend notwendig.Wie zuverlässig kann Webcam-Eye-Tracking zwischen Performanzen unterscheiden?Durch die Kombination mehrerer Augenbewegungen konnten unsere linearen Modelle bis zu 39% der Varianz der Testergebnisse vorhersagen. Eine besonders interessante Beobachtung ist, dass die Vorhersagekraft der Augenbewegungen mit zunehmender Trainingsdauer abnahm (siehe Tabelle 2 ). Daher könnte der Einsatz des Webcam-Eye-Trackings vor allem zu Beginn des Trainings wertvoll sein. Zukünftige Eye-Tracking-Studien können hier ansetzen und das Vorhandensein verschiedener Suchprofile in der Histologie untersuchen, zu welchem Zeitpunkt sie sich entwickeln und wie sie das visuelle Suchverhalten und die Leistung der Studierenden beeinflussen. Um die verschiedenen kognitiven Prozesse während dieser Entwicklung besser zu verstehen, wären weitere Methoden zur Triangulation wünschenswert (z. B. qualitative Denkprotokolle) .Möglichkeiten zur ImplementierungObwohl noch viele offene Fragen bestehen, lohnt es sich, frühzeitig über Implementierungsmöglichkeiten zu diskutieren. Lehrenden können die Webcam-Eye-Tracking Technologie nutzen, um Einblicke in die unbewussten Wahrnehmungsmechanismen der Lernenden in verschiedenen professionellen Umgebungen wie Histopathologie, Chirurgie und Radiologie zu gewinnen. Zum Beispiel könnte die Webcam Eye-Tracking-Technologie als praktische und kostengünstige Methode zur Evaluation der Effektivität von Lehrplänen eingesetzt werden. Dadurch könnten subjektive Evaluationsdaten leicht mit objektiven Daten ergänzt werden . Der günstige Anschaffungspreis ermöglicht es, die Technologie kursübergreifend einzusetzen. So wäre es möglich, den Lehrenden in Echtzeit-Feedback zur Aufgabenschwierigkeit , zur kognitiven Belastung , oder zur Aufmerksamkeit der Studierenden im Unterricht zu geben. Diese Informationen könnten helfen, zu bewerten, welche didaktischen Maßnahmen problematisch sein könnten und wann ggf. ein Methodenwechsel angebracht ist. Die Daten könnten auch im Anschluss an die Veranstaltungen ausgewertet werden, zum Beispiel um Vorlesungsfolien zu überarbeiten und besonders schwierige Phasen einer Vorlesung zu identifizieren. Mit ausreichend großen Stichproben könnten wertvolle Rückmeldungen zum Grad der visuellen Expertise sowohl an die Studierenden selbst als auch an die Dozenten gegeben werden . Diese Methode entfaltet ihr volles Potential jedoch in Online-Lernumgebungen, wo Feedback aufgrund technischer Einschränkungen, wie wir es während der Covid-19-Pandemie erlebt haben, schwierig ist , .Diese Technologie eröffnet auch neue Möglichkeiten für die Ausbildungsforschung. Die einfache Implementierung ermöglicht die Messung einer größeren Anzahl von Teilnehmenden in relativ kurzer Zeit. So könnten in großen (Online-)Studien kleinere Effektstärken nachgewiesen werden, die zuvor aufgrund kleiner Stichprobengrößen unentdeckt geblieben sind. Auch können so longitudinale Studien leichter durchgeführt werden . Eine weitere Quelle für methodische Triangulation könnte die Verwendung von Scroll- oder Zoom-Daten während der Bildbetrachtung sein, wie bereits erfolgreich von van Montfort et al. und den Boer et al. verwendet. Schließlich ist diese Technologie OpenSource, was es Ländern und Fakultäten mit begrenzten finanziellen Ressourcen ermöglicht, davon zu profitieren.LimitationenEs steht außer Frage, dass herkömmliche Eye-Tracker im Labor eine höhere Datenqualität erzielen können, als per Webcam derzeit möglich . Um dieser Einschränkung entgegenzuwirken, haben wir mehr Teilnehmende rekrutiert und strenge Verfahren zur Sicherung der Datenqualität angewendet. Darüber hinaus können wir aufgrund der freiwilligen Teilnahme an der Studie einen Selektionsbias nicht ausschließen. Ebenso ist es möglich, dass Studierende mehrmals an der Studie teilgenommen haben. ConclusionThis is the first study to examine the use of webcam eye trackers in an educational context, and on a larger sample of medical students pursuing an undergraduate histology training. The webcam eye-tracking suggested both accuracy in measuring visual expertise in histology, and value for the in-depth evaluation of (online) curricula. As technology continues to advance, the implementation of this methodology can be used to tap into previously unused potential that is likely to be leveraged in future variations of outcome-based course formats. FazitDiese Studie ist die erste, die den Einsatz von Webcam-Eye-Trackern an einer großen Kohorte von Medizinstudierenden in der Histologie untersucht hat. Diese Technologie ermöglicht die kostengünstige und zuverlässige Messung der visuellen Expertise in der Histologie und eröffnet neue Möglichkeiten zur Untersuchung von Online-Curricula. Webcam-Eye-Tracking besitzt somit ein bislang ungenutztes Potential zur evidenz-basierten Weiterentwicklung der medizinischen Ausbildung. FundingThis study did not receive any specific grant from funding agencies in the public, commercial, or not-for-profit sectors. Our work in the development of digital histology learning resources is funded by the Land Nordrhein-Westfalen under the grant “OERContent.NRW” (Projekt “Digital Histo NRW – Digitale Histologie in der Hochschulmedizin, Bio- und Gesundheitswissenschaften in NRW”). FörderungDiese Studie wurde von keinen spezifischen Förderagenturen im öffentlichen, kommerziellen oder gemeinnützigen Bereich finanziell unterstützt. Unsere Arbeit in der Entwicklung digitaler histologischer Lernressourcen wird vom Land Nordrhein-Westfalen im Rahmen des Projekts „OERContent.NRW“ (Projekt „Digital Histo NRW – Digitale Histologie in der Hochschulmedizin, Bio- und Gesundheitswissenschaften in NRW“) gefördert. Competing interestsThe authors declare that they have no competing interests. InteressenkonfliktDie Autoren erklären, dass sie keinen Interessenkonflikt im Zusammenhang mit diesem Artikel haben. Anderson JR Bothell D Douglass S Eye movements do not reflect retrieval processes: limits of the eye-mind hypothesis 2004 Psychol Sci 225-231 Anderson JR, Bothell D, Douglass S. Eye movements do not reflect retrieval processes: limits of the eye-mind hypothesis. Psychol Sci. 2004;15(4):225-231. DOI: 10.1111/j.0956-7976.2004.00656.x https://doi.org/10.1111/j.0956-7976.2004.00656.x Bánki A de Eccher M Falschlehner L Hoehl S Markova G Comparing online webcam- and laboratory-based eye-tracking for the assessment of infants’ audio-visual synchrony perception 2022 Front Psychol 733933 Bánki A, de Eccher M, Falschlehner L, Hoehl S, Markova G. Comparing online webcam- and laboratory-based eye-tracking for the assessment of infants’ audio-visual synchrony perception. Front Psychol. 2022;12:733933. DOI: 10.3389/fpsyg.2021.733933 https://doi.org/10.3389/fpsyg.2021.733933 Bott N Madero EN Glenn J Lange A Anderson J Newton D Brennan A Buffalo EZ Rentz D Zola S Device-embedded cameras for eye tracking-based cognitive assessment: Validation with paper-pencil and computerized cognitive composites 2018 J Med Internet Res e11143 Bott N, Madero EN, Glenn J, Lange A, Anderson J, Newton D, Brennan A, Buffalo EZ, Rentz D, Zola S. Device-embedded cameras for eye tracking-based cognitive assessment: Validation with paper-pencil and computerized cognitive composites. J Med Internet Res. 2018;20(7):e11143. DOI: 10.2196/11143 https://doi.org/10.2196/11143 Brunyé TT Drew T Kerr KF Shucard H Weaver DL Elmore JG Eye tracking reveals expertise-related differences in the time-course of medical image inspection and diagnosis 2020 J Med Imaging 051203 Brunyé TT, Drew T, Kerr KF, Shucard H, Weaver DL, Elmore JG. Eye tracking reveals expertise-related differences in the time-course of medical image inspection and diagnosis. J Med Imaging. 2020;7(5):051203. Brunyé TT Drew T Weaver DL Elmore JG A review of eye tracking for understanding and improving diagnostic interpretation 2019 Cogn Res Princ Implic 7 Brunyé TT, Drew T, Weaver DL, Elmore JG. A review of eye tracking for understanding and improving diagnostic interpretation. Cogn Res Princ Implic. 2019;4(1):7. DOI: 10.1186/s41235-019-0159-2 https://doi.org/10.1186/s41235-019-0159-2 Brunyé TT Mercan E Weaver DL Elmore JG Accuracy is in the eyes of the pathologist: The visual interpretive process and diagnostic accuracy with digital whole slide images 2017 J Biomed Inform 171-179 Brunyé TT, Mercan E, Weaver DL, Elmore JG. Accuracy is in the eyes of the pathologist: The visual interpretive process and diagnostic accuracy with digital whole slide images. J Biomed Inform. 2017;66:171-179. DOI: 10.1016/j.jbi.2017.01.004 https://doi.org/10.1016/j.jbi.2017.01.004 Cho Y Rethinking eye-blink: Assessing task difficulty through physiological representation of spontaneous blinking 2021 Proceedings of the 2021 CHI Conference on Human Factors in Computing Systems, Yokohama, Japan Cho Y. Rethinking eye-blink: Assessing task difficulty through physiological representation of spontaneous blinking. In: Proceedings of the 2021 CHI Conference on Human Factors in Computing Systems, Yokohama, Japan. 2021. Cook DA Much ado about differences: why expert-novice comparisons add little to the validity argument 2015 Adv Health Sci Educ Theory Pract 829-834 Cook DA. Much ado about differences: why expert-novice comparisons add little to the validity argument. Adv Health Sci Educ Theory Pract. 2015;20(3):829-834. DOI: 10.1007/s10459-014-9551-3 https://doi.org/10.1007/s10459-014-9551-3 Darici D Missler M Schober A Masthoff M Schnittler H Schmitz M “Fun slipping into the doctor’s role”–The relationship between sonoanatomy teaching and professional identity formation before and during the Covid-19 pandemic 2022 Anat Sci Educ 447-463 Darici D, Missler M, Schober A, Masthoff M, Schnittler H, Schmitz M. “Fun slipping into the doctor’s role”–The relationship between sonoanatomy teaching and professional identity formation before and during the Covid-19 pandemic. Anat Sci Educ. 2022;15(3):447-463. DOI: 10.1002/ase.2178 https://doi.org/10.1002/ase.2178 Darici D Reissner C Brockhaus J Missler M Implementation of a fully digital histology course in the anatomical teaching curriculum during COVID-19 pandemic 2021 Ann Anat 151718 Darici D, Reissner C, Brockhaus J, Missler M. Implementation of a fully digital histology course in the anatomical teaching curriculum during COVID-19 pandemic. Ann Anat. 2021;236:151718. DOI: 10.1016/j.aanat.2021.151718 https://doi.org/10.1016/j.aanat.2021.151718 den Boer L van der Schaaf MF Vincken KL Mol CP Stuijfzand BG van der Gjip A Volumetric image interpretation in radiology: scroll behavior and cognitive processes 2018 Adv Health Sci Educ Theory Pract 783-802 den Boer L, van der Schaaf MF, Vincken KL, Mol CP, Stuijfzand BG, van der Gjip A. Volumetric image interpretation in radiology: scroll behavior and cognitive processes. Adv Health Sci Educ Theory Pract. 2018;23(4):783-802. DOI: 10.1007/s10459-018-9828-z https://doi.org/10.1007/s10459-018-9828-z Drew T Vo ML Olwal A Jacobson F Seltzer SE Wolfe JM Scanners and drillers: Characterizing expert visual search through volumetric images 2013 J Vis 3 Drew T, Vo ML, Olwal A, Jacobson F, Seltzer SE, Wolfe JM. Scanners and drillers: Characterizing expert visual search through volumetric images. J Vis. 2013;13(10):3. DOI: 10.1167/13.10.3 https://doi.org/10.1167/13.10.3 Duchowski A 2007 Eye tracking methodology: Theory & practice Duchowski A. Eye tracking methodology: Theory & practice. London: Springer-Verlag; 2007. Eder TF Richter J Scheiter K Keutel C Castner N Kasneci E How to support dental students in reading radiographs: effects of a gaze-based compare-and-contrast intervention 2021 Ad Health Sci Educ Theory Pract 159-181 Eder TF, Richter J, Scheiter K, Keutel C, Castner N, Kasneci E. How to support dental students in reading radiographs: effects of a gaze-based compare-and-contrast intervention. Ad Health Sci Educ Theory Pract. 2021;26(1):159-181. DOI: 10.1007/s10459-020-09975-w https://doi.org/10.1007/s10459-020-09975-w Fox SE Faulkner-Jones BE Eye-tracking in the study of visual expertise: Methodology and approaches in medicine 2017 Front Learn Res 29-40 Fox SE, Faulkner-Jones BE. Eye-tracking in the study of visual expertise: Methodology and approaches in medicine. Front Learn Res. 2017;5(3):29-40. DOI: 10.14786/flr.v5i3.258 https://doi.org/10.14786/flr.v5i3.258 Gegenfurtner A Kok E van Geel K de Bruin A Jarodzka H Szulewski A van Merriënboer JJ The challenges of studying visual expertise in medical image diagnosis 2017 Med Educ 97-104 Gegenfurtner A, Kok E, van Geel K, de Bruin A, Jarodzka H, Szulewski A, van Merriënboer JJ. The challenges of studying visual expertise in medical image diagnosis. Med Educ. 2017;51(1):97-104. DOI: 10.1111/medu.13205 https://doi.org/10.1111/medu.13205 Gegenfurtner A Lehtinen E Säljö R Expertise differences in the comprehension of visualizations: A meta-analysis of eye-tracking research in professional domains 2011 Educ Psychol Rev 523-552 Gegenfurtner A, Lehtinen E, Säljö R. Expertise differences in the comprehension of visualizations: A meta-analysis of eye-tracking research in professional domains. Educ Psychol Rev. 2011;23:523-552. DOI: 10.1007/s10648-011-9174-7 https://doi.org/10.1007/s10648-011-9174-7 Gobet F Charness N Expertise in chess 2018 Cambridge handbook of expertise and expert performance 523-538 Gobet F, Charness N. Expertise in chess. In: Ericsson K, Charness´N, Feltovich P, Hoffmann R, editors. Cambridge handbook of expertise and expert performance. New-York: Cambridge University Press; 2018. p.523-538. Haider H Frensch PA The role of information reduction in skill acquisition 1996 Cogn Psychol 304-337 Haider H, Frensch PA. The role of information reduction in skill acquisition. Cogn Psychol. 1996;30(3):304-337. DOI: 10.1006/cogp.1996.0009 https://doi.org/10.1006/cogp.1996.0009 Hattie J Timperley H The power of feedback 2007 Rev Educ Res 81-112 Hattie J, Timperley H. The power of feedback. Rev Educ Res. 2007;77(1):81-112. DOI: 10.3102/003465430298487 https://doi.org/10.3102/003465430298487 Hauer KE Boscardin C Brenner JM van Schaik SM Papp KK Twelve tips for assessing medical knowledge with open-ended questions: Designing constructed response examinations in medical education 2020 Med Teach 880-885 Hauer KE, Boscardin C, Brenner JM, van Schaik SM, Papp KK. Twelve tips for assessing medical knowledge with open-ended questions: Designing constructed response examinations in medical education. Med Teach. 2020;42(8):880-885. DOI: 10.1080/0142159X.2019.1629404 https://doi.org/10.1080/0142159X.2019.1629404 Hay J Troup E Clark I Pietsch J Zieliński T Millar A PyOmeroUpload: A Python toolkit for uploading images and metadata to OMERO 2020 Wellcome Open Res 96 Hay J, Troup E, Clark I, Pietsch J, Zieliński T, Millar A. PyOmeroUpload: A Python toolkit for uploading images and metadata to OMERO. Wellcome Open Res. 2020;5:96. DOI: 10.12688/wellcomeopenres.15853.2 https://doi.org/10.12688/wellcomeopenres.15853.2 Hirt L Leonard C Lee LM Are you copying me? Leveraging expert visual scan path to transmit visual literacy in novice histology students 2020 FASEB J 1 Hirt L, Leonard C, Lee LM. Are you copying me? Leveraging expert visual scan path to transmit visual literacy in novice histology students. FASEB J. 2020;34(S1):1. DOI: 10.1096/fasebj.2020.34.s1.04665 https://doi.org/10.1096/fasebj.2020.34.s1.04665 Holmqvist K Nyström M Andersson R Dewhurst R Jarodzka H van de Weijer J 2011 Eye tracking: A comprehensive guide to methods and measures Holmqvist K, Nyström M, Andersson R, Dewhurst R, Jarodzka H, van de Weijer J. Eye tracking: A comprehensive guide to methods and measures. Oxford: University Press; 2011. Holmqvist K Örbom S Hooge I Niehorster D Alexander R Andersson R Benjamins JS Blignaut P Brouwer AM Chuang LL Dalrymple KA Drieghe D Dunn MJ Ettinger U Fiedler S Foulsham T van der Geest JN Hansen DW Hutton SB Kasneci E Kingstone A Knox PC Kok EM Lee H Lee JY Leppänen JM Macknik S Majaranta P Martinez-Conde S Nuthmann A Nyström M Orquin JL Otero-Millan J Park SY Popelka S Proudlock F Renkewitz F Roorda A Schulte-Mecklenbeck M Sharif B Shic F Shovman M Thomas MG Venrooij W Zemblys R Hessels RS Eye tracking: empirical foundations for a minimal reporting guideline 2022 Behav Res Methods 364-416 Holmqvist K, Örbom S, Hooge I, Niehorster D, Alexander R, Andersson R, Benjamins JS, Blignaut P, Brouwer AM, Chuang LL, Dalrymple KA, Drieghe D, Dunn MJ, Ettinger U, Fiedler S, Foulsham T, van der Geest JN, Hansen DW, Hutton SB, Kasneci E, Kingstone A, Knox PC, Kok EM, Lee H, Lee JY, Leppänen JM, Macknik S, Majaranta P, Martinez-Conde S, Nuthmann A, Nyström M, Orquin JL, Otero-Millan J, Park SY, Popelka S, Proudlock F, Renkewitz F, Roorda A, Schulte-Mecklenbeck M, Sharif B, Shic F, Shovman M, Thomas MG, Venrooij W, Zemblys R, Hessels RS. Eye tracking: empirical foundations for a minimal reporting guideline. Behav Res Methods. 2022;55:364-416. DOI: 10.3758/s13428-021-01762-8 https://doi.org/10.3758/s13428-021-01762-8 Jaarsma T Jarodzka H Nap M van Merrienboer JJ Boshuizen HP Expertise under the microscope: processing histopathological slides 2014 Med Educ 292-300 Jaarsma T, Jarodzka H, Nap M, van Merrienboer JJ, Boshuizen HP. Expertise under the microscope: processing histopathological slides. Med Educ. 2014;48(3):292-300. DOI: 10.1111/medu.12385 https://doi.org/10.1111/medu.12385 Jaarsma T Jarodzka H Nap M van Merriënboer JJ Boshuizen HP Expertise in clinical pathology: combining the visual and cognitive perspective 2015 Adv Health Sci Educ Theory Pract 1089-1106 Jaarsma T, Jarodzka H, Nap M, van Merriënboer JJ, Boshuizen HP. Expertise in clinical pathology: combining the visual and cognitive perspective. Adv Health Sci Educ Theory Pract. 2015;20(4):1089-1106. DOI: 10.1007/s10459-015-9589-x https://doi.org/10.1007/s10459-015-9589-x Just MA Carpenter PA A theory of reading: From eye fixations to comprehension 1980 Psychol Rev 329-354 Just MA, Carpenter PA. A theory of reading: From eye fixations to comprehension. Psychol Rev. 1980;87(4):329-354. Kahl J Carry P Lee L Quantification of pattern recognition skills acquisition in histology using an eye-tracking device: First-step toward evidence-based histology education 2015 FASEB J 689.4 Kahl J, Carry P, Lee L. Quantification of pattern recognition skills acquisition in histology using an eye-tracking device: First-step toward evidence-based histology education. FASEB J. 2015;29(S1):689.4. DOI: 10.1096/fasebj.29.1_supplement.689.4 https://doi.org/10.1096/fasebj.29.1_supplement.689.4 Koh A Roy D Gale A Mihai R Atwal G Ellis I Snead D Chen Y Understanding digital pathology performance: an eye tracking study 2020 Proc. SPIE 11316. Medical Imaging 2020: Image Perception, Observer Performance, and Technology Assessment. 1131607 Koh A, Roy D, Gale A, Mihai R, Atwal G, Ellis I, Snead D, Chen Y. Understanding digital pathology performance: an eye tracking study. In: Proc. SPIE 11316. Medical Imaging 2020: Image Perception, Observer Performance, and Technology Assessment. 1131607. 16 March 2020. DOI: 10.1117/12.2550513 https://doi.org/10.1117/12.2550513 Kok E Eye tracking: the silver bullet of competency assessment in medical image interpretation? 2019 Perspect Med Educ 63-64 Kok E. Eye tracking: the silver bullet of competency assessment in medical image interpretation? Perspect Med Educ. 2019;8(2):63-64. DOI: 10.1007/s40037-019-0506-5 https://doi.org/10.1007/s40037-019-0506-5 Kok EM Jarodzka H Before your very eyes: the value and limitations of eye tracking in medical education 2017 Med Educ 114-122 Kok EM, Jarodzka H. Before your very eyes: the value and limitations of eye tracking in medical education. Med Educ. 2017;51(1):114-122. DOI: 10.1111/medu.13066 https://doi.org/10.1111/medu.13066 Kok EM Jarodzka H de Bruin AB Binamir HA Robben SG van Merriënboer JJ Systematic viewing in radiology: seeing more, missing less? 2016 Adv Health Sci Educ Theory Pract 189-205 Kok EM, Jarodzka H, de Bruin AB, Binamir HA, Robben SG, van Merriënboer JJ. Systematic viewing in radiology: seeing more, missing less? Adv Health Sci Educ Theory Pract. 2016;21(1):189-205. DOI: 10.1007/s10459-015-9624-y https://doi.org/10.1007/s10459-015-9624-y Krupinski EA Graham AR Weinstein RS Characterizing the development of visual search expertise in pathology residents viewing whole slide images 2013 Hum Pathol 357-364 Krupinski EA, Graham AR, Weinstein RS. Characterizing the development of visual search expertise in pathology residents viewing whole slide images. Hum Pathol. 2013;44(3):357-364. DOI: 10.1016/j.humpath.2012.05.024 https://doi.org/10.1016/j.humpath.2012.05.024 Krupinski EA Tillack AA Richter L Henderson JT Bhattacharyya AK Scott KM Graham AR Descour MR Davis JR Weinstein RS Eye-movement study and human performance using telepathology virtual slides. Implications for medical education and differences with experience 2006 Hum Pathol 1543-1556 Krupinski EA, Tillack AA, Richter L, Henderson JT, Bhattacharyya AK, Scott KM, Graham AR, Descour MR, Davis JR, Weinstein RS. Eye-movement study and human performance using telepathology virtual slides. Implications for medical education and differences with experience. Hum Pathol. 2006;37(12):1543-1556. DOI: 10.1016/j.humpath.2006.08.024 https://doi.org/10.1016/j.humpath.2006.08.024 Kundel HL Nodine CF Conant EF Weinstein SP Holistic component of image perception in mammogram interpretation: gaze-tracking study 2007 Radiology 396-402 Kundel HL, Nodine CF, Conant EF, Weinstein SP. Holistic component of image perception in mammogram interpretation: gaze-tracking study. Radiology. 2007;242(2):396-402. DOI: 10.1148/radiol.2422051997 https://doi.org/10.1148/radiol.2422051997 Madsen J Júlio SU Gucik PJ Steinberg R Parra LC Synchronized eye movements predict test scores in online video education 2021 Proc Natl Acad Sci U S A e2016980118 Madsen J, Júlio SU, Gucik PJ, Steinberg R, Parra LC. Synchronized eye movements predict test scores in online video education. Proc Natl Acad Sci U S A. 2021;118(5):e2016980118. DOI: 10.1073/pnas.2016980118 https://doi.org/10.1073/pnas.2016980118 McMains S Kastner S Interactions of top-down and bottom-up mechanisms in human visual cortex 2011 J Neurosci 587-597 McMains S, Kastner S. Interactions of top-down and bottom-up mechanisms in human visual cortex. J Neurosci. 2011;31(2):587-597. DOI: 10.1523/JNEUROSCI.3766-10.2011 https://doi.org/10.1523/JNEUROSCI.3766-10.2011 Mercan E Shapiro LG Brunyé TT Weaver DL Elmore JG Characterizing diagnostic search patterns in digital breast pathology: Scanners and drillers 2018 J Digit Imaging 32-41 Mercan E, Shapiro LG, Brunyé TT, Weaver DL, Elmore JG. Characterizing diagnostic search patterns in digital breast pathology: Scanners and drillers. J Digit Imaging. 2018;31(1):32-41. DOI: 10.1007/s10278-017-9990-5 https://doi.org/10.1007/s10278-017-9990-5 Oh K Almarode J Tai R An exploration of think-aloud protocols linked with eye-gaze tracking: Are they talking about what they are looking at 2013 Procedia Soc Behav Sci 184-189 Oh K, Almarode J, Tai R. An exploration of think-aloud protocols linked with eye-gaze tracking: Are they talking about what they are looking at. Procedia Soc Behav Sci. 2013;93:184-189. DOI: 10.1016/j.sbspro.2013.09.175 https://doi.org/10.1016/j.sbspro.2013.09.175 Olsen A 2012 The Tobii I-VT fixation filter Olsen A. The Tobii I-VT fixation filter. Danderyd: Tobii Technology; 2012. Orquin JL Holmqvist K Threats to the validity of eye-movement research in psychology 2018 Behav Res Methods 1645-1656 Orquin JL, Holmqvist K. Threats to the validity of eye-movement research in psychology. Behav Res Methods. 2018;50(4):1645-1656. DOI: 10.3758/s13428-017-0998-z https://doi.org/10.3758/s13428-017-0998-z Palinko O Kun AL Shyrokov A Heeman P Estimating cognitive load using remote eye tracking in a driving simulator 2010 Proceedings of the 2010 Symposium on Eye-Tracking Research, Austin, Texas Palinko O, Kun AL, Shyrokov A, Heeman P. Estimating cognitive load using remote eye tracking in a driving simulator. In: Proceedings of the 2010 Symposium on Eye-Tracking Research, Austin, Texas. 2010. Papoutsaki A Laskey J Huang J SearchGazer: Webcam eye tracking for remote studies of web search 2017 Proceedings of the 2017 Conference on Conference Human Information Interaction and Retrieval, New York Papoutsaki A, Laskey J, Huang J. SearchGazer: Webcam eye tracking for remote studies of web search. In: Proceedings of the 2017 Conference on Conference Human Information Interaction and Retrieval, New York. 2017. Papoutsaki A Sangkloy P Laskey J Daskalova N Huang J Hays J WebGazer: Scalable webcam eye tracking using user interactions 2016 Proceedings of the twenty-fifth international joint conference on artificial intelligence, New York Papoutsaki A, Sangkloy P, Laskey J, Daskalova N, Huang J, Hays J. WebGazer: Scalable webcam eye tracking using user interactions. In: Proceedings of the twenty-fifth international joint conference on artificial intelligence, New York. 2016. Reingold E Sheridan H Eye movements and visual expertise in chess and medicine 2011 Oxford handbook of eye movements 523-550 Reingold E, Sheridan H. Eye movements and visual expertise in chess and medicine. In: Liveredge SP, Gilchrist ID, Everling S, editors. Oxford handbook of eye movements. Oxford: Oxford university press; 2011. p.523-550. Roach VA Fraser GM Kryklywy JH Mitchell DG Wilson TD Guiding low spatial ability individuals through visual cueing: The dual importance of where and when to look 2019 Anat Sci Educ 32-42 Roach VA, Fraser GM, Kryklywy JH, Mitchell DG, Wilson TD. Guiding low spatial ability individuals through visual cueing: The dual importance of where and when to look. Anat Sci Educ. 2019;12(1):32-42. DOI: 10.1002/ase.1783 https://doi.org/10.1002/ase.1783 Rosebrock A OpenCV Saliency Detection 2021 Rosebrock A. OpenCV Saliency Detection. 2021 Oct 5. Zugänglich unter/available from: https://www.pyimagesearch.com/2018/07/16/opencv-saliency-detection/ https://www.pyimagesearch.com/2018/07/16/opencv-saliency-detection/ Rosicke S Leonard CJ Carry P Lee LM Does “See one and do one” work in histology? A two-phase cross-over eye tracking study on complex histological pattern recognition skills acquisition 2019 FASEB J 444.33 Rosicke S, Leonard CJ, Carry P, Lee LM. Does “See one and do one” work in histology? A two-phase cross-over eye tracking study on complex histological pattern recognition skills acquisition. FASEB J. 2019;33(S1):444.33. DOI: 10.1096/fasebj.2019.33.1_supplement.444.33 https://doi.org/10.1096/fasebj.2019.33.1_supplement.444.33 Semmelmann K Weigelt S Online webcam-based eye tracking in cognitive science: A first look 2018 Behav Res Methods 451-465 Semmelmann K, Weigelt S. Online webcam-based eye tracking in cognitive science: A first look. Behav Res Methods. 2018;50(2):451-465. DOI: 10.3758/s13428-017-0913-7 https://doi.org/10.3758/s13428-017-0913-7 Sheridan H Reingold EM The holistic processing account of visual expertise in medical image perception: A review 2017 Front Psychol 1620 Sheridan H, Reingold EM. The holistic processing account of visual expertise in medical image perception: A review. Front Psychol. 2017;8:1620. DOI: 10.3389/fpsyg.2017.01620 https://doi.org/10.3389/fpsyg.2017.01620 Sibbald M de Bruin AB Yu E van Merriënboer JJ Why verifying diagnostic decisions with a checklist can help: insights from eye tracking 2015 Adv Health Sci Educ Theory Pract 1053-1060 Sibbald M, de Bruin AB, Yu E, van Merriënboer JJ. Why verifying diagnostic decisions with a checklist can help: insights from eye tracking. Adv Health Sci Educ Theory Pract. 2015;20(4):1053-1060. DOI: 10.1007/s10459-015-9585-1 https://doi.org/10.1007/s10459-015-9585-1 Stine R An Introduction to Bootstrap methods: Examples and ideas 1989 Sociol Methods Res 243-291 Stine R. An Introduction to Bootstrap methods: Examples and ideas. Sociol Methods Res. 1989;18(2–3):243-291. DOI: 10.1177/0049124189018002003 https://doi.org/10.1177/0049124189018002003 Szulewski A Roth N Howes D The use of task-evoked pupillary response as an objective measure of cognitive load in novices and trained physicians a new tool for the assessment of expertise 2015 Acad Med 981-987 Szulewski A, Roth N, Howes D. The use of task-evoked pupillary response as an objective measure of cognitive load in novices and trained physicians a new tool for the assessment of expertise. Acad Med. 2015;90(7):981-987. DOI: 10.1097/ACM.0000000000000677 https://doi.org/10.1097/ACM.0000000000000677 Sqalli MT Al-Thani D Elshazly MB Al-Hijji M Alahmadi A Houssaini YS Understanding cardiology practitioners’ interpretations of electrocardiograms: An eye-tracking study 2022 JMIR Human Factors e34058 Sqalli MT, Al-Thani D, Elshazly MB, Al-Hijji M, Alahmadi A, Houssaini YS. Understanding cardiology practitioners’ interpretations of electrocardiograms: An eye-tracking study. JMIR Human Factors. 2022;9(1):e34058. DOI: 10.2196/34058 https://doi.org/10.2196/34058 Tatler B Wade N Kwan H Findlay J Velichkovsky B Yarbus, eye movements, and vision 2010 Iperception 7-27 Tatler B, Wade N, Kwan H, Findlay J, Velichkovsky B. Yarbus, eye movements, and vision. Iperception. 2010;1(1):7-27. DOI: 10.1068/i0382 https://doi.org/10.1068/i0382 Tempelaar D Rienties B Nguyen Q Subjective data, objective data and the role of bias in predictive modelling: Lessons from a dispositional learning analytics application 2020 PLoS One e0233977 Tempelaar D, Rienties B, Nguyen Q. Subjective data, objective data and the role of bias in predictive modelling: Lessons from a dispositional learning analytics application. PLoS One. 2020;15(6):e0233977. DOI: 10.1371/journal.pone.0233977 https://doi.org/10.1371/journal.pone.0233977 Valliappan N Dai N Steinberg E He J Rogers K Ramachandran V Xu P Shojaeizadeh M Guo L Kohlhoff K Navalpakkam V Accelerating eye movement research via accurate and affordable smartphone eye tracking 2020 Nature Commun 4553 Valliappan N, Dai N, Steinberg E, He J, Rogers K, Ramachandran V, Xu P, Shojaeizadeh M, Guo L, Kohlhoff K, Navalpakkam V. Accelerating eye movement research via accurate and affordable smartphone eye tracking. Nature Commun. 2020;11(1):4553. DOI: 10.1038/s41467-020-18360-5 https://doi.org/10.1038/s41467-020-18360-5 van der Gijp A Ravesloot CJ Jarodzka H van der Schaaf MF van der Schaaf IC van Schaik JP Ten Cate TJ How visual search relates to visual diagnostic performance: a narrative systematic review of eye-tracking research in radiology 2017 Adv Health Sci Educ Theory Pract 765-787 van der Gijp A, Ravesloot CJ, Jarodzka H, van der Schaaf MF, van der Schaaf IC, van Schaik JP, Ten Cate TJ. How visual search relates to visual diagnostic performance: a narrative systematic review of eye-tracking research in radiology. Adv Health Sci Educ Theory Pract. 2017;22(3):765-787. DOI: 10.1007/s10459-016-9698-1 https://doi.org/10.1007/s10459-016-9698-1 van Montfort D Kok E Vincken K van der Schaaf M van der Gijp A Ravesloot C Rutgers R Expertise development in volumetric image interpretation of radiology residents: what do longitudinal scroll data reveal? 2021 Adv Health Sci Educ Theory Pract 437-466 van Montfort D, Kok E, Vincken K, van der Schaaf M, van der Gijp A, Ravesloot C, Rutgers R. Expertise development in volumetric image interpretation of radiology residents: what do longitudinal scroll data reveal? Adv Health Sci Educ Theory Pract. 2021;26(2):437-466. DOI: 10.1007/s10459-020-09995-6 https://doi.org/10.1007/s10459-020-09995-6 von der Malsburg T Vasishth S What is the scanpath signature of syntactic reanalysis? 2011 J Mem Lang 109-127 von der Malsburg T, Vasishth S. What is the scanpath signature of syntactic reanalysis? J Mem Lang. 2011;65(2):109-127. DOI: 10.1016/j.jml.2011.02.004 https://doi.org/10.1016/j.jml.2011.02.004 Ziv G Gaze behavior and visual attention: A review of eye tracking studies in aviation 2016 Int J Aviat Psychol 75-104 Ziv G. Gaze behavior and visual attention: A review of eye tracking studies in aviation. Int J Aviat Psychol. 2016;26(3-4):75-104. DOI: 10.1080/10508414.2017.1313096 https://doi.org/10.1080/10508414.2017.1313096 11en1de

Table 1: Variables used in this study, their description, respective units, prediction, and descriptive statistics

Tabelle 1: Variablen, die in dieser Studie genutzt wurden, deren Beschreibung, Einheiten, Erwartungen, sowie deskriptive Statistiken

22en2de

Table 2: Predictive value of eye metrics on the test scores at timepoints t1 and t2. Deviation of β from zero is associated with a higher test score in the slide identification task

Tabelle 2: Vorhersagebeitrag der Augenbewegungen auf den Testscore an Zeitpunkt 1 und 2. Eine Abweichung der β-Werte von 0 ist mit einer höheren Performanz beim Erkennen von histologischen Präparaten assoziiert

2

1 1en 1de Figure 1: The study procedure is shown schematically. At two timepoints during an online-only histology course, one cohort of third semester medical students passed both a 9-point eye-tracking calibration and a 4-point test for eye-tracking accuracy. Afterward, they were instructed to identify 6 histological slides each (slide identification task). The test score, view time and several eye movements were recorded. Data were preprocessed and analyzed. Abbildung 1: Schematische Darstellung des Studienablaufs. Zu zwei Zeitpunkten eines online Histologie-Kurses absolvierten Medizinstudierende im dritten Semester eine 9-Punkte-Kalibrierung und einen 4-Punkte-Test zur Erfassung der Genauigkeit des Webcam-Eye-Trackings. Anschließend wurden sie aufgefordert, jeweils 6 histologische Präparate zu identifizieren. Währenddessen wurden die Testergebnisse, Betrachtungszeit und die Augenbewegungen aufgezeichnet. Die Daten wurden vorverarbeitet und analysiert.

2 2 Figure 2: Histological slides used in this study (name+staining). (a) Slides shown at timepoint one (t1): 1) Alveoli in Hematoxylin Eosin; 2) Adrenal glands in H.E.; 3) Peripheral nerve in Azan; 4) Thymus in H.E.; 5) Bone in H.E.; 6) Skin – Finger in Elastica. (b) Slides shown at timepoint two (t2): 1) Liver in van Gieson; 2) Thymus in Azan; 3) Ureter in H. E.; 4) Stomach in Van Gieson; 5) Kidney in Azan; 6) Testis in Azan. Abbildung 2: In dieser Studie verwendete histologische Präparate (Name+Färbung). (a) Präparate, die zum Zeitpunkt eins (t1) gezeigt wurden: 1) Alveolen in Hämatoxylin-Eosin; 2) Nebenniere in H.E.; 3) Peripherer Nerv in Azan; 4) Thymus in H.E.; 5) Knochen in H.E.; 6) Fingerbeere in Elastica. (b) Präparate, die zum Zeitpunkt zwei (t2) gezeigt wurden: 1) Leber in van-Gieson; 2) Thymus in Azan; 3) Ureter in H.E.; 4) Magen in van-Gieson; 5) Niere in Azan; 6) Hoden in Azan.

3 3en 3de Figure 3: Webcam eye-tracking methodology – data quality. (a) Fixation-based heatmaps for testing accuracy for timepoints one and two. Data are aggregated per group. The color of the point cloud corresponds to the intensity of the subjects’ gaze (red=strong; blue=weak). (b) Accuracy is quantified and expressed in pixels. (c) Sample rate in Hz and mean gaze on screen time in % are shown as additional indicators for the data quality at t1 and t2, respectively. The red dotted line marks the cutoff for study inclusion. Participants with either a sample rate<20 Hz or a gaze on screen rate<70% were excluded in the preprocessing phase. Abbildung 3: Webcam-Eye-Tracking – Datenqualität. (a) Fixationsbasierte Heatmaps zur Erfassung der Messgenauigkeit für die Messzeitpunkte t1 und t2. Die Daten sind jeweils pro Gruppe aggregiert. Die Farbe der Punktewolke entspricht der Intensität des Blicks der Probanden (rot=stark; blau=schwach). (b) Die Genauigkeit wird quantifiziert und in Pixeln ausgedrückt. (c) Die Bildrate in Hz und die durchschnittliche Blick-auf-Bildschirm-Zeit in % und die Vollständigkeit der Daten (Datenintegrität) werden als zusätzliche Indikatoren für die Datenqualität bei t1 bzw. t2 angegeben. Die gestrichelte rote Linie markiert den Grenzwert für die Studieneinschluss. Teilnehmer mit einer Bildrate von unter 20 Hz oder einer Blick-auf-Bildschirm-Rate von unter 70% wurden in der Vorverarbeitungsphase ausgeschlossen.

4 4en 4de Figure 4: Online histology course – performance data. The results for timepoint 1 are shown in blue, and those for timepoint 2 are shown in green. The P-value shows the result of the statistical testing. Each circle represents one participant. Columns with the mean and standard deviation show the mean view time on the slides in seconds (maximum 15 seconds) and the mean test score in points (x out of six questions). t1=timepoint 1 after 10 course sessions; t2=timepoint 2 after 20 course sessions. Abbildung 4: Online-Kurs der Histologie – Leistungsdaten. Die Ergebnisse für den Zeitpunkt 1 sind blau- und die Ergebnisse für den Zeitpunkt 2 sind grün dargestellt. Der P-Wert zeigt das Ergebnis der statistischen Testung an. Jeder Kreis repräsentiert einen Teilnehmer. Die Balken zeigen die durchschnittliche Betrachtungszeit auf den Präparaten in Sekunden (maximal 15 Sekunden) und die durchschnittlichen Testergebnisse in Punkten (x von sechs Fragen) an. t1=Zeitpunkt 1 nach 10 Kurseinheiten; t2=Zeitpunkt 2 nach 20 Kurseinheiten.

5 5en 5de Figure 5: Webcam eye-tracking methodology – eye metrics. (a) An overlay of all participants’ fixations of the range 0.5-5 seconds of image viewing are shown as a fixation-based heatmap for both timepoints, respectively. (b-d) The results for t1 are shown in blue, and t2 are shown in green. The P-value shows the result of the statistical testing. Each circle represents one participant. The median and 25th-75th percentile are shown for the violin plots. (b) Violin plots illustrate the fixation count on the dAOI and the vAOI for both timepoints, respectively. (c) Violin plots illustrate the fixation duration on dAOI and vAOI for both timepoints, respectively. (e) Violin plots illustrate the time to first fixation on dAOIs and vAOIs fixation. Abbreviations: *=View time adjusted values were used; dAOI=diagnostically most relevant areas of interest; vAOI=visually most salient but diagnostically irrelevant areas of interest; t1=timepoint 1 after 10 course sessions; t2=timepoint 2 after 20 course sessions. Abbildung 5: Webcam-Eye-Tracking Technologie – Augenbewegungen. (a) Gezeigt sind die aggregierten Fixationen aller Teilnehmenden in den ersten 5 Sekunden als Punktewolke. (b-d) Die Ergebnisse für t1 sind blau- und die Ergebnisse für t2 sind grün dargestellt. Der P-Wert zeigt das Ergebnis der statistischen Testung. Jeder Kreis repräsentiert einen Teilnehmer. Für die Violinplots sind der Median und das 25.-75. Perzentil dargestellt. (b) Violinplots zeigen die Fixationsanzahl auf dAOIs und vAOIs für beide Zeitpunkte. (c) Violinplots zeigen die Fixationsdauer auf dAOIs und vAOIs für beide Zeitpunkte. (e) Violinplots zeigen die Zeit bis zur ersten Fixation auf dAOIs und vAOIs für beide Zeitpunkte. Abkürzungen: *=Es wurden die Blickzeit-angepasste Werte verwendet; dAOI=diagnostisch relevante Bildbereiche, vAOI=visuell auffällige, aber diagnostisch irrelevante Bildbereiche; t1=Zeitpunkt 1 nach 10 Kurseinheiten; t2=Zeitpunkt 2 nach 20 Kurseinheiten.

5 0 1 1en 1de Supplemental material Ergänzendes Material 1