Zahlenspiele, die „Stanford-Liste” und das Zertifikat Epidemiologie – Betrachtungen angesichts der Zitationshäufigkeit von Epidemiologen

mibe000228 10.3205/mibe000228 urn:nbn:de:0183-mibe0002289 Editorial Editorial Zahlenspiele, die „Stanford-Liste” und das Zertifikat Epidemiologie – Betrachtungen angesichts der Zitationshäufigkeit von Epidemiologen A numbers game, the “Stanford list” and the certificate in epidemiology – reflections on frequently cited epidemiologists Timmer Timmer Antje A Prof. Dr.

Carl von Ossietzky Universität Oldenburg, Abteilung Epidemiologie und Biometrie, Fakultät VI Medizin und Gesundheitswissenschaften, 26111 Oldenburg, DeutschlandCarl von Ossietzky Universität Oldenburg, Abteilung Epidemiologie und Biometrie, Fakultät VI Medizin und Gesundheitswissenschaften, Oldenburg, Deutschland

Carl von Ossietzky University Oldenburg, Department of Epidemiology and Biometry, Faculty of Medicine and Health Sciences, 26111 Oldenburg, Germany, Phone: +49 441 798 4437Carl von Ossietzky University Oldenburg, Department of Epidemiology and Biometry, Faculty of Medicine and Health Sciences, Oldenburg, Germany

antje.timmer@uni-oldenburg.de author German Medical Science GMS Publishing House

Düsseldorf

610 20211222 germ engl This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). 1860-9171 17 3 GMS Medizinische Informatik, Biometrie und Epidemiologie GMS Med Inform Biom Epidemiol 14 EinleitungDie deutsche Epidemiologie spielt im Vergleich mit anderen medizinischen Disziplinen hinsichtlich ihrer Zitierungen eine bemerkenswert starke Rolle: Zu diesem Schluss kommt H.-E. Wichmann nach sorgfältiger Sichtung der „Stanford-Liste“ in ihrer Version von 2020 , . Insges</PlainText></TextGroup>amt finden sich nach seiner Zählung und Definition <TextGroup><PlainText>54 in</PlainText></TextGroup> Deutschland tätige Epidemiologen auf dieser Zusammenstellung von weltweit ca. 150.000 Autoren. Damit stellen sie zwar nur etwa 1,5% aller in der Stanford-Liste aufgeführten deutschen Gesundheitswissenschaftler und Medizinerinnen. Jedoch steigt ihr Anteil, wenn der Kreis der Meistzitierten enger gezogen wird. Unter den Allerhöchstzitierten ist fast jeder fünfte Wissenschaftler Epidemiologe. </Pgraph><Pgraph>Einen solchen Artikel zu publizieren mag Unbehagen bereiten, gerade einer Schriftleitung, die ihre epidemiologische Masterarbeit zum Thema Publikationsbias verfasst hat <TextLink reference="3"></TextLink>: War nicht das Wichtigste zum Thema Publizieren und Szientometrie damals, vor über 25 Jahren, schon geschrieben? Spätestens mit den prägenden prägnanten Sätzen „Underreporting research is scientific misconduct“ <TextLink reference="4"></TextLink> auf der einen Seite und „We need less research, better research and research for the right reasons” <TextLink reference="5"></TextLink> auf der anderen Seite musste doch offensichtlich geworden sein, dass Publikationstätigkeit zwar unverzichtbar ist und ein Indikator aktiver, relevanter Forschung sein dürfte, gleichzeitig aber Publikationsdruck, die schiere Quantität, ein klarer Fehlanreiz ist. Oder, wie es die Autoren einer Übersichtsarbeit zur Bewertung von Wissenschaftlern als Goodhart’s Law zitieren: [an assessment measure potentially] „ceases as a valid measurement when it becomes an optimization target“ <TextLink reference="6"></TextLink>.</Pgraph><Pgraph>Für das Jahr von Altmans „Skandal“-Essay (1994) verzeichnet Pubmed 438.248 Zitate. Im Jahr 2005 waren es schon 700.342. In diesem Jahr brandmarkte John <TextGroup><PlainText>Ioannidis</PlainText></TextGroup>, inzwischen Miturheber der Stanford-Liste, die fehlende Reproduzierbarkeit medizinischer Forschung und benannte, wenn auch nicht ganz so explizit wie Altman vor ihm, fehlgeleitete Forschungsmotivation als Teil der Kausalkette („Many otherwise seemingly independent, university-based studies may be conducted for no other reason than to give physicians and researchers qualifications for promotion or tenure”) <TextLink reference="7"></TextLink>. So vielbeachtet und vielzitiert diese Arbeit war: Bis zum Jahr 2019 hat sich die per PubMed findbare medizinische Literatur noch einmal verdoppelt und bringt es nun auf fast 1,5 Millionen Zitationen im Jahr (eigene Recherche vom 9.11.2021, <Mark2>Jahr</Mark2>[dp]). Die Jahre 2020 und 2021 seien hier bewusst herausgelassen. Es zeichnet sich ab, dass näheres Beschauen gerade aus epidemiologischer Sicht traurige Rekorde an Research Waste aufdecken dürfte <TextLink reference="8"></TextLink>, <TextLink reference="9"></TextLink>. </Pgraph><Pgraph>Es trägt also schon eine gewisse Absurdität in sich, wenn dennoch weltweit Forscher und Forscherinnen dafür belohnt werden, dass sie zu dieser Inflation beitragen, ohne dass gleichzeitig überprüft wird, wie es um Reproduzierbarkeit und Qualität steht – periodisches Aufbäumen wie die Lancet-Serie zu Research Waste oder verdiente Aktivitäten Einzelner einmal außen vorgelassen <TextLink reference="10"></TextLink>, <TextLink reference="11"></TextLink>, <TextLink reference="12"></TextLink>. Daher müssen wir uns schon fragen lassen: Wollen wir weitere Zahlenspiele? Was bedienen wir damit? </Pgraph><Pgraph>Vorweg: Selbstverständlich publizieren wir die Arbeit, wir freuen uns über die Einreichung und dass die MIBE hierfür gewählt wurde. Im guten Fall fördert die Beschäftigung mit der Stanford-Liste weitere, notwendige Diskussion zur Aussagekraft und Interferenz unterschiedlicher Parameter, vor allem aber zur Problematik einer quantitativen Vermessung von Forschungsoutput überhaupt. Darüber hinaus ermöglicht sie verschiedene Beobachtungen, wie in unterschiedlichen Wissenschaftsbereichen publiziert und zitiert wird. Sowohl Herr Wichmann als auch die Autoren der Stanford-Liste verweisen explizit darauf, dass die hier behandelten Parameter insbesondere für die Bewertung jüngerer Forscher ungeeignet sind. </Pgraph></TextBlock> <TextBlock language="en" linked="yes" name="Introduction"> <MainHeadline>Introduction</MainHeadline><Pgraph>In comparison with other medical disciplines and based on citation metrics, German epidemiology is remarkably strong: this is the conclusion reached by H.-E. Wichmann, following careful review of the “Stanford list” in its version of 2020 <TextLink reference="1"></TextLink>, <TextLink reference="2"></TextLink>. According to his count and definition, there are 54 epidemiologists with German affiliation in this compilation of approximately 150,000 author<TextGroup><PlainText>s wor</PlainText></TextGroup>ldwide. Epidemiologists account for only about 1.5% of all German health scientists on the Stanford list. However, among the most highly cited, almost every fifth scientist is an epidemiologist. </Pgraph><Pgraph>Publishing such an article may cause discomfort, especially for a journal editor who wrote her epidemiological master thesis on the topic of publication bias <TextLink reference="3"></TextLink>: All that needs to be said about publishing and scientometrics seemed already written more than 25 years ago. “Underreporting research is scientific misconduct” <TextLink reference="4"></TextLink> on the one hand, and “We need less research, better research, and research for the right reasons” <TextLink reference="5"></TextLink> on the other hand: While publication activity is indispensable and an indicator of active, relevant research, publication pressure, the sheer quantity, is a clear disincentive. As the authors of a review paper on the assessment of scientists put it, citing Goodhart’s Law: [an assessment measure potentially] “ceases to be a valid measurement when it becomes an optimization target.” <TextLink reference="6"></TextLink></Pgraph><Pgraph>For the year of Altman’s ”Scandal” essay (1994), Pubmed records 438,248 citations. In 2005, the figure was already 700,342. This was the year when John Ioannidis, now a co-author of the Stanford list, denounced the lack of reproducibility in medical research. Not quite as explicitly as Altman before him, he identified misguided research motivation as part of the causal chain (“Many otherwise seemingly independent, university-based studies may be conducted for no other reason than to give physicians and researchers qualifications for promotion or tenure”) <TextLink reference="7"></TextLink>. As highly regarded and cited as this work was: By 2019, citation numbers in Pubmed have doubled again to almost 1.5 million hits per year (Nov 9, 2021, search term: <Mark2>year</Mark2>[dp]). We are afraid that the years 2020 and 2021 will climb to sad peaks, much of it waste <TextLink reference="8"></TextLink>, <TextLink reference="9"></TextLink>. </Pgraph><Pgraph>To reward researchers all over the world for contributing to this inflation while not considering reproducibility and quality seems absurd. Periodic rally to the problem as done by the Lancet series on research waste or excellent single activities of individuals does not seem sufficient to change the game <TextLink reference="10"></TextLink>, <TextLink reference="11"></TextLink>, <TextLink reference="12"></TextLink>. Thus why would we want to go on playing the numbers game? Whom and what do we serve by reporting on citation counts? </Pgraph><Pgraph>We will, of course, publish the paper. We are pleased the MIBE was chosen for this. Working with the Stanford list may promote important critical discussion of quantitative measurement of research output. It also allows for observations on how research is published and cited in different scientific fields. Both H.-E. Wichmann and the authors of the Stanford list explicitly point out that all parameters discussed here are unsuitable for evaluating younger researchers in particular.</Pgraph></TextBlock> <TextBlock language="de" linked="yes" name="Aspekte internationaler Publikations- und Zitationssituation"> <MainHeadline>Aspekte internationaler Publikations- und Zitationssituation</MainHeadline><Pgraph>Anhand des ausführlichen Zahlenwerks und verschiedener begleitender Artikel lassen sich reichlich eigene Beobachtungen und Analysen tätigen, in Bezug auf unser Fach, aber auch darüber hinaus, teils überraschend, teils bei näherer Betrachtung dann doch nicht so. Zwei davon seien hier geteilt, die auch direkt in Bezug zu den national orientierten Beobachtungen von Herrn Wichmann stehen.</Pgraph><Pgraph><OrderedList><ListItem level="1" levelPosition="1" numString="1."><Mark1>Epidemiologen publizieren vorwiegend in medizinisch-klinischen Fachzeitschriften</Mark1>. Die Stanford-Liste nutzt als Zuordnung zu Fächern eine Journal-Klassi<TextGroup><PlainText>fik</PlainText></TextGroup>ation, die 22 übergeordnete Felder (Fields) und <TextGroup><PlainText>179 U</PlainText></TextGroup>nterkategorien (Subfields) vorsieht. „Epidemiology“ wird dabei als Unterkategorie von „Public Health & Health Services“ geführt. Allerdings publizieren Epidemiologen offensichtlich die Mehrheit ihrer Artikel nicht in epidemiologischen Fachzeitschriften, sondern vorwiegend in klinischen: Selbst die Autoren, deren häufigstes „Subfield“ Epidemiologie ist, publizieren dort nur etwa ein Drittel ihrer Artikel. Ähnliches gilt übrigens auch für Public Health oder Health Services – dort liegt der Anteil sogar noch deutlich niedriger. Dagegen publizieren beispielsweise Pflegewissenschaftler, aber auch klinische Forscher ganz überwiegend im eigenen Fach. Es überrascht vor diesem internationalen Hintergrund also nicht, wenn ausnahmslos auch alle von Herrn Wichmann identifizierten Epidemiologen der „Clinical Medicine“ zugeordnet sind. </ListItem><ListItem level="1" levelPosition="2" numString="2."><Mark1>Epidemiologen gehören auch international zu den am häufigsten zitierten Wissenschaftlerinnen</Mark1>. Dies wird, analog den Beobachtungen von Herrn Wichmann für die deutschen Forscher und unter dem Vorbehalt der abweichenden Definition von „Epidemiologen“, umso auffälliger, je höher es in die „Spitzengruppe“ geht. Zwar zeigt unter den Lebenswissenschaften das Feld „Public Health & Health Services“ mit Abstand die niedrigsten Zitationszahlen für das Erreichen hoher Perzentile (Tabelle 1 <ImgLink imgNo="1" imgType="table"/>). Sobald es in die Unterkategorien geht, fällt Epidemiologie dann jedoch innerhalb dieses Feldes komplett aus dem Rahmen. Beispielsweise werden fast 14.000 Zitationen für den 99% Rang benötigt. Am anderen Ende des Extrems ist man in den Pflegewissenschaften bereits mit 2.300 Zitationen ganz oben dabei. Diese Schere geht übrigens noch deutlich weiter auseinander, legt man die seit Oktober 2021 verfügbaren Daten bis 2020 zugrunde (<Hyperlink href="https://elsevier.digitalcommonsdata.com/datasets/btchxktzyw/3">https://elsevier.digitalcommonsdata.com/datasets/btchxktzyw/3</Hyperlink>).</ListItem></OrderedList></Pgraph><Pgraph>Unter allen 179 „Subfields“ rangiert Epidemiologie hinter Kernphysik, Entwicklungsbiologie und Astronomie auf Rang 4 der am häufigsten zitierten Fächer, noch vor, aber dicht gefolgt von zunächst der Immunologie und dann den großen klinischen Fächern Herz-Kreislauf-Blut, Onkologie und Stoffwechsel. Ebenfalls mit ähnlicher Größenordnung ist auf Platz 9 die Bioinformatik vertreten. Zum Vergleich die anderen „Data Sciences“: „Medical Informatics“ findet sich auf Platz 117. Biometrie wäre wohl am ehesten der Unterkategorie „Statististics and probability“ zuzuordnen, immerhin auf Platz 38. </Pgraph><Pgraph>Wie ist das nun zu interpretieren? Herr Wichmann führt eine hohe Qualität und Relevanz der häufig von Konsortien durchgeführten epidemiologischen Studien an. Vermutlich muss man die Daten allerdings auch international so interpretieren, dass wir vor allem über inhaltlich motivierte Fragestellungen und Publikationen, gerade zu den hochzitierten Komplexen Herzkreislaufmedizin, Onkologie und Diabetes/Stoffwechselerkrankungen reüssieren, weniger über Artikel, die uns als Methodenfach auszeichnen und damit in fachspezifischen Zeitschriften erscheinen würden. Das ist ein wichtiger Aspekt in Bezug auf Bestrebungen einer Bündelung von Fächern wie Epidemiologie, Biometrie und Medizininformatik als „Data Sciences“: Epidemiologie war immer mehr als nur Methodenfach und Datenanalyse. Gerade die Kombination von inhaltlichen Fragestellungen und methodischen Kompetenzen macht uns aus – und macht uns offensichtlich auch so besonders sichtbar. </Pgraph></TextBlock> <TextBlock language="en" linked="yes" name="International aspects of publication and citation behavior in epidemiology"> <MainHeadline>International aspects of publication and citation behavior in epidemiology</MainHeadline><Pgraph>Two exemplary observations from this international dataset are shared, complementing the analysis by H.-E. Wichmann: </Pgraph><Pgraph><OrderedList><ListItem level="1" levelPosition="1" numString="1.">Epidemiologists publish primarily in clinical journals. The Stanford list uses a journal-based classification to categorize researchers, resulting in 22 fields and 179 subfields. “Epidemiology” is a subfield of “Public Health & Health Services”. For example, a person whose most frequent subfield is “Epidemiology” would be considered an epidemiologist. Still, even those whose most frequent subfield is “Epidemiology“ publish, on average, only about one-third of their articles in epidemiological journals. As a side note, the same applies to “Public Health“ and to “Health Services”, where the proportion is even lower. By contrast, nursing scientists and clinical researchers publish predominantly within their own fields. Against this international background, it is not surprising that all German epidemiologists identified by H.-E. Wichmann were assigned to the main field “Clinical Medicine”, rather than “Public Health & Health Services”.</ListItem><ListItem level="1" levelPosition="2" numString="2.">On the international level, epidemiologists are among the most frequently cited scientists. In analogy to the observations for German researchers and subject to differing definitions, this becomes more evident in the top-cited group. Interestingly, among the life sciences, the field “Public Health & Health Services“ shows by far the lowest citation numbers for specific percentiles (Table 1 <ImgLink imgNo="1" imgType="table"/>). However, on the level of subfields, epidemiology falls out of line. For example, nearly 14,000 citations mark the 99% rank. At the other end of the extreme, in nursing sciences, <TextGroup><PlainText>2,300 c</PlainText></TextGroup>itations are sufficient to make it into the top 1%. This gap widens further when more recent data are used as available since October 2021 (<Hyperlink href="https://elsevier.digitalcommonsdata.com/datasets/btchxktzyw/3">https://elsevier.digitalcommonsdata.com/datasets/btchxktzyw/3</Hyperlink>).</ListItem></OrderedList></Pgraph><Pgraph>Among all 179 subfields, “Epidemiology“ ranks fourth behind “Nuclear physics”, “Developmental biology”, and “Astronomy”, ahead of but closely followed by first “Immunology“ and then the major clinical subjects of cardiovascular diseases/blood, oncology, and metabolism. Of similar magnitude at ninth place is Bioinformatics. In comparison with the other data sciences: “Medical Informatics“ is in 117<Superscript>th</Superscript> place. Biometrics would probably best be assigned to the subcategory “Statistics and probability“ (38<Superscript>th</Superscript> place).</Pgraph><Pgraph>What does this tell us? H.-E. Wichmann cites the high quality and relevance of epidemiological studies, often conducted by consortia. We may also conclude we are successful primarily through content-motivated research questions and publications, especially within the highly cited complexes of cardiovascular medicine, oncology, and diabetes/metabolic diseases. Articles that distinguish us as a methodological subject and would thus appear in subject-specific journals are less common and less visible. When we bundle epidemiology, biometry, and medical informatics under the common roof of “The data sciences”, we may wish to consider this: <TextGroup><PlainText>Epidemiology has</PlainText></TextGroup> always been more than just a methodological subject and a set of data collection and analysis tools. It is the combination of content and methods that sets us apart and makes us visible.</Pgraph></TextBlock> <TextBlock language="de" linked="yes" name="Der Stanford’sche „Composite Score“ – besser, schlechter, anders?"> <MainHeadline>Der Stanford’sche „Composite Score“ – besser, schlechter, anders?</MainHeadline><Pgraph>Alle Zitations- und Publikationsmaße, die bisher genutzt werden, ziehen die Problematik von Fehlanreizen nach sich oder unterliegen – neben Forschungsrelevanz und -aktivität – Einflüssen, die, wenn auch nicht alle nur negativ zu bewerten, wenig mit Forschungsqualität zu tun haben <TextLink reference="6"></TextLink>. Vorwiegend sind dazu zu nennen: Alter (bzw. langjährige Forschungstätigkeit), Mitgliedschaft in großen Konsortien (viele Autoren je Artikel), großzügige Praxis hinsichtlich Koautorenschaften und Selbstzitationen sowie Fokussierung auf „hippe“ Forschung und Zurückhaltung bezüglich riskanter Projekte mit unklarem Ausgang. Je nach Art des genutzten Maßes kommt wahlweise noch Data Dredging und Salami-Slicing (Anzahl von Publikationen) oder Unterdrückung nicht so aufregender Ergebnisse mit der Folge von Publikationsbias (Zitationen je Artikel, mittelbar auch der Hirsch-Index) hinzu. Der Journal Impact Factor sei als obsoletes Maß hier gar nicht erst thematisiert. In der Epidemiologie, für die unter anderem große Langzeitprojekte kennzeichnend sind, ist zudem hilfreich, vorwiegend in der „Verwertungsphase“ tätig zu sein, und sich beim Säen oder sonstigen Tätigkeiten ohne unmittelbare Publizierbarkeit eher etwas zurückzunehmen oder zumindest so lange auszuharren, dass die Früchte der Aufbauarbeit auch geerntet werden können. </Pgraph><Pgraph>Der Composite Score kombiniert mehrere Maße und gleicht damit möglicherweise verschiedene Nachteile unterschiedlicher Herangehensweisen aus. Vor allem aber korrigiert er für Koautorenschaften, anders als beispielsweise der Hirsch-Index, für den völlig irrelevant ist, ob man Erst- oder Seniorautor ist oder an Stelle 16 von 53 steht. Was bedeutet das für Epidemiologen? Wie Herr Wichmann darlegt, sinkt die Bewertung von Epidemiologen relativ zu anderen medizinischen Fächern, wenn statt der Zitationshäufigkeit der Composite-Score zugrunde gelegt wird – ein Zeichen dafür, dass Zitationshäufigkeit in unserem Fach viel über Beteiligungen an Großprojekten und Konsortien läuft. Gleicht der Score sonstige Fehlan<TextGroup><PlainText>r</PlainText></TextGroup>eize aus? Ich fürchte, er fügt noch neue hinzu: Beim Composite Score dürften langjährige Leiter großer Abteilungen mit einer Devise „Chef steht immer hinten“ gewinnen (oder ihre Kronprinzen, wenn sie günstig auf Autorenlisten platziert werden). Insofern ist es nicht nur durch typische Charakteristika epidemiologischer Konsortial-Forschung bedingt, sondern auch durchaus ein gutes Zeichen, dass die deutschen Epidemiologen in der Mehrheit vom Composite Score eher nicht profitieren. </Pgraph></TextBlock> <TextBlock language="en" linked="yes" name="Stanford’s “composite score“ – better, worse, different?"> <MainHeadline>Stanford’s “composite score“ – better, worse, different?</MainHeadline><Pgraph>All citation and publication measures currently in common use entail the problem of wrong incentives <TextLink reference="6"></TextLink>. Many are subject to influencing factors that have little to do with research quality: Age (many years of research activity), membership in large consortia (many authors per article), taking broad views on co-authorships and self-citation, and a focus on en-vogue research while avoiding novel, risky projects. Depending on the type of measure used, data dredging and salami-slicing (number of publications) or suppression of not-so-exciting results with the consequence of publication bias (citations per paper, Hirsch index) may be added to this list. The journal impact factor is not discussed here as it is an obsolete measure. In epidemiology, with its often large projects of long duration, one might, in addition, recommend focusing activities to the “exploitation phase“ while stepping back from those parts of the research process which are not immediately publishable. At least one needs to stay put long enough for harvest. </Pgraph><Pgraph>The composite score combines several measures and thus potentially compensates for the various disadvantages of the different approaches. Most importantly, it corrects for co-authorship, unlike, for example, the Hirsch index, for which it is irrelevant whether one is first or senior author or ranked 16<Superscript>th</Superscript> out of 53. What does this mean for epidemiologists? As H.-E. Wichmann points out, the rating of epidemiologists relative to other medical subjects drops when the composite score is used instead of the citation frequency – a sign that citation frequency in our discipline is much about participation in large projects and consortia. Does the score compensate for other disincentives? Not sure. Rather, even more may arise: In the composite score, long-time heads of large departments with a “boss is always senior author“ motto are likely to win (or the prince royale if favorably placed on author lists). In this respect, it is not only due to typical characteristics of consortial research in epidemiology but a good signal if German epidemiologists, on average, do not benefit from the composite score. </Pgraph></TextBlock> <TextBlock language="de" linked="yes" name="Und wer ist nun Epidemiologin?"> <MainHeadline>Und wer ist nun Epidemiologin?</MainHeadline><Pgraph>Die Stanford-Liste erlaubt keine Darstellung, ob sich jemand als Epidemiologe versteht oder vielleicht nur als klinische Expertin häufig an epidemiologischen Projekten beteiligt ist (mangelnde Spezifität). Vor allem werden alle diejenigen nicht als Epidemiologen erfasst, die vorwiegend in klinischen Zeitschriften publizieren (fehlende Sensitivität). Alle Ausführungen oben zur internationalen Situation sind unter dieser Einschränkung zu sehen. Für die nationale Darstellung hat sich Herr Wichmann mit einer Definition verdient gemacht, die die Zuordnung zu epidemiologischen Forschungseinrichtungen, Fachgesellschaften oder Großprojekten zugrunde legt. Das ist notwendigerweise ebenfalls fehlerbehaftet, aber vermutlich das Beste, was möglich ist. Epidemiologin ist kein geschützter Begriff, und gerade für so ein interdisziplinäres Fach sind Grenzen zu verwandten Fächer fließend, die gleichzeitige Selbstzuschreibung zu mehreren Fächern denkbar und eine Selbst-Etikettierung vermutlich auch zeitlichen Trends unterworfen (Zunahme in pandemischen Zeiten?). Virologen, Mikrobiologen und Hygieniker publizieren ebenfalls in als epidemiologisch klassifizierten Fachzeitschriften, ohne dass sie sich notwendigerweise als Epidemiologen verstehen oder von Herrn Wichmann als solche klassifiziert würden. </Pgraph><Pgraph>Als Sprecherin der Zertifikatskommission Epidemiologie kann die Autorin dieses Editorials selbstverständlich nicht umhin, auf eine besonders naheliegende Lösung hinzuweisen, sich als Epidemiologin auszuweisen. Dieses Zertifikat wird gemeinsam von den vier Fachgesellschaften DGEpi, GMDS, DGSMP und IBS-DR vergeben und bescheinigt fortgeschrittene und umfassende Kenntnisse und Forschungserfahrung in der Epidemiologie <TextLink reference="13"></TextLink>. Von den durch Herrn Wichmann geschätzten 13.000 Epidemiologen in Deutschland sind zwar nur 97 Wissenschaftler Zertifikatsträger, entsprechend einem Anteil von etwa 0,7%. Allerdings finden sich 27 dieser 97 Wissenschaftler mit deutscher Affiliation auf der Stanford-Liste und stellen damit über 50% der von Herrn Wichmann identifizierten deutschen Epidemiologen. Vier weitere Zertifizierte sind über Affiliationen im Ausland auf der Stanford-Liste vertreten (3 USA, 1 Niederlande). </Pgraph><Pgraph>Abschließend darf ein letzter statistischer Hinweis nicht fehlen: Nur neun der 54 Top-Epidemiologen laut Wichmann-Liste sind Frauen, also nicht einmal ein Fünftel. Das liegt geringfügig unter dem ebenfalls geringen Anteil von Frauen unter den Zertifizierten (19 von 97), aber erheblich unter dem Eindruck eines üblichen Frauenanteils in deutschen epidemiologischen Instituten. Nachteile von Frauen bei quantitätsbasierten Wissenschaftsmaßen wurden empirisch untersucht und haben vermutlich unter anderem mit häufiger unterbrochener Forschungstätigkeit/mehr Wechseln, Confounding durch Alter und möglicherweise auch mit größeren Hemmungen, sich selbst zu zitieren, zu tun <TextLink reference="14"></TextLink>, <TextLink reference="15"></TextLink>.</Pgraph></TextBlock> <TextBlock language="en" linked="yes" name="Who is an epidemiologist?"> <MainHeadline>Who is an epidemiologist?</MainHeadline><Pgraph>The Stanford list does not give any information on whether someone considers himself an epidemiologist or whether he is perhaps only involved in epidemiological research as a clinical expert (lack of specificity). More importantly, epidemiologists who publish predominantly in a clinical subfield do not count (lack of sensitivity). For Germany, we are obliged to H.-E. Wichmann as an epidemiologist for his definition: An epidemiologist is affiliated with an epidemiological research institution, is active in the epidemiological scientific community within one of the major societies, or takes an active role in a relevant epidemiology project. This definition is not without potential for misclassification either. <TextGroup><PlainText>Epidemiologist is not</PlainText></TextGroup> a protected term; there is no sharp demarcation to related fields, simultaneous self-attribution to several scientific specialties is conceivable, and self-labeling as epidem<TextGroup><PlainText>i</PlainText></TextGroup>ologist is potentially subject to temporal trends (increase in a pandemic?). Virologists, microbiologists, and hygienists also publish in journals classified as epidemiological, without necessarily seeing themselves as epidemiologists or being classified as such by H.-E. Wichmann. </Pgraph><Pgraph>As a spokesperson for the Epidemiology Certificate Commission in Germany, the author of this editorial feels obliged to point out a self-evident solution for defining an epidemiologist. The certificate is awarded jointly by the four societies DGEpi, GMDS, DGSMP, and IBS-DR. It attests advanced and comprehensive knowledge and research experience in epidemiology <TextLink reference="13"></TextLink>. Of 13,000 epidemiologists in Germany (number estimated by H.-E. Wichmann), 97 scientists hold this certificate, i.e. about 0.7%. 27 of these 97 scientists with German affiliation are on the Stanford list and represent more than 50% of the German epidemiologists identified by H.-E. Wichmann. Four additional certificate holders are on the list with non-German affiliations (3 USA, 1 Netherlands). </Pgraph><Pgraph>One last note on proportions: Nine of the 54 top epidemiologists on the Wichmann list are women. This is not even one fifth, slightly below the proportion of women with an epidemiology certificate (19 of 97) and considerably lower than what seems common in German epidemiological institutes. Based on empirical evidence, scientometrics may put women at a disadvantage <TextLink reference="14"></TextLink>, <TextLink reference="15"></TextLink>. Reasons include, among other things, frequently interrupted research vitae, confounding by age, and possibly, being less inclined to self-citation.</Pgraph></TextBlock> <TextBlock language="de" linked="yes" name="Fazit"> <MainHeadline>Fazit</MainHeadline><Pgraph>Die Stanford-Liste und der in diesem Kontext entwickelte Composite Score reihen sich ein in eine kritisch zu betrachtende Praxis von Forschungsmessung. Zwar ist vermutlich davon auszugehen, dass eine hohe Zitationshäufigkeit mit nachfolgender prominenter Sichtbarkeit auf dieser Liste mit hoher Forschungsrelevanz und -reputation einhergehen – da sei keinem der top-gelisteten Personen zu nahe getreten. Allerdings aber auch mit Seniorität, vor allem als Leiter großer epidemiologischer Institute (was auch die männliche Dominanz erklären dürfte). Wer das Fach vor allem methodisch weiterbringen möchte, nicht für die großen klinischen Disziplinen publiziert und noch auf der Suche nach einem Lehrstuhl ist, wird sich eher nicht auf dieser Liste wiederfinden. Vorteile der Liste sind die Transparenz und öffentliche Zugänglichkeit des Datenmaterials, die eine abwägende und gleichzeitige Betrachtung unterschiedlicher Parameter erlaubt. </Pgraph><Pgraph>Zur Klärung der Frage, wer denn nun ein Epidemiologe ist, legen wir dem Leser die Möglichkeit des Zertifikatser<TextGroup><PlainText>w</PlainText></TextGroup>erbs nahe. Zur Verbesserung der Forschungssituation möchte ich ermutigen, dass gerade die, die bereits einen Lehrstuhl besetzen, das tun, was dem Mittelbau nur eingeschränkt möglich ist: Sich für alternative Wege der Forschungs- und Mitarbeiterförderung einzusetzen, wie sie beispielsweise in einer niederländischen Darstellung gelistet sind <TextLink reference="12"></TextLink>. Wir laden herzlich zur Diskussion zur Thematik ein. Gerne auch über weitere Beiträge zur MIBE! </Pgraph></TextBlock> <TextBlock language="en" linked="yes" name="Conclusion"> <MainHeadline>Conclusion</MainHeadline><Pgraph>The Stanford list and its composite score contribute to a practice of research measurement we should view critically. High citation frequency mirrors high relevance of research – no offense intended to the top-listed individuals. Being on the list, however, also comes with mere seniority and with presiding over a large epidemiological institute for a long time. Those committed primarily to advancing methods, those who do not publish for the major clinical disciplines, and those still on the circuit for a professorship are less likely to make it on the list. On the pro-side of the list are the transparency and public accessibility of the data material, which allows for simultaneous consideration of different parameters. </Pgraph><Pgraph>To clarify who is an epidemiologist, we suggest the reader considers obtaining a certificate. In order to improve the research situation, those who already hold a chair may feel encouraged to do what the mid-level faculty can only do to a limited extent: advocate alternative ways of evaluating research and staff. Examples are plentiful <TextLink reference="12"></TextLink>. We cordially invite further discussion of the topic. Additional contributions to the MIBE are welcome!</Pgraph></TextBlock> <TextBlock language="de" linked="yes" name="Anmerkung"> <MainHeadline>Anmerkung</MainHeadline><SubHeadline>Interessenkonflikte</SubHeadline><Pgraph>Antje Timmer ist Sprecherin der Zertifikationskommission Epidemiologie und vertritt dort die GMDS. Was Strategien zur Optimierung von Zitationshäufigkeiten angeht, hat sie bewusst und gerne viel verkehrt gemacht, aber es auf besonders effiziente Weise und zur eigenen Verblüffung dennoch auf die Liste geschafft, wenn auch nur auf einen der hinteren Plätze – durch Publikation von Cochrane-Reviews. </Pgraph><Pgraph>Beziehungen zu den besprochenen Autoren: J. Ioannidis hat 2020 unentgeltlich zu einer Lehrveranstaltung der Autorin beigetragen. H.E. Wichmann war Vorgesetzter 2008–2010 und hat zu keiner Zeit Publikationsdruck auf die Autorin ausgeübt. </Pgraph></TextBlock> <TextBlock language="en" linked="yes" name="Note"> <MainHeadline>Note</MainHeadline><SubHeadline>Competing interests</SubHeadline><Pgraph>Antje Timmer is a Certification Commission on Epidemiology spokesperson and represents the GMDS in this role. </Pgraph></TextBlock> <References linked="yes"> <Reference refNo="1"> <RefAuthor>Wichmann HE</RefAuthor> <RefTitle>Publikationsaktivität und Zitationshäufigkeit der in Deutschland tätigen Epidemiologen</RefTitle> <RefYear>2021</RefYear> <RefJournal>GMS Med Inform Biom Epidemiol</RefJournal> <RefPage>Doc13</RefPage> <RefTotal>Wichmann HE. Publikationsaktivität und Zitationshäufigkeit der in Deutschland tätigen Epidemiologen. GMS Med Inform Biom Epidemiol. 2021;17(3):Doc13. DOI: 10.3205/mibe000227</RefTotal> <RefLink>https://doi.org/10.3205/mibe000227</RefLink> </Reference> <Reference refNo="2"> <RefAuthor>Ioannidis JPA</RefAuthor> <RefAuthor>Boyack KW</RefAuthor> <RefAuthor>Baas J</RefAuthor> <RefTitle>Updated science-wide author databases of standardized citation indicators</RefTitle> <RefYear>2020</RefYear> <RefJournal>PLoS Biol</RefJournal> <RefPage>e3000918</RefPage> <RefTotal>Ioannidis JPA, Boyack KW, Baas J. Updated science-wide author databases of standardized citation indicators. PLoS Biol. 2020 Oct;18(10):e3000918. DOI: 10.1371/journal.pbio.3000918</RefTotal> <RefLink>https://doi.org/10.1371/journal.pbio.3000918</RefLink> </Reference> <Reference refNo="3"> <RefAuthor>Timmer A</RefAuthor> <RefAuthor>Hilsden RJ</RefAuthor> <RefAuthor>Cole J</RefAuthor> <RefAuthor>Hailey D</RefAuthor> <RefAuthor>Sutherland LR</RefAuthor> <RefTitle>Publication bias in gastroenterological research – a retrospective cohort study based on abstracts submitted to a scientific meeting</RefTitle> <RefYear>2002</RefYear> <RefJournal>BMC Med Res Methodol</RefJournal> <RefPage>7</RefPage> <RefTotal>Timmer A, Hilsden RJ, Cole J, Hailey D, Sutherland LR. Publication bias in gastroenterological research – a retrospective cohort study based on abstracts submitted to a scientific meeting. BMC Med Res Methodol. 2002 Apr;2:7. DOI: 10.1186/1471-2288-2-7</RefTotal> <RefLink>https://doi.org/10.1186/1471-2288-2-7</RefLink> </Reference> <Reference refNo="4"> <RefAuthor>Chalmers I</RefAuthor> <RefTitle>Underreporting research is scientific misconduct</RefTitle> <RefYear>1990</RefYear> <RefJournal>JAMA</RefJournal> <RefPage>1405-8</RefPage> <RefTotal>Chalmers I. Underreporting research is scientific misconduct. JAMA. 1990 Mar;263(10):1405-8.</RefTotal> </Reference> <Reference refNo="5"> <RefAuthor>Altman DG</RefAuthor> <RefTitle>The scandal of poor medical research</RefTitle> <RefYear>1994</RefYear> <RefJournal>BMJ</RefJournal> <RefPage>283-4</RefPage> <RefTotal>Altman DG. The scandal of poor medical research. BMJ. 1994 Jan;308(6924):283-4. DOI: 10.1136/bmj.308.6924.283</RefTotal> <RefLink>https://doi.org/10.1136/bmj.308.6924.283</RefLink> </Reference> <Reference refNo="6"> <RefAuthor>Moher D</RefAuthor> <RefAuthor>Naudet F</RefAuthor> <RefAuthor>Cristea IA</RefAuthor> <RefAuthor>Miedema F</RefAuthor> <RefAuthor>Ioannidis JPA</RefAuthor> <RefAuthor>Goodman SN</RefAuthor> <RefTitle>Assessing scientists for hiring, promotion, and tenure</RefTitle> <RefYear>2018</RefYear> <RefJournal>PLoS Biol</RefJournal> <RefPage>e2004089</RefPage> <RefTotal>Moher D, Naudet F, Cristea IA, Miedema F, Ioannidis JPA, Goodman SN. Assessing scientists for hiring, promotion, and tenure. PLoS Biol. 2018 Mar;16(3):e2004089. DOI: 10.1371/journal.pbio.2004089</RefTotal> <RefLink>https://doi.org/10.1371/journal.pbio.2004089</RefLink> </Reference> <Reference refNo="7"> <RefAuthor>Ioannidis JP</RefAuthor> <RefTitle>Why most published research findings are false</RefTitle> <RefYear>2005</RefYear> <RefJournal>PLoS Med</RefJournal> <RefPage>e124</RefPage> <RefTotal>Ioannidis JP. Why most published research findings are false. PLoS Med. 2005 Aug;2(8):e124. DOI: 10.1371/journal.pmed.0020124</RefTotal> <RefLink>https://doi.org/10.1371/journal.pmed.0020124</RefLink> </Reference> <Reference refNo="8"> <RefAuthor>Glasziou PP</RefAuthor> <RefAuthor>Sanders S</RefAuthor> <RefAuthor>Hoffmann T</RefAuthor> <RefTitle>Waste in covid-19 research</RefTitle> <RefYear>2020</RefYear> <RefJournal>BMJ</RefJournal> <RefPage>m1847</RefPage> <RefTotal>Glasziou PP, Sanders S, Hoffmann T. Waste in covid-19 research. BMJ. 2020;369:m1847.</RefTotal> </Reference> <Reference refNo="9"> <RefAuthor>Pool J</RefAuthor> <RefAuthor>Fatehi F</RefAuthor> <RefAuthor>Akhlaghpour S</RefAuthor> <RefTitle>Infodemic, Misinformation and Disinformation in Pandemics: Scientific Landscape and the Road Ahead for Public Health Informatics Research</RefTitle> <RefYear>2021</RefYear> <RefJournal>Stud Health Technol Inform</RefJournal> <RefPage>764-8</RefPage> <RefTotal>Pool J, Fatehi F, Akhlaghpour S. Infodemic, Misinformation and Disinformation in Pandemics: Scientific Landscape and the Road Ahead for Public Health Informatics Research. Stud Health Technol Inform. 2021 May;281:764-8. DOI: 10.3233/SHTI210278</RefTotal> <RefLink>https://doi.org/10.3233/SHTI210278</RefLink> </Reference> <Reference refNo="10"> <RefAuthor>Moher D</RefAuthor> <RefAuthor>Glasziou P</RefAuthor> <RefAuthor>Chalmers I</RefAuthor> <RefAuthor>Nasser M</RefAuthor> <RefAuthor>Bossuyt PMM</RefAuthor> <RefAuthor>Korevaar DA</RefAuthor> <RefAuthor>Graham ID</RefAuthor> <RefAuthor>Ravaud P</RefAuthor> <RefAuthor>Boutron I</RefAuthor> <RefTitle>Increasing value and reducing waste in biomedical research: who's listening?</RefTitle> <RefYear>2016</RefYear> <RefJournal>Lancet</RefJournal> <RefPage>1573-86</RefPage> <RefTotal>Moher D, Glasziou P, Chalmers I, Nasser M, Bossuyt PMM, Korevaar DA, Graham ID, Ravaud P, Boutron I. Increasing value and reducing waste in biomedical research: who's listening? Lancet. 2016;387(10027):1573-86.</RefTotal> </Reference> <Reference refNo="11"> <RefAuthor>Strech D</RefAuthor> <RefAuthor>Weissgerber T</RefAuthor> <RefAuthor>Dirnagl U</RefAuthor> <RefAuthor> QUEST Group</RefAuthor> <RefTitle>Improving the trustworthiness, usefulness, and ethics of biomedical research through an innovative and comprehensive institutional initiative</RefTitle> <RefYear>2020</RefYear> <RefJournal>PLoS Biol</RefJournal> <RefPage>e3000576</RefPage> <RefTotal>Strech D, Weissgerber T, Dirnagl U; QUEST Group. Improving the trustworthiness, usefulness, and ethics of biomedical research through an innovative and comprehensive institutional initiative. PLoS Biol. 2020 Feb;18(2):e3000576. DOI: 10.1371/journal.pbio.3000576</RefTotal> <RefLink>https://doi.org/10.1371/journal.pbio.3000576</RefLink> </Reference> <Reference refNo="12"> <RefAuthor>Van Calster B</RefAuthor> <RefAuthor>Wynants L</RefAuthor> <RefAuthor>Riley RD</RefAuthor> <RefAuthor>van Smeden M</RefAuthor> <RefAuthor>Collins GS</RefAuthor> <RefTitle>Methodology over metrics: current scientific standards are a disservice to patients and society</RefTitle> <RefYear>2021</RefYear> <RefJournal>J Clin Epidemiol</RefJournal> <RefPage>219-26</RefPage> <RefTotal>Van Calster B, Wynants L, Riley RD, van Smeden M, Collins GS. Methodology over metrics: current scientific standards are a disservice to patients and society. J Clin Epidemiol. 2021 Oct;138:219-26. DOI: 10.1016/j.jclinepi.2021.05.018</RefTotal> <RefLink>https://doi.org/10.1016/j.jclinepi.2021.05.018</RefLink> </Reference> <Reference refNo="16"> <RefAuthor>Ioannidis JPA</RefAuthor> <RefAuthor>Baas J</RefAuthor> <RefAuthor>Klavans R</RefAuthor> <RefAuthor>Boyack KW</RefAuthor> <RefTitle>A standardized citation metrics author database annotated for scientific field</RefTitle> <RefYear>2019</RefYear> <RefJournal>PLoS Biol</RefJournal> <RefPage>e3000384</RefPage> <RefTotal>Ioannidis JPA, Baas J, Klavans R, Boyack KW. A standardized citation metrics author database annotated for scientific field. PLoS Biol. 2019 Aug;17(8):e3000384. DOI: 10.1371/journal.pbio.3000384</RefTotal> <RefLink>https://doi.org/10.1371/journal.pbio.3000384</RefLink> </Reference> <Reference refNo="13"> <RefAuthor>Zeeb H</RefAuthor> <RefAuthor>Bickeböller H</RefAuthor> <RefAuthor>Jöckel KH</RefAuthor> <RefAuthor>Stang A</RefAuthor> <RefAuthor>Stark K</RefAuthor> <RefAuthor>Steindorf K</RefAuthor> <RefAuthor>Swart E</RefAuthor> <RefAuthor>Waldmann A</RefAuthor> <RefTitle>Das Zertifikat „Epidemiologie“ der Fachgesellschaften DGEpi, GMDS, DGSMP und IBS-DR: Aktualisierung 2012</RefTitle> <RefYear>2013</RefYear> <RefJournal>GMS Med Inform Biom Epidemiol</RefJournal> <RefPage>Doc13</RefPage> <RefTotal>Zeeb H, Bickeböller H, Jöckel KH, Stang A, Stark K, Steindorf K, Swart E, Waldmann A. Das Zertifikat „Epidemiologie“ der Fachgesellschaften DGEpi, GMDS, DGSMP und IBS-DR: Aktualisierung 2012. GMS Med Inform Biom Epidemiol. 2013;9(3):Doc13. DOI: 10.3205/mibe000141.</RefTotal> <RefLink>https://doi.org/10.3205/mibe000141.</RefLink> </Reference> <Reference refNo="14"> <RefAuthor>Mishra S</RefAuthor> <RefAuthor>Fegley BD</RefAuthor> <RefAuthor>Diesner J</RefAuthor> <RefAuthor>Torvik VI</RefAuthor> <RefTitle>Self-citation is the hallmark of productive authors, of any gender</RefTitle> <RefYear>2018</RefYear> <RefJournal>PLoS One</RefJournal> <RefPage>e0195773</RefPage> <RefTotal>Mishra S, Fegley BD, Diesner J, Torvik VI. Self-citation is the hallmark of productive authors, of any gender. PLoS One. 2018;13(9):e0195773. DOI: 10.1371/journal.pone.0195773</RefTotal> <RefLink>https://doi.org/10.1371/journal.pone.0195773</RefLink> </Reference> <Reference refNo="15"> <RefAuthor>Andersen JP</RefAuthor> <RefAuthor>Schneider JW</RefAuthor> <RefAuthor>Jagsi R</RefAuthor> <RefAuthor>Nielsen MW</RefAuthor> <RefTitle>Gender variations in citation distributions in medicine are very small and due to self-citation and journal prestige</RefTitle> <RefYear>2019</RefYear> <RefJournal>Elife</RefJournal> <RefPage>e45374</RefPage> <RefTotal>Andersen JP, Schneider JW, Jagsi R, Nielsen MW. Gender variations in citation distributions in medicine are very small and due to self-citation and journal prestige. Elife. 2019 Jul;8:e45374. DOI: 10.7554/eLife.45374</RefTotal> <RefLink>https://doi.org/10.7554/eLife.45374</RefLink> </Reference> </References> <Media> <Tables> <Table format="png"> <MediaNo>1</MediaNo> <MediaID language="de">1de</MediaID> <MediaID language="en">1en</MediaID> <Caption language="de"><Pgraph><Mark1>Tabelle 1: Anzahl Wissenschaftler in Top 100,000 (n), Anzahl Zitationen nach Perzentilen (Stand 2018) [16]</Mark1></Pgraph></Caption> <Caption language="en"><Pgraph><Mark1>Table 1: Number of scientists in top 100,000 (n), number of citations by percentiles (as of 2018) [16]</Mark1></Pgraph></Caption> </Table> <NoOfTables>1</NoOfTables> </Tables> <Figures> <NoOfPictures>0</NoOfPictures> </Figures> <InlineFigures> <NoOfPictures>0</NoOfPictures> </InlineFigures> <Attachments> <NoOfAttachments>0</NoOfAttachments> </Attachments> </Media> </OrigData> </GmsArticle>