zma001155 10.3205/zma001155 urn:nbn:de:0183-zma0011554 article Artikel Einflussfaktoren auf die Staatsexamens-Ergebnisse brasilianischer Medizinstudierender Neto Neto Toufic Anbar TA Prof. Dr.

Ceres Medical School (Faculdade Ceres - FACERES), Department of Medical Education, Avenida Anísio Haddad nº 6751, Jardim Morumbi, CEP: 15.090-305, São José do Rio Preto, Brazil, Phone: 55 17 3201-8200 Fax: 55 17 3201-8200Ceres Medical School (Faculdade Ceres - FACERES), Department of Medical Education, São José do Rio Preto, Brazil

Ceres Hochschule für Medizin (Faculdade Ceres - FACERES), Institut für Medizinische Ausbildung, Avenida Anísio Haddad nº 6751, Jardim Morumbi, CEP: 15.090-305, São José do Rio Preto, Brasilien, Tel.: 55 17 3201-8200 Fax: 55 17 3201-8200Ceres Hochschule für Medizin (Faculdade Ceres - FACERES), Institut für Medizinische Ausbildung, São José do Rio Preto, Brasilien

tufi@uniceres.com author da Silva Fucuta Pereia da Silva Fucuta Pereia Patricia P Prof. Dr. PhD

Ceres Medical School (FACERES), Department of Gastroenterology, São José do Rio Preto, Brazil

Ceres Hochschule für Medizin (FACERES), Institut für Gastroenterologie, São José do Rio Preto, Brasilien

author Nogueira Nogueira Mauricio L. ML Dr. med. PhD

São José do Rio Preto Medical School (Faculdade de Medicina de São José do Rio Preto - FAMERP), Health Sciences Graduate Program, São José do Rio Preto, Brazil

São José do Rio Preto Hochschule für Medizin (Faculdade de Medicina de São José do Rio Preto - FAMERP), Graduiertenprogramm für Gesundheitswissenschaften, São José do Rio Preto, Brasilien

author Pereira de Gody Pereira de Gody Jose Maria JM Ass. Prof. Dr. PhD

São José do Rio Preto Medical School (Faculdade de Medicina de São José do Rio Preto - FAMERP), Department of Cardiology and Cardiovascular Surgery, São José do Rio Preto, Brazil

São José do Rio Preto Hochschule für Medizin (Faculdade de Medicina de São José do Rio Preto - FAMERP), Institut für Kardiologie und Kardiovaskular-Chirurgie, São José do Rio Preto, Brasilien

author Moscardini Moscardini Airton C. AC Ass. Prof. Dr. PhD

São José do Rio Preto Medical School (Faculdade de Medicina de São José do Rio Preto - FAMERP), Department of Pediatrics and Pediatric Surgery, São José do Rio Preto, Brazil

São José do Rio Preto Hochschule für Medizin (Faculdade de Medicina de São José do Rio Preto - FAMERP), Instituts für Pädiatrie und Kinderchirurgie, São José do Rio Preto, Brasilien

author German Medical Science GMS Publishing House

Düsseldorf

610 independent medical assessment medical school medical education unabhänige Gesundheitsüberwachung medizinische Hochschule medizinische Ausbildung National Examination Staatsexamen 20161127 20170730 20171116 20180215 engl germ This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). 2366-5017 35 1 GMS Journal for Medical Education GMS J Med Educ 8 Hintergrund: Das nationale brasilianische Examen zur Erfassung der Studentischen Leistung – ENADE (Exame Nacional de Desempenho do Estudante) untersucht die Qualität medizinischer Grund- bzw. Bachelorstudienprogramme. Die Identifikation der Faktoren, die die Ergebnisse dieses Examens beeinflussen, kann dazu beitragen, die notwendige Unterstützung zur Verbesserung der Qualität medizinischer Ausbildungsprogramme bereitzustellen. Das Ziel dieser Arbeit war die Evaluation der Faktoren, die einen Einfluss auf die Ergebnisse brasilianischer Medizinstudierender im ENADE haben.Methoden: Untersucht wurden alle Faktoren, die 2010 die ENADE-Ergebnisse von 100 medizinischen Studiengängen bedingt haben. Die Daten wurden aus öffentlichen Datenbanken erhoben und im Hinblick auf strukturbezogene Variablen im Bereich des Hochschul- und Gesundheitswesens untersucht. Die Datenanalyse basiert auf den Ergebnissen der medizinischen Studienprogramme beim ENADE 2010, wobei die Studienprogramme in zwei Gruppen aufgeteilt wurden: ENADE 1–2 (Studienprogramme mit unbefriedigenden Ergebnissen) gegenüber ENADE 4–5 (Studienprogramme mit befriedigenden Ergebnissen). Ergebnisse: Die Analyse umfasste die Untersuchung von 100 Ausbildungsstätten. Bei der univariaten Analyse zeigte sich eine Korrelation zwischen besseren ENADE-Ergebnissen und den Variablen Universität (p=0,037), staatliche Ausbildungsstätte (p<0,001), geringes Anzahl an Studienplätzen (p=0,036), weniger Lehrende mit einem „Spezialisten“-Titel (Especializacao) (p=0,003) und mehr Lehrende mit einem Doktortitel (p=0,010), stricto sensu Post-Graduiertenprogramm (cursos de pós-graduação stricto sensu) (p<0,001), sowie längeres Bestehen des Studienprogramms (p<0,001). Bei der multivariaten Analyse der binären logistischen Regression wurde gezeigt, dass vier Variablen lose mit besseren ENADE-Ergebnissen korrelieren: staatliche Ausbildungsstätte (OR 9,9; 95%CI 1,03 bis 95,5), geringes Angebot an Studienplätzen (OR 0,984; 95% CI 0,969 bis 0,999), stricto sensu Post-Graduiertenprogramm (cursos de pós-graduação stricto sensu) (OR 8,189; 95% CI 1,459 bis 45,971) und längeres Bestehen des Studienprogramms (OR 1,058; 95% CI 1,013 bis 1,105). Schlussfolgerung: Das Erreichen eines befriedigenden Ergebnisses bei diesem Examen (ENADE 4–5) wurde mit der staatlichen Administration von Hochschulen, dem geringeren Angebot an Studienplätzen pro Studienprogramm, dem Angebot von stricto sensu Post-Graduiertenprogrammen sowie dem längeren Bestehen der Studienprogramme in Verbindung gebracht. Background: The Brazilian National Student Performance Examination - ENADE is an instrument used to measure the quality of undergraduate courses. The identification of factors that influence the result of this examination can contribute to providing support necessary to improve the quality of medical courses. The purpose of this work was to evaluate the factors that affect the National Student Performance Examination grades of Brazilian undergraduate medical programs. Methods: Factors that influenced the 2010 ENADE grades of 100 undergraduate medical programs were studied. Data collection was performed using public databases. Academic and healthcare infrastructure variables were investigated. The data analysis was based on the performance of the medical programs on the 2010 ENADE, whereby the programs were divided into two groups: ENADE 1-2 (unsatisfactory grade) versus ENADE 4-5 (satisfactory grade). Results: One hundred schools were included in this analysis. In the univariate analysis the university variables (p=0.037), public institution (p<0.001), lower number of openings per course (p=0.036), lower number of specialist professors (p=0.003) and higher number of doctors (p=0.010), strictu sensu post-graduation program (p<0.001), higher course lifetime (p<0.001) were associated to best results in ENADE. In the multivariate analysis of logistic binary regression four variables remained independently associated to a better performance in ENADE: public institution (OR 9.9; 95%CI 1.03 to 95.5), lower number of openings per course (OR 0.984; 95% CI 0.969 to 0.999), strictu sensu post-graduation program (OR 8.189; 95% CI 1.459 to 45.971) and longer course lifetime (OR 1.058; 95% CI 1.013 to 1.105). Conclusions: The satisfactory score of this evaluation (ENADE 4-5) was associated to the public administration category of higher degree institutions, lower number of openings offered per course, the presence of a strictu sensu and longer course lifetime. IntroductionThe evaluation of undergraduate medical programs is considered controversial for many higher education institutions (HEIs). The first evaluation of medical schools with global significance was the study conducted by Abraham Flexner in the United States in 1910, which became known as the Flexner Report . Used as a reference worldwide, this study resulted in significant changes in medical education. More than 100 years after its publication, the report continues to generate controversy. The strength of Flexner’s report is the result of the comprehensive nature of it evaluation in numerical terms, its emphasis on a scientific foundation and, mainly, that it was directed primarily toward society at large .The evaluation of medical programs may be performed by federal agencies , and, as in the United States, by private consortiums that involve groups of universities. The evaluations are performed to assess such programs individually and to compare them with those of other participants that participate in the same evaluation process , , . The instruments used to evaluate medical programs include tests to measure the programs , tests to measure proficiency in practicing the profession and nonspecific educational tests , .Since the 1960s, the Brazilian federal government and the Ministry of Education (Ministério da Educação - MEC) have been more concerned with evaluating HEIs as a whole, and several public policies have been developed with this goal .The educational policies implemented during the 1990s increased the visibility of the higher education evaluation process.The Brazilian Educational system comprises 3 types of higher education institutions (IES): College (small size), university center (intermediate size) and university (large size). The amount of courses is what defines each one of them (a minimum of 8 for university centers and 12 for universities), the administrative structure (Universities and university center have a department of undergraduate studies), post-graduation programs (only for universities) and titles for the team of professors (Doctor’s degrees for more than 30% for universities). The system is divided in public IES (managed and defrayed by the government, with no cost for the student) and private (generally profit-driven institutions, paid by the students).The process of evaluating educational programs progressed with the creation of the National System of Higher Education Evaluation (Sistema Nacional de Avaliação da Educação Superior - SINAES) by Law no. 10,861, April 14, 2004 . The instruments used by SINAES include institutional self-evaluation, external evaluation by members of the community in which the HEI is located, undergraduate program evaluation by committees appointed by the National Institute of Educational Studies and Research (Instituto Nacional de Estudos e Pesquisas Educacionais - INEP), the annual census of higher education and the National Student Performance Exam (Exame Nacional de Desempenho de Estudantes - ENADE). The purpose of SINAES is to obtain a general overview of the quality of the country’s programs and HEIs to guide public and institutional policies .ENADE is the most well-known and widespread instrument, and it is an important part of evaluating the quality of undergraduate programs. ENADE aims at supervising the learning process and the academic performance of students regarding the predicted program contents in the medical school curricular guidelines for the course. It evaluates student skills, competencies and performance with regard to the program’s content as established by the National Curriculum Guidelines (Diretrizes Curriculares Nacionais - DCN) for each undergraduate subject area . The examination for each subject area is given every three years . ENADE participation is mandatory for all students who by the final day of examination enrollment have completed at least 80% of the minimum credit hours required for the subject area under evaluation . The examination has three parts: questions that measure general education, specific components and the perception of the test . The grades range from 1 (poor performance) to 5 (best performance), and a grade between 3 and 5 is considered satisfactory ]. All IES institutions expect achieving grades 4 and 5 in ENADE, since they broadly use this feature to attract new students.Research on the factors that affect the ENADE grades of Brazilian undergraduate medical programs is necessary because no studies with this focus were found in the literature. Identifying the factors that influence performance on this examination may contribute to providing necessary support for improving the quality of medical programs and therefore ENADE grades. The objective of this study was to evaluate the factors that affect the ENADE grades of undergraduate medical programs considering demographic, academic, educational and healthcare infrastructure variables. EinleitungDie erste Evaluation medizinischer Ausbildungsstätten von weltweiter Bedeutung, ist 1910 von Abraham Flexner in den USA durchgeführt worden. Diese ist heute unter der Bezeichnung „Flexner-Report“ bekannt . Auf der Grundlage dieser Studie kam es weltweit zu maßgeblichen Veränderungen in der medizinischen Ausbildung. Mehr als 100 Jahre nach seiner Publikation bietet dieser Bericht heute noch Anlass für Kontroverse. Die Stärken des Flexner-Reports liegen in seiner umfassenden zahlenbasierten Analyse, der Gewichtung der wissenschaftlichen Grundlage und seiner starken Ausrichtung auf die Gesamtgesellschaft .Die Evaluation medizinischer Studienprogramme kann von Bundesbehörden , und – wie in den USA – von privaten Verbänden, in denen verschiedene Universitäten zusammengeschlossen sind, durchgeführt werden. Das Ziel solcher Evaluationen ist es, die Studienprogramme für sich und im Vergleich zu den Studienprogrammen anderer Hochschulen, die an dem Evaluationsverfahren teilnehmen, zu beurteilen , , . Das Instrumentarium zur Beurteilung medizinischer Studienprogramme umfasst Tests zur Überprüfung der Studienprogramme , Tests zur Überprüfung der berufsbezogenen Kompetenzen und Tests, die sich auf allgemeine Aspekte von Bildung beziehen , .Seit den 1960ern befassen sich die brasilianische Bundesregierung und das Bildungsministerium (Ministério da Educação - MEC) in erster Linie mit der Evaluation von Hochschulen in ihrer Gesamtheit und entwickelten dazu mehrere staatliche Richtlinien . Die in den 1990ern implementierten bildungspolitischen Maßnahmen erhöhten das öffentliche Bewusstsein für die Evaluationsverfahren in der Hochschulbildung. In Brasilien gibt es drei Hochschultypen (Instituto de Educação Superior, IES): Colleges (kleine Hochschulen), Universitätszentren (Hochschulen mittlerer Größe) und Universitäten (große Hochschulen). Die Klassifizierung der Hochschultypen erfolgt anhand der Anzahl der angebotenen Studienprogramme (ein Minimum von acht Studienprogrammen für Universitätszentren und zwölf für Universitäten), der Verwaltungsstruktur (Universitäten und Universitätszentren bieten Grund- bzw. Bachelorstudienprogramme an), der Post-Graduiertenprogramme (nur an Universitäten) und den akademischen Titeln des Lehrendenteams (an Universitäten haben über 30% der Lehrenden einen Doktortitel). Das Hochschulsystem ist in staatliche IES (verwaltet und finanziert von der Regierung, sodass keine Kosten für die Studierenden anfallen) und private IES (gewöhnlich gewinnorientierte Ausbildungsstätten, die von den Studierenden finanziert werden) unterteilt.Das Evaluationsverfahren von Ausbildungsprogrammen entwickelte sich mit der Etablierung des Nationalen Evaluationssystem der Hochschulbildung (Sistema Nacional de Avaliação da Educação Superior - SINAES) durch das Gesetz Nr. 10.861 am 14. April 2004 weiter . SINAES evaluiert die brasilianische Hochschulausbildung mit Hilfe von Selbstevaluationen der Ausbildungsstätten, externen Begutachtungen von Mitgliedern der Gemeinden, in denen sich die Hochschulen befinden und Evaluationen von Grund- bzw. Bachelorausbildungsprogrammen durch Ausschüsse, die von dem Nationalen Institut für Erziehungswissenschaft und -forschung (Instituto Nacional de Estudos e Pesquisas Educacionais - INEP) berufen werden, sowie der jährlichen Erhebung zur Hochschulbildung und dem Nationalen Examen zur Erfassung der Studentischen Leistung (Exame Nacional de Desempenho de Estudantes – ENADE). Der Zweck des SINAES ist, einen allgemeinen Überblick der Qualität der Studienprogramme und Hochschulen des Landes zu erlagen, um staatliche und hochschulinterne politische Maßnahmen daran orientieren zu können .ENADE ist das bekannteste und am weitesten verbreitete Instrument und spielt somit eine wichtige Rolle bei der Evaluierung von Grund- bzw. Bachelorstudienprogrammen. ENADE hat sich zum Ziel gesetzt, den Lernprozess und die akademische Leistung der Studierenden in Bezug auf die in den medizinischen Curriculum-Richtlinien für das jeweilige Studienprogramm vorgesehen Studieninhalte zu kontrollieren. Das Examen prüft die Fähigkeiten der Studierenden sowie ihre Kompetenzen und Leistung in Hinblick auf die Studieninhalte, die für jedes Grund- bzw. Bachelorstudium aller Fachgebiete in den Nationalen Curriculum-Richtlinien (Diretrizes Curriculares Nacionais - DCN) etabliert wurden . Jedes Fachgebiet wird alle drei Jahre geprüft . Alle Studierenden, die bis zum letzten Tag der Anmeldefrist für die ENADE 80% oder mehr der für das Fach erforderlichen Studienleistungsstunden erbracht haben, sind zur Teilnahme verpflichtet . ENADE setzt sich aus drei Teilen zusammen: Im ersten Teil werden Fragen zur Allgemeinbildung gestellt, der zweite Teil prüft fachspezifische Komponenten und im dritten Teil wird die Einschätzung des Tests erfragt . Die Bewertung erfolgt auf einer Skala von 1 bis 5, wobei die Ergebnisse 3, 4 und 5 als befriedigend gelten . Alle Hochschulen erhoffen Ergebnisse von 4 oder 5 in dem ENADE, um mit diesen Ergebnissen Studierende zu werben.Forschung hinsichtlich der Einflussfaktoren auf die ENADE-Ergebnisse medizinischer Grund- bzw. Bachelorstudienprogramme ist notwendig, da sich in der Literatur keinen Studien mit diesem Schwerpunkt finden. Die Identifikation der Faktoren, welche die Leistung in diesem Examen beeinflussen, kann dazu beitragen, dass die für die Verbesserung der Qualität medizinischer Ausbildungsprogramme notwendige Unterstützung bereitgestellt wird und sich so auch die Noten in der ENADE verbessern.Ziel diese Studie war es, die Faktoren, welche die Bewertung der Grund- bzw. Bachelorstudienprogramme im Fachgebiet Medizin bei dem ENADE beeinflussen, unter Berücksichtigung demographischer und akademischer Variablen sowie Variablen der Ausbildung und der Infrastruktur des Gesundheitswesens zu evaluieren. MethodsThe factors that influenced the 2010 ENADE grades of Brazilian undergraduate medical programs were studied. Of a total of 136 programs, 100 (73.5%) were investigated. Because this study used public data available online and through other official federal government sources, it was not necessary to submit the project to the Research Ethics Committee.The lack of a ENADE grade because of a medical program’s voluntary non-participation or because a program had not yet produced students qualified to take the examination were considered to be the exclusion criteria. The data collection was performed in public domain databases available on the websites of the MEC, the Ministry of Health and the Brazilian Institute of Geography and Statistics (Instituto Brasileiro de Geografia e Estatística - IBGE). Spreadsheets provided by the INEP were also used.Ten academic, educational and structural variables were analyzed. Academic and educational variables by category included academic organization (university x non-university), administrative category (public x private), teaching-learning methodology (active x traditional), post-graduation program (with strictu sensu x without strictu sensu). Academic and educational categories of numeric nature comprised the number of vacancies each course can offer according to the Department of Education, the total amount of hours in the course, number of professors according to titles (specialists, masters or doctors), total number of professors, course lifetime in years. The health infrastructure variable of numeric nature studied was total number of beds/1000 inhabitants.The analysis of the demographic, academic, educational and healthcare infrastructure variables was performed after categorizing the medical programs according to their performance on the 2010 ENADE. The programs were divided into two groups: ENADE 1-2 (unsatisfactory grade) versus ENADE 4-5 (satisfactory grade). The grade of 3, which was achieved by 36 medical programs, was not analyzed because it represents an intermediate grade. The descriptive analysis included absolute and relative frequencies for categorical variables and median and variation for continuous variables. Comparisons between the two groups (ENADE 1-2 versus ENADE 4-5) were performed using the Mann-Whitney U test for nonnormally distributed continuous data, and the chi-square test or Fisher’s exact test for categorical data (when appropriate). Variables that were found to be predictors of ENADE 4-5 in the univariate analysis were also included in a multivariate logistic regression model (stepwise with backward elimination method) and the results were presented as odds ratios with a 95% confidence interval. Statistical analyses of the data were performed using the IBM-SPSS Statistics version 24 (IBM Corporation, NY, USA). All tests were two-tailed, and P < 0.05 was considered statistically significant. MethodenDiese Untersuchung befasst sich mit den Faktoren, welche die ENADE-Ergebnisse der medizinischen Grund- bzw. Bachelorstudienprogramme im Jahre 2010 beeinflusst haben. 100 (73,5%) der insgesamt 136 Medizinstudienprogramme in Brasilien wurden untersucht. Da die Studie mit online zugänglichen, öffentlichen Daten und weiteren Daten aus offiziellen Quellen der Bundesregierung umgesetzt wurde, war eine Überprüfung des Projekts durch die Forschungsethik-Kommission nicht notwendig.Als Ausschlusskriterien galten das Fehlen von ENADE-Ergebnissen auf Grund freiwilliger Nichtteilnahme eines medizinischen Studienprogramms oder auch, wenn ein Studienprogramm noch keine für das Examen qualifizierte Studierende hervorbringen konnte. Die Daten wurden aus gemeinfreien Datenbanken, die auf der Website des MEC, des Gesundheitsministeriums und des Brasilianisches Instituts für Geographie und Statistik (Instituto Brasileiro de Geografia e Estatística - IBGE) zugänglich sind, erhoben. Weitere Datensätze in Form von Tabellen stellte das INEP zur Verfügung.Es wurden zehn akademische, ausbildungsbezogene und strukturelle Variablen analysiert. Die kategorialen Variablen im akademischen und ausbildungsbezogenen Bereich umfassen die akademische Organisation (Universität/Nicht-Universität), administrative Kategorie (staatlich/privat), Lehr- und Lern-Methoden (aktiv/traditionell), Post-Graduiertenprogramme (mit bzw. ohne stricto sensu, d.h. einer Akkreditierung durch den Bildungsminister). Die numerischen Variablen im akademischen und ausbildungsbezogenen Bereich beschreiben die Anzahl der Studienplätze, die pro Studienprogramm laut Bildungsministerium angeboten werden können, die Gesamtzahl an Studienleistungsstunden eines Studienprogramms, die Anzahl an Lehrenden nach Titel aufgeschlüsselt („Spezialist“, Master oder Doktor), die Gesamtzahl der Lehrenden und die Bestehensdauer eines Studienprogramms in Jahren. Im Bereich der Infrastruktur des Gesundheitswesens wurde die numerische Variable „Betten insgesamt/1000 Einwohner“ untersucht. Vor der Analyse der demographischen und akademischen Variablen sowie den Variablen der Ausbildung und der Infrastruktur des Gesundheitswesens wurden die medizinischen Studienprogramme nach ihrer Leistung in der ENADE 2010 kategorisiert. Die Studienprogramme wurden in zwei Gruppen aufgeteilt: ENADE 1–2 (Studienprogramme mit unbefriedigenden Ergebnissen) gegenüber ENADE 4–5 (Studienprogramme mit befriedigenden Ergebnissen). 36 medizinische Studienprogramme erhielten ein ENADE-Ergebnis von 3. Diese wurden nicht in die Analyse mit einbezogen, da sie ein intermediäres Ergebnis repräsentiert. Die deskriptive Analyse schloss die absoluten und relativen Häufigkeiten der kategorialen Variablen sowie den Median und die Variationen der kontinuierlichen Variablen ein. Der Vergleich zwischen den zwei Gruppen (ENADE 1–2 versus ENADE 4–5) wurde mittels des Mann-Whitney-U-Tests für die Nicht-Normalverteilung kontinuierlicher Daten und gegebenenfalls dem Chi-Quadrat-Test oder dem Exakten Fisher-Test für kategoriale Daten durchgeführt. Variablen, die sich in der univariaten Analyse als Prädikatoren für ein ENADE-Ergebnis von 4 oder 5 herausstellten, wurden auch in ein multivariates Logit-Modell (schrittweise mit der Methode der Rückwärtselimination) einbezogen und die Ergebnisse dieser Untersuchung wurden als Quotenverhältnis (odds ratio – OR) mit einem Konfidenzintervall (confidence interval – CI) von 95% angegeben. Die statistische Analyse der Daten wurde mit dem IBM-SPSS Statistics 24 (IBM Corporation, NY, USA) durchgeführt. Alle Tests waren zweiseitig und p<0,05 wurde als statistisch signifikant definiert. ResultsOne hundred and thirty-six schools were analyzed by ENADE in 2010. Table 1 demonstrates medical schools’ performance according to ENADE classification.In order to perform a comparison analysis, all IES were categorized into two groups: ENADE 1-2 (unsatisfactory: 25 schools) and ENADE 4-5 (satisfactory: 75 schools), therefore, by excluding score 3, which represents an intermediate score. Thus, 100 IES were included in this analysis. Table 2 demonstrates their fundamental features.Univariate comparative analysis between groups ENADE 1-2 and ENADE 4-5Regarding the academic organization, we observed that universities have achieved a higher proportion in the satisfactory score (ENADE 4-5) comparing to non-university IES (p=0.037). In addition, public institutions also presented better performance comparing to private institutions (p<0.001). Number of openings per institution also was associated to these results and were inversely proportional to students’ performance. On the other hand, course hours and learning-teaching methodology showed no effect on results for this evaluation. Table 3 demonstrates the comparison of various academic variables to IES performance in ENADE 2010.Healthcare infrastructureThe total number of beds where the course is present was also observed to present no influence on students’ performance. For ENADE 1-2 group, the median for the total/1000 number of beds was 3.41 (minimum=0.69; maximum=9.13) and for ENADE 4-5 group it was 3.95 (minimum=1.86; maximum=15.69), p=0.120.Multivariate analysis on variables associated to students’ performance.All seven variables associated to ENADE 2010 results were included in the multivariate analysis model of binary logistics regression. Four variables were observed to remain as independent factors: IES public administration category, less number of openings offered by thesatisfactory score in the evaluation (ENADE 4-5). Table 4 shows the results of this analysis expressed in odds ratio with a confidence interval of 95%. Ergebnisse2010 wurden mithilfe von ENADE 136 Hochschulen begutachtet. Tabelle 1 zeigt die Leistung der medizinischen Hochschulen gemäß der ENADE-Klassifizierung.Um eine vergleichende Analyse durchführen zu können, wurden die IES in zwei Gruppen unterteilt: ENADE 1–2 (unbefriedigend: 25 Hochschulen) und ENADE 4–5 (befriedigend: 75 Hochschulen), dabei wurde das Ergebnis ENADE 3, welches ein intermediäres Ergebnis repräsentiert, ausgeschlossen. Somit umfasste die Analyse 100 IES. Tabelle 2 zeigt die wesentlichen Merkmale dieser Hochschulen.Univariate vergleichende Analyse der Gruppen ENADE 1–2 und ENADE 4–5In Bezug auf die akademische Organisation konnte beobachtet werden, dass Universitäten im Vergleich zu Nicht-Universitäten (p=0,037) einen höheren Anteil an befriedigenden Ergebnisse (ENADE 4–5) hatten. Zudem zeigt sich, dass staatliche Ausbildungsstätten eine bessere Leistung aufweisen als private Ausbildungsstätten (p<0,001). Auch die Anzahl der Studienplätze pro Ausbildungsstätte ist mit diesen Ergebnissen in Verbindung zu setzen und war gegenläufig proportional zu der Leistung der Studierenden. Anderseits weisen die Anzahl der Studienleistungsstunden und die Lern-/Lehrmethoden keinen Einfluss auf die ENADE-Ergebnisse auf. Tabelle 3 veranschaulicht den Vergleich verschiedener akademischer Variablen mit der Leistung der Hochschulen in dem ENADE 2010. Infrastruktur des GesundheitswesensEs konnte auf keinen Zusammenhang zwischen der Gesamtanzahl der Betten, die in der Gemeinde, in welcher das Studienprogramm angeboten wird, zur Verfügung stehen, und der Leistung der Studierenden geschlossen werden. Bei der Gruppe ENADE 1–2 war der Median für „Betten insgesamt/1000 Einwohner“ 3,41 (Minimum=0,69; Maximum=9,13) und bei der Gruppe ENADE 4–5 Gruppe war der Median 3,95 (Minimum=1,86; Maximum=15,69), p=0,120. Multivariate Analyse der die studentische Leistung betreffenden Variablen Alle sieben Variablen, die in Verbindung zu den ENADE-Ergebnissen von 2010 zu sehen sind, wurden in das multivariate Analyse-Modell der binär logistischen Regression einbezogen. Es zeigten sich, dass vier Variablen als unabhängie Faktoren bestehen blieben: Staatliche Administration der Hochschule, geringere Anzahl an Studienplätzen, stricto sensu Post-Graduiertenprogramme und längeres Bestehen eines Studienprogramms waren Merkmale, die in Verbindung zu befriedigen Ergebnissen bei der Evaluation (ENADE 4-5) zu sehen waren.Tabelle 4 zeigt die Ergebnisse dieser Analyse in einem Quotenverhältnis mit einem Konfidenzintervall von 95%. DiscussionThis study evaluated the factors that affected the 2010 ENADE grades of undergraduate medical programs in all of Brazil’s regions. The factors that positively affected ENADE grades include being located in a university, a longer period of existence, a smaller number of authorized openings for students, a predominance of faculty members with master’s degrees and doctorates, the existence of sensu stricto graduate programs, being part of a public HEI and a larger number of total hospital beds. Regarding the classification of the medical programs according to their academic organization, 70.6% belonged universities, although this type of institution represents only 8% of Brazilian HEIs .Of the programs located in universities, 82.9% obtained a grade of 4 or 5, whereas only 60% of the programs located in faculties obtained these grades. This outcome may result from the complexity of universities, which are institutions that should offer undergraduate and graduate programs, have a largely full-time faculty with advanced degrees, have consolidated and well-rated research centers, produce high-level scientific publications and possess extensive infrastructure , . Additionally, to be classified as a university, an HEI must have a higher level of professionalization, which may positively affect the quality of its programs.Regarding the duration of existence of the Brazilian medical programs, all of them allow a minimal completion of their credit hours requirement in six years. The presence of programs that have only existed for five years is because the ENADE is mandatory for students who have completed 80% of a program’s minimum credit hours . As for the program’s duration of existence on the ENADE date, programs in the ENADE 4-5 group had a duration of existence approximately 5 times longer than those in the ENADE 1-2 group. A program’s duration of existence affects the grade. If the classification rankings of world universities are analyzed, the best universities are among the oldest HEIs. The 10 universities ranked highest in the Academic Ranking of World Universities (ARWU) classification of Shanghai’s Jiao Tong University are more than 100 years old [http://www.timeshighereducation.co.uk/world-university-rankings/2013-14/world-ranking]. An element of institutional maturity results from complex long-term processes and a reputation that attracts the best professors and students, thus perpetuating the characteristics of excellence [20]. The development of a strong culture of excellence is the result of a gradual process, and its consolidation occurs over several decades and, at times, centuries. A medical program’s duration of existence cannot be considered to guarantee academic excellence. Factors such as adequate funding, modern administration, talent in research and institutional autonomy are equally or more important than the duration of existence [http://www.timeshighereducation.co.uk/world-university-rankings/2013-14/world-ranking].In regard to the number of openings for students, the median of the ENADE 1-2 group was 100 openings, which surpasses the ENADE 4-5 group (median=80). The difference between the groups may be explained by the assets that a medical program requires, such as material resources, professors and hospital beds, which a program with more openings will not always possess in sufficient numbers. In Brazil, the process of creating medical programs occurred in several stages , and there was no consistent policy to regulate the number of openings available for students. Class size as a determining factor in the quality of teaching is controversial. Some believe that when a professor works with smaller classes, more individualized attention and an improvement in the quality of student learning are facilitated. In an intermediary and relatively ambiguous field, educational administrators, without disagreeing with the benefits of smaller classes, emphasize the budgetary constraints that result from this initiative. In addition, there are educational researchers for whom existing evidence does not support the assertion that smaller classes result in better learning , , .Regarding the degrees held by a program’s faculty, there is a predominance of specialists in the ENADE 1-2 group and master’s and PhDs in the ENADE 4-5 group. In Brazil, there are two types of Post-graduation: “lato sensu”, which provides the specialist title and may be offered by all types of higher education institutions, and “strictu sensu”, which provides a Master’s or Doctor’s degree, and can only be offered by Institutions accredited by the Secretary of Education.There is greater difficulty in HEIs that lack teaching staff training centers . Conversely, public universities preferentially admit titled professors. These two extremes may explain the large disparity between the minimum number of faculty members with doctoral degrees (n=0) and the maximum number (n=371). In Brazil, the title of specialist, which is granted by societies of medical specialties and the National Commission of Medical Residency (Comissão Nacional de Residência Médica - CNRM), is equivalent to the title of a sensu lato specialist. Thus, there is a greater availability of professors with this degree . A better qualified faculty has a higher intellectual and scientific level and can positively influence teaching quality ,.The total credit hours of the ENADE 1-2 group exhibited a median value of 8,298 hours, which was slightly lower than the ENADE 4-5 group (median of 8,400 hours). The National Council for Education (Conselho Nacional de Educação - CNE)’s Resolution no. 2, June 18, 2007, requires a minimum of 7,200 credit hours . The HEIs have autonomy in determining their curriculum and their total number of credit hours . The instances in which the number of credit hours is lower than the number established by law are all public universities. There is a slight difference in favor of the ENADE 4-5 group. However, how credit hours are used is more important than the total number of credit hours. If a faculty lacks good qualifications, a medical program’s total number of credit hours is irrelevant. Thus, other factors, such as the quality and diversity of teaching and learning activities and, primarily, the quality of the faculty, are more relevant than the number of credit hours .The majority of the medical programs (93.4%) with sensu stricto health graduate programs on the same campus as the undergraduate program obtained a grade of 4 or 5. The majority of programs (53.8%) without these graduate programs obtained a grade of 1 or 2. We consider knowledge production, the training of qualified faculty absorbed by the institution itself and scientific production to be likely reflections of the existence of these graduate programs, whose primary purpose is to stimulate research and train the teaching staff .Of the medical programs affiliated with public HEIs, 96.3% obtained a satisfactory grade, whereas this proportion was 50.0% in private HEIs. This outcome occurred because public institutions have a better structure, larger investment in research and restrictions on hiring unqualified personnel. Nevertheless, it is worth noting that the expansion of medical programs is currently concentrated in the private sector. In this sector, the MEC demands higher quality .Of the medical programs that have adopted the traditional teaching method, 76.3% obtained a grade of 4 or 5, and this value was 70.0% for programs with the active method (AM). Contrary to what is observed in the existing literature, we do not believe there is a significant difference between these methods . We believe that because of its short duration of existence in Brazil and the number of medical programs that have adopted the AM, the 2010 ENADE grade was satisfactory. Since the DCN’s publication, many medical schools have been reorganizing their curriculum and seeking new teaching methods, such as AM. In Brazil, the most significant methods are Problem-Based Learning (PBL) and problematization based on the “Maguerez arch” . The focus is on primary healthcare, whereby the teaching and learning spaces should include the Basic Health Units (Unidades Básicas de Saúde - UBS), particularly those that serve the Family Health Program (Programa de Saúde da Família - PSF), to ensure comprehensive care and an interdisciplinary view of the medical program. Regarding the total number of hospital beds in the municipalities in which the medical programs are located, the ENADE 1-2 group exhibited a median of 1,461 beds, which was less than the ENADE 4-5 group (2,253 beds). Although this variable is not consistently used in the evaluation instrument for medical programs , we believe that this variable is important because diversified learning and teaching scenarios enrich the training of undergraduate students.After following a series of ENADE grades, we suggest expanding the variables under study to consolidate the mechanisms for evaluating medical programs. This study identified strategic aspects for reflecting on the approaches to be taken by regulatory agencies and medical program administrators. Starting from the use of these evaluation parameters, a possible proposal for standardizing evaluation systems in different countries can be developed. DiskussionIn dieser Studie wurden die Einflussfaktoren auf die ENADE-Ergebnisse der medizinischen Grund- bzw. Bachelorstudienprogramme im Jahre 2010 für ganz Brasilien untersucht. Die folgenden Faktoren hatten einen positive Effekt auf die Ergebnisse in dem ENADE: Einbettung des Studienprogramms an einer Universität oder einer staatlichen Hochschule, längeres Bestehen des Studienprogramms, weniger autorisierte Studienplätze, mehr Lehrende mit Master- oder Doktortitel, Angebot von stricto sensu Post-Graduiertenprogrammen und eine höher Gesamtzahl an Krankhausbetten. Mit Blick auf die Klassifizierung der medizinischen Ausbildungsprogramme nach ihrer akademischen Organisation zeigte sich, dass 70,6% der Studienprogramme an Universitäten angeboten wurden, obwohl dieser Hochschultyp nur 8% aller Hochschulen Brasiliens ausmacht .Von den Studienprogrammen, die an Universitäten angeboten wurden, erhielten 82,9% das Ergebnis 4 oder 5 in dem ENADE, wohingegen nur 60% der Studienprogramme, die an anderen Hochschulen angeboten wurden, diese Ergebnisse erzielten. Dies könnte darin begründet sein, dass Universitäten komplexe Ausbildungsstätten sind, die Grund- und Graduiertenstudienprogramme anbieten sollten, über weitgehend vollzeitbesetzte Fakultäten mit höher akademisch ausgebildeten Lehrenden und über etablierte, hochangesehene Forschungszentren verfügen sollten sowie auf eine umfangreiche Infrastruktur zurückgreifen können und wissenschaftliche Publikationen auf hohem Niveau veröffentlichen sollten , . Hinzu kommt, dass Hochschulen ein hohes Maß an Professionalität aufweisen müssen, um als Universitäten klassifiziert zu werden, was sich wiederum positiv auf die Qualität des Studienprogramms auswirken kann. In Bezug auf die Bestehensdauer der medizinischen Studienprogramme in Brasilien ist anzumerken, dass alle eine Regelstudienzeit von 6 Jahren haben. Da ENADE allerdings für alle Studierenden, die 80% der Mindeststudienleistungsstunden abgeschlossen haben, verpflichtend ist, wurden auch Studienprogramme, die erst vor fünf Jahren ins Leben gerufen wurden berücksichtigt . Hinsichtlich der Bestehensdauer eines Studienprogramms zum Zeitpunkt der Prüfung durch ENADE ist zu sagen, dass Studienprogramme in der ENADE 4–5 Gruppe eine ungefähr fünfmal so lange Bestehensdauer wie die Studienprogramme der ENADE 1–2 Gruppe hatten. Die Bestehensdauer eines Studienprogramms hat einen Einfluss auf die ENADE-Ergebnisse. Die Analyse weltweiter Rankings der Universitäten zeigt, dass unter den ältesten Universitäten oft auch die besten zu finden sind. Die 10 Universitäten, die das Academic Ranking of World Universities (ARWU) der Shanghai Jiao Tong University am höchsten einstuft, bestehen alle mindestens seit 100 Jahren [http://www.timeshighereducation.co.uk/world-university-rankings/2013-14/world-ranking]. Institutionelle Reife ist das Resultat langfristiger komplexer Prozesse und kann auch im guten Ruf dieser Hochschulen begründet sein, der die besten Lehrenden und Lernenden anzieht, wodurch sich die Merkmale hervorragender Leistung weiter perpetuieren [20]. Eine stark ausgeprägte Kultur der Spitzenleistung kann sich nur graduell entwickeln und verfestigt sich erst über die Zeitläufte von Jahrzehnten und mitunter auch Jahrhunderten. Dennoch kann die Bestehensdauer eines medizinischen Studienprogramms nicht als Garantie für akademische Spitzenleistung gesehen werden, da Faktoren wie adäquate Fördermittel, fortschrittliche Administration, Forschungstalente und institutionelle Autonomie für die Qualität eines Studienprogramms genauso relevant sind wie die Bestehensdauer – wenn nicht sogar noch relevanter [http://www.timeshighereducation.co.uk/world-university-rankings/2013-14/world-ranking].Mit Blick auf die Zahl der Studienplätze ergab sich für die ENADE 1–2 Gruppe ein Median von 100 Studienplätze, der den der ENADE 4–5 Gruppe (Median=80) übertrifft. Der Unterschied zwischen beiden Gruppen kann mit dem für das Medizinstudium notwendigen Kapital in Form von materiellen Gütern, Lehrenden und Krankenhausbetten erklärt werden, das von Studienprogrammen mit einer höheren Angebot von Studienplätzen nicht immer ausreichend zur Verfügung gestellt werden kann. Diese Differenz an Lehrmitteln im weitesten Sinne könnte auch den qualitativen Unterschied zwischen den beiden Gruppen erklären. In Brasilien wurden die medizinischen Studienprogramme in mehreren Phasen entwickelt, wobei es keine einheitliche Richtlinie zur Regulierung des Angebots von Studienplätzen gab . Ob die Klassengröße einen maßgeblichen Faktor für die Qualität der Lehre bildet, ist umstritten. Mitunter wird die Meinung vertreten, dass die Arbeit mit kleineren Klassen mehr individuelle Aufmerksamkeit und eine Verbesserung der Qualität des studentischen Lernens ermöglicht. Einige Ausbildungsadministratoren vertreten auch eine Zwischenposition in diesem relativ unbestimmten Feld, indem sie, ohne die Vorteile kleiner Klassen anzuzweifeln, die Budgetrestriktionen betonen, die sich aus solchen Initiativen ergeben. Dann gibt es noch Ausbildungswissenschaftler, die der Auffassung sind, dass die Annahme, kleinere Klassen führen zu besserem Lernen, nicht durch die bestehenden wissenschaftlichen Nachweise belegt werde , , .Die Analyse bezüglich der akademischen Grade der Fakultätsmitglieder der verschiedenen Studienprogramme zeigt eine Prädominanz von Lehrenden mit einem „Spezialisten“-Titel in der ENADE 1–2 Gruppe und eine Prädominanz von Lehrenden mit Master- und Doktortiteln in der ENADE 4–5 Gruppe. An brasilianischen Hochschulen werden zwei Arten von Post-Graduiertenprogrammen angeboten: lato sensu Programme, die an allen Hochschultypen angeboten werden können und mit einem „Spezialist“-Titel abgeschlossen werden, und stricto sensu Programme, die nur an Hochschulen, die vom Bildungsminister akkreditiert wurden, angeboten werden können und mit einem Master- oder Doktortitel abgeschlossen werden. Größere Schwierigkeiten gibt es in Hochschulen ohne Ausbildungszentren für Lehrpersonal . Da staatliche Universitäten vorzugsweise Lehrende mit akademischen Titeln einstellen, kommt es zu einer großen Diskrepanz zwischen den verschiedenen Hochschulen, wie an der minimalen Anzahl von Fakultätsmitgliedern mit Doktortitel (n=0) und der maximal Anzahl (n=371) zu sehen ist. Der „Spezialisten“-Titel, der in Brasilien von medizinischen Fachgesellschaften und der Nationalen Kommission für medizinische Weiterbildung (Comissão Nacional de Residência Médica – CNRM) vergeben wird, entspricht dem Titel eines „sensu lato Spezialisten“. Daher gibt es mehr Lehrende mit einem solchen Ausbildungsgrad . Eine besser qualifizierte Fakultät bringt ein höheres intellektuelles und wissenschaftliches Niveau mit sich und kann die Lehrqualität positiv beeinflussen , .Die Gesamtzahl der Studienleistungsstunden der Studienprogramme, die in der Gruppe ENADE 1–2 vertreten waren, belief sich auf einen Median von 8298 Stunden und war somit etwas niedriger als der Median der Gruppe ENADE 4–5 (Median der Studienleistungsstunden=8400 Stunden). Der Beschluss Nr. 2 des Nationalen Rats für Bildung (Conselho Nacional de Educaçao – CNE) am 2. Juni 2007 fordert ein Minimum von 7200 Studienleistungsstunden . Brasilianische Hochschulen können autonom ihre Curricula und die Gesamtzahl an Studienleistungsstunden bestimmen . Alle Hochschulen, bei denen die Anzahl von Studienleistungsstunden unterhalb der rechtlich festgelegten Mindestzahl liegt, sind staatliche IES. Hier gibt es einen kleinen Unterschied, wobei die ENADE 4–5 Gruppe etwas besser abschneidet. Allerdings ist die Frage, wie die Stunden genutzt werden wichtige als die Gesamtzahl an Stunden. Wenn die Qualifikationen der Lehrenden an einer Fakultät nicht zureichend sind, dann ist die Gesamtzahl der Studienleistungsstunden eines medizinischen Ausbildungsprogramms irrelevant. Diesen Analyseabschnitt zusammenfassend lässt sich also sagen, dass andere Faktoren, wie etwa die Qualität der Lern- und Lehraktivitäten und primär die Qualifikation der Fakultätsmitglieder, relevanter sind als die Anzahl der Studienleistungsstunden .Die Mehrzahl (93,4%) der medizinischen Ausbildungsprogramme, die am gleichen Campus stricto sensu Post-Graduiertenprogramme im Bereich des Gesundheitswesens und Grund- bzw. Bachelorstudienprogramme anbieten, erzielten ein ENADE-Ergebnis von 4 oder 5. Die Mehrzahl der Ausbildungsprogramme (53,8%) ohne stricto sensu Post-Graduiertenprogramm erzielten ein Ergebnis von 1 oder 2 bei ENADE. Aus unserer Sicht ist die Wissensproduktion und die Ausbildung qualifizierter Lehrender, die an der Institution selbst verbleiben, eine wahrscheinliche Folge solcher Post-Graduierten-Programme, deren erklärtes Ziel es ist, Forschung anzuregen und Dozenten fortzubilden .Von den medizinischen Studienprogrammen, die an staatlichen Hochschulen angeboten werden, haben 96,3% ein befriedigendes Ergebnis erzielt, während dies nur bei 50,0% der Studienprogramme der privaten Hochschulen der Fall war. Dieses Ergebnis ist mit der besseren Struktur, den größeren Ausgaben für Forschung und den Beschränkungen in der Anstellung unzureichend qualifizierten Personals an staatlichen Hochschulen zu erklären. Dennoch ist es wichtig anzumerken, dass sich gegenwärtig der Ausbau bzw. die Neueinrichtung medizinischer Studienprogramme hauptsächlich im privaten Sektor konzentriert. In diesem Sektor fordert das MEC bessere Qualität .76,3% der medizinischen Studienprogramme, die eine traditionelle Lehrmethode implementiert haben, erzielten ein Ergebnis von 4 oder 5, während dieser Wert bei 70,0% für Studienprogramme mit einer aktiven Methode (active method – AM) lag. Im Gegensatz zu dem, was in der bestehenden Literatur zu lesen ist, liegt die Vermutung nahe, dass es keine signifikanten Unterschiede zwischen diesen beiden Methoden gibt . Die befriedigenden Ergebnisse bei dem 2010 ENADE könnte in der Zahl der medizinischen Ausbildungsprogramme, die eine AM implementiert haben, begründet sein und auch darin, dass die AM in Brasilien noch nicht lange angewendet wird. Seit der Veröffentlichung des DNC haben viele medizinische Ausbildungsstätten ihr Curriculum umstrukturiert und nach neuen Lehrmethoden wie der AM gesucht. Die vorherrschende Lehrmethode in Brasilien ist das problembasierte Lernen (Problem-Based Learning – PBL) und die Problematisierung mit Hilfe des „Maguerez Bogens” . Der Schwerpunkt liegt auf medizinischer Grundversorgung, wobei die Lehr- und Lernstätten die Basiseinheiten für Gesundheit (Unidades Básicas de Saúde – UBS) miteinbeziehen sollten, vor allem die Einheiten, die sich mit dem Programm für Gesundheit der Familie beschäftigen, um eine umfassende Versorgung und eine interdisziplinäre Perspektive der medizinischen Studienprogramme sicherzustellen. Bezüglich der Gesamtzahl an Krankenhausbetten in den Gemeinden, in denen die medizinischen Studienprogramme lokalisiert sind, ergab sich in der ENADE 1–2 Gruppe ein Median von 1461 Betten, der niedriger war als der Median der ENADE 4–5 Gruppe (2253 Betten) . Obwohl diese Variable nicht gleichmäßig bei der Evaluierung medizinischer Studienprogramme berücksichtigt wird, schreibt die vorliegende Studie dieser Variablen eine gewisse Signifikanz zu, da abwechslungsreiche Lehr- und Lernszenarios die Ausbildung von Studierenden in Grund- bzw. Bachelorprogrammen bereichern. Nach der Begutachtung einer Reihe von ENADE-Ergebnissen lässt sich die Empfehlung zur Erweiterung der untersuchten Variablen aussprechen, um den Prozess der Evaluierung medizinischer Studienprogramme zu vertiefen. Diese Studie hat strategische Aspekte zur Reflektion über Ansätze identifiziert, die von Regulierungsbehörden und Administratoren medizinischer Studienprogramme angewendet werden sollten. Mit dem Einsatz von Evaluationsparametern beginnend kann möglicherweise ein standardisiertes Evaluationssystems für verschiedene Länder entwickelt werden. ConclusionsThe factors that positively affected the ENADE grades of medical programs included a longer period of existence, a smaller number of authorized openings for students, existence of stricto sensu graduate programs and being part of a public HEI. SchlussfolgerungAls positive Einflussfaktoren auf die ENADE-Ergebnisse konnten ein längeres Bestehen der Studienprogramme, weniger Studienplätze, das Angebot eines stricto sensu (d.h. ministeriell akkreditierten) Post-Graduiertenprogramms und die Einbettung in eine staatliche Hochschule definiert werden. List of abbreviationsENADE: National Student Performance ExaminationHEIs: higher education institutionsMEC: Ministry of EducationSINAES: National System of Higher Education EvaluationINEP: National Institute of Educational Studies and ResearchDCN: National Curriculum GuidelinesIBGE: Brazilian Institute of Geography and StatisticsARWU: Academic Ranking of World UniversitiesCNRM: National Commission of Medical ResidencyCNE: National Council for EducationPBL: Problem-Based LearningUBS: Basic Healthcare UnitsPSF: Family Health Program; AM: active method AbkürzungenENADE (Exame Nacional de Desempenho dos Estudantes): Nationales Examen zur Erfassung der Studentischen LeistungIES (Instituto de Educação Superior): HochschuleMEC (Ministério da Educação): BildungsministeriumSINAES (Sistema Nacional de Avaliação da Educação Superior): Nationales Evaluationssystem der HochschulbildungINEP (Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira): Nationales Institut für Erziehungswissenschaft und -forschungDCN (Diretrizes Curriculares Nacionais): Nationale Curriculum-RichtlinienIBGE (Instituto Brasileiro de Geografia e Estatística): Brasilianisches Institut für Geographie und StatistikARWU (Academic Ranking of World Universities): Shanghai-RankingCNRM (Comissão Nacional de Residência Médica): Nationale Kommission für medizinische WeiterbildungCNE (Conselho Nacional de Educaçao): Nationaler Rat für BildungPBL (Problem-based learning): Problembasiertes LernenUBS (Unidades Básicas de Saúde): Basiseinheit für GesundheitPSF (Programa Saúde da Familia): Programm für Gesundheit der FamilieAM (active method): Aktive Methode Authors’ contributionsTAN contributed to conception, design and acquisition of data as well as the analysis and interpretation of the data; PSFP contributed to the analysis and interpretation of data and was involved in drafting the manuscript and revising it critically for important intellectual content; MLN contributed to conception design and acquisition of data and gave the final approval of the version to be published; ACM contributed to the drafting of the manuscript and revising it critically for important intellectual content and gave the final approval of the version to be published.All authors read and approved the final product. AnmerkungTAN wirkte bei der Konzeption und dem Design sowie bei der Datenerhebung, -analyse und -interpretation mit; PSFP wirkte bei der Datenanalyse und -interpretation mit und war an der Ausarbeitung sowie der kritischen inhaltlichen Revision des Manuskript beteiligt; MLN wirkte bei der Konzeption und dem Design sowie der Datenerhebung mit und gab die endgültige Freigabe für die Veröffentlichung; ACM wirkte bei der Ausarbeitung und der kritischen inhaltlichen Revision des Manuskripts mit und gab die endgültige Freigabe für die Veröffentlichung.Alle Autoren haben die Endfassung gelesen und genehmigt. Competing interestsThe authors declare that they have no competing interests. InteressenkonfliktDie Autoren erklären, dass sie keine Interessenkonflikte im Zusammenhang mit diesem Artikel haben. Flexner A 1972 Medical education in the United States and Canada Flexner A. Medical education in the United States and Canada. New York: The Carnegie Foundation for the Advancement of Teaching; 1972. Cooke M Irby DM Sullivan W Ludmerer KM American medical education 100 years after the Flexner Report 2006 N Engl J Med 1339-1344 Cooke M, Irby DM, Sullivan W, Ludmerer KM. American medical education 100 years after the Flexner Report. N Engl J Med. 2006;355(13):1339-1344. DOI: 10.1056/NEJMra055445 http://dx.doi.org/10.1056/NEJMra055445 Contreras R Ubilla S Ugalde H Vicentini E Comparative study of the academic aptitude test and final graduate records of students of Chilean medical schools 1984 Rev Med Chile 1033-1043 Contreras R, Ubilla S, Ugalde H, Vicentini E. Comparative study of the academic aptitude test and final graduate records of students of Chilean medical schools. Rev Med Chile. 1984;112(10):1033-1043. Noriega JT Los exámenes nacionales de medicina (ENAM) en el Peru. 2008 Rev Peru Med Exp Salud Pública 316-318 Noriega JT. Los exámenes nacionales de medicina (ENAM) en el Peru. [Peruvian National Board of Medical Examiners (ENAM)]. Rev Peru Med Exp Salud Pública. 2008;25:316-318. Putnam CE Reform and innovation: medical education in the 20th century USA 2006 Orvostort Kozl 23-34 Putnam CE. Reform and innovation: medical education in the 20th century USA. Orvostort Kozl. 2006;51(3-4):23-34. Gerrity MS Mahaffy J Evaluating change in medical school curricula: how did we know where we were going? 1998 Acad Med S55-S59 Gerrity MS, Mahaffy J. Evaluating change in medical school curricula: how did we know where we were going? Acad Med. 1998;73(9 Suppl):S55-S59. DOI: 10.1097/00001888-199809000-00036 http://dx.doi.org/10.1097/00001888-199809000-00036 Gould BE O’Connell MT Russel MT Pipas CF McCurdy FA Teaching quality measurement and improvement, cost-effectiveness, and patient satisfaction in undergraduate medical education: the UME-21 experience 2004 Fam Med S57-S62 Gould BE, O’Connell MT, Russel MT, Pipas CF, McCurdy FA. Teaching quality measurement and improvement, cost-effectiveness, and patient satisfaction in undergraduate medical education: the UME-21 experience. Fam Med. 2004;36:S57-S62. Kassebaum DG Cutler ER Eaglen RH. The influence of accreditation on educational change in U.S. medical schools 1997 Acad Med 1127-1133 Kassebaum DG, Cutler ER. Eaglen RH. The influence of accreditation on educational change in U.S. medical schools. Acad Med. 1997;72(12):1127-1133. DOI: 10.1097/00001888-199712000-00029 http://dx.doi.org/10.1097/00001888-199712000-00029 Tsou KI Cho SL Lin CS Sy LB Yang LK Chou TY Chiang HS Short-term outcomes of a near-full PBL curriculum in a new Taiwan medical school 2009 Kaohsiung J Med Sci 282-293 Tsou KI, Cho SL, Lin CS, Sy LB, Yang LK, Chou TY, Chiang HS. Short-term outcomes of a near-full PBL curriculum in a new Taiwan medical school. Kaohsiung J Med Sci. 2009;25(5):282-293. DOI: 10.1016/S1607-551X(09)70075-0 http://dx.doi.org/10.1016/S1607-551X(09)70075-0 Nogueira SM Revisitando a autodirecção na aprendizagem: atributos e características do educando autodirigido. 2011 Rev Linhas 111-130 Nogueira SM. Revisitando a autodirecção na aprendizagem: atributos e características do educando autodirigido. [Revisiting self-directed learning: attributes and characteristics of the self-directed learner]. Rev Linhas. 2011;12:111-130. Zandavalli CB Avaliação da educação superior no Brasil: os antecedentes históricos do SINAES. 2009 Rev Aval Educ Sup 385-438 Zandavalli CB. Avaliação da educação superior no Brasil: os antecedentes históricos do SINAES. [Evaluation of higher education in Brazil: the historical precedents of SINAES]. Rev Aval Educ Sup. 2009;14:385-438. DOI: 10.1590/S1414-40772009000200008 http://dx.doi.org/10.1590/S1414-40772009000200008 Ministério da Educação (Ministry of Education Institui o Sistema Nacional de Avaliação da Educação Superior – SINAES e dá outras providências 2004 Diário Oficial da União (The Brazilian Official Gazette) 10,861 Ministério da Educação (Ministry of Education. Institui o Sistema Nacional de Avaliação da Educação Superior – SINAES e dá outras providências [Establishes the National System of Higher Education Evaluation (SINAES) and other measures]. Diário Oficial da União (The Brazilian Official Gazette). 2004;1:3/4:10,861. Conselho Nacional de Educação (National Council for Education) Institui Diretrizes Curriculares Nacionais do Curso de Graduação em Medicina 2001 Diário Oficial da União (The Brazilian Official Gazette) 38 Conselho Nacional de Educação (National Council for Education. Institui Diretrizes Curriculares Nacionais do Curso de Graduação em Medicina [Establishes the National Curriculum Guidelines for Undergraduate Medical Programs]. Diário Oficial da União (The Brazilian Official Gazette). 2001;1:38. Ministério da Educação (Ministry of Education) 2013 Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. Manual do ENADE 2013 Ministério da Educação (Ministry of Education). Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. Manual do ENADE 2013. [The Anisio Teixeira National Institute for Educational Studies and Research. The 2013 ENADE Manual]. Brasília: INEP; 2013. Ministério da Educação (Ministry of Education) Institui o e-MEC, sistema eletrônico de fluxo de trabalho e gerenciamento de informações relativas aos processos de regulação da educação superior no sistema federal de educação 2007 Diário Oficial da União (The Brazilian Official Gazette) 39-43 Ministério da Educação (Ministry of Education). Institui o e-MEC, sistema eletrônico de fluxo de trabalho e gerenciamento de informações relativas aos processos de regulação da educação superior no sistema federal de educação [Establishes e-MEC, the electronic system for the workflow and management of information concerning procedures for regulating higher education in the federal education system]. Diário Oficial da União (The Brazilian Official Gazette). 2007;1:39-43. Ministério da Educação (Ministry of Education) 2010 Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. Prova de Medicina 2010 Ministério da Educação (Ministry of Education). Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. Prova de Medicina 2010 [The Anisio Teixeira National Institute for Educational Studies and Research. The 2010 Medical Examination]. Brasília (DF): INEP; 2010. Ministério da Educação (Ministry of Education) 2011 Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira Ministério da Educação (Ministry of Education). Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. [The Anisio Teixeira National Institute for Educational Studies and Research]. Brasília (DF): INEP; 2011. Zugänglich unter/available from: http://portal.inep.gov.br/superior-censosuperior-sinopse http://portal.inep.gov.br/superior-censosuperior-sinopse Martins CB O ensino superior brasileiro nos anos 90 2000 São Paulo Perspec 41-60 Martins CB. O ensino superior brasileiro nos anos 90. São Paulo Perspec. 2000;14:41-60. DOI: 10.1590/S0102-88392000000100006 http://dx.doi.org/10.1590/S0102-88392000000100006 Ministério da Educação / Conselho Nacional de Educação / Câmara de Educação Superior (Ministry of Education / National Council for Education / Board of Higher Education) Regulamenta o Art. 52 da Lei nº 9.394, de 20 de dezembro de 1996, e dispõe sobre normas e procedimentos para credenciamento e recredenciamento de universidades do Sistema Federal de Ensino 2010 Resolução (Resolution) Ministério da Educação / Conselho Nacional de Educação / Câmara de Educação Superior (Ministry of Education / National Council for Education / Board of Higher Education). Regulamenta o Art. 52 da Lei nº 9.394, de 20 de dezembro de 1996, e dispõe sobre normas e procedimentos para credenciamento e recredenciamento de universidades do Sistema Federal de Ensino [Regulates Art. 52 of Law no. 9,394, December 20, 1996, and provides on standards and procedures for the accreditation and re-accreditation of universities in the Federal Education System]. Resolução (Resolution). 2010;3. Lampert JB 2002 Tendências de mudanças na formação médica no Brasil: tipologia das escolas. [Changing trends in Brazil's medical education: school typology] Lampert JB. Tendências de mudanças na formação médica no Brasil: tipologia das escolas. [Changing trends in Brazil's medical education: school typology]. São Paulo: Hucitec; 2002. Glass GV Smith ML Meta-analysis of research on class size and achievement 1979 Educ Eval Policy Anal 2-16 Glass GV, Smith ML. Meta-analysis of research on class size and achievement. Educ Eval Policy Anal. 1979;1:2-16. DOI: 10.3102/01623737001001002 http://dx.doi.org/10.3102/01623737001001002 Hattie J The paradox of reducing class size and improving learning outcomes 2005 Int J Educ Res 387-425 Hattie J. The paradox of reducing class size and improving learning outcomes. Int J Educ Res. 2005;43:387-425. DOI: 10.1016/j.ijer.2006.07.002 http://dx.doi.org/10.1016/j.ijer.2006.07.002 Odden A Class size and student achievement: research-based policy alternatives 1990 Educ Eval Policy Anal 213-227 Odden A. Class size and student achievement: research-based policy alternatives. Educ Eval Policy Anal. 1990;12:213-227. DOI: 10.3102/01623737012002213 http://dx.doi.org/10.3102/01623737012002213 Costa NM Docência no ensino médico: por que é tão difícil mudar? 2007 Rev Bras Educ Med 21-30 Costa NM. Docência no ensino médico: por que é tão difícil mudar? [Medical teaching: why is it so difficult to change?] Rev Bras Educ Med. 2007;31(1):21-30. DOI: 10.1590/S0100-55022007000100004 http://dx.doi.org/10.1590/S0100-55022007000100004 Ministério da Educação / Conselho Nacional de Educação / Câmara de Educação Superior (Ministry of Education / National Council for Education / Board of Higher Education) 1998 Especialização em área professional [Specialization in a professional field] Ministério da Educação / Conselho Nacional de Educação / Câmara de Educação Superior (Ministry of Education / National Council for Education / Board of Higher Education). Especialização em área professional [Specialization in a professional field]. Brasília (DF): Conselho Nacional de Educação [National Council for Education]; 1998. No 908. Garcia MA Silva AL Um perfil do docente de medicina e sua participação na reestruturação curricular 2011 Rev Bras Educ Med 58-68 Garcia MA, Silva AL. Um perfil do docente de medicina e sua participação na reestruturação curricular [A profile of medical professors and their role in reorganizing the course curriculum]. Rev Bras Educ Med. 2011;35:58-68. DOI: 10.1590/S0100-55022011000100009 http://dx.doi.org/10.1590/S0100-55022011000100009 Gontijo ED Senna MIB Lima LB Duczmal LH Cursos de graduação em medicina: uma análise a partir do SINAES 2011 Rev Bras Educ Med 209-218 Gontijo ED, Senna MIB, Lima LB, Duczmal LH. Cursos de graduação em medicina: uma análise a partir do SINAES [Undergraduate medical courses in Brazil: an analysis based on the SINAES system]. Rev Bras Educ Med. 2011;35:209-218. DOI: 10.1590/S0100-55022011000200010 http://dx.doi.org/10.1590/S0100-55022011000200010 Ministério da Educação / Conselho Nacional de Educação / Câmara de Educação Superior (Ministry of Education / National Council for Education / Board of Higher Education) Dispõe sobre carga horária mínima e procedimentos relativos à integralização e duração dos cursos de graduação, bacharelados, na modalidade presencial 2007 Resolução (Resolution) Ministério da Educação / Conselho Nacional de Educação / Câmara de Educação Superior (Ministry of Education / National Council for Education / Board of Higher Education). Dispõe sobre carga horária mínima e procedimentos relativos à integralização e duração dos cursos de graduação, bacharelados, na modalidade presencial [Provides on the minimum number of credit hours and procedures for the payment and duration of undergraduate and bachelor's degree programs, in in-person learning]. Resolução (Resolution). 2007;2. Presidência da República (Presidency of the Republic) Lei n.º 9.394. Estabelece as diretrizes e bases da educação nacional 1996 Diário Oficial da União (The Brazilian Official Gazette) 27833 Presidência da República (Presidency of the Republic). Lei n.º 9.394. Estabelece as diretrizes e bases da educação nacional [Law no. 9,394. Establishes the guidelines and foundations for national education]. Diário Oficial da União (The Brazilian Official Gazette). 1996;1:27833. Lavy V 2009 The causal effect of instructional time on achievements in math, science and reading: evidence from developed and developing countries Lavy V. The causal effect of instructional time on achievements in math, science and reading: evidence from developed and developing countries [thesis]. London: The Hebrew University of Jerusalem. Royal Holloway University of London; 2009. Ministério da Educação (Ministry of Education) Coordenação de Aperfeiçoamento de Pessoal de Nível Superior – CAPES [Brazilian Federal Agency for the Support and Evaluation of Graduate Education] Ministério da Educação (Ministry of Education). Coordenação de Aperfeiçoamento de Pessoal de Nível Superior – CAPES [Brazilian Federal Agency for the Support and Evaluation of Graduate Education]. Brasília (DF): CAPES. Zugänglich unter/available from: http://www.capes.gov.br/sobre-a-capes/historia-e-missao http://www.capes.gov.br/sobre-a-capes/historia-e-missao Sguissardi V Modelo de expansão da educação superior no Brasil: predomínio privado/mercantil e desafios para a regulação e a formação universitária 2008 Educ Soc Campinas 991-1022 Sguissardi V. Modelo de expansão da educação superior no Brasil: predomínio privado/mercantil e desafios para a regulação e a formação universitária [An expansion model for higher education in Brazil: private/commercial predominance and challenges for university regulation and education]. Educ Soc Campinas. 2008;29:991-1022. DOI: 10.1590/S0101-73302008000400004 http://dx.doi.org/10.1590/S0101-73302008000400004 Gomes R Brino RF Aquilante AG Avó LR Aprendizagem baseada em problemas na formação médica e o currículo tradicional de medicina: uma revisão bibliográfica 2009 Rev Bras Educ Med 444-451 Gomes R, Brino RF, Aquilante AG, Avó LR. Aprendizagem baseada em problemas na formação médica e o currículo tradicional de medicina: uma revisão bibliográfica [Problem-based learning in medical education and the development of traditional medicine: a review of the literature]. Rev Bras Educ Med. 2009;33:444-451. DOI: 10.1590/S0100-55022009000300014 http://dx.doi.org/10.1590/S0100-55022009000300014 Berbel NA A problematização e a aprendizagem baseada em problemas: diferentes termos ou diferentes caminhos? 1998 Interface Comun Saúde Educ 139-154 Berbel NA. A problematização e a aprendizagem baseada em problemas: diferentes termos ou diferentes caminhos? [Problematization and problem-based learning: different words or different ways?] Interface Comun Saúde Educ. 1998;2:139-154. DOI: 10.1590/S1414-32831998000100008 http://dx.doi.org/10.1590/S1414-32831998000100008 11en1de

Table 1: Medical Schools’ Performances According to ENADE 2010.

Tabelle 1: Leistung medizinischer Schulen bei ENADE 2010

22en2de

Table 2: Fundamental Features of the Analyzed Sample.

Tabelle 2: Wesentliche Analysemerkmale

33en3de

Table 3: Univariate Comparative Analysis between IES with ENADE 1-2 and ENADE 4-5.

Tabelle 3: Univariate Vergleichsanalyse von IES mit ENADE 1–2 und ENADE 4–5

44en4de

Table 4: Multivariate Analysis of factors associated to ENADE 4-5 performance.

Tabelle 4: Multivariate Analyse der Faktoren in Verbindung mit der Leistung in ENADE 4-5

4 0 0 0