Befragung „Einfluss der Pandemie auf das Medizinstudium“ (KI-gestützte Auswertung)
Autorinnen: Dr. Maren März, Victoria Sehy, Jana Struzena
Stand:
08.05.2021 (redaktionelle Korrekturen)
22.03.2021
Sie befinden sich hier:
Zusammenfassung
Die Umfrage wurde im Januar 2021 innerhalb der Kooperation des Progress Test Medizin durchgeführt.
Insgesamt nahmen 2715 Studierende aus 11 Fakultäten teil.
Die Eingaben der Studierenden enthielten eine Fülle von Informationen, die viele Themen berührten und auch Nachteile, Vorteile und Emotionen in alle Antworten einschlossen, unabhängig von der Fragestellung. Daher stellte die Zuordnung zu nur einem Hauptthema eine Herausforderung dar. Teilweise drückten ähnliche Sätze das vollkommene Gegenteil von einander aus, was für Algorithmen wie Latent Dicrichlet Allocatione eine Herausforderung darstellt.
- Studierende haben ihren Lernort nach Hause verlegt. Insbesondere die Bibliotheken fehlten, auch lernten die meisten alleine.
- Als klaren Vorteil sehen 80 % Studierende die Digitalisierung der Vorlesungen. Hauptgründe sind Zeitersparnis (Wege), freie Zeiteinteilung und das Lernen in der eigenen Geschwindigkeit.
- Im Gegenteil dazu, wird der Wegfall des praktischen Unterrichts als klarer Nachteil gesehen - und die fehlende Organisation und Kommunikation der Fakultät. Insbesondere die Prüfungssituation ist unklar. Ein weiterer Nachteil ist der Mangel an sozialen Kontakten.
- Bei einem Teil der Studierenden gibt es keine Veränderung des emotionalen Zustands in Bezug auf das Studium. Ein Teil leidet jedoch unter dem Mangel an sozialen Kontakten. Studierende fühlen sich einsam und demotiviert. Studierende verlieren den Spaß am Studium.
Die Umfrage war anonym.
Positives Votum der Ethikkommission: EA4/242/20
Fragenkatalog
A Geschlossene Fragen:
1. An welcher Fakultät studierst Du Medizin?
2. In welchem Fachsemester studierst Du Medizin?
3. Wie zufrieden warst Du mit Deinen Prüfungsergebnissen insgesamt im SoSe 2020?
B Freitextfragen:
4. Wie hast Du Dein Lernverhalten den Corona-Umständen entsprechend angepasst? (Anpassung)
5. Was waren für Dich die positivsten Veränderungen in Deiner Lernumgebung während der Corona-Semester (SoSe 20 & WiSe 20/21)? (Vorteile/positive Veränderungen)
6. Was waren für Dich die negativsten Veränderungen in Deiner Lernumgebung während der Corona-Semester (SoSe 20 & WiSe 20/21)? (Nachteile/negative Veränderungen)
7. Hat sich Dein emotionaler Zustand in Bezug auf Dein Studium während der Corona-Semester (SoSe 20 & WiSe 20/21) verändert? Wenn ja, inwiefern? Wenn nicht, bitte „nein“ schreiben (Emotionaler Zustand)
Der Fragebogen wurde von Victoria Sehy und Jana Struzena gemeinsam mit Susanne Werner aus dem Prüfungsbereich der Charité - Universitätsmedizin erstellt, basierend auf (Schauber et. al, 2015, Mahdy 2020).
A Geschlossene Fragen
1. Fakultäten und 2. Semester
Die Fakultäten wurden pseudonymisiert.
Keine Angaben zur Faklutät: 93
Keine Angaben zum Fachsemester: 50
3. Zufriedenheit mit den Prüfungsergebnissen (performance)
Zur Auswahl standen 5 smileys von sehr trauriger smiley = 1 bis sehr glücklicher smiley = 5.
N = 2574
Mittelwert = 3,7; SD = 1,2 ; Median = 4
Insgesamt waren die Studierenden über alle Semester und Fakultäten hinweg recht zufrieden mit der Leistung in den summativen Prüfungen. Eine Universität (faculty 2) sticht mit besonders zufriedenen Studierenden hervor.
Bei den Semestern unterscheiden sich das erste, zudem das 11. und 12. Semester (also die Semester nach dem 2. Staatsexamen) von dem Verteilungsmuster der restlichen Semester.
B Freitextfragen
Die überwiegende Mehrheit der Umfragen verwendet Fragen mit vorgegebenen Antworten (z. B. Skala oder vorgegebene Kategorien). Freitextfragen gelten traditionell als schwieriger zu analysieren als ihre geschlossenen Gegenspieler, da die Auswertung i. d. R. durch Mitarbeiter*innen durchgeführt werden muss (Roberts et al., 2014).
Zunehmende Verbreitung findet die Analyse offener Antworten durch Topic Analyse bzw. Topic Modeling (maschinelles Lernen). In der einfachsten Form ist dies ein automatisierter, nicht supervidierter Prozess (Ghahramani, 2004). Ausgehend von der Annahme, dass jede Antwort eine gewisse Anzahl von Themen (Topics) beinhaltet, werden sogenannte „Bag of Words“ extrahiert, also Worte, die statistisch eine Nähe zueinander aufweisen. Daraus werden Topics abgeleitet (Campbell et al., 2015).
Im Folgenden nennen wir die Antworten "Dokument" bzw. "Eingabe".
LDA (latent Dirichlet Allocation)
Wir verwendeten den Latent-Dirichlet-Allocation-Algorithmus (LDA). Dieser Algorithmus basiert auf der Idee, dass Dokumente als zufällige Mischungen über latente Themen dargestellt werden, wobei jedes Thema durch eine Wahrscheinlichkeitsverteilung über Wörter charakterisiert ist. LDA ordnet sowohl Wörter als auch Dokumente (definiert als Folgen von Wörtern) einem oder mehreren Themen zu. Jedes Dokument wird dem "dominanten" Topic zugeordnet, d. h. demjenigen mit der besten Übereinstimmung, während im Fall von Wörtern die Wahrscheinlichkeitswerte jedes Topics relevant bleiben.
Bei LDA muss die Anzahl an Topics vorher festgelegt werden, die zugehörigen Worte ergeben sich dann rechnerisch.
Zwei weitere wesentliche Parameter sind der Alpha- und der Beta-Parameter, die jeweils einen Wert zwischen 0 (theoretisch) und 1 annehmen können.
Der Alpha-Parameter (in unserem Fall doc_topic_prior) repräsentiert die Dokument-Thema-Dichte: Umso höher der Wert, aus umso mehr Themen bestehen die einzelnen Dokumente. Dies führt zu der Themenverteilung pro Dokument.
Der Beta-Parameter (topic_word_prior) steht für die Themen-Wort-Dichte, was zu einer spezifischeren Wortverteilung pro Thema führt
Der Algorithmus weist jedem Topic eine Nummer zu und ermittelt die Frequenz der Worte für das Topic (Blei et al., 2003).
Datenaufbereitung
Vor jeder Analyse müssen die Daten aufbereitet werden. Jeder der folgenden Aufbereitungsschritte ist mit einem Informationsverlust verbunden. Allerdings sind die meisten Schritte hilfreich, um Zusammenhänge zu erfassen (Campbell et al., 2015).
- Alle Buchstaben wurden in Kleinbuchstaben umgewandelt
- Wortstammbildung (spacy – und nach einer Analyse der Texte auch manuell (‚Bib‘ -> bibliotheken))
- Wir identifizierten zwei sog. Two-grammes ('gar nicht' und 'zu hause'), die wir in die Datenaufbereitung einbezogen.
- Wir entfernten sog. Stoppwörter, behielten jedoch einige Wörter bei, die im Rahmen der Umfrage wichtig waren, aber normalerweise in der Stoppwortliste enthalten sind (z. B. "nicht" oder "kein“).
Wir verwenden den sklearn CountVectorizer, um aus den Einträgen Merkmalsvektoren zu bilden.
Wir verwendeten Gridsearch für die Modelloptimierung (Buitinck et al., 2013) der drei Parameter (Anzahl an Topics, Alpha und Beta).
Software:
Das Topic modeling wurde mit python 3.9 (Python, n.d.) durchgeführt. Für die Aufbereitung und Analyse verwendeten wir die Pakete NLTK (Natural Language Toolkit, n.d.), sklearn (Pedregosa et al., 2011) und spaCy (SpaCy, n.d.). Die Darstellung erfolge mit seaborn (Waskom & the seaborn development Team, 2020) und matplotlib (Hunter, 2007).
Erklärung der Visualisierungen, die wir verwenden
Zur Visualisierung der Topics erfolgt mit t-SNE (t-distributed Stochastic Neighbor Embedding): Jedes Dokument erhält ein Wertepaar im zweidimensionalen Raum. Der Algorithmus ist nicht-linear und passt sich den zugrundeliegenden Daten an, indem er für verschiedene Regionen unterschiedliche Transformationen durchführt. Jeder Punkt steht für ein Dokument, eingefärbt ist jeder Punkt gemäß seinem zugehörigen Topic (van der Maaten & Hinton, 2008).
4. Frage zur Anpassung durch die Pandemie
Die größte Anpassung war die Umstellung auf das Lernen zu Hause, überwiegend allein. Die Bibliothek als Lernort ist weggefallen (Topic 1). Eine weitere Umstellung war die eigene Strukturierung des Lernens und des Alltags (Topic 0).
Insgesamt stand mehr Zeit zur Verfügung bzw. wurde mehr Zeit investiert (allerdings mit unterschiedlichem Erfolg) (Topic 3). Die Zeit konnte besser genutzt werden, da Wege wegfielen und die Vorlesungen online zur Verfügung standen (Topic 4).
Letztendlich gab es auch Studierende, die ihr Lernverhalten nicht oder nur gering veränderten. Dies sind Studierende, die bereits bisher allein zu Hause gelernt haben und Studierende, die während der Pandemie ihr Studium aufgenommen haben. Einigen fällt die Anpassung schwer, was z.B. zu Unsicherheiten hinsichtlich der Prüfungen führt (Topic2).
Topics=5, doc_topic_prior=1 , topic_word_prior=0.6,
444 unterschiedliche Worte
Keinem Topic zuzuordnen: 21 Dokumente/Eingaben
Eingaben: 2265, Missings (fehlende Eingaben): 450
Topic 1 25 % Lernen zu Hause, überwiegend allein, statt in der Bibliothek
Topic 3 22 % Insgesamt mehr Zeit gehabt bzw. investiert, mit unterschiedlichen Erfolgen
Topic 0 20 % Eigene Strukturierung des Lernens und des Alltags
Topic 4 17 % Bessere Nutzung der Zeit, da Wege wegfielen und die Vorlesungen online zur Verfügung standen
Topic 2 16 % Keine/geringe Anpassung
5. Frage nach Vorteilen/positiven Veränderungen
Klarer Vorteil sind die digitalen Vorlesungen, wobei drei Aspekte besonders hervorgehoben wurden:
Insgesamt steht mehr Zeit zur Verfügung, da die Präsenzvorlesungen ausfallen (Topic 0).
Dies ermöglicht auch eine flexiblere Zeitgestaltung (Topic 1).
Außerdem ermöglichen die digitalen Vorlesungen das Lernen in der eigenen Geschwindigkeit – sie können je nach Bedarf schneller, langsamer und wiederholt angesehen werden (Topic 3).
Ein Teil der Studierenden hat keine positiven Veränderungen wahrgenommen (Topic 2).
Topics = 4, doc_topic_prior = 1,topic_word_prior = 0.5,
323 unterschiedlichen Worte
Keinem Topic zuzuordnen: 73
Eingaben: 2306, Missings: 409
Topic 0 31 % Mehr Zeit durch ausfallende Vorlesungen
Topic 3 25 % Lernen in der eigenen Geschwindigkeit
Topic 1 24 % Flexiblere Zeitgestaltung
Topic 2 20 % Keine positiven Veränderungen
6. Frage nach Nachteilen/negativen Veränderungen
Der Hauptnachteil ist der fehlende soziale Kontakt, insbesondere zu Kommiliton*innen, aber auch zu Dozent*innen (Topic 0) und der Ausfall des praktischen Unterrichts (Topic 3).
Das Lernen von zu Hause – mit mehr Ablenkungen und weniger Ausgleich und die geschlossenen Bibliotheken wurden als Nachteil wahrgenommen (Topic 1).
Studierende fühlen sich von den Fakultäten allein gelassen. Der Ausfall des praktischen Unterrichtes (Topic 4), aber auch die unklare Situation und mangelnde Kommunikation vor allem hinsichtlich der Prüfungen (Topic 2) wird als großer Nachteil gesehen.
Topics = 5, doc_topic_prior = 1, topic_word_prior = 1
461 Worte
Keinem Topic zuzuordnen: 50
Eingaben: 2333, Missings: 382
Topic 0 25 % Wenig Kontakt zu Kommiliton*innen, insgesamt fehlende soziale Kontakte
Topic 1 21 % Ungewohnte Lernumgebung, keine Bibliothek
Topic 4 19 % Alleine gelassen, kein praktischer Unterricht
Topic 2 18 % Unklare Situation, mangelnde Kommunikation von Seiten der Fakultät insbesondere hinsichtlich der Prüfungen
Topic 3 17 % Kein praktischer Unterricht, mehr Ablenkung, wenig Abwechslung
7. Frage nach dem emotionalen Zustand
Ein Teil der Studierenden zeigt emotional in Bezug auf das Studium keine Veränderung (Topic 101). Ein kleiner Teil ist starkt belastet - und leidet unter Einsamkeit, Stress, bis hin zu Depressionen (Topic 100). Ein zentrales Thema ist zudem die Motivation - während die meisten unmotiverter sind, nahm bei einigen die Motivation jedoch zu. Auch gab es Schwankungen zwischen dem Sommer- und Wintersemester (in beide Richtungen) (Topic 0).
Mangelnde Organisation und Kommunikation und fehlender praktischer Unterricht führt zu Zweifeln an Studium und Beruf, es kommt auch zur Entfremdung (Topic 3). Der Austausch mit Kommiliton*innen fehlt. Dies führt zu Unsicherheit und Demotivation. Die Einschätzung des eigenen Wissens und Lernens verschlechtert sich, Studierende fühlen sich von der Fakultät alleine gelassen und entwickeln Prüfungsängste (Topic 2).
Topics = 4,doc_topic_prior = 1, topic_word_prior = 0.5,
441 einzelne Worte
Keinem Topic zuzuordnen: 19
Eingaben: 2462, Missings (fehlende Eingaben): 253
Topic 1: 36 % hier haben wir eigenes Topic Modeling durchgeführt
Topic 101 28 % (79 % von Topic 1) keine Veränderung des emotionalens Zustandes bez. auf das Studium
Topic 100 8 % (21 % von Topic 1) Einsamkeit, Stress, fehlende Motivation bis hin zu Depression
Topic 0 24 % Zentraler Punkt hier ist die Motivation: Überwiegend nahm die Motivation ab, bei einigen jedoch auch zu. Auch gab es Schwankungen zwischen dem Sommer- und Wintersemester
Topic 3 20 % Die Organisiation und Kommunikation wird als mangelhaft wahrgenommen, teilweise kommt es zu einer Entfremdung mit dem Studium und dem Beruf
Topic 2 20 % Fehlender Austausch mit Kommiliton*innen, Unsicherheit, Demotivation, alleingelassen von Fakultät, Angst vor Prüfungen
Detailliertere Betrachtung des Topic 1
Sowohl beim Screening der Eingaben, als auch bei der tSNE-Darstellung und in der Häufigkeitsverteilung ist dieses Topic auffällig. Letztere ergibt die Hauptworte "nein" und "ja".
Wir haben daher ein Topic Modeling für alle Eingaben durchgeführt, die diesem Topic zugeordnet waren.
Subtopic 101 sind Studierende, die keine emotionale Belastung durchleben. Sie haben einfach (wie in der Anleitung angegeben) "nein" geschrieben.
Subtopic 100 sind Studierende, die unter Einsamkeit, Stress und fehlender Motivation bis hin zu Depression leiden.
Diese beiden emotional konträr belasteten Sudierendengruppen wurden initial dem gleichen Topic zugeordnet, da in beiden Gruppen das Wort "nein" vorkommt.
Quellenangabe
Blei, D. M., Ng, A. Y., & Jordan, M. I. (2003). Latent Dirichlet Allocation. Journal of Machine Learning Research, 3, 139–159.
Buitinck, L., Louppe, G., Blondel, M., Pedregosa, F., Mueller, A., Grisel, O., Niculae, V., Prettenhofer, P., Gramfort, A., Grobler, J., Layton, R., Vanderplas, J., Joly, A., Holt, B., & Varoquaux, G. (2013). API design for machine learning software: experiences from the scikit-learn project. 1–15.
Campbell, J. C., Hindle, A., & Stroulia, E. (2015). LATENT DIRICHLET ALLOCATION: EXTRACTING TOPICS FROM SOFTWARE ENGINEERING DATA. In The Art and Science of Analyzing Software Data. Elsevier Inc. https://doi.org/10.1016/B978-0-12-411519-4.00006-9
Ghahramani, Z. (2004). Unsupervised Learning (O. Bousquet, U. von Luxburg, & G. Rätsch (Eds.); pp. 72–112). Springer Berlin Heidelberg. https://doi.org/10.1007/978-3-540-28650-9_5
Hu, Y., Boyd-Graber, J., & Satinoff, B. (2011). Interactive topic modeling. Proceedings Ofthe 49th Annual Meeting Ofthe Association for Computational Linguistics, 248–257.
Hunter, J. D. (2007). Matplotlib: A 2D Graphics Environment. Computing in Science & Engineering, 9(3), 90–95. https://doi.org/10.1109/MCSE.2007.55
Mahdy MAA (2020) The Impact of COVID-19 Pandemic on the Academic Performance of Veterinary Medical Students. Front. Vet. Sci. 7:594261.doi: 10.3389/fvets.2020.594261
Natural Language Toolkit. (n.d.). https://www.nltk.org/
Pedregosa, F., Varoquaux, G., Gramfort, A., Michel, V., Thirion, B., Grisel, O., Blondel, M., Prettenhofer, P., Weiss, R., Dubourg, V., Vanderplas, J., Passos, A., Cournapeau, D., Brucher, M., Perrot, M., & Duchesnay, É. (2011). Scikit-learn: Machine Learning in Python. Journal of Machine Learning Research, 12, 2825–2830.
Python. (n.d.). Retrieved October 25, 2019, from https://www.python.org/
Roberts, M. E., Stewart, B. M., Tingley, D., Lucas, C., Leder-Luis, J., Gadarian, S. K., Albertson, B., & Rand, D. G. (2014). Structural topic models for open-ended survey responses. American Journal of Political Science, 58(4), 1064–1082. https://doi.org/10.1111/ajps.12103
Schauber SK, Hecht M, Nouns ZM, Kuhlmey A, Dettmer S. The role of environmental and individual characteristics in the development of student achievement: a comparison between a traditional and a problem-based-learning curriculum. Adv Health Sci Educ Theory Pract. 2015 Oct;20(4):1033-52. doi: 10.1007/s10459-015-9584-2. Epub 2015 Jan 24. PMID: 25616720.
spaCy. (n.d.). https://spacy.io/
van der Maaten, L., & Hinton, G. (2008). Visualizing Data using t-SNE. Journal of Machine Learning Research, 9, 2579–2605.
Waskom, M., & the seaborn development Team. (2020). Seaborn. https://doi.org/10.5281/zenodo.592845
Research Resource Identifiers
MatPlotLib, RRID:SCR_008624
Python Programming Language, RRID:SCR_008394
scikit-learn, RRID:SCR_002577
seaborn, RRID:SCR_018132