Speakers
Description
Auch wenn die großen Entwicklungssprünge der Large Language Models (LLMs) noch nicht lange zurückliegen, wird ihr Potenzial für die Wissenschaft – und insbesondere die Digital Humanities – von vielen Forschenden als bahnbrechend eingeschätzt. Für das NFDI-Konsortium Text+stelltsichdaherdieFrage,wieesaktivzurEntwicklungundNutzunggroßerSprachmodelle beitragen kann. Die konsortiumsinterne Task Force Große Sprachmodelle diskutiert diese Frage bereits intensiv.
Doch wie werden LLMs in der erweiterten Fachcommunity wahrgenommen, genutzt und welche Bedarfe kristallisieren sich heraus? Welche Chancen und Herausforderungen erkennen Expert:innen verschiedener Fachbereiche in der Entwicklung und Anwendung von LLMs? Diese Fragen wurden – neben weiteren Themenfeldern – im Rahmen einer Community-Befragung der Text+ AG Innovation and Software Services mit Expert:innen verschiedener Fachbereiche erörtert.
Zehn Interviews wurden mit Expert:innen aus Fachrichtungen durchgeführt, in denen Text-as- data-Ansätze zentral sind (Korpus- und Computerlinguistik, Digital Humanities), sowie aus Disziplinen, in denen dies weniger stark der Fall ist (Philosophie, Sozialwissenschaften, Theaterwissenschaften, Kunstgeschichte). In den halbstrukturierten leitfadengestützten Interviews setzten die Interviewenden einerseits thematische Impulse, ließen andererseits aber viel Raum für die eigenen Darstellungen und Einschätzungen der befragten Personen, der auch Abwägungenunduneindeutige Antworten zuließ.
Neben Fragen zur alltäglichen Nutzung von Tools und Bedarfen zur Text- und Sprachdatenanalyse wurden die Beteiligten zu ihrer Einschätzung von LMs bzw. LLMs befragt. Nutzen sie diese bereits für ihre Forschung? Sehen die Expert:innen darin Potenziale für die deutsche Wissenschaftslandschaft und wenn ja, welche? Welche Hürden und Fallstricke werden identifiziert und welche Bedarfe ergeben sich daraus? Das Poster widmet sich den skizzierten Fragen, stellt die Antworten überblicksartig dar und leitet Handlungsbedarfe für Text+ ab.
So sahen die Befragten die größten Herausforderungen bei der wissenschaftlichen Nutzung großer Sprachmodelle im Mangel an Zuverlässigkeit und Reproduzierbarkeit der Ergebnisse. Ebenfalls problematisch schätzten sie die Intransparenz sowohl der Funktionsweise als auch der zugrundeliegenden Trainingsdaten von LLMs ein. Darüber hinaus wurden häufig die zum Teil erheblichen Kosten für die Nutzung kommerzieller LLMs wie ChatGPT angeführt sowie die oftmals unzureichende Rechenkapazität, die für eine intensive Nutzung künstlicher Intelligenz notwendig wäre.
Daraus ergab sich ein besonders häufig geäußerter Wunsch: der Zugang zu leistungsfähiger Rechnerinfrastruktur. Die Modelle, die für eine Forschung nach den Prinzipien guter wissenschaftlicher Praxis vonnöten wären, sollten idealerweise nicht-kommerziell und trotzdem mehrsprachigundperformantsein.Siesolltenstabile und reproduzierbare Ergebnisse ausgeben und sowohl datenschutzkonform als auch lokal genutzt werden können. Zudem sollten mindestensTrainingsdatentransparentsein.DarüberhinausbestehteinBedarfnachfürkonkrete Aufgaben trainierten Modellen (Transformermodelle
Auf Basis dieser Daten ergibt sich ein breites Handlungsfeld für Text+. Dieses reicht von der Bereitstellung einer Arbeitsumgebung mit entsprechender Rechenleistung über das Feintuning von Modellen bis zur Aufbereitung von Korpora für das spezifische Training von LLMs – etwa für historische Sprachformen, Dialekte oder unterrepräsentierte Sprachen.
