Speakers
Description
Dieses Poster beschreibt den Einsatz großer Sprachmodelle in der Lexikografie zur Generierung von Beispielsätzen für GermaNet (Hamp&Feldweg1997; Henrich&Hinrichs2010b). Wir beschreiben ein Experiment, in dem wir Sätze für eine repräsentative Teilmenge von Substantiven aus GermaNet von drei bekannten Sprachmodellen (LLMs) generieren ließen: ChatGPT (Brown et al. 2020), Deepseek (DeepSeek-AIetal.2024) und Claude (Enis&Hopkins2024). Die daraus resultierenden 3600 Sätze wurden von erfahrenen Lexikographen anhand etablierter Kriterien zur Erstellung von Beispielsätzen in Wörterbuchqualität bewertet (Atkins&Rundell 2008).
Die LLMs lösten die Generierungsaufgabe für monosemische Lemmata am besten. Hier enthielt der Eingabeprompt das Lemma zusammen mit dessen Hypernym. Die Häufigkeiten des Lemmas und seines Hypernyms beeinflussen beide die Satzqualität. Die Art und Weise, wie die beiden Häufigkeiten zusammenwirken, hängt jedoch vom zugrundeliegenden LLM ab. Bei polysemischen Lemmata enthielt der Eingabeprompt das Lemma und seine verschiedenen Hypernyme. Hier steigt die Satzqualität mit der Häufigkeit des Hypernyms, verschlechtert sich jedoch mit dem Grad der Polysemie des Lemmas.
LLMs können Lexikographen unterstützen, sie jedoch nicht ersetzen. Obwohl sie auf riesigen Textdatenmengen trainiert wurden, fehlt es LLMs an der sprachlichen Kompetenz und dem Allgemeinwissen ausgebildeter Fachleute. Daher müssen Lexikographen von LLMs generierte Beispielsätze überprüfen, bevor sie in hochwertige Ressourcen wie GermaNet aufgenommen werden können. Unsere Ergebnisse zeigen, dass die beiden leistungsstärksten LLMs Sätze generieren, die unsere Qualitätskriterien häufig erfüllen. Die Leistung ist besonders gut bei monosemischen Lemmata, die den Großteil der Substantive in GermaNet ausmachen. Bei diesen Lemmata wird den Aufwand im Vergleich zur manuellen Erstellung von Beispielen deutlich reduziert. Bei polysemischen Substantiven sind die Ergebnisse weniger überzeugend; die Generierung mehrerer Kandidaten ermöglicht es Lexikographen jedoch, geeignete Beispiele auszuwählen und nachzubearbeiten. Insgesamt sind zwei Drittel der generierten Sätze für polysemische Substantive zur Aufnahme geeignet, wodurch sich in diesen Fällen der manuelle Überprüfungsaufwand verringert.
Diese Nutzung von LLMs wird in GernEdit (Henrich/Hinrichs2010a), GermaNet‘s Arbeitsumgebung für Lexikographen, verfügbar sein.
Bibliografie:
- Hamp, B. and Feldweg, H. (1997). GermaNet - a Lexical-Semantic Net for German. In Proceedings of the ACL workshop Automatic Information Extraction and Building of Lexical Semantic Resources for NLP Applications. Madrid, Spain.
- Henrich, V. and Hinrichs, E. (2010)a. GernEdiT: A graphical tool for GermaNet development. In Proceedings of the ACL 2010 System Demonstrations, pp. 19–24, Uppsala, Sweden. Association for Computational Linguistics.
- Henrich, V. and Hinrichs, E. W. (2010)b. GernEdiT - The GermaNet Editing Tool. In Calzolari, N., Choukri, K., Maegaard, B., Mariani, J., Odijk, J., Piperidis, S., Rosner, M., and Tapias, D., editors, Proceedings of the International Conference on Language Resources and Evaluation, LREC 2010, 17-23 May 2010, Valletta, Malta. European Language Resources Association.
- Brown, T. B., Mann, B., Ryder, N., Subbiah, M., Kaplan, J., Dhariwal, P., Neelakantan, A., Shyam, P., Sastry, G., Askell, A., Agarwal, S., Herbert-Voss, A., Krueger, G., Henighan, T., Child, R., Ramesh, A., Ziegler, D. M., Wu, J., Winter, C., Hesse, C., Chen, M., Sigler, E., Litwin, M., Gray, S., Chess, B., Clark, J., Berner, C., McCandlish, S., Radford, A., Sutskever, I., and Amodei, D. (2020). Language models are few-shot learners. CoRR, abs/2005.14165.
- DeepSeek-AI, Liu, A., Feng, B., ..., and Pan, Z. (2024). Deepseek-V3 Technical Report. arXiv preprint arXiv:2412.19437.
- Enis, M. and Hopkins, M. (2024). From LLM to NMT: Advancing low-resource machine translation with claude. arXiv preprint arXiv:2404.13813.
- Atkins, B. T. S. and Rundell, M. (2008). The Oxford Guide to Practical Lexicography. Oxford University Press.