Speaker
Description
Die Postersession mit flankierender System Demonstration der Text+ RAGestry (https://fdm.awhamburg.de/ragestry) führt in die Methoden der Retrieval Augmented Generation (im folgenden RAG), also der Nutzung eigener Datenquellen in Verbindung mit LLM-Technologie, ein. Dabei sollen sowohl die Potenziale eines Zugangs zu Diensten aus Infrastrukturprojekten als auch des disziplinspezifischen Einsatzes von RAG bei der Analyse sprachlicher Ressourcen gezeigt werden.
Beispielhaft zu nennen sind in diesem Zusammenhang:
- Die Möglichkeit, sensible oder proprietäre Forschungsdaten in Verbindung mit LLM-Technologie zu nutzen, ohne diese externen Diensten zugänglich zu machen.
- Zweckgebundener Einsatz von LLM-Technologie im Hinblick auf ein spezifisches Nutzungs- oder Forschungsszenario.
- Höhere Relevanz der Informationen, die aus eigenen Ressourcen abgerufen und aus denen präzisere und kontextbezogene Antworten generiert werden können.
- Verbesserte Nachvollziehbarkeit der Ergebnisse, da die Datenbasis in menschenlesbarer Form (i. d. R. Volltext oder strukturierte Daten) vorliegt
- Hohes Maß an Anpassungsfähigkeit, da ein RAG-basiertes System kontinuierlich mit neuen (Forschungs-)ergebnissen und Daten aktualisiert werden kann, ohne das gesamte Modell neu trainieren zu müssen.
Zum Zweck der besseren Nachvollziehbarkeit wird die Präsentation eine visuelle Einführung in die Prinzipien der RAG beinhalten, die vor allen Dingen eine Abgrenzung zu anderen Methoden der Anpassung von LLMs, insbesondere dem Fine-Tuning und Prompt Engineering vornimmt.
Darauf aufbauend werden die zentralen Grundbegriffe und Teilschritte der Konzeption und Implementierung eines RAG-Systems, von der Auswahl und Strukturierung der eigenen Datenbasis, der Erstellung von Embeddings durch Vektorisierung, der Wahl geeigneter LLMs für Embedding und Retrieval bis hin zur finalen Anpassung des Systems vorgestellt.
Begleitend findet eine System Demonstration der prototypisch implementierten Text+ RAGestry, einem RAG-basierten Zugang zur Text+ Registry statt, die von Besuchenden praktisch erprobt werden kann.
