LU11b - RAG Chatbot

RAG (Retrieval-Augmented Generation) ist eine gängige Variante, um Fragen zu benutzerspezifischen Dokumenten zu beantworten.

© https://www.ridgerun.ai/post/how-to-evaluate-retrieval-augmented-generation-rag-systems

Zu Beginn muss man die gewünschten Daten (z.B. Lernunterlagen) …

  1. … in Chunks unterteilen
  2. … „embedden“
  3. … in die Vektordatenbank speichern

Der Ablauf funktioniert grob so:

  1. Der Benutzer gibt eine Frage ein, welche an die Applikation geschickt wird.
  2. Die Frage wird „Embedded“ und an die Vektordatenbank geschickt
  3. Von der Vektordatenbank werden die n passendsten Chunks im Klartext an die Applikation zurückgegeben.
  4. Die Applikation schickt die originale Frage im Klartext mitsamt den Chunks an ein LLM-Model
  5. Das LLM-Model schickt eine Antwort zurück an die Applikation
  6. Die Applikation kann z.B. Quellen o. Ä. bei Bedarf ergänzen und die Antwort an den Benutzer zurückschicken.

Vektordatenbank