- KI
- Backend
- Frontend
Grounded RAG Assistant – belegbares Frage-Antwort über eigene Dokumente
Bildnachweis: Majd Edriss
Herausforderung
Die meisten „Chat mit deinen Dokumenten"-Werkzeuge führen mit dem Chat, nicht mit dem Vertrauen: Sie klingen überzeugend, auch wenn sie raten. Für sensible oder wichtige Dokumente ist das zu wenig, gebraucht wird eine Antwort, der man trauen kann, mit Beleg.
Ergebnis
Ein lokal lauffähiges RAG-Werkzeug, das nur aus den hochgeladenen Dokumenten antwortet, jede Aussage mit aufklappbarem Quell-Zitat belegt, ungedeckte Sätze markiert und ehrlich „nicht gefunden" sagt, statt zu erfinden. Bewusst als Lernprojekt schlank gehalten (kein LangChain), damit die RAG-Mechanik sichtbar bleibt.
Lösung
Zwei getrennte Pipelines: Ingest (Extraktion mit Seiten-/Zeichen-Offsets, strukturbewusstes Chunking, Embedding, pgvector) und Query (Retrieval mit Relevance-Gate, Grounding-Prompt, Antwort mit [n]-Zitaten, Faithfulness-Prüfung). Abgerufener Dokumentinhalt wird als untrusted isoliert (Schutz vor Prompt-Injection). Eine deterministische Hülle umschließt die zwei nicht-deterministischen LLM-Aufrufe, was das System testbar macht.
Technologien
- Python
- FastAPI
- PostgreSQL
- pgvector
- OpenAI
- React
- TypeScript
- pytest
- Docker