Lokales RAG-Werkzeug

Programme wie Open WebUI, AnythingLLM oder LM Studio legen eigene Dokumente neben ein lokales Modell und holen zu jeder Frage die passenden Stellen heraus.

Fachwort: local RAG / Chat with documents; vector database, embedder

Im Netz

Teil von: Eigene Dokumente befragen
Setzt voraus: Abruf / RAG
Verwandt: Abruf / RAG Einbettung Lokal / on-device Ollama
Gilt für: Arbeiten ohne InternetStand 16.10.2026
Gelehrt in: Ein Ordner, ein lokales Modell

Was das Netz dazu sagt

Open WebUI beschreibt sich als „User-friendly AI Interface (Supports Ollama, OpenAI API, ...)“, „built to run entirely offline“, mit „Local RAG Integration“.
Stand 16.10.2026belegtOpen WebUI · open-webui/open-webui (README)
Open WebUI steht unter der „Open WebUI License“, die zusätzlich verlangt, das „Open WebUI“-Branding zu erhalten — also keine reine Standard-Open-Source-Lizenz.
Stand 16.10.2026belegtOpen WebUI · open-webui/open-webui (README)
AnythingLLM ist laut Projekt MIT-lizenziert, „runs locally by default“, liest u. a. PDF, TXT und DOCX und nutzt standardmäßig den eigenen „AnythingLLM Native Embedder“ und die Vektordatenbank LanceDB.
Stand 16.10.2026belegtMintplex Labs · Mintplex-Labs/anything-llm (README)
LM Studio nimmt an einen Chat .docx, .pdf und .txt an; passt die Datei ins Kontextfenster, fügt es sie „in full“ ein, bei sehr langen Dateien schaltet es auf Abruf (RAG) um und holt nur die passendsten Stellen.
Stand 16.10.2026AnbieterangabeLM Studio · Chat with Documents
LM Studio rät selbst, in die Frage Wörter aufzunehmen, die im Quelltext vorkommen dürften, weil der Abruf sonst die richtigen Stellen verfehlen kann.
Stand 16.10.2026AnbieterangabeLM Studio · Chat with Documents
Die Ollama-Bibliothek führt 13 Einbettungsmodelle, darunter nomic-embed-text, qwen3-embedding (0.6b, 4b, 8b), mxbai-embed-large, bge-m3, embeddinggemma und embeddinggemma-2.
Stand 16.10.2026belegtOllama · Ollama – Embedding models
nomic-embed-text ist in Ollama 274 MB groß und hat laut Liste ein 2K-Kontextfenster; aufgerufen wird es lokal über http://localhost:11434/api/embed.
Stand 16.10.2026belegtOllama · nomic-embed-text
bge-m3 ist in Ollama 1,2 GB groß, hat ein 8K-Kontextfenster und unterstützt laut Beschreibung „more than 100 working languages“ — für deutsche Akten ein mehrsprachiges Beispiel.
Stand 16.10.2026belegtOllama · bge-m3
Für nomic-embed-text und bge-m3 nennt die Ollama-Seite keine Lizenz; sie ist vor dem Einsatz an der Quelle des Modells zu prüfen.
Stand 16.10.2026belegtOllama · nomic-embed-textOllama · bge-m3