KI Wissensdatenbank

Unternehmen und Unternehmer suchen nach  Lösungen, um Aufgaben direkt aus einer KI abarbeiten zu lassen. Wissen für Entscheidungen auf Basis aktuellster Daten sind die Basis.

Was braucht man dazu:

  1. Ein Abbild des Wissens eines Unternehmens (Gedächtnis)
  2. Immer aktuelle Daten und Bestandsdaten um Entscheidungen treffen zu können
  3. Einen iterartiven Prozess zur Datenaufbereitung
  4. Ein Unternehmen KI ChatBot, der konkrete Aufträge annimmt und abarbeitet

Unternehmer Wünsche an einen eigene KI:

  • Erstelle ein fertiges Angebot mit Preisen
  • Generiere ein Handbuch zum Thema ..
  • Formuliere einen Brief ..

Unternehmerwünsche aus dem Gastgewerbe

  • Welche Produkte sind noch am Lager
  • Welche Lebensmittel müssen verarbeitet werden
  • Generiere Rezepte aus dem Bestand
  • Welche Menüs mit welchen Rezepturen kann ich zum Mittagstisch bewerben

Hier ist ein umfassender Überblick über den Aufbau einer unternehmenseigenen Wissensdatenbank / Corporate LLM:

Das Schichtenmodell zeigt die Gesamtarchitektur. Hier sind die einzelnen Teilaspekte im Detail:

Kernprozesse im Überblick

1. Datenstrategie & Governance (Wochen 1–4)

Bevor eine einzige Zeile Code geschrieben wird, klärt man: Welche Daten dürfen ins System? Wer hat Zugriff auf was? Das umfasst Datenklassifizierung (öffentlich / intern / vertraulich / geheim), DSGVO-Compliance, Lösch- und Aktualisierungskonzepte sowie Eigentümerschaft der Wissensbereiche. Ohne diesen Schritt entstehen später schwer heilbare Sicherheitslücken.

2. Technologie-Entscheidungen (Wochen 3–6)

Die zentrale Weichenstellung ist RAG vs. Fine-tuning vs. beides:

  • RAG (Retrieval-Augmented Generation) – Dokumente bleiben extern, werden bei Bedarf abgerufen. Günstiger, aktualisierbar, transparenter. Empfehlung für die meisten Mittelständler.
  • Fine-tuning – Das Modell selbst wird auf Unternehmensdaten trainiert. Teurer, langsamer, aber leistungsfähiger bei sehr spezifischem Stil oder Domänenwissen.
  • Hybrid – RAG für aktuelles Wissen, Fine-tuning für Ton/Stil.

Dazu kommt die Wahl zwischen Cloud-LLM (Claude API, GPT-4 – schnell, günstig) und On-Premise (Llama 3, Mistral – mehr Kontrolle, höhere Infrastrukturkosten).

3. Verarbeitungs-Pipeline mit Claude Code

Claude Code übernimmt in diesem Kontext konkrete Aufgaben:

  • Automatisches Parsing heterogener Formate (PDF, DOCX, HTML, Confluence-Export)
  • Chunking-Strategien entwickeln und testen (semantisch vs. fixe Länge)
  • Metadaten-Extraktion (Autor, Datum, Abteilung, Thema)
  • Qualitätsprüfung von Embeddings und Retrieval-Ergebnissen
  • CI/CD-Pipeline für Re-Indexing bei Dokumentänderungen

Ein typischer Claude-Code-Workflow sieht so aus: Dokument rein → automatisches Cleaning → Chunking → Embedding via API → Upsert in Vektordatenbank → Test-Query → Evaluation.

4. Retrieval & Orchestrierung

Das Herzstück ist die RAG-Pipeline, gebaut meist mit LangChain oder LlamaIndex. Schlüsselelemente sind hybrides Retrieval (semantisch + Keyword), Re-Ranking der Suchergebnisse, und ein gut strukturiertes System-Prompt, das dem LLM erklärt, wie es mit den Quelldokumenten umgehen soll (inklusive Quellenangabe).

5. Sicherheit & Zugriffskontrolle

Rollenbasierte Filterung im Retrieval-Schritt ist nicht optional: Ein Vertriebsmitarbeiter darf keine HR-Dokumente als Kontext erhalten, auch wenn er technisch dasselbe Interface nutzt. Das wird auf Datenbankebene über Metadaten-Filter gelöst.

Für eine einfache, gut abgegrenzte Wissensdatenbank (z.B. nur internes Wiki + Handbücher) sind auch 3 Monate realistisch. Komplexe Szenarien mit ERP-Anbindung, Fine-tuning und On-Premise-Deployment können 12–18 Monate dauern.

Tools-Übersicht nach Funktion

Orchestrierung: LangChain, LlamaIndex, Haystack Vektordatenbanken: Pinecone, Weaviate, Chroma, pgvector (PostgreSQL-Erweiterung) Embedding-Modelle: OpenAI text-embedding-3, Cohere Embed, lokale Modelle via HuggingFace LLM-Zugang: Claude API (Anthropic), OpenAI API, Azure OpenAI, lokale Modelle (Ollama) Entwicklung & Automatisierung: Claude Code (Pipeline-Entwicklung, Debugging, Testautomatisierung) Monitoring: LangSmith, Weights & Biases, Helicone Interfaces: Chainlit, Streamlit (Prototyp), oder Custom-React-App (Produktion)

Häufige Stolpersteine

Das größte Problem ist Datenqualität: Unstrukturierte, veraltete oder inkonsistente Dokumente produzieren schlechte Antworten, egal wie gut das Modell ist. Es lohnt sich, 30–40 % der Projektzeit in Datenpflege zu investieren.

Der zweite Stolperstein ist fehlende Evaluation: Ohne klare Metriken (z.B. Retrieval-Precision, Antwortrelevanz, Halluzinationsrate) weiß man nicht, ob das System besser oder schlechter wird. Tools wie RAGAS helfen dabei, diese Metriken automatisiert zu messen.

Willst du zu einem dieser Bereiche tiefer einsteigen – z.B. eine konkrete Pipeline-Architektur, die Technologieauswahl für deinen spezifischen Fall, oder die Governance-Konzepte?