AI Agent System

Hier eine Übersicht des technischen Aufbaus eines KI-Agenten-Systems mit konkreten Tool- und Konzept-Beispielen:

1. Foundation Model / LLM-Schicht Das Sprachmodell als Kern des Agenten.

  • Beispiele: Claude (Anthropic), GPT-4/5 (OpenAI), Gemini (Google), Llama (Meta), Mistral, DeepSeek
  • Konzepte: Model Routing (Auswahl je nach Aufgabe), Multi-Model-Strategien, Fallback-Modelle

2. Orchestrierungs-Framework Die Steuerungsebene, die Logik, Tool-Aufrufe und Modellinteraktionen koordiniert.

  • Beispiele: LangChain, LangGraph, LlamaIndex, Haystack, Semantic Kernel (Microsoft), CrewAI, AutoGen, Pydantic AI
  • Konzepte: Chains, Graphs, State Machines, Multi-Agent-Orchestrierung

3. Prompt-Management Verwaltung, Versionierung und Optimierung von Prompts.

  • Beispiele: LangSmith, Promptfoo, Helicone, PromptLayer, Langfuse
  • Konzepte: Prompt-Templates, Few-Shot-Beispiele, System-Prompts, Prompt-Versioning

4. Memory- und Kontext-Schicht Kurzzeit- und Langzeitgedächtnis des Agenten.

  • Beispiele: Vektordatenbanken wie Pinecone, Weaviate, Qdrant, Chroma, Milvus; Redis für Session-Memory; Mem0, Zep für Agenten-Memory
  • Konzepte: Embeddings, Semantic Search, Hierarchical Memory, Episodic vs. Semantic Memory

5. RAG-Pipeline (Retrieval-Augmented Generation) Anbindung externer Wissensquellen.

  • Beispiele: LlamaIndex, LangChain Retrievers, Haystack, Verba, RAGFlow
  • Konzepte: Chunking, Re-Ranking (Cohere Rerank), Hybrid Search (BM25 + Vector), GraphRAG

6. Tool- und Function-Calling-Layer Schnittstelle zwischen Agent und externen Funktionen.

  • Beispiele: OpenAI Function Calling, Anthropic Tool Use, MCP (Model Context Protocol) von Anthropic, OpenAPI/Swagger Specs
  • Konzepte: JSON Schema, Tool Registries, Dynamic Tool Discovery

7. Datenquellen und Integrationen Anbindung an externe Systeme.

  • Beispiele: APIs (REST/GraphQL), Datenbanken (PostgreSQL, MongoDB), Konnektoren (Zapier, Make, n8n), Web Scraping (Firecrawl, Apify, Browserbase), Such-APIs (Tavily, Serper, Exa, Brave Search)
  • Konzepte: ETL-Pipelines, Streaming, Webhooks

8. Code-Execution-Sandbox Sichere Umgebung für Code-Ausführung durch den Agenten.

  • Beispiele: E2B, Modal, Daytona, Riza, Code Interpreter (OpenAI), Docker Container
  • Konzepte: Sandboxing, Isolation, Resource Limits

9. Browser- und Computer-Use-Automation Agenten, die Webseiten oder Desktops bedienen.

  • Beispiele: Anthropic Computer Use, Browserbase, Playwright, Puppeteer, Stagehand, Browser Use, OpenAI Operator
  • Konzepte: DOM-Parsing, Visual Grounding, UI-Automation

10. Multi-Agent-Kommunikation Wenn mehrere Agenten zusammenarbeiten.

  • Beispiele: CrewAI, AutoGen, LangGraph, MetaGPT, Swarm (OpenAI)
  • Konzepte: Agent-to-Agent Protocol (A2A), Message Passing, Hierarchische Agenten, Supervisor-Worker-Patterns

11. Workflow- und Job-Management Hintergrundausführung, Scheduling, asynchrone Tasks.

  • Beispiele: Temporal, Inngest, Trigger.dev, Celery, Airflow, Prefect
  • Konzepte: Durable Execution, Retries, Idempotenz, Long-Running Tasks

12. Observability und Tracing Beobachtung, Debugging, Performance-Analyse.

  • Beispiele: LangSmith, Langfuse, Helicone, Arize Phoenix, Weights & Biases, Datadog LLM Observability, OpenTelemetry
  • Konzepte: Distributed Tracing, Span-basiertes Logging, Token-Tracking, Cost Attribution

13. Evaluation und Testing Qualitätssicherung des Agenten.

  • Beispiele: Promptfoo, Braintrust, DeepEval, Ragas, LangSmith Evals, Patronus AI
  • Konzepte: LLM-as-a-Judge, Regression Tests, Golden Datasets, A/B-Testing, Benchmarks

14. Guardrails und Sicherheit Schutz vor Missbrauch, Halluzinationen, Prompt Injection.

  • Beispiele: Guardrails AI, NeMo Guardrails (NVIDIA), Lakera, Protect AI, Llama Guard
  • Konzepte: Input/Output Validation, PII Detection, Jailbreak Detection, Content Moderation

15. Authentifizierung und Autorisierung Identitätsmanagement für Agenten und Nutzer.

  • Beispiele: Auth0, Clerk, Supabase Auth, WorkOS, Arcade.dev (Tool-Auth für Agenten)
  • Konzepte: OAuth, Service Accounts, Scoped Permissions, Token Vaulting

16. Datenhaltung und State Management Persistierung von Konversationen, Zuständen, Artefakten.

  • Beispiele: PostgreSQL, Supabase, Convex, Firebase, S3-kompatible Object Storage (MinIO, R2)
  • Konzepte: Event Sourcing, Snapshotting, Versioning

17. Deployment- und Hosting-Infrastruktur Wo der Agent läuft.

  • Beispiele: Vercel, AWS Lambda, Cloudflare Workers, Modal, Replicate, Kubernetes, Fly.io
  • Konzepte: Serverless, Edge Computing, Auto-Scaling, GPU-Hosting

18. API- und UI-Layer Schnittstelle zum Nutzer.

  • Beispiele: Next.js, FastAPI, Vercel AI SDK, Assistant UI, CopilotKit, Chainlit, Streamlit, Gradio
  • Konzepte: Streaming Responses, Server-Sent Events (SSE), WebSockets, Generative UI

19. Feedback- und Improvement-Loop Sammeln und Nutzen von Nutzerfeedback.

  • Beispiele: Langfuse Annotations, LangSmith Feedback API, Humanloop, Label Studio
  • Konzepte: Human-in-the-Loop, Active Learning, RLHF, Fine-Tuning-Pipelines

20. Kosten- und Ressourcen-Management Überwachung von Token-Verbrauch und Infrastrukturkosten.

  • Beispiele: Helicone, Portkey, OpenRouter, LiteLLM (Proxy für Multi-Provider)
  • Konzepte: Token Budgets, Caching (Prompt Caching, Semantic Caching), Rate Limiting

Querschnittsthemen, die alle Ebenen betreffen: Sicherheit (Verschlüsselung, Secrets Management mit Vault/Doppler), Compliance (DSGVO, SOC2, HIPAA), Versionskontrolle (Git für Prompts und Code) und CI/CD-Pipelines (GitHub Actions, GitLab CI) für automatisiertes Deployment.

Möchtest du zu einer dieser Ebenen einen konkreten Beispiel-Stack sehen — etwa wie ein typischer Production-Agent aus diesen Bausteinen zusammengesetzt wird?