Agentic RAG auf Basis von Claude Haiku und Sonnet mit MCP und AWS Bedrock
Um Marketing-Spezialisten im Unternehmen dabei zu unterstützen, große und verteilte Informationsmengen einfacher und schneller zu nutzen, hat Vention ein internes agentic RAG-System entwickelt, das auf Modellen von Anthropic AI basiert und auf AWS betrieben wird.
Hintergrund
Projektdetails
Unsere Lösung
Web-App
Die Web-App diente als zentrale Schnittstelle zwischen dem System und den Marketing-Spezialisten. Die Oberfläche war als chatbasiertes Arbeitsumfeld gestaltet, in dem Nutzer mit Claude Haiku in natürlicher Sprache interagierten, den Gesprächsverlauf einsehen konnten und bei Bedarf Dateien anhängten.
Request Processing über Haiku
Als leichtestes Modell innerhalb der Claude-Familie wurde Haiku für die Aufbereitung und das Routing von Anfragen im System eingesetzt.
Nach Eingang einer Nutzeranfrage zerlegte Haiku diese in konkretere Bestandteile, um einen präziseren Prompt zu erstellen, identifizierte die benötigten Informationen zur Bearbeitung der Anfrage und holte relevante Daten aus dem Storage.
Je nach Anwendungsfall ergaben sich zwei mögliche Pfade:
- Bei faktenorientierten Anfragen (z. B. „Haben wir eine Case Study mit Unternehmen X?“) lieferte Haiku direkt eine Antwort zurück.
- Bei anforderungsreicheren, kreativen Aufgaben (z. B. „Hilf mir, eine faktenbasierte Grundlage für ein Y-Deck zu erstellen“) sammelte Haiku zunächst die relevanten Informationen aus dem internen Storage, verfolgte die Anfrage weiter und übergab sie anschließend zusammen mit Kontext und Nutzereingabe an Sonnet zur Generierung. Nach der Erstellung durch Sonnet wurde das Ergebnis wieder von Haiku an die Nutzer zurückgegeben.
Interne Datenhaltung, MCP, Caching und API-Integrationen
Um die Transparenz und Effizienz zu verbessern, wurde das System so konzipiert, dass es sich in die internen Monday-Boards des Marketings integriert und häufig abgefragte Inhalte – etwa „Bragging Lists“ oder aktuelle Case Studies – für schnelleren Zugriff zwischenspeichert.
Eine lokale SQLite-Datenbank dient als Cache für wiederkehrende Anfragen und kann Antworten direkt aus dem Zwischenspeicher bereitstellen, sofern sie dort verfügbar sind. Dadurch werden API-Aufrufe reduziert und die Antwortzeiten deutlich verkürzt.
Über die Integration von Monday mittels eines MCP-Gateways erhält das agentic RAG-System eine zusätzliche Kontextebene innerhalb der Marketing-Workflows. Wenn beispielsweise Informationen zu Security-Services für ein Deck angefragt werden, kann der Agent nicht nur die aktuellsten Materialien bereitstellen, sondern auch verwandte Inhalte anzeigen, die sich noch in Bearbeitung befinden und voraussichtlich bald verfügbar sein werden. So können Teams fundiertere Entscheidungen darüber treffen, welche Inhalte in die jeweilige Präsentation aufgenommen werden.
In Zahlen
Wochen für die Entwicklung eines PoC
weniger Nachbearbeitung
weniger Zeit für die interne Informationssuche
Ergebnisse
Tools & Technologien
FAQs
Was ist ein agentic RAG-System?
Ein agentic RAG-System kombiniert Retrieval-Augmented Generation mit einer Orchestrierungsschicht, die Nutzeranfragen in einzelne Schritte zerlegen, relevante Daten abrufen und entscheiden kann, wie diese verarbeitet werden. Statt eines einfachen Prompt-Response-Ansatzes werden Aufgaben über verschiedene Modelle, Tools und Datenquellen hinweg gesteuert, um präzisere und kontextbezogene Ergebnisse zu erzeugen.
Warum werden zwei Claude-Modelle statt eines verwendet?
Im System von Vention übernehmen Claude Haiku und Sonnet unterschiedliche Rollen. Haiku ist für das Zerlegen von Anfragen, das Routing und die Datenabfrage zuständig, wo Geschwindigkeit und Kosteneffizienz entscheidend sind. Sonnet übernimmt komplexere Schlussfolgerungen und die Generierung von Inhalten. Diese Aufgabenteilung sorgt dafür, dass das System reaktionsschnell bleibt und gleichzeitig eine hohe Ausgabequalität liefert.
Wie funktioniert MCP in dieser Architektur?
MCP (Model Context Protocol) fungiert als Schnittstelle zwischen dem Modell und externen Systemen. Es definiert, wie der Agent auf Tools wie APIs, Datenbanken und interne Plattformen wie Monday zugreift. In der Architektur von Vention ermöglicht MCP eine strukturierte Datenabfrage sowie eine konsistente Interaktion zwischen dem RAG-System und den angebundenen Services.