AngelQ: Ein KI-gestützter Browser für Kinder
Im Rahmen des In:Vention Incubator Programms erhielt AngelQ, ein KI-gestützter Browser für Kinder, drei Monate Engineering-Support von Vention.
Das Team automatisierte CI/CD-Pipelines, reduzierte die Größe von Audiodateien um das 5- bis 10-Fache, verbesserte die Zuverlässigkeit des LLM-Token-Streamings und entwickelte ein User-Management-System für AngelQs erste B2B-Schulpartnerschaft.
Über den Kunden
Kennzahlen
Projektlaufzeit
3 Monate
Teamgröße
5 Vention-Teammitglieder
Abgedeckte Bereiche
Backend, KI, Mobile, DevOps
Manuelle CI/CD-Pipelines
Vollständig automatisiert mit GitHub Actions
Die Herausforderung
Projektdetails
Erweiterung um User-Management für den B2B-Bereich
Im Verlauf der Zusammenarbeit mit Vention expandierte AngelQ in den B2B-Markt und schloss einen Vertrag zur Bereitstellung seines KI-gestützten Browsers für eine US-amerikanische Schule. Dadurch entstanden neue Anforderungen an die Plattform, insbesondere im Bereich strukturiertes User-Management sowie erweiterte Benachrichtigungs-Workflows.
Zur Unterstützung von schulischen Einsatzszenarien implementierte Vention zusätzliche Funktionalitäten und führte zugleich ein Refactoring der bestehenden Browser-Architektur durch.
Vention:
- entwickelte und implementierte eine Authentifizierungslogik für Business-User, einschließlich Admin-, Lehrer- und Schülerrollen
- überarbeitete das Benachrichtigungssystem, sodass neben Eltern auch relevante Schulmitarbeiter in den Informationsfluss bei potenziell problematischen Inhalten eingebunden werden
- stellte damit sicher, dass AngelQ sowohl B2B- als auch B2C-Szenarien zuverlässig abbilden kann
Verbesserung von KI-Streaming und Test-Reporting
Vor der Zusammenarbeit kam es im Browser vereinzelt zu unterbrochenem Token-Streaming während der Antwortgenerierung. Zudem konnte das System bei leeren Eingaben (z. B. versehentlichem Auslösen des Voice-Buttons) instabil reagieren.
Vention überarbeitete den Token-Streaming-Flow, der steuert, wie KI-Antworten erzeugt und ausgeliefert werden. Die neue Implementierung verarbeitet sowohl Token-Input als auch -Output robuster, verhindert Unterbrechungen während der Generierung und erhöht die Stabilität sowie Konsistenz der Antworten.
Zusätzlich optimierte Vention das Testing und Reporting der LLM-Pipeline. Da Prompt-Abdeckung schwer auszuwerten war und Testergebnisse über mehrere Runs verteilt vorlagen, war eine zentrale Sicht auf die Modellqualität nicht gegeben.
Zur Lösung wurden folgende Maßnahmen umgesetzt:
- Integration von promptfoo in die CLI von AngelQ zur strukturierten Evaluation von LLM-Prompts
- Aufbau eines zentralisierten Reporting-Systems, das alle Testläufe in einem konsolidierten Report zusammenführt (inkl. Input, Output und Testergebnissen)
Die verbesserte Prompt-Abdeckung sowie das zentrale Reporting ermöglichen nun eine deutlich frühere Erkennung potenzieller Probleme und eine bessere Bewertung des Modellverhaltens.
Weiterentwicklung der iOS-/iPadOS-App
Vention implementierte mehrere Verbesserungen in der nativen Mobile-App:
- Integration eines Rust-basierten XC-Frameworks über UniFFI, um die Speicher- und Sicherheitsvorteile von Rust im kinderorientierten Produkt zu nutzen
- Erweiterung des Analytics- und Error-Trackings um Video-Player-Fehler
- Aufbau eines Frameworks für Tooltip-Highlights in mobilen Anwendungen
Darüber hinaus arbeitete das Mobile-Engineering-Team an der Optimierung der KI-Funktionalitäten, insbesondere im Bereich Text-to-Speech.
Dabei stellte insbesondere die Verarbeitung von MP3-Streams eine Herausforderung dar: Während PCM-Audio feste Paketgrößen nutzt, variieren MP3-Pakete. Dies erforderte zusätzliche Logik zur Erkennung von Paketgrenzen und zur korrekten Verarbeitung eingehender Audiodaten.
Zur Lösung implementierte Vention:
- Erkennung von Frame-Grenzen in MP3-Dateien
- Zwischenspeicherung eingehender Audio-Pakete
- Synchronisierung, bis der vollständige Audiostream für die Wiedergabe bereitsteht
Damit kann die App MP3-Streams zuverlässig verarbeiten und Frames korrekt zusammensetzen. Gleichzeitig ermöglicht dies eine Reduktion der Audiodateigröße um das 5- bis 10-Fache bei weiterhin nahtlosem Hörerlebnis.
DevOps-Verbesserungen
Vor dem Eingreifen von Vention waren zentrale Prozesse manuell und wenig optimiert. Deployments erfolgten über lokale Skripte, Releases wurden als monolithische Einheit ausgeliefert, und Änderungen erforderten häufig vollständige System-Neubauten.
Zur Behebung dieser Einschränkungen implementierte das DevOps-Team folgende Verbesserungen:
- Einrichtung von GitHub Actions für automatisierte Deployments
- Neugestaltung der Deployment-Pipeline mit Wiederverwendung unveränderter Systemkomponenten statt kompletter Neu-Builds
- Einführung einer separaten Pipeline für gezielte Einzel-Deployments von Komponenten
Die optimierte Pipeline reduziert den manuellen Aufwand, erhöht die Deployment-Effizienz und macht den Release-Prozess deutlich zuverlässiger und skalierbarer.
Ergebnisse
Tools & Technologien