Die Arbeit entstand im Rahmen einer Zusammenarbeit von Forschenden der TU Darmstadt, der Ruhr-Universität Bochum, hessian.AI und des DFKI-Forschungsbereichs Systemische KI für Entscheidungsunterstützung (SAIDE). Beteiligt waren Alessandro Ferri, Uélison Jean Lopes dos Santos, Szilard Nistor, Pratyush Agnihotri, Manisha Luthra und Carsten Binnig.
Mit dem starken Wachstum von Video-, Bild- und Textdaten stoßen klassische Stream-Processing-Systeme zunehmend an ihre Grenzen. Diese Systeme wurden ursprünglich für strukturierte Daten entwickelt und können multimodale Datenströme nur eingeschränkt verarbeiten. Multimodale große Sprachmodelle (MLLMs) verstehen solche Daten zwar sehr gut, ihr direkter Einsatz in Streaming-Pipelines ist jedoch rechenintensiv und verlangsamt die Verarbeitung erheblich.
Das ausgezeichnete System Samsara optimiert die Verarbeitung multimodaler Datenströme durch den intelligenten Einsatz von KI-Modellen und passt Verarbeitungspläne dynamisch an Daten und Anfragen an. Als eine Art „Super-Optimierer“ kombiniert Samsara drei Optimierungsansätze:
- Semantische Optimierung: Nutzung von Wissen über die Daten, um redundante Arbeit zu vermeiden. So müssen beispielsweise nahezu identische Kamerabilder nicht mehrfach analysiert werden.
- Logische Optimierung: Neuordnung von Operatoren, sodass kostengünstige Filter vor aufwendigen Modellaufrufen ausgeführt werden.
- Physikalische Optimierung: Einsatz kleinerer, aufgabenspezifischer Modelle, wenn diese für die jeweilige Aufgabe ausreichen.
Auf der Konferenz demonstrierte das Team die Technologie anhand einer Live-Verkehrsüberwachung. Besucher konnten verschiedene Analyseaufgaben direkt ausprobieren und die Leistung eines konventionellen mit einem optimierten Verarbeitungsplan vergleichen. Dabei erreichte Samsara Verarbeitungsraten von bis zu 54 Bildern pro Sekunde und übertraf die naiven Ansätze deutlich.
Der Artikel ist online unter https://www.vldb.org/pvldb/vol19/p4666-santos.pdf verfügbar.