Zero-Shot-Kostenvorhersage und Ressourcenmanagement für Datenbank- und Streaming-Workloads
In einer Zeit, die durch das unaufhaltsame Wachstum von Daten und ihre unverzichtbare Rolle in fast jedem Aspekt unseres Lebens geprägt ist, sind die effiziente Verwaltung und das Abrufen von Informationen von elementarer Bedeutung. Von Interaktionen in sozialen Medien und Online-Transaktionen bis hin zu Sensormessungen und wissenschaftlicher Forschung – das Herzstück dieser Datensysteme ist die Nutzung des Potenzials von Big Data. In diesem Bereich ist die Fähigkeit, die Kosten für die Abfrage von Big-Data-Systemen genau vorherzusagen und zu kontrollieren, zu einer entscheidenden Herausforderung geworden, da sie der Schlüssel für eine effiziente Ressourcenzuteilung ist.
Ein zentrales Problem bei der Kostenvorhersage, das sich in der Forschung herauskristallisiert hat, ist die Notwendigkeit der Verallgemeinerung, insbesondere bei Big-Data-Workloads, die eine zentrale Rolle bei der Kostenschätzung spielen. Schon eine geringfügige Änderung des eingegebenen Arbeitsaufkommens führt zu einer tiefgreifenden Veränderung der resultierenden Abfragekosten. Daher ist der herkömmliche Ansatz, für jeden einzelnen Arbeitsvorgang ein eigenes Modell zu trainieren, nicht nur umständlich, sondern auch ressourcenintensiv und damit unpraktisch. Deshalb stellen wir ein neues Paradigma vor, das wir Zero-Shot Learning nennen und das es ermöglicht, die Abfragekosten für Big-Data-Systeme wie Datenbanken und Streaming-Systeme abzuleiten und die Vorhersagen auf unbekannte Arbeitslasten und Hardware zu extrapolieren und zu verallgemeinern.
In dieser Forschungsarbeit schlagen wir eine neuartige Modellarchitektur und Repräsentationstechnik vor, die auf Graph Neural Networks basiert und es uns ermöglicht, Abfrage-Workloads als Input für diese Modelle zu kodieren. Diese Darstellung und der übertragbare Feature Space ermöglichen es dem Modell, für unbekannte Arbeitslasten zu verallgemeinern und präzise Kostenvorhersagen zu treffen. Anhand der übertragbaren Repräsentation des Graphen und des vortrainierten Kostenmodells zeigen wir, wie das Zero-Shot-Lernen genaue Kostenvorhersagen ermöglicht.
Dieses Projekt wurde vom Bundesministerium für Bildung und Forschung (BMBF) im Rahmen des Programms "Zukunft der Wertschöpfung – Forschung zu Produktion, Dienstleistung und Arbeit" gefördert und vom Projektträger Karlsruhe (PTKA) an der TU Darmstadt geleitet. Darüber hinaus wurde die Forschung teilweise durch das Hochtief-Projekt AICO (AI in Construction), das HMWK-Clusterprojekt 3AI (The Third Wave of AI), das IPF-Programm und das Cloud Computing Competence Centre der DHBW Mannheim sowie den DFG-Sonderforschungsbereich 1053 (MAKI) gefördert.
Dr. Manisha Luthra Agnihotri
Forschungsbereich Systemische KI zur Entscheidungsunterstützung
Tel.: +49 631 20575 2906
manisha.luthra@dfki.de