In der modernen Datenanalytik wollen Unternehmen oft große Datenmengen analysieren. Ein Unternehmen möchte zum Beispiel das gesamte Netzwerk von Benutzerinteraktionen analysieren, um besser zu verstehen, wie seine Produkte genutzt werden. Die Skalierung der Datenanalyse auf große Datenmengen wird in einer Vielzahl von Kontexten benötigt. Moderne Datenfluss-Systeme wie Apache Flink und Apache Spark werden häufig verwendet, um diese Anforderung zu erfüllen. Die für die Datenanalyse verwendeten Algorithmen werden jedoch immer komplexer. Solche komplexen Algorithmen sind oft iterativer Natur, was bedeutet, dass sie die Ergebnisse durch wiederholte Ausführung einer Berechnung schrittweise verfeinern. Ein bekanntes Beispiel ist der PageRank-Algorithmus, der für das Ranking der Wichtigkeit von Knoten in einem Netzwerk verwendet wird, z. B. für das Ranking von Websites in den Google-Suchergebnissen. Beide Datenflusssysteme Apache Flink und Apache Spark haben Schwächen bei der Implementierung iterativer Algorithmen: Sie sind entweder schwer zu bedienen oder haben eine suboptimale Leistung.
In diesem Beitrag wird ein neues System vorgestellt, das eine einfach zu verwendende Sprache mit effizienter Ausführung kombiniert. Es ist in der Lage, die Sprache einfach zu halten, indem es sich zusätzlich zu der Forschungsliteratur für Datenbanken und verteilte Systeme, auf denen frühere Systeme beruhen, auch auf Techniken aus der Forschungsliteratur für Programmiersprachen stützt. Die einfachere Sprache macht es den Anwender*innen leicht, fortgeschrittene Analysen auf großen Datensätzen durchzuführen. Dies ist wichtig für Datenwissenschaftler*innen, die sich dann auf die Analysen konzentrieren können, anstatt Expert*innen für die interne Funktionsweise der Systeme werden zu müssen.
Die jährlich stattfindende IEEE International Conference on Data Engineering (ICDE) ist die führende IEEE-Konferenz, die sich mit Forschungsfragen zu Design, Aufbau, Verwaltung und Auswertung fortschrittlicher datenintensiver Systeme und Anwendungen beschäftigt. Seit über drei Jahrzehnten ist die IEEE ICDE ein führendes Forum für Forscher, Praktiker, Entwickler und Anwender, um neueste Ideen zu erforschen und Techniken, Werkzeuge und Erfahrungen auszutauschen.