Die jährliche SIGMOD (Special Interest Group in the Management of Data) Konferenz der Association of Computing Machinery (ACM) ist das wissenschaftliche Highlight für alle Daten-Wissenschaftler*innen. SIGMOD gilt als die führende internationale Konferenz für Wissenschaftler*innen, Praktiker*innen, Entwickler*innen und Anwender*innen im Bereich Datenmanagement.
Zu den Preisen und Ehrungen, die jährlich auf dieser Konferenz vergeben werden, zählt auch der SIGMOD Systems Award. Mit dem Preis wird eine Person oder eine Gruppe von Personen ausgezeichnet, die ein Software- oder Hardwaresystem entwickelt haben, dessen technische Beiträge einen bedeutenden Einfluss auf die Theorie oder Praxis von großen Datenmanagementsystemen haben. Diese Systeme werden in der Regel bereits weltweit eingesetzt und/oder haben das Design weiterer Datenmanagement-Systeme beeinflusst.
In diesem Jahr wurde Apache Flink mit dem Preis ausgezeichnet. Der SIGMOD Systems Award ist eine der weltweit renommiertesten Auszeichnungen auf dem Gebiet der Datenverwaltung. 2016 wurde der Preis das erste und bisher einzige Mal an ein System (MonetDB) vergeben, das aus Europa stammt.
Vom DFG-geförderten Projekt zum erfolgreichen Open-Source-Werkzeug
Apache Flink ist eine Open-Source-Plattform für Big Data Stream Analytics. Die Ursprünge von Apache Flink lassen sich bis ins Jahr 2008 zurückverfolgen, als BIFOLD-Direktor Prof. Dr. Volker Markl die Forschungsgruppe Datenbanksysteme und Informationsmanagement (DIMA) an der Technischen Universität (TU) Berlin gründete. Hier entwarf er die Vision eines großen parallelen Batch-Datenverarbeitungssystems auf der Basis postrelationaler, benutzerdefinierter Funktionen, das Datenbank- und verteilte Systemkonzepte kombiniert, mit dem Ziel, moderne Datenanalyse und maschinelles Lernen für Big Data zu ermöglichen.
2009 schrieb Volker Markl gemeinsam mit Forschern der TU Berlin, der Humboldt-Universität zu Berlin und des Hasso-Plattner-Instituts in Potsdam einen DFG-Forschergruppenantrag mit dem Titel "Stratosphere - Informationsmanagement in der Cloud", der 2010 bewilligt wurde.
Die DFG-Förderung (2010-2012) gründete auf der ursprünglichen Vision, einen neuartigen, datenbankbasierten Ansatz zur Analyse, Aggregation und Abfrage sehr großer Sammlungen textueller oder (semi-)strukturierter Daten auf einer virtualisierten, parallelen Clusterarchitektur zu entwickeln.
2014 beschloss das TU Berlin Team, das die Forschung und Entwicklung der zentralen Datenverarbeitungsinfrastruktur verantwortlich vorantrieb, den Code unter dem Namen "Flink" der Apache Software Foundation zu spenden.
Startup aus der TU Berlin
Zu der gleichen Zeit gründeten mehrere Mitglieder der DIMA-Forschungsgruppe an der TU Berlin ein Startup, die dataArtisans GmbH, um Flink als Open-Source-System zu fördern und zu kommerzialisieren. Gefördert vom European Institute of Innovation and Technology und im Rahmen von Horizon 2020 legte das Team an der TU Berlin und dem DFKI gemeinsam mit der KTH in Stockholm und ELTE/SZTAKI in Budapest den Grundstein für die weltweite Flink-Open-Source-Community.
Heute ist Apache Flink ein quelloffenes Stream-Processing-Framework für verteilte, leistungsstarke, zuverlässige und genaue Daten-Streaming-Anwendungen. Es wurde entwickelt, um sowohl Batch- als auch Streaming-Daten auf einer einzigen Plattform zu verarbeiten. Es handelt sich um eine skalierbare, verteilte, fehlertolerante und hochverfügbare Datenverarbeitungsplattform, die es Unternehmen auf der ganzen Welt ermöglicht, große Datenmengen aus verschiedenen Quellen schnell zu analysieren und zu verarbeiten. Das Projekt wird von einer internationalen Open-Source-Gemeinschaft mit über 1000 Mitwirkenden getragen. Flink wurde so konzipiert, dass es in allen gängigen Cluster-Umgebungen läuft, Berechnungen mit In-Memory-Geschwindigkeit und in beliebigem Umfang durchführt. Darüber hinaus ist Flink eine aktive Plattform für Forschung und Innovation in vielen Universitäten und Unternehmen weltweit.