Das weltweite Datenvolumen wächst stark an, wodurch Lösungen, die Speicherung und Verarbeitung von Daten trennen, nicht skalierbar sind. Experimente und Simulationen in wissenschaftlichen Forschungsgebieten wie Physik, Weltraumforschung, Meteorologie, Genetik oder Biologie generieren immer größere Datensätze. Diese reichen bis in den Exabyte-Bereich (Milliarden Gigabyte), sodass für die Forschung auf diesen Gebieten neuartige Verfahren für die Speicherung, Verarbeitung und Analyse von Daten entwickelt werden müssen.
Das Projekt SAGE beabsichtigt eine fortschrittliche, objektbasierte Speicherlösung, die den Anwendungen einen In- und Output im Exascale-Bereich ermöglicht. Die Lösung wird in der Lage sein, Datenberechnungen von jeder Hierarchieebene aus durchzuführen. Die SAGE-Architektur begegnet den Anforderungen, Datenbewegungen zu reduzieren um Energieeffizienz zu erhöhen, ebenso wie dem Technologietrend nichtflüchtiger Memory-Technologien.
Das DFKI wird gemeinsam mit den europäischen Partnern Allinea, Bull, CCFE, CEA, Diamond Light Source, FSZ Jülich, KTH, und STFC und unter der Leitung von Seagate, im Projekt SAGE den Anforderungen der rechnergestützten Wissenschaften im Exascale-Bereich begegnen. Im Rahmen des Förderprogramms Horizon 2020 steht die Entwicklung einer exascale-fähigen Datenspeicherplattform als Fundament für neuartige Big-Data- und Forschungsdatenverarbeitung sowie Analysesoftware im Zentrum des Vorhabens der Konsortialpartner.
Das DFKI wird in diesem Projekt die Datenanalyseplattform Flink in die SAGE Plattform integrieren. Apache Flink wird von der Leistung sowie den Funktionalitäten der Speicherplattform profitieren und seine Analysefähigkeiten werden auf das Exascale-Niveau gehoben.
The project has received funding from the European Union’s Horizon2020 Research & Innovation Programme under grant agreement 671500.
Partner
Seagate, Allinea, Bull, CCFE, CEA, Diamond Light Source, FSZ Jülich, KTH, STFC
Prof. Dr. Volker Markl
