Skip to main content Skip to main navigation

Projekt | SAGE

Laufzeit:
Percipient Storage für Exascale Data-Centric Computing

Percipient Storage für Exascale Data-Centric Computing

Das weltweite Datenvolumen wächst stark an, wodurch Lösungen, die Speicherung und Verarbeitung von Daten trennen, nicht skalierbar sind. Experimente und Simulationen in wissenschaftlichen Forschungsgebieten wie Physik, Weltraumforschung, Meteorologie, Genetik oder Biologie generieren immer größere Datensätze. Diese reichen bis in den Exabyte-Bereich (Milliarden Gigabyte), sodass für die Forschung auf diesen Gebieten neuartige Verfahren für die Speicherung, Verarbeitung und Analyse von Daten entwickelt werden müssen.

Projektbilder

Das weltweite Datenvolumen wächst stark an, wodurch Lösungen, die Speicherung und Verarbeitung von Daten trennen, nicht skalierbar sind. Experimente und Simulationen in wissenschaftlichen Forschungsgebieten wie Physik, Weltraumforschung, Meteorologie, Genetik oder Biologie generieren immer größere Datensätze. Diese reichen bis in den Exabyte-Bereich (Milliarden Gigabyte), sodass für die Forschung auf diesen Gebieten neuartige Verfahren für die Speicherung, Verarbeitung und Analyse von Daten entwickelt werden müssen.

Das Projekt SAGE beabsichtigt eine fortschrittliche, objektbasierte Speicherlösung, die den Anwendungen einen In- und Output im Exascale-Bereich ermöglicht. Die Lösung wird in der Lage sein, Datenberechnungen von jeder Hierarchieebene aus durchzuführen. Die SAGE-Architektur begegnet den Anforderungen, Datenbewegungen zu reduzieren um Energieeffizienz zu erhöhen, ebenso wie dem Technologietrend nichtflüchtiger Memory-Technologien.

Das DFKI wird gemeinsam mit den europäischen Partnern Allinea, Bull, CCFE, CEA, Diamond Light Source, FSZ Jülich, KTH, und STFC und unter der Leitung von Seagate, im Projekt SAGE den Anforderungen der rechnergestützten Wissenschaften im Exascale-Bereich begegnen. Im Rahmen des Förderprogramms Horizon 2020 steht die Entwicklung einer exascale-fähigen Datenspeicherplattform als Fundament für neuartige Big-Data- und Forschungsdatenverarbeitung sowie Analysesoftware im Zentrum des Vorhabens der Konsortialpartner.

Das DFKI wird in diesem Projekt die Datenanalyseplattform Flink in die SAGE Plattform integrieren. Apache Flink wird von der Leistung sowie den Funktionalitäten der Speicherplattform profitieren und seine Analysefähigkeiten werden auf das Exascale-Niveau gehoben.

The project has received funding from the European Union’s Horizon2020 Research & Innovation Programme under grant agreement 671500.

Partner

Seagate, Allinea, Bull, CCFE, CEA, Diamond Light Source, FSZ Jülich, KTH, STFC

Publikationen zum Projekt

  1. Efficient SIMD Vectorization for Hashing in OpenCL

    Tobias Behrens; Viktor Rosenfeld; Jonas Traub; Sebastian Breß; Volker Markl

    In: Michael Böhlen; Reinhard Pichler; Norman May; Erhard Rahm; Shan-Hung Wu; Katja Hose (Hrsg.). Advances in Database Technology — EDBT 2018. International Conference on Extending Database Technology (EDBT-2018), 21th International Conference on Extending Database Technology, March 26-29, Vienna, Austria, Pages 489-492, ISBN 978-3-89318-078-3, OpenProceedings, Konstanz, Germany, 2018.
  2. Efficient k-Means on GPUs

    Clemens Lutz; Sebastian Breß; Tilmann Rabl; Steffen Zeuch; Volker Markl

    In: Proceedings of the 14th International Workshop on Data Management on New Hardware. International Workshop on Data Management on New Hardware (DaMoN-2018), 14th, located at ACM SIGMOD International Conference on Management of Data, June 10-15, Houston, TX, USA, ISBN 978-1-4503-5853-8/18/06, ACM, New York, NY, USA, 2018.

Fördergeber

EU - Europäische Union

671500

EU - Europäische Union