ISBN 9783843956932

978-3-8439-5693-2, Reihe Ingenieurwissenschaften

Patrick Vogler
Data Compression for Exascale Simulations - Development of a Wavelet Based Compression Library for Large Scale Numerical Data Sets

186 Seiten, Dissertation Universität Stuttgart (2025), Softcover, A5

Zusammenfassung / Abstract

Im Laufe der Jahre hat die stetige Steigerung der Rechenleistung es Wissenschaftlern und Ingenieuren ermöglicht, immer komplexere Anwendungen für das maschinelle Lernen und wissenschaftliche Rechnen zu entwickeln. Tatsächlich verspricht der aktuelle Vorstoß in Richtung Exascale-HPC-Systeme die Lösung einiger der schwierigsten und dringendsten Probleme unserer Zeit. Die damit einhergehende Fähigkeit, Daten zu produzieren, hat jedoch auch einen immer größer werdenden I/O- Flaschenhals offenbart. Verschiedene Open-Source-Projekte bieten bereits Kompressionsalgorithmen für wissenschaftliche Datensätze an, die dieses Problem angehen sollen. Die verfügbaren Lösungen basieren jedoch entweder auf verlustfreien Methoden, bieten eine suboptimale Ratenkontrolle oder führen zu großen Fehlern und erheblichen Artefakten. In dieser Arbeit wird eine neue Bibliothek auf der Grundlage des JPEG2000-Standards vorgestellt, die eine signifikante Größenreduzierung bei gleichzeitiger Minimierung der Feldverzerrung ermöglicht. Es wird eine Reihe von Leistungsbewertungen vorgestellt, die unseren Kompressor mit konkurrierenden verlustfreien und verlustbehafteten Methoden vergleichen und seine Vorteile hervorheben sollen. Wir gehen davon aus, dass dieser Ansatz eine nützliche Ergänzung des modernen I/O-Werkzeugkastens sein wird, der dazu beiträgt, die Flut der immer größer werdenden numerischen Datensätze einzudämmen.