Big data erg klein

Compressiesoftware helpt bij weerberichten en crashtestsimulaties

De onderzoekers voor een crash-simulatie © Fraunhofer-Gesellschaft
voorlezen

Meer simulatie betekent ook meer opslagruimte - meestal. Dankzij nieuwe compressiesoftware is dit geen probleem meer, bijvoorbeeld voor crash- en weersimulaties: de datagebergen worden verkleind tot een tiende van hun oorspronkelijke grootte.

Hulp voor het weerbericht

"Laten we het over het weer hebben", zegt Clemens-August Thole van het Fraunhofer Institute for Algorithms and Scientific Computing SCAI in St. Augustin: "Vanaf 2008 worden de voorspellingen voor de komende dagen 20 keer van tevoren berekend bij de Duitse Weerdienst. Dat is ongeveer 2, 5 petabyte aan gegevens per jaar. "Eén petabyte komt overeen met ongeveer 2.000 harde schijven met 500 gigabyte opslagruimte. Om dat bedrag te verlagen, hebben Thole en zijn team software ontwikkeld die weergegevens in Grib-formaat met een factor 2, 5 vermindert.

"Voor de simulaties is Duitsland bedekt met een netwerk van rasterpunten", zegt zijn collega professor Rudolph Lorentz. "De simulatieresultaten op aangrenzende punten zijn niet onafhankelijk. Het is dus voldoende als we de waarden op een rasterpunt goed kunnen voorspellen om de gegevensgrootte aanzienlijk te verkleinen. "

... en crashtests van de auto-industrie

Ook uit de automobielindustrie zijn simulaties onmisbaar. Een virtuele crash vereist echter al meerdere gigabytes opslagruimte. "Elke dag rijdt zo'n model ongeveer 100 tot 150 keer tegen de muur in de computer", zegt Rodrigo Iza-Teran. Dat is waar gegevens van 100 terabytes en meer samenkomen.

Als eerste stap in de compressie specificeren de ontwikkelingsingenieurs de nauwkeurigheid van de opgeslagen gegevens, bijvoorbeeld één millimeter voor voertuigongevallen. Met dit kwantiseren wordt bewust verlies van gegevens geaccepteerd. Alle verdere compressiestappen zijn zonder verlies, wat betekent dat de gegevens 1: 1 kunnen worden hersteld. Afhankelijk van de behoeften van de gebruiker, kunnen SCAI-wetenschappers compressie bieden met een factor 10, 7 of 5. "De aanpak is vergelijkbaar met videocodering", zegt Thole. "Een truc is om erachter te komen welke componenten bewegen zonder te vervormen. Een andere is om de veranderende inhoud zo goed mogelijk te voorspellen. "Display

Bijna alle Duitse autofabrikanten gebruiken de software. Reden: u bespaart waardevolle opslagruimte en gegevensuitwisseling verloopt soepel. Bovendien kunnen gecomprimeerde gegevens sneller en eenvoudiger worden gevisualiseerd. De decompressie is nu in veel postprocessors geïntegreerd, zodat de bestanden worden geopend zonder een tussenstap om uit te pakken.

Voor hun ontwikkeling voor de compressie van simulatieresultaten Rodrigo Iza-Teran, Prof. Dr. med. Rudolph Lorentz en Clemens - August Thole de Joseph von Fraunhofer-prijs 2007. De jury overtuigde enerzijds de uitstekende wiskundige methoden en anderzijds het grote succes dat de compressiemethoden hebben bereikt voor de gebruikers.

(Fraunhofer-Gesellschaft, 12.10.2007 - NPO)