Apache Iceberg: datatabellen die u kunt vertrouwen en aanpassen
Apache Iceberg is een open tabelformaat dat de zwakke plekken van een klassiek data lake oplost: half afgeronde loads, riskante wijzigingen en niet kunnen terugkijken.
Veel organisaties bewaren hun data in een data lake, en veel van die lakes zijn lastiger te beheren dan nodig is. Rapporten lezen half afgeronde loads, een kleine wijziging in de structuur kost weken, en niemand kan zeggen hoe een tabel er vorige week dinsdag uitzag. Apache Iceberg is een open tabelformaat dat is ontworpen om precies deze problemen op te lossen.
Onlangs gaven we bij cimt een lunch and learn over Iceberg voor collega’s. Dit artikel is de versie voor lezers die geen engineer zijn: wat het is, wat het voor uw organisatie verandert en wanneer het een gesprek waard is.
Waar klassieke data lakes knellen
De meeste data lakes richten een tabel nog in als een map op een gedeelde schijf. Hoe de data is opgedeeld, bijvoorbeeld per dag, staat in de mapnamen, en mensen moeten dat met de hand op orde houden.
Dat levert drie problemen op. Een load die halverwege mislukt, kan ertoe leiden dat een rapport de helft van de data leest. Een kleine vergissing in de opdeling zet data op de verkeerde plek, en niets waarschuwt u. En de structuur later wijzigen betekent de data herschrijven en elk rapport aanpassen dat ervan afhangt. De meeste teams stellen dat dus uit. De Iceberg-documentatie beschrijft deze problemen met partitionering op mapniveau uitgebreider.
Het idee achter Iceberg
Iceberg behandelt een tabel niet langer als een map. Het houdt nauwkeurig bij wat bij de tabel hoort: welke bestanden, welke versie, welke structuur. Vergelijk het met de catalogus van een bibliotheek. Lezers raadplegen de catalogus, niet de kasten.
Elke wijziging in de tabel wordt als nieuwe versie weggeschreven en in één stap gepubliceerd. Een rapport ziet de tabel zoals die vóór de wijziging was of zoals die erna is, nooit iets daartussenin.
Oude versies blijven beschikbaar tot u besluit ze op te ruimen. Die ene ontwerpkeuze verklaart de meeste voordelen hieronder.
Wat het in de praktijk betekent
- Loads waarop u kunt rekenen. Een load wordt volledig afgerond of verschijnt helemaal niet. Rapporten lezen dus nooit een halve levering.
- Terugkijken in de tijd. U kunt een tabel opvragen zoals die was, vorige week of vorig kwartaal. Dat helpt bij audits, bij het reproduceren van een cijfer uit een oud rapport en bij het terugdraaien van een foute load.
- Wijzigen zonder herwerk. Een kolom toevoegen of hernoemen betekent niet langer dat de data herschreven moet worden, en oudere data blijft leesbaar.
- Een indeling die meegroeit. Een opdeling per maand kan een opdeling per dag worden als de volumes toenemen. Oude data blijft zoals die is, nieuwe data volgt de nieuwe indeling en bestaande rapporten blijven ongewijzigd werken.
- Minder handmatig beheer. Rapporten filteren op de echte datum en Iceberg bepaalt welke data gelezen moet worden. De extra hulpkolommen die iemand correct moest vullen, zijn niet meer nodig.
Veilig wijzigen over meerdere tabellen heen
Project Nessie voegt branches in Git-stijl toe bovenop Iceberg. Uw team laadt meerdere tabellen op een aparte branch, controleert de resultaten en publiceert ze pas samen als alles klopt. Tot dat moment ziet niemand anders de wijzigingen.
Dat is van belang als tabellen van elkaar afhangen, bijvoorbeeld een ordertabel en de omzettabel die daarop is gebaseerd. Nessie is optioneel. Het heeft pas meerwaarde als u die veiligheid over meerdere tabellen heen nodig hebt, of gescheiden omgevingen voor test en productie.
Is dit relevant voor u?
Iceberg is een nadere blik waard als u hier iets van herkent:
- Twee rapporten tonen direct na een load verschillende cijfers.
- De structuur van een tabel wijzigen is iets wat uw team vermijdt.
- Een auditor of collega vraagt wat een cijfer op een bepaalde datum was, en niemand kan het reproduceren.
- Meerdere teams wijzigen dezelfde tabellen en zitten elkaar in de weg.
Herkent u twee of meer van deze punten? Neem dan contact op met cimt. Ons Data & AI-team kijkt met u naar uw huidige inrichting en vertelt u of Iceberg een echt probleem oplost of alleen een extra project oplevert.
Technische details
Voor de technische details is de documentatie van Apache Iceberg en Project Nessie een goed startpunt (Engelstalig):
- Partitionering in Iceberg: waarom partitionering op mapniveau problemen geeft en hoe Iceberg dat oplost.
- Table evolution: kolommen en indeling wijzigen zonder data te herschrijven.
- Queries en time travel: een tabel lezen zoals die op een eerder moment was.
- Nessie en Iceberg: hoe de twee samenwerken.
- Nessie SQL-referentie: branches aanmaken en samenvoegen.
Over de auteur
Verder lezen
Klaar om dit toe te passen?
Plan een gesprek met cimt en bekijk hoe deze inzichten passen bij uw datafundament.