Kafka: directe verzending naar Gold-laag, ja of nee?

Samenvatting

Kafka kan volgens een Reddit-discussie rechtstreeks naar de Gold-laag schrijven, maar de keuze tussen overslaan en Bronze-Silver-Gold blijft open.

Kafka en directe verzending naar de Gold-laag

Een medewerker vraagt in r/dataengineering of Kafka-streams rechtstreeks naar de Gold-laag mogen wanneer de brondata al schoon en business-ready zijn. Volgens de vraag zijn geen transformaties nodig en zou dezelfde dataset anders door Bronze, Silver en Gold gaan.

De bron geeft geen vastgesteld antwoord. De discussie draait om de afweging tussen een directe route en het consequent volgen van het volledige lagenpatroon.

Waarom Kafka en de lagenstructuur tellen

De Gold-laag staat doorgaans voor data die direct door bedrijfsprocessen of rapportages gebruikt kan worden. Als Kafka die data al in die vorm aanlevert, voegen tussenlagen mogelijk geen inhoudelijke transformatie toe. Toch kunnen Bronze en Silver een functie hebben die verder gaat dan bewerking alleen.

Een tussenlaag legt vast welke bron binnenkwam, welke controles zijn uitgevoerd en welke versie van de data beschikbaar was. Dat helpt bij het terugzoeken van fouten, het opnieuw verwerken van gebeurtenissen en het vergelijken van wijzigingen. Bij een directe route naar Gold moet die controle buiten het lagenpatroon worden ingericht.

De kernvraag gaat daarom niet alleen over dubbele opslag. Het team moet bepalen of de aangeleverde data blijvend aan de Gold-definitie voldoet. Ook schemawijzigingen, foutieve berichten, late gebeurtenissen en herstel na een incident horen in die beoordeling. Een vast Bronze-Silver-Gold-pad biedt een herkenbaar patroon, maar herhaling zonder extra functie maakt de architectuur niet automatisch beter.

Concrete takeaway voor Kafka

Leg vóór de keuze vast welke controles, bronregistratie en herstelmogelijkheden nodig zijn. Test daarna een Kafka-stroom met foutieve berichten, schemawijzigingen en herverwerking. Sla Bronze en Silver alleen over als de Gold-laag die functies aantoonbaar op een andere plek afdekt; anders blijft het volledige lagenpad de veiligere ontwerpkeuze.