Stille dataproblemen overleven elke schoonmaakpipeline

Samenvatting

Stille dataproblemen doorstaan zelfs nullcontroles, duplicaatcontroles en schematests, maar breken later modellen, dashboards en financiële rapportages.

Stille dataproblemen voorbij syntaxcontroles

Het artikel van KDnuggets beschrijft vier fouten die standaardcontroles niet zien: dubbel geregistreerde entiteiten, waarden die binnen een toegestane bandbreedte vallen maar contextueel onlogisch zijn, tijdstempels die informatie uit de toekomst lekken en noemers die bepaalde personen uitsluiten. Zulke fouten kunnen een model, dashboard of financieel rapport aantasten zonder dat een kolom technisch ongeldig lijkt.

De bron verwijst naar onderzoek dat IBM van Forrester aanhaalt: een kwart van de organisaties zegt dat slechte datakwaliteit jaarlijks meer dan 5 miljoen dollar kost. Zeven procent noemt een bedrag boven 25 miljoen dollar. Het artikel verscheen op 30 oktober 2026.

Syntax, semantiek en pragmatiek in datakwaliteit

De voorgestelde indeling maakt het verschil zichtbaar. Syntax controleert of een waarde goed is opgebouwd, bijvoorbeeld een postcode met vijf cijfers of een datum die correct parseert. Semantiek vraagt of de waarde past bij wat zij voorstelt, zoals een klantleeftijd van 214 jaar. Pragmatiek kijkt naar het gebruik: dezelfde registratie kan voor een medicijnonderzoeksteam iets anders betekenen dan voor een productieteam.

Pandera en dbt voeren vooral type-, null- en bereikcontroles uit. Die tests vangen echte problemen, maar kennen de bedrijfsbetekenis niet vanzelf. Daardoor blijven bijvoorbeeld John Smith en J. Smith twee personen wanneer een systeem alleen identieke rijen vergelijkt. Ook kan UNION ALL bewust dubbele output produceren, zoals in het StrataScratch-voorbeeld met HR-medewerkers.

Datakwaliteit: concrete takeaway

Breid een pipeline uit met controles op entiteiten, tijdsvolgorde, context en noemers. Laat domeinexperts de regels voor semantiek en pragmatiek vastleggen; een groen schemaresultaat bewijst alleen dat de gegevens technisch leesbaar zijn.