Open Lakehouse: governance verenigen over engines en catalogi

Samenvatting

Open Lakehouse verenigt governance met Apache Iceberg-specificaties voor engines en federated catalogs.

Open Lakehouse en Apache Iceberg: wat verandert er

De Apache Iceberg-community heeft twee aanvullingen op de Iceberg REST Catalog ontwikkeld: read restrictions en catalog labels. Read restrictions standaardiseren hoe een catalogus toegangsbeslissingen overdraagt aan een vertrouwde engine, terwijl catalog labels governance-metadata overdraagbaar maken tussen gefedereerde catalogi.

Bij een governed query ontvangt de catalogus de identiteit en context van de gebruiker, beoordeelt hij beleid en bepaalt hij eventuele rijfilters of kolommaskers. Daarna voert een vertrouwde compute-laag die beperkingen uit. De verantwoordelijkheden liggen dus niet altijd op dezelfde plek.

Open Lakehouse governance: waarom dit belangrijk is

De specificaties pakken twee verschillende problemen aan. Read restrictions zijn bedoeld voor situaties waarin een organisatie data in één catalogus beheert, maar die data vanuit meerdere engines of tools bevraagt. De catalogus beslist dan over toegang en beperkingen, terwijl een vertrouwde engine de uitvoering verzorgt.

Dat onderscheid maakt de keuze tussen centrale en gedelegeerde handhaving concreet. Bij centrale handhaving blijft de volledige controle binnen de catalogusomgeving. Databricks gebruikt hiervoor op dedicated compute een secure filtering fleet. Via Unity Catalog Cross-engine ABAC kan die filtering ook plaatsvinden voordat een externe engine zoals Spark of DuckDB de resultaten verwerkt.

Gedelegeerde handhaving past alleen wanneer de catalogus erop kan vertrouwen dat de engine filters en maskers uitvoert en niet laat omzeilen. Engines waarvan gebruikers de runtime beheren, gelden in de beschreven situatie als niet-vertrouwd. Catalog labels vullen dit aan door governance-context tussen catalogi mee te geven.

Open Lakehouse: concrete takeaway

Breng per toegangspad eerst in kaart wie beleid beoordeelt en wie filters uitvoert. Gebruik centrale handhaving voor niet-vertrouwde engines, read restrictions voor vertrouwde engines en catalog labels wanneer governance tussen catalogi moet reizen. Controleer daarnaast of externe engines gebruikerscontrole over de runtime geven; dat bepaalt of gedelegeerde handhaving passend is.