Data warehouse: zo start je met contextengineering

Samenvatting

Data warehouse maakt contextengineering mogelijk voor AI-agents met bronnen als tickets, pdf’s en e-mails.

Data warehouse en contextengineering

dbt beschrijft contextengineering als een uitbreiding van het werk dat analytics engineers al doen: ruwe gegevens transformeren, modelleren, verrijken, documenteren en beheren. Het verschil zit in de invoer en gebruiker. Naast gestructureerde tabellen verwerken AI-agents nu ook transcripties, tickets, pdf’s en e-mails.

De bestaande stack blijft volgens dbt herkenbaar. Fivetran verplaatst gegevens en dbt modelleert die, terwijl technieken zoals vectoren en ontologieën extra context aan modellen geven. Datawarehouses ondersteunen dit inmiddels met functies voor AI-aanroepen, embeddings en vector cosine similarity search in SQL.

Waarom contextengineering belangrijk is

Dashboards vormden lange tijd het eindpunt van de dataketen. Nu verschuift de primaire interface volgens dbt richting AI-agents, die antwoorden moeten samenstellen uit zowel tabellen als ongestructureerde documenten. Daarmee verandert ook het bereik van het datateam: niet alleen mensen die SQL schrijven of grafieken bouwen gebruiken de informatie, maar medewerkers via hun agents.

Databricks, BigQuery en Snowflake investeerden vanaf 2023 in AI-infrastructuur binnen hun datawarehouses. Snowflake Cortex bevat bijvoorbeeld AI_EMBED, AI_COMPLETE en AI_PARSE_DOCUMENT. De bron noemt daarnaast taakgerichte functies van Databricks. Die mogelijkheden plaatsen documentverwerking en semantische zoekfuncties dichter bij de bestaande SQL- en modelleerlaag, zonder dat dbt de bekende patronen voor transformatie, beschrijving en toegangsbeheer loslaat.

Concrete takeaway voor contextengineering

Breng eerst in kaart welke ongestructureerde bronnen al in je organisatie bestaan en koppel die aan bestaande modellen en toegangsregels. Test daarna met de native AI-functies van je warehouse hoe embeddings, documentverwerking en zoekopdrachten in SQL passen. dbt verwijst ook naar het dbt_context_engineering-package, dat patronen voor beheerde en versieerbare context in praktijk brengt.