AI Runtime: toepassing door ons AI Research team

Samenvatting

Databricks AI Runtime ondersteunt AI Research bij training op honderden GPU’s en agentgedreven onderzoek met acht keer meer trainingsjobs.

AI Runtime ondersteunt grootschalige modeltraining

Databricks AI Research gebruikt AI Runtime voor modeltraining en fine-tuning, van kleine experimenten tot workloads met honderden GPU’s. De infrastructuur ondersteunt NVIDIA H100- en B300-GPU’s en helpt onderzoekers trainingen starten, uitvoeren en hervatten. Integraties met MLflow en Unity Catalog horen bij dezelfde werkomgeving.

De modellen achter Databricks AI Functions, waaronder ai_parse_document en ai_extract, ontstaan uit tienduizenden trainings- en evaluatieruns. Het team combineert supervised fine-tuning, offline reinforcement learning en online reinforcement learning voor modellen die variëren van enkele miljarden parameters tot bijna een biljoen.

Waarom AI Runtime belangrijk is

AI Research moet lange trainingen beschermen tegen storingen in nodes of RDMA-netwerken. Zonder herstelmechanismen kunnen honderden GPU’s stilvallen en gaat voortgang sinds het vorige checkpoint verloren. AIR adresseert dit met ingebouwde GPU-betrouwbaarheid, terwijl snelle jobstarts onderzoekers minder vaak infrastructuur opnieuw laten inrichten.

De schaal van het werk verandert bovendien. Agentgedreven onderzoek heeft het aantal trainingsjobs achtvoudig verhoogd. Tegelijk beheert het team projecten met uiteenlopende GPU-behoeften, prioriteiten en deadlines. Voor BI-professionals die AI Functions, documentextractie of Databricks-modellen ondersteunen, laat dit zien dat experimentbeheer en GPU-planning naast modelkwaliteit een eigen operationeel vraagstuk vormen.

Concrete takeaway

Beoordeel bij AI-projecten niet alleen het model, maar ook de infrastructuur voor herstel, snelle experimentstarts en GPU-verdeling. Leg daarbij vast hoe MLflow, Unity Catalog en AI Runtime samenkomen in de onderzoeksworkflow.