De fascinerende ontwikkeling van AI binnen data engineering

Wat verandert er voor de data engineer

Traditioneel draait data engineering om het vertalen van bedrijfsbehoeften naar technische oplossingen: zorgen dat de juiste data, in het juiste formaat, op het juiste moment beschikbaar is. Daar vallen verschillende verantwoordelijkheden onder: van het ontwerpen, modelleren, coderen en testen van oplossingen, tot het visualiseren van data op zo’n manier dat de waarde voor bedrijfsdoelstellingen zo groot mogelijk is. Ook zijn data engineers verantwoordelijk voor de kwaliteit en integriteit van de dataoplossing en is het hun rol om inzicht te geven over de datakwaliteit in de oplossing.

Hoe kan AI helpen om data engineering naar een hoger plan te tillen? Volgens Niels zijn er vier concrete toepassingen van AI waar elk data engineering team meteen mee aan de slag kan.

1. Requirements en user stories

“Goed specificeren wat je moet bouwen, blijft mensenwerk”, stelt Niels. “Maar AI kan wel helpen bij het uitwerken en structureren van user stories en requirements. Tools kunnen automatisch documentatie genereren op basis van voorbeelden – specification by example – en dat levert enorme tijdwinst op.”

2. Code analyseren, genereren en transformeren

Als de specificaties en tests eenmaal zijn opgesteld, kan de code worden geschreven voor de dataplatformen. Ook daar kan AI een helpende hand bieden, aldus Niels: “AI kan helpen om de requirements naar code te vertalen, feedback te geven op geschreven code, of code te vertalen naar een andere taal. Verschillende opties voor oplossingen voor te stellen, of toetsen of een bepaalde oplossing efficiënter en veiliger kan. De data engineer kan bepalen hoe hij deze oplossing uiteindelijk kan implementeren.”

3. Genereren van testdata

Een bijzonder praktische toepassing is het genereren van synthetische testdata. “Het bouwen van realistische testscenario’s kost veel tijd”, aldus Niels. “AI kan representatieve datasets genereren, met ingebouwde anonimisering voor gevoelige informatie. Daarmee versnel je het testproces enorm zonder in te leveren op kwaliteit.”

4. Documentatie automatiseren

“Data engineers zien documentatie vaak als een tijdrovende, maar wel noodzakelijke taak”, aldus Niels. “Dat kun je deels automatiseren. AI kan code analyseren en deze ’transcriberen’ naar functionele documentatie en de bestaande code toelichten. Ook kan AI helpen om comments in de code zelf te zetten. Hoewel menselijke controle noodzakelijk blijft, levert dit een tijdsbesparing van zo’n 80 procent op.”

Aandachtspunten bij de implementatie

De voordelen van AI zijn duidelijk, maar implementatie vraagt om zorgvuldigheid. “Je blijft verantwoordelijk voor het eindresultaat,” benadrukt Niels. “AI is een hulpmiddel, geen vervanging. Je moet dus blijven controleren, valideren en bijsturen.”

Toch ziet hij de toekomst positief: “Nieuwe tools zoals Copilot Workspace tonen hoe co-creatie tussen mens en AI eruit kan zien. Data engineers die leren samenwerken met AI vergroten hun impact: ze kunnen zich richten op waar ze het beste in zijn, namelijk het oplossen van complexe datapuzzels die bedrijven vooruithelpen. Dit vraagt om nieuwe vaardigheden, en het verandert het speelveld van data engineering. Maar wie durft mee te bewegen, krijgt er een krachtige bondgenoot bij.”