DataOps wordt steeds bepalender voor organisaties. Als je de juiste gegevens op de juiste plaats, op het juiste moment en met de juiste kwaliteit hebt, kan dat het nemen van goede zakelijke beslissingen een enorme impuls geven. Nieuwe data wil je niet een keer per maand beschikbaar stellen aan business-users van je bedrijf, maar continu gebruiken om in controle te zijn en nog beter te kunnen sturen op kwaliteit. DataOps zorgt voor duidelijke rollen in je organisatie en geeft het hele bedrijf een nieuwe mindset. Dat alles met een helder doel: continue kwaliteitsverbetering in alle lagen van je bedrijf.
DataOps in de praktijk
Op de PASS Data Community Summit 2022 in Seattle spraken Niels Naglé Data architect en Chapter Lead Data & AI, Vincent Goris, Chapter Lead en Analist over het gebruik van DataOps in de praktijk. Hoe verhouden DataOps en DevOps zich? Hoe implementeer je het in je organisatie en wat voor effect heeft het op de bedrijfsvoering? Wat zijn de grootste uitdagingen en valkuilen?
DataOps en DevOps, wat zijn het ook alweer?
DataOps en DevOps worden nog vaak in een adem genoemd en door elkaar gehaald. Bij DevOps zijn Development en Operations gezamenlijk verantwoordelijk voor het ontwikkelen van een systeem, het in gebruik nemen en het onderhouden daarvan. Het doel? Sneller leveren, flexibeler zijn en maximale bedrijfswaarde creëren.
DataOps streeft nagenoeg hetzelfde doel na, maar werkt anders en heeft meer impact op een organisatie. In de praktijk betekent DataOps dat je de gegevenslevenscyclus in een bedrijf beheert. Dat kan de waarde van je data enorm verhogen. DataOps bevat taken zoals verzamelen, opslaan, verwerken en analyseren van gegevens, waarmee een bedrijf de kwaliteit en nauwkeurigheid van data kan verbeteren.
DevOps kun je in tegenstelling tot DataOps uitbesteden aan één team. Om DataOps te laten slagen, is een organisatiebrede mindset nodig. Het is een onderdeel van de reis naar een data-driven organisatie. Er is gedeelde draagkracht nodig omdat data wordt gecreëerd in alle lagen van de organisatie. Bij DataOps heb je te maken met een fluïde product. DevOps is veel statischer omdat je bij het bouwen van een softwareoplossing in veel gevallen ook invloed hebt op de invoer van data. Bij een data-oplossing systeemoverstijgend zit dat in veel gevallen niet in de invloedssferen. Een data-oplossing kan door de hele organisatie gaan en gaat door verschillende bedrijfsprocessen, systemen en mensen voordat het als oplossing wordt gebruikt.
Wat is het belang van DataOps in een organisatie?
Elke organisatie beschikt over een steeds groter wordende hoeveelheid aan data, maar vaak wordt daar niet de daadwerkelijke waarde uitgehaald. Bedrijven kunnen met DataOps de tijd en moeite die nodig is om data te beheren verminderen en uiteindelijk betere inzichten verkrijgen. Zo kan het bedrijfsgroei en innovatie stimuleren.
Neem als een van de voorbeelden van het belang van DataOps; de verbeterde datakwaliteit. Zo kunnen organisaties tools en processen opzetten om ervoor te zorgen dat data nauwkeurig en consistent is. Denk aan processen die controleren op fouten en onbetrouwbare gegevens, het toepassen van gestandaardiseerde formaten en labels, of aan het verifiëren van de juistheid van gegevensbronnen. Daarbij speelt bewustzijn van iedere medewerker een belangrijke rol. Die medewerker heeft impact op data, op het proces en dus op de organisatie. Door de kwaliteit van gegevens steeds te blijven verbeteren – met DataOps ben je immers nooit klaar – kunnen bedrijven betrouwbaardere beslissingen nemen en kostbare fouten voorkomen.
Hoe zet je DataOps in de praktijk in?
Door klein te beginnen, te ervaren hoe het gaat en vervolgens door te groeien. Je bent er als bedrijf eigenlijk altijd klaar voor en in veel gevallen ben je er al mee bezig, maar heeft het nog een andere naam. Dat kan op grote schaal zijn, maar ook door slechts enkele meetgegevens bij te houden. Dat doe je met een scan: waar sta je nu en waar wil je heen?
In veel gevallen komen er nieuwe werkzaamheden bij. Dat heeft impact op de huidige functies in een bedrijf. Er worden nieuwe rollen in een bedrijf geïntroduceerd, of medewerkers krijgen er extra verantwoordelijkheden bij. Denk aan data-owners, rapportage-eigenaren, proceseigenaren of subject-matter-experts. Je moet je medewerkers in alle gevallen goed voorlichten, want het invoeren van DataOps brengt een culturele verandering met zich mee. Niet alleen van IT of van de technische mensen, maar van de hele organisatie. Het is een gedeelde taak van iedereen, daar moet iedereen zich van bewust zijn. Dat is de enige manier om het succesvol te maken.
Vervolgens moet je daadwerkelijk starten. Begin klein en zoek een dataoplossing/datapipeline waar je meteen impact maakt op de business. Dan kun je de waarde van DataOps beter inzichtelijk maken. Voer belangrijke basistesten uit en kijk of je verwachtingen kloppen. Implementeer CI/CD in je ontwikkeling. Dat wordt vaak nog vergeten bij dataprojecten, terwijl dat op veel andere vlakken in de organisatie al wel ingeburgerd is.
Als je pilot succesvol draait, ga dan naar het volgende project. Zo bouw je aan een grote datafabriek waar data doorheen stroomt en nieuwe dataproducten worden ontwikkeld. Bij ieder nieuw project verbeter je je eigen fabriek én hebben eerder gemaakte oplossingen profijt van nieuwe ontwikkelingen. Zet steeds stapjes in de goede richting: het is een marathon, geen sprint. Zorg dat je telkens betere meetgegevens hebt en breng je error-rate naar beneden. Je bent niet klaar na één project. Dan begint de volgende stap.
Die stap is groei. Iedere uitbreiding is een meerwaarde voor het bedrijf. Blijf herhalen, dan word je er steeds beter in. Het moet voor de hele organisatie een tweede natuur worden om te testen. Je wil steeds beter weten wat de kwaliteit van je data is en waar je nog kan verbeteren en wat de impact van de verbetering is. Je wil inzicht in fouten hebben en zo snel mogelijk kennisnemen van onverwachte ontwikkelingen in je data. Als je dat snel weet, kun je gebruikers van de data op de hoogte brengen als ze aan de hand van die data beslissingen willen nemen. Ja, dat is een flinke investering. Het klaarzetten van al die testen, logging en traceability is wennen, maar uiteindelijk ben je minder tijd kwijt met het zoeken naar fouten. Dat maakt je leven makkelijker en je bespaart enorm op kosten. Dan heb je tijd over om nieuwe features te bouwen in plaats van steeds opnieuw te moeten speuren naar waar het mis gaat.
Testen is een belangrijk aspect bij het implementeren van DataOps. Wat zijn de grootste fouten die je daarbij kunt maken als je aan de slag gaat?
Te weinig tijd besteden aan het opleiden van mensen is een veelgemaakte fout. Het invoeren van werken met DataOps is impactvol. Je moet duidelijk uitleggen wat ieders rol is en het moet helder zijn welke waarde een organisatie eruit kan halen. Daar moet eenieder zich van bewust zijn.
Een tweede veelgemaakte fout is alleen maar focussen op tools en techniek. Een team dat zoekt naar hulp bij DataOps, komt allerlei tools tegen. Als je die koopt en implementeert ben je nog lang niet klaar, zoals wel vaak wordt gedacht. Tools helpen je met het versnellen van het proces, maar het is slechts een hulpmiddel en geen doel op zichzelf.
DataOps is een shared effort. Het stopt niet binnen de grenzen van je DataOps-team. Als het daar wel stopt, functioneert het niet. Het team is afhankelijk van data-owners, data-creators, dataconsumenten en vele anderen. Die zitten in alle lagen van het bedrijf. Al die disciplines moeten met elkaar weten te vinden en kunnen samenwerken om tot een optimaal resultaat te komen.
Als die samenwerking niet goed is, dan kan het datateam wel ingericht zijn op een snelle doorlooptijd, maar kun je niet met testen beginnen. Om een test in te richten heb je meer nodig. Denk aan data van een data-owner: je moet weten wie verantwoordelijk is voor de data en je moet weten hoe de gegevens er normaal uitzien. Als je die zaken niet weet, kun je geen goede test inrichten. Dat zijn gedeelde verantwoordelijkheden die in het bedrijf verankerd moeten worden. Je kunt niet stoppen bij de grens van datateam. Dan is DataOps niet effectief, maar dat zien we helaas nog best vaak gebeuren. Zowel dataleveranciers als dataconsumenten moeten zoeken naar een manier om optimaal samen te werken.
Tot slot kan het nog zo zijn dat je lekker op tempo bent met je team, je testomgeving staat als een huis en de resultaten komen binnen zoals verwacht. Dan moet ook het dataconsumenten- en businessteam aangehaakt zijn. Anders komt dat team misschien niet toe aan het tackelen van de bevindingen van je DataOps bij de bron. Dan heb je uiteindelijk nog niks aan de resultaten uit de testen. Dus neem de business-users mee in de bevindingen en betrek ze al vroeg bij het datateam.
Een voorbeeld uit de praktijk van DataOps
Tips & tricks genoeg, maar wat voor praktisch voordeel heb je als je uiteindelijk in de praktijk DataOps implementeert? Neem als voorbeeld de veranderingen in de markt tijdens de coronapandemie in combinatie met de wereldwijde containercrisis en stijgende energieprijzen. Dat zijn enorme ontwikkelingen op korte termijn. Bij een organisatie met een volwassen DataOps kan er razendsnel gewerkt worden om de juiste inzichten, die er potentieel nog niet waren, snel te verkrijgen.
Bijvoorbeeld: de beschikbaarheid van containers is gedaald en daardoor wordt de prijs ervan flink opgedreven (vraag versus aanbod). Door bestaande en kwalitatief goede data en inzicht in de processen goed in te zetten, kan je op korte termijn opheldering krijgen over het verwachte aantal te versturen containers, met details over routes. Zo kan elk bedrijf in deze sector ervoor zorgen dat de impact op leveringen zo klein mogelijk is en dat de bedrijfsvoering en dienstverlening aan klanten gewaarborgd blijft.
Kortom, ondanks alle valkuilen die er zijn op weg naar een data-driven organisatie loont de moeite om de overstap te maken. Het is zonde dat er binnen bedrijven een schat aan data ligt waar niet uit wordt gehaald wat erin zit om de organisatie te ondersteunen. Op de juiste manier implementeren van DataOps kan je bedrijf op veel fronten vooruithelpen. Van kostenbesparingen, efficiëntie en kwaliteitsverhoging tot winstmaximalisatie en van innoveren tot eenvoudigere bedrijfsvoering. Dat bedrijven de komende jaren de overstap maken, staat eigenlijk buiten kijf. De vraag is vooral wanneer.