Alles wat je moet weten over data mesh – in 7 vragen beantwoord
Data Mesh is een veelbelovend concept om knelpunten in traditionele data architecturen op te lossen. Het distribueert data en verantwoordelijkheden naar business domeinen. Maar wat houdt het precies in en wat levert het organisaties op?
We legden Hans Geurtsen – expert op het gebied van data mesh – zeven vragen voor over dit onderwerp.
1. Wat is data mesh en waarom is het interessant voor bedrijven?
Data mesh is een gedistribueerd systeem voor data, vergelijkbaar met een WiFi mesh netwerk met meerdere toegangspunten. In plaats van één centrale dataoplossing, ontstaan in een data mesh zogenaamde data producten in de verschillende domeinen van een organisatie.
Hierdoor lost een data mesh knelpunten op van traditionele centrale data architecturen, waarbij het bijbehorende datateam een bottleneck vormt en alle kennis centraal moet zitten. Bij een data mesh wordt data en de kennis ervan gedistribueerd naar de domeinen, wat het interessant maakt voor bedrijven.
2. Kun je een voorbeeld geven van een probleem dat werd opgelost met data mesh?
Een organisatie die kredietaanvragen toetst gebruikte een modern event-gedreven systeem. De analytische data behoeften waren onder andere inzicht in het aantal toetsingen en percentages geaccepteerde/geweigerde aanvragen.
In de traditionele oplossing werden alle events ook in een database gedumpt voor het data warehouse team om te interpreteren. Bij data mesh laat je het toetsingsdomein zelf de analytische data als data producten opleveren. Zo ontlast je andere teams en worden de resultaten beter.
3. Wat zijn de technische uitdagingen bij implementatie van een data mesh?
Een data mesh vereist eigenlijk niet veel nieuwe technieken. Het is vooral een organisatorische verandering, net als bij een WiFi mesh netwerk. De transformatie en integratie van data gebeurt op kleinere schaal binnen domeinen, met dezelfde technieken als bij centrale oplossingen.
Om de mesh te realiseren en gebruikers het gevoel van één data geheel te geven, wordt API technologie ingezet. Via API’s worden de gedistribueerde data producten ontsloten. Dus technisch vooral uitdagingen rondom API’s.
4. Wat zijn de organisatorische uitdagingen bij implementatie van een data mesh?
Een data mesh is organisatorisch complexer dan een centraal data team. Het vereist dat een organisatie open staat voor het distribueren van verantwoordelijkheden naar domeinen.
Ook is het belangrijk dat een organisatie al gewend is te denken in termen van domeinen. Een data mesh sluit makkelijker aan bij bedrijven die al werken met microservices en domain driven design. Zo niet, dan is de drempel hoger.
5. Kun je een voorbeeld geven van een geslaagde implementatie van een data mesh?
Data mesh is een relatief nieuw concept, dus er zijn nog geen voorbeelden van organisaties die er volledig naar zijn overgestapt.
Het advies is om klein te beginnen met één domein. Definieer de data producten voor dat domein en implementeer die, in plaats van direct bedrijfsbreed uit te rollen.
Geleidelijke en incrementele adoptie met ruimte voor leren en bijstellen lijkt de meest kansrijke aanpak voor succes.
6. Wat is de impact van een data mesh op data engineers en data scientists?
De impact op bestaande data engineers en scientists is vooral dat hun werkplek verandert. In plaats van in een centraal data/BI team werken ze binnen de business domeinen.
Qua werkzaamheden en vereiste vaardigheden verandert er weinig. Geleidelijk aan zullen data engineers en scientists wel meer domeinspecifieke kennis opbouwen door dichter op de data binnen het domein te werken.
7. Hoe kan een data mesh de besluitvorming op basis van data verbeteren?
Omdat domeinexperts zelf verantwoordelijk worden voor het aanleveren van analytische data, neemt de kwaliteit daarvan toe. Ook de snelheid waarmee data kan worden geleverd verbetert, omdat de benodigde kennis al aanwezig is binnen het domein.
Fouten door onbekendheid met continu veranderende bronsystemen zullen bovendien minder voorkomen. Dit leidt tot snellere en betere besluitvorming op basis van data.
Samengevat
Data mesh heeft de potentie heeft om knelpunten in traditionele data architecturen op te lossen, mits goed geïmplementeerd.
De belangrijkste takeaways uit het gesprek met Hans Geurtsen:
- Data mesh distribueert data en verantwoordelijkheden naar business domeinen
- Dit vereist organisatorische verandering in termen van cultuur en governance
- Begin altijd klein, met één domein, en breid dan geleidelijk uit
- Het levert kwalitatief betere, snellere data op voor besluitvorming
Data mesh is een veelbelovend concept, maar omarm het stap voor stap. Ga voor evolutie, geen abrupte transformatie.
Hans Geurtsen
Managing Consultant
Een ervaren IT-architect, gespecialiseerd in het creëren van geavanceerde datagedreven oplossingen voor bedrijven die streven naar digitale transformatie. Met meer dan 35 jaar ervaring in IT en meer dan 25 jaar expertise in Business Intelligence en data platforms, biedt hij bedrijven diepgaand en betrouwbaar advies. Zijn vaardigheden stellen hem in staat om unieke uitdagingen op het gebied van data en AI op te lossen en te begeleiden.