Data mesh is een potentieel antwoord op een groeiende uitdaging van veel organisaties. Enerzijds verzamelen deze, met het oog op het goed bedienen van klanten, steeds meer data. Anderzijds leiden bedrijven deze data te vaak naar één centrale plek. Juist dat laatste kan een nadeel zijn voor een bedrijfsonderdeel dat snel iets wil aanpassen. Deze onderdelen beschikken vaak over een eigen dataspecialist, maar die is voor aanpassingen aan bijvoorbeeld een applicatie afhankelijk van een IT’er van de bedrijfs-IT-afdeling. Technologie moet de business reflecteren, maar dat doet het nu vaak niet. Dit leidt tot organisaties die niet snel genoeg kunnen inspelen op veranderingen. Hoewel de overstap naar data mesh soms complex is, is het voor sommige organisaties wel de opmaat naar effectiever werken en inspelen op klantwensen.
Data mesh voegt flexibiliteit toe aan businessdomeinen
Waarom kiezen voor een data mesh? Wat is er mis met wat we nu doen?
De huidige manier van data verzamelen en verwerken is binnen veel organisaties niet zo effectief als wel nodig is om de concurrentiestrijd aan te gaan. In een standaardsituatie bestaan moderne dataplatforms uit complexe data pipelines met enorme data lakes en data warehouses. Die zijn nodig voor het opslaan van alle beschikbare data. Dit is ook een bekende oplossing voor het centraal hebben staan van alle product-, klant- en bedrijfsdata; diverse teams kunnen putten uit deze gegevens die beschikbaar zijn gesteld door een centraal team. Vergelijk deze manier van inrichten en werken met de monoliths, zoals bekend van vroegere software-architectuur. Ofwel, een applicatie die meerdere functies omvat, maar waarbij een kleine wijziging effect heeft op de werkwijze van alle losse onderdelen.
Er is daarnaast iets mis met de huidige werkwijze van veel organisaties. Op het vlak van data verantwoordelijkheid bijvoorbeeld. Op dit moment brengen veel instanties data naar een centrale plek binnen de organisatie. Dat is iets wat gevoelsmatig ook zorgt voor het verplaatsen van de verantwoordelijkheid van deze data, terwijl deze verantwoordelijkheid juist bij de bron moet blijven. Een ander aspect dat niet gaat zoals het zou moeten is de schaalbaarheid/flexibiliteit. Daarover meer onder het deel ‘wat maakt data mesh zo gewenst.
Aantrekkelijk alternatief voor organisaties die er klaar voor zijn
Een groeiend aantal organisaties wil, met het oog op flexibeler inspelen op klantverzoeken, afscheid nemen van deze standaardsituatie.
Data mesh is een aantrekkelijk alternatief, zij het dat een onderneming hier wel klaar voor moet zijn.
Data mesh moet passen binnen de organisatie, want de voordelen moeten opwegen tegen de effecten van decentralisatie.
Hoe volwassener het bedrijf op data en IT-gebied, des te groter de kans van slagen.
Een datavolwassenheidsscan kan inzicht geven in hoe een bedrijf ervoor staat.
Wat maakt data mesh zo gewenst?
Data mesh is gewenst omdat de huidige situatie organisaties niet effectief maakt en IT-afdelingen laat kraken in hun voegen.
Het lastige bij moderne dataplatforms en een software-architectuur die gegevens centraal verwerkt, is dat een dedicated team (veelal bestaand uit IT-specialisten) ook verantwoordelijk is voor diverse taken.
Dit team verzorgt het inlezen, opslaan, verwerken, integreren en aanbieden van de data.
Daarnaast houdt het zich bezig met de datakwaliteit en het bijhouden van de gegevens die in het platform aanwezig zijn.
Over een dedicated team beschikken klinkt goed, maar dit team weet niet alles.
Om een organisatie uit te bouwen moet het centrale team ook over veel domeinkennis beschikken.
Die kennis laten meegroeien met de snel uitbreidende organisatie is lastig.
Data mesh stelt bedrijven in staat om makkelijker op te schalen.
Dat geldt zeker voor de verschillende domeinen van de data die zij in het dataplatform hebben staan.
Het resultaat is dat het team zijn taken vaak niet optimaal kan uitvoeren.
Dit is een data mesh en daarbij horen deze vier basisprincipes
Binnen een data mesh bouwen meerdere multidisciplinaire teams met domeinkennis hun eigen data-producten.
De IT-architectuur geeft deze teams de kans om hun eigen expertise te gebruiken voor het snel leveren van waarde in de vorm van een nieuw product/dienst of het aanpassen ervan.
Data mesh is een nieuwe manier om tegen moderne dataplatforms aan te kijken, een paradigmaverschuiving op datagebied.
Maar: dit heeft dus ook absoluut impact op hoe een onderneming is georganiseerd.
Wie naar een data mesh manier van werken wil gaan, moet de nodige aanpassingen doorvoeren.
Deze nieuwe visie bestaat uit vier basisprincipes, waarbij omgaan met data centraal staat, maar waar ‘tech-savvy’ zijn niet de kern is:
Domain-driven Data:
De data van verschillende domeinen/afdelingen is gescheiden.
Daarmee is ook het eigenaarschap en de datakwaliteit verantwoordelijkheid van de data gedecentraliseerd.
Data as a Product:
Elke applicatie produceert data, gegevens die vervolgens op diverse manieren zijn in te zetten.
De data is hierbij dus een product van de applicatie.
De verantwoordelijkheid, beschikbaarheid en kwaliteit voor dit product liggen bij de verschillende teams en dus bij de mensen die de meeste kennis hebben over het domein waarin zij opereren.
Self-serve Data Platform:
Wie autonoom en efficiënt dataproducten wil kunnen ontwikkelen, heeft specialistische kennis nodig voor de inrichting van de benodigde infrastructuren.
Van de bouw en de implementatie tot aan het beheer van de producten.
Met een self-serve data platform kunnen teams beschikken over een omgeving waar deze complexiteit is losgekoppeld en zelf producten ontwikkelen.
Het centrale team houdt zich bezig met de bouwstenen, terwijl de teams zich kunnen richten op de producten die werken op basis van deze standaard.
Federated Governance:
Domeinen en data-eigenaren zijn verantwoordelijk voor het beheren van de beschikbare data.
Het is nodig om afspraken te maken over hoe de domeinen communiceren, wie wat doet en wanneer en op welke manier ze dit laten weten.
Die afspraken zorgen voor correlatie en het bij elkaar brengen van de verschillende dataproducten.
Uiteindelijk ontstaat er via federated governance een soort zelfreinigend domein dat nauw samenwerkt met het centrale team en waarbij de communicatie onderling helder is.
Data-driven maturity-level
Een data-driven cultuur is essentieel voor succes. Data-driven is de eindbestemming van een reis. Om daar te komen bepaalt u eerst hoe data-driven de organisatie op dit moment is. Met onze Data-Driven Maturity Scan kunt u uw huidige maturity-level meten.
Doe de scan
https://data-maturity-scan.azurewebsites.net/
Mismatch tussen organisatie en technologie
De mismatch tussen snel en goed een klant willen bedienen enerzijds en een niet meewerkende organisatorische en IT-infrastructuur anderzijds, neemt toe bij organisaties.
Data mesh kan de oplossing zijn voor die mismatch.
Er is bij organisaties vanwege de groei van afdelingen of producten behoefte aan meer schaalbaarheid.
Te veel zaken centraal afhandelen beperkt die schaalbaarheid.
Wie op IT-gebied volwassen genoeg is om data mesh op te pakken, kan makkelijker bepalen wat interessant is en dat domein of product aanpakken.
De voordelen van data mesh
Dat mensen met kennis van de data de gegevens ook bijhouden, leidt tot betere prestaties, maar er zitten meer voordelen aan deze opzet. De bron van de data is de bron van de waarheid.
Om die zuiver te houden, moet je als organisatie juist geen ingewikkelde pipelines opzetten, zodat de brondata in de uiteindelijke database loopt.
Zodra de data gemaakt of aangeleverd is, is deze beschikbaar voor de hele organisatie. Dat betekent ook dat IT-generalisten deze data kunnen gebruiken voor analyses.
Wel is er een duidelijk onderscheid tussen de operationele en analytische data.
De operatie kan snel schakelen en diepere analyses kunnen leiden tot inzichten waarvan de hele organisatie of onderdelen ervan kunnen profiteren.
Overigens zijn het vooral startups en jonge snelgroeiende bedrijven die als eerste van data mesh kunnen profiteren.
Zij beschikken immers nog niet over de legacy van grotere, oudere organisaties.
Reduceer de behoefte aan IT-specialisten
Een keuze voor data mesh heeft nog een voordeel.
Er is momenteel namelijk een tekort aan IT-specialisten, bijvoorbeeld data engineers en datatechnologie-experts.
Deze typen functies zijn onmisbaar in de huidige organisaties, maar die onmisbaarheid is ook het resultaat van een te complex data management-landschap.
Data mesh zorgt ervoor dat specialisten binnen een bedrijfsonderdeel veel zaken zelf kunnen oplossen, waar ze nu nog een beroep doen op een IT-specialist.
De medewerker met kennis van alles wat er binnen een subdomein gebeurt, kan zodoende met basisdata, het self-serve platform en de daarop ontwikkelde building blocks (zie de vier basisprincipes) al heel veel waarde creëren.
Daarmee neemt niet de totale behoefte aan IT-specialisten af, maar kan de centrale IT-afdeling zich wel richten op het continu verbeteren van onder andere het platform en het aanpakken van uitdagende projecten.
De IT-afdeling én de losse domeinen staan daarmee beide in hun kracht.
Data mesh is ‘the next big thing’
Data mesh groeit uit tot ‘the next big thing’ binnen data-architectuur.
Daar zijn we als Info Support van overtuigd. Data mesh adopteren is niet altijd eenvoudig, maar biedt wel veel mogelijkheden.
Zie het als de stip aan de horizon.
Het betekent een fundamentele verandering met gevolgen voor alle aspecten van de organisatie.
Bent u er ook van overtuigd dat deze nieuwe manier van het omgaan met data ervoor zorgt dat uw bedrijf in de toekomst vooroploopt als het om data-innovatie gaat?
Vraag dan nu vrijblijvend informatie aan en kijk of u klaar bent voor het zetten van broodnodige efficiencystappen binnen uw organisatie en de diverse afdelingen erbinnen.
Meer informatie
Wilt u meer weten over de transitie naar een data-driven organisatie?Neem dan via onderstaand formulier contact met ons op.