Så påverkar Data mesh er datastrategi
Data mesh är ett nytt decentraliserat koncept för data management. Konceptet har utvecklats för att kunna hantera, analysera och följa upp stora mängder data i en ständigt föränderlig miljö. Jonas Kappling, VD på Nordicstation, har arbetat med data management i 25 år, främst genom utveckling av Data warehouse, projektledning av BI satsningar och som utvecklingschef.
Nordicstation som har sina rötter i Data warehouse följer utvecklingen kring framtidens koncept inom data management, och arbetar aktivt för att leverera lösningar i framkant för våra kunder. Med ett modernt och anpassat system för data management kan er organisation få ut mer av data, uppmärksamma trender och fatta klokare affärsbeslut i realtid. Jonas Kappling delar nedan med sig kring hur datakoncept kan komma att påverkas med Data mesh.
Från monolitiskt Data warehouse till distribuerat mesh
Framväxten av Data mesh är starkt influerad av utvecklingen som vi sedan flera år tillbaka sett inom olika applikationstjänster, där mer agil utveckling blivit vanligare. Agil applikationsutveckling är ofta ett sätt att låsa upp stora monolitiska system där förändring blivit dyrbara och svåra. Det möjliggörs av flera tekniker och metoder som till exempel Microservices, DevOps och Domain Driven Design.
Den vanligaste lösningen för data management har varit Data warehouse, men även här möter många den förändrade världen genom att deras Data warehouse har blivit monoliter som är svåra att utveckla. Agil utveckling har varit svår inom data management, men koncept som Data lake har underlättat och nu börjar Data mesh växa fram. Data mesh är ett komplement till både Data lakes och Data warehouse. I framtiden kommer många organisationer att använda sig av alla koncept, men för olika ändamål och baserat på olika mängder data.
Många organisationer har idag en centraliserad strategi för data management och de bör snabbt se över sin strategi för att inte låsa fast sig i en monolit. Framtidens strategi för data management innebär att mer monolitiska koncept som Data warehouse, i allt större utsträckning kommer att kompletteras av det mer distribuerande konceptet Data mesh. I en ständigt föränderlig tid skapar Data mesh förutsättningar för organisationer att arbeta mer agilit och flexibelt utefter organisationens behov och önskemål.
Data mesh skapar tidsmässiga insikter, kunskaper och affärsmöjligheter
Den tekniska utvecklingen har gjort det möjligt för organisationer att få tillgång till större mängd data, vilket i sin tur ökat behovet av mer avancerade koncept för data management. För att på ett anpassat, flexibelt och effektivt sätt kunna analysera den data som uppstår, har Data mesh utvecklats.
Data mesh bygger på fyra grundläggande principer:
Domänorienterat decentraliserat dataägande.
Data mesh är uppbyggt kring ett ekosystem som skapar och konsumerar data, som när som helst kan anpassas och skalas upp om antalet datakällor eller användningsområden ökar. Domänorienteringen är att sätt att hantera komplexiteten i stora organisationer, där ansvaret för data decentraliseras till väl valda domäner inom organisationen. Domänerna har koppling till varandra i en helhet men en stark decentralisering av ansvar och befogenheter behövs för att möjliggöra snabb utveckling inom respektive domän. Ett konkret exempel är att release och deployment ska kunna hanteras självständigt av en domän.
Data som produkt
Dataanvändare kan upptäcka, lita på och förstå data på ett enkelt och kvalitativt sätt, oavsett om det sker över många distribuerade domäner. Data som produkt är den tydligaste ändringen där operationell och analytisk funktion hanteras tillsammans. Det spelar ingen roll om data ska användas omedelbart av en machine learning algoritm för att föreslå ett merköp till en kund eller för analys av vilka som är våra trendande produkter. Oavsett vilket ska teamet som kan datan bäst paketera den som en produkt, så bra som möjligt för de användare som finns – användarna ska ses som kunder. Att ta ansvar för data som en produkt innebär bland annat att den ska vara lätt att förstå, ha rätt kvalitet och vara tillgänglig. Ett exempel på skillnad mot tidigare är att ansvaret för kvaliteten på data kommer att ligga väldigt nära datakällan.
Självbetjäningsdatainfrastruktur som en plattform
Plattformen skapar möjligheter att skapa och konsumera dataprodukter och minskar komplexiteten genom att tillåta autonom utveckling men stödja med en funktionsrik plattform. Plattformen ska tex. stödja lagring av olika typer av data, åtkomstkontroll, data lineage, utveckling av data pipelines och importer, loggning mm. Respektive team ska kunna utveckla sina produkter med hjälp av en lättillgänglig och kraftfull verktygslåda.
Federerad styrning
I alltmer komplexa system där oberoende dataprodukter kombineras och integreras, krävs nya förutsättningar för dataanvändaren. Med hjälp av federerad styrning kan varje domän vara en del av ett gemensamt system. Exempel på områden för federerad styrning är objekt eller regler som spänner över flera domäner, ett sådant objekt kan vara GDPR. Med federerad styrning främjas decentralisering och samordning på ett sätt som kan skapa värde för användaren.
Ett modernt koncept för datalagring är mer kostnadseffektivt
Att försöka lösa nya utmaningar med gamla koncept tar tid och är ofta kostsamt. På sikt är Data mesh därför ett koncept som fler organisationer skulle kunna dra stor nytta av. Världen rör sig snabbt, mängden data ökar och likaså behovet av analys. Att inte ha möjlighet att hänga med i förändringen kan vara en stor ekonomisk belastning för organisationer.
Genom att stegvis implementera Data mesh, som ett komplement till befintligt data warehouse, skapas förutsättningar för mer agilt och kostnadseffektivt arbete. Utefter organisationers behov och önskemål går Data mesh därefter att utveckla och anpassa över tid. Data mesh är inte bundet till någon specifik leverantör eller produkt, vilket gör att konceptet enkelt kan anpassas efter olika verksamheter och situationer.
Data Mesh möjliggör för verksamhetsutveckling
Många organisationer upplever att man sitter fast i tunga IT-system där det är svårt att genomföra förändringar. När organisationen önskar att genomföra förändringar möts man av en IT-avdelning som inte har resurser att driva förändringen framåt, vilket därmed kan vara ett hinder för verksamhetsutvecklingen. Ett mer flexibelt och agilt koncept för data management, som Data mesh, möjliggör för organisationer som har mycket data om sin verksamhet, eller har möjlighet att få in mycket data, att också driva verksamhetens utveckling framåt.
På Nordicstation har vi etablerat ett Data warehouse-team som nyutvecklar, förvaltar och hanterar flera olika kunders Data warehouses. Dialog mellan teamet och kunderna gällande Data mesh och möjligheter kring detta sker kontinuerligt vid förfrågan.
Är ni intresserade av vårt Data warehouse-team eller vill få en tydligare bild av hur Data mesh påverkar just er organisation? Kontakta Jonas Kappling direkt på jonas.kappling@nordicstation.com.
Nyttiga länkar för mer information:
Data Mesh principles and Logical Architecture by Zhamak Dehghani
The Evolution of Data Architecture: Data Warehouse, Data Lake and Data Mesh with Jeffrey T. Pollock