Čo je Data Mesh a prečo by ma to malo zaujímať?
V posledných rokoch priniesol koncept Data Mesh revolúciu v tom, ako organizácie pracujú so svojimi údajmi. Umožnil podnikom vytvárať dátové zostavy s bezkonkurenčnou rýchlosťou a agilnosťou. Hodnota takmer každej firmy je založená na 2 aspektoch – jej dátach a ľuďoch (zamestnanci, partneri, zákazníci). A ľudia potrebujú správne údaje v správnom čase, aby mohli robiť správne rozhodnutia.
Známa teória hovorí, že z dát môžeme získavať informácie, z informácií znalosti a znalosti musia byť súčasťou múdrosti. Len synergia dát môže priniesť tie správne informácie pre rozhodovanie. A robiť správne rozhodnutia na základe dát znamená získať hodnotu z týchto dát. Na riešenie tohto veľkého hladu organizácií po rýchlom získavaní dát bolo navrhnutých množstvo riešení. Tie siahajú od tradičného DWH s podporou nástrojov Oracle, cez Hadoop, Azure Synapse až po cloudové vysoko paralelné databázy, ako je Snowflake alebo Google BigQuery.
Ani jeden z týchto nástrojov a prístupov nedokázal vyriešiť hlavný nedostatok – centralizáciu dát. Vždy existuje viac-menej centralizovaný tím, ktorý riadi alebo dokonca vytvára dátovú platformu. Výsledkom tohto centrálneho prvku sú drahé dátové riešenia a dodanie požadovaných dát trvá príliš dlho. Niekedy sa dokonca stratia obchodné potreby a report už ani nie je potrebný. Data Mesh je súbor návrhových a architektonických princípov vytvorený s cieľom umožniť demokratizáciu údajov bez takéhoto úzkeho hrdla. Data Mesh nie je produkt, ktorý sa dá kúpiť a magicky vyrieši všetky vaše problémy. Namiesto toho ho treba brať ako súbor usmernení, ktoré treba vyladiť tak, aby vyhovovali konkrétnej organizácii alebo projektu.
Celý náš článok o Data Mesh a prečo by vás to malo zaujímať nájdete v anglickom jazyku tu: What is Data Mesh and why do I care?
Autor
Miloš Molnár
Grow2FIT BigData Consultant
Miloš má viac ako 10 ročné skúsenosti s návrhom a implementáciou BigData riešení v cloud-ovom aj on-premise prostredí. Špecializuje sa na distribuované systémy, spracovanie dát a dátovú vedu využitím technológií ako Hadoop a cloudových služieb (AWS, Azure). Spolu s tímom dodal Miloš množstvo aplikácií pre dávkové aj streaming-ové spracovanie dát.
Má skúsenosti s dodávkou riešení pre korporátnych klientov ale aj pre start-upy. Pri návrhu dátových architektúr vyznáva princípy otvorených riešení, nákladovej efektívnosti a udržateľnosti v špecifickom prostredí klientov. Samozrejme, v zhode so stratégiou klienta a biznis architektúrou.
Celý konzultačný tím Grow2FIT: Náš tím