Ciebie też to czeka…ewolucja trwa…

Koncepcja budowy hurtowni danych sięga końca ’80. Sukcesywnie pojawiały się nowe publikacje, a pierwotna koncepcja ewaluowała, aż do 1992, kiedy to Bill Inmon opublikował „Building the Data Warehouse”. Zaprezentowane przez Inmona podejście tzw. znormalizowane, czyli zgodne z modelem normalizacyjnym (E-R). Cztery lata później, w 1996 Ralf Kimball wydaje „Data Warehouse Toolkit”, w której zaprezentował podejście wielowymiarowe do budowy hurtowni tzw. schemacie gwiazdy (Star schema). Od tego momentu świat hurtowni danych zaczął dzielić się na zwolenników Kimball’a (do których ja osobiście należę) oraz Inmon’a.  Nie trzeba było zbyt długo czekać, bo już w roku 2000 pojawiła się kolejna znacząca w świecie hurtowni danych koncepcja zaprezentowana przez Dan’a Linstedt’a, który jako odpowiedź na problemy napotykane przy podejściu swoich poprzedników publikuje model Data Vault. Elastyczny model, dostosowany do zmieniających się realiów biznesowych, zapewniających audytowalność, historyczność i szybkość ładowania danych..,

……… 17 lat później….czyli rok 2017…..

Świat hurtowni danych zmienił się nie do poznania. Systemy DW przeszły z epoki rozwoju, przez fazę stabilizacji, aż do modelu ciągłego utrzymania. Tymczasem świat danych zmienił się w wielu obszarach. Klasyczny model zasilania hurtowni danych w trybie wsadowym stosowany do tej pory, nie jest już jednym, możliwym i branym pod uwagę scenariuszem. Dzisiaj w wielu przypadkach dane przetwarzane są strumieniowo. Obok dobrze znanych relacyjnych systemów źródłowych, pojawiły się zróżnicowane pod kątem struktur danych systemy zewnętrzne, rozwiązania IoT. W świecie analityki i raportowania, oprócz charakterystycznych dla świata BigData technologii takich jak Hadoop czy Spark, na dobre zagościły rozwiązania klasy in-memory czy kolumnowego przetwarzania danych. Całość obrazu dopełnia chmura publiczna oferując możliwość budowy wysokowydajnych hurtowni danych (w tym nawet w architekturze MPP) przy stosunkowo elastycznym i efektywnym kosztowo modelu finansowym. Czas zatem na zmiany. Nowoczesna hurtownia danych to zagadnie, z którym podobnie jak kilkanaście lat temu przy budowie klasycznych hurtowni danych, muszą zmierzyć się dzisiaj w zasadzie wszyscy, a  w szczególności Ci którzy przez ostatnie kilka lat pielęgnowali swoje  wielowymiarowe lub znormalizowane modele E-R. Wszystkim zainteresowanym polecam ciekawą pozycję Microsoft Modern Data Warehouse White Paper, a w przypadku pytań lub po prostu chęci przedyskutowania swoich pomysłów i wyzwań kontakt ze mną 🙂

2 Replies to “Ciebie też to czeka…ewolucja trwa…”

  1. msbifun

    Tylko jak znaleźć na to czas, by ogarnąć te wszystkie technologie? 🙂 czy istnieje szansa na artykuł dotyczący porównania koncepcji wymienionych wizjonerów w kontekście technologii Microsoft? 🙂

Comments are closed.