Anomalia czy schemat ?

Od ostatniego wpisu na blogu minęły dwa dni….czyli wczoraj zabrakło publikacji. Dlaczego? Odpowiedź się banalnie prosta, treść, którą mam nadzieję za chwilę przeczytasz napisałem jeszcze w poniedziałek, ale finalnie nie ustawiłem jej do automatycznej publikacji. Tymczasem dwa, a nawet trzy (włącznie z dzisiejszym) ostatnie dni były na tyle pracowite, że zajrzałem na sql4You dopiero teraz…zachęcam zatem do lektury, która jest wynikiem jednej z realizowanych obecnie aktywności, która w ostatnich dwóch dniach zajmowała mój czas…

Budowa rozwiązania, które będzie pełniło rolę systemu wykrywania anomalii wymaga kilku komponentów. Zaczynając od pozyskiwania danych, przez ich analizę w czasie rzeczywistym oraz gromadzenie na potrzeby dalszego przetwarzania, aż po wykorzystanie mechanizmów uczenia maszynowego. Zdarzenia poddane analizie są oceniane, oznaczane i odpowiednio obsługiwane. Co ciekawe, nawet Microsoft stosuje obecnie w swoich rozwiązaniach takie właśnie podejście, tak aby analiza dzienników zdarzeń była bardziej wartościowa i pozwalała wskazać potencjalne zagrożenia dla systemów ucząc się jednocześnie zachowań systemów, urządzeń oraz użytkowników. Jeśli chcesz się przekonać , jak działa rozwiązanie tego typu w praktyce, polecam rozpoznać temat Advanced Threat Analytics i związanych z nim korzyści.

Sądzę również, że warto zainteresować się jak tego typu rozwiązanie można stworzyć, w zasadzie od podstaw, wykorzystując komponenty dostępne na platformie Azure. Okazuje się, że budowa rozwiązania, które będzie w pełni funkcjonalne możesz uruchomić w przeciągu kilku minut, wykorzystując dostępny szablon rozwiązania. Szablon opublikowany został w ramach Cortana Intelligence Gallery, pod nazwą IT Anomaly Insights.
Co zatem otrzymujesz out of the box ?

  • Analizę aktywności (skoki i spadki) – w przypadku analizy aktywności w obszarze witryn internetowych rozwiązanie pozwala wyłapać zmiany w natężeniu ruchu w stosunku do przewidywanych wartości
  • Negatywne i pozytywne trendy w zachowaniu usług i aplikacji, m.in. kolejka obsługi zdarzeń, wyciek pamięci w aplikacjach
  • Zautomatyzowany proces gromadzenia danych i obsługi zdarzeń

Jeśli chcesz zweryfikować działanie rozwiązania dla swojego środowiska, możliwe jest wykorzystanie własnych danych – pod warunkiem dostarczenia ich w określonym schemacie. Natomiast jeśli tylko chcesz poznać szczegóły architektury rozwiązania i zobaczyć działający proces end-to-end, dostępny jest generator danych. Oczywiście w rozwiązaniu nie brakuje również warstwy adresującej potrzeby użytkowników, czyli wizualizacji i pulpitów nawigacyjnych z wykorzystaniem PowerBI.

W celach poglądowych poniżej diagram całego rozwiązania:

Solution Diagram

Żródło: https://gallery.cortanaintelligence.com/Solution/IT-Anomaly-Insights-1

Przyznam, że dla mnie to rozwiązanie jest idealnym przykładem jak efektywnie można wykorzystać rozwiązania na platformie Azure i bardzo szybkim czasie dostarczyć wartość dla organizacji.