Big Data zagląda pod strzechy, a wraz z nim epoka Internet of Things

Big Data zagląda pod strzechy

Kilka lat temu pojawił się termin Big Data, wraz z nim wiele ciekawych historyjek oraz pomysłów na to jak Big Data zrewolucjonizuje podejście do danych, efektywności ich wykorzystania oraz nieocenionej wartości płynącej bezpośrednio z danych. Minęło kilka, a nawet już kilkanaście lat (jeden z pierwszych raportów charakteryzujący Big Data pojawiał się na początku XXI wieku – tak tak rok 2001 to moment, gdy zaczęło się mówić o modelu 3V, jako charakterystyce zbiorów Big Data:

  • duża ilość danych (volume)
  • duża zmienność danych (velocity)
  • duża różnorodność danych (variety)

Z czasem model został uzupełniony o 4 składową –  wartość (value), niektórzy mówią też o elemencie numer 5 czyli jakości, a raczej wiarygodności danych (Veracity).

Big Data

Źródło:http://dilbert.com/strip/2012-07-29

Przygody z Big Data próbowały (i nadal próbują) różne firmy, zarówno te największe, jak i znacznie mniejsze. Zaskakujące są efekty działań w obszarach Big Data. Z raportu Gartnera wynika, że ok 60% projektów Big Data zakończy się niepowodzeniem. Tymczasem w nie do końca rozpoznanym  świecie Big Data, który wraz z rozwojem Internetu zaczął rozwijać się  znacznie szybciej, pojawił się nowy obszar dotyczący wspomnianego już Internetu i aspektów związanych z danymi, ich różnorodnością, zmiennością, wolumenem czy wartością. Internet of Things, bo o tym obszarze właśnie myślę, skutecznie wzbogacają świat danych.

Rynek IoT jest wart 3,1 mld dolarów…

IoT to oczywiście nie tylko dane, to również, a może właśnie przede wszystkim urządzenia. Urządzenia, które dzięki zapewnionej łączności potrafią przesłać od kilku do milionów komunikatów, a tym samym dostarczać znaczące ilości danych, które oprócz składowania wymagają natychmiastowej analizy.  Ciekawostką jest fakt, że wg raportu „Worldwide IoT Spending Guide by Vertical” wartość polskiego rynku IoT, która w 2015 r. wyniosła 1,5 mld USD, w 2018 roku podwoi się do 3,1 mld USD. Czy widać to przyspieszenie i zainteresowanie. Zdecydowanie tak! O ile opisywany wcześniej świat Big Data i związane z tym pierwsze projekty, pomimo znacznie dłuższej historii nie mogą zostać zaliczone do ogromnych sukcesów.

To właśnie projekty IoT mają szansę podnosić statystyki sukcesów projektów Big Data, bo bez wątpienia IoT i Big Data mają ze sobą spory, wspólny zakres. Jak już wspomniałem, nie da się ukryć, że urządzenia IoT generują znaczące ilości danych, danych bardzo szybko zmiennych w czasie o znaczącej różnorodności, uzależnionej od specyfiki działania określonego urządzenia.

Tak robią to inni….i dobrze im to wychodzi

Przyglądając się bliżej rozwiązaniom obszaru IoT można dość łatwo zidentyfikować jaką wartość mogą takie rozwiązania dać prowadzonej przez nas firmie. Jednym z ciekawszych przykładów jest projekt o nazwie “Connected Drones”. W ramach projektu zrealizowany został system aktywnego monitorowania energetycznych linii przesyłowych. Drony wyposażone w kamery zbierają informacje w postaci obrazu, temperatury i przekazują je w formie strumieniowej do przetworzenia, w wyniku którego możliwa jest pro-aktywna ocena ryzyka awarii czy uszkodzenia elementów linii energetycznych. Nieco więcej szczegółów można przeczytać w poniższym artykule.

Connected Drones: 3 Powerful Lessons We Can All Take Away

Innym przykładem zastosowania rozwiązań IoT jest firma Rockwell, która wykorzystuje odpowiednio rozmieszczone czujniki do monitorowania przesyłu paliw, badania ciągłości pracy czy też również pro-aktywnego wykrywania awarii. Krótkie zestawienie możliwości rozwiązania prezentuje poniższy film

Jeszcze inni wykorzystują możliwości IoT, aby świadczyć swoje usługi bardziej efektywnie, a dzięki temu wyróżniać się na rynku. Przykładem może być firma Johnson Controls, która opracowała rozwiązania dla budynków, pozwalające np. na optymalizację pracy urządzeń chłodzących oraz jednocześnie gwarantując ograniczenie przestojów wynikających z awarii – a wszystko dzięki rozwiązaniom, które w czasie rzeczywistym monitorują działające urządzenia, a zebrane dane mogą być natychmiast analizowane za pomocą odpowiednio przygotowanych modeli klasyfikacji czy predykcji.

Czy ciężko jest zacząć?

Oczywiście jak każdy projekt, tak również projekt z obszaru IoT potrzebuje odpowiedniej klasy urządzeń, infrastruktury i ludzi, którzy oprócz uruchomienia rozwiązania potrafią dostrzec wartość w rozwiązaniach tego typu. Pozostaje więc infrastruktura i urządzenia. W kwestii urządzeń to jest ich na rynku dość sporo, a ich liczba regularnie rośnie. Od prostych sensorów wysyłających dane po mini komputery wyposażone we własny system operacyjny (np. Windows IoT Core ) . I wreszcie infrastruktura, serwery, punkty dostępowe, bramki….zaraz zaraz a nie da się prościej bez tych wszystkich elementów we własnej infrastrukturze – oczywiście, że tak.

IoT i związane z tym potrzeby w zakresie infrastruktury to idealny przykład, gdzie usługi platformowe oferowane w ramach chmury publicznej sprawdzą się bez wątpienia.  Usługi IoT w chmurze to przede wszystkim gotowe komponenty do pozyskiwania danych (np. IoT Hub), wstępnej analizy i przetworzenia danych ( Azure Stream Analytics), składowania danych (SQL Database, Cosmos DB czy Data Lake Store). To także możliwości wizualizacji ( Power BI czy Time Series Insights). To brzmi skomplikowanie?

Właśnie dlatego postanowiłem zebrać w jednym miejscu kilka przydatnych linków i przykładów implementacji. Przytaczając nieco moją sesję z ostatniego SQL Day poniżej prezentuję 5 kroków do tego jak skutecznie zacząć przygodę z Iot na platformie Azure:

Krok 1: Zbieranie danych IoT Hub
  • Jak skonfigurować IoT Hub

https://docs.microsoft.com/en-us/azure/iot-hub/iot-hub-create-through-portal

  • Jak wysłać wiadomości do IoT Huba

https://docs.microsoft.com/en-us/azure/iot-hub/iot-hub-devguide-messaging

  • Ile kosztuje IoT Hub

https://docs.microsoft.com/en-us/azure/iot-hub/iot-hub-devguide-pricing

Poziomy usług IoT Hub’a

https://azure.microsoft.com/pl-pl/pricing/details/iot-hub/

Krok 2: Praca ze strumieniem danych Stream Analytics
  • Konfiguracja Stream Analytics do pracy z IoT Hub

https://docs.microsoft.com/en-us/azure/stream-analytics/stream-analytics-get-started-with-azure-stream-analytics-to-process-data-from-iot-devices

  • Obsługa strumienia danych w Stream Analytics:

https://docs.microsoft.com/en-us/azure/stream-analytics/stream-analytics-define-inputs

  • Skalowanie Stream Analytics

https://docs.microsoft.com/en-us/azure/stream-analytics/stream-analytics-scale-jobs

  • Ile kosztuje Stream Analytics?

https://azure.microsoft.com/pl-pl/pricing/details/stream-analytics/

Jak wydajne Stream Analytics jest nam potrzebne: https://docs.microsoft.com/en-us/azure/stream-analytics/stream-analytics-streaming-unit-consumption

Krok 3: Model w Machine Learning
  • Tworzenie przestrzeni Machine Learning

https://docs.microsoft.com/en-us/azure/machine-learning/machine-learning-manage-workspace

  • Budowa eksperymentu w ML

https://docs.microsoft.com/en-us/azure/machine-learning/machine-learning-create-experiment

  • Użycie Python & R w ML:

https://docs.microsoft.com/en-us/azure/machine-learning/machine-learning-execute-python-scripts

https://docs.microsoft.com/en-us/azure/machine-learning/machine-learning-r-quickstart

  • Publikacja modelu przygotowanego w ML:

https://docs.microsoft.com/en-us/azure/machine-learning/machine-learning-convert-training-experiment-to-scoring-experiment

Krok 4: Integracja Stream Analytics /  Machine Learning / DocumentDB lub SQL
  • Podłączenie Stream Analytics to Azure Machine Learning

https://docs.microsoft.com/en-us/azure/stream-analytics/stream-analytics-scale-with-machine-learning-functions

  • Zapis danych do bazy/storage

https://docs.microsoft.com/en-us/azure/stream-analytics/stream-analytics-define-outputs

Cosmos DB (ex-DocumentDB): https://azure.microsoft.com/pl-pl/blog/azure-stream-analytics-and-documentdb-for-your-iot-application/

DataLake: https://docs.microsoft.com/en-us/azure/data-lake-store/data-lake-store-stream-analytics

Krok 5: Wizualizacja
  •  Usługa PowerBI

https://powerbi.microsoft.com/en-us/documentation/powerbi-service-get-started/

  • Integracja Stream Analytics & Power BI

https://docs.microsoft.com/en-us/azure/stream-analytics/stream-analytics-power-bi-dashboard

https://powerbi.microsoft.com/en-us/documentation/powerbi-service-real-time-streaming/

Przykład:

  • Całe rozwiązanie end to end:

https://docs.microsoft.com/en-us/azure/stream-analytics/stream-analytics-build-an-iot-solution-using-stream-analytics

  • Można też odpalić na start, jedno z gotowych rozwiązań, który utworzy wszystkie komponenty , aby zobaczyć jak są ze sobą połączone oraz zapewni możliwość testowania i weryfikowania możliwości rozwiązań klasy IoT
  • Microsoft Azure IoT Suite  https://www.azureiotsuite.com/

Zupełnie jako niezależny element do analizy strumienia danych w czasie można przetestować:

  • Time Series Insights, czyli natychmiastowe badanie i analizowanie danych szeregów czasowych w rozwiązaniach IoT

https://azure.microsoft.com/pl-pl/services/time-series-insights/

A jeśli po przedstawionej lekturze nadal masz pytania – zadaj je – postaram się pomóc.