Tak jak mówi się, że cały wszechświat i nasza galaktyka uformowały się w wyniku eksplozji Wielkiego Wybuchu, podobnie, z powodu tak wielu postępów technologicznych, dane również rosły wykładniczo, prowadząc do eksplozji Big Data. Dane te pochodzą z różnych źródeł, mają różne formaty, są generowane ze zmienną częstotliwością i mogą również zawierać niespójności. Dlatego możemy po prostu nazwać eksplozję takich danych, jak .Wyjaśnię następujące tematy na tym blogu, aby dać ci wgląd w Big Data Analytics:
- Dlaczego Big Data Analytics?
- Co to jest Big Data Analytics?
- Narzędzia Big Data
- Domeny Big Data
- Przypadki użycia Big Data
- Trendy w Big Data Analytics
Dlaczego Big Data Analytics?
Zanim przejdę dalej, aby opowiedzieć o tym, co jest Analityka, powiem wam, dlaczego jest potrzebna. Pozwólcie, że ujawnię wam również, że każdego dnia tworzymy około 2,5 tryliona bajtów danych! Więc teraz, gdy zgromadziliśmy Big Data, nie możemy ich zignorować, ani nie możemy pozwolić im pozostać bezczynnymi i zmarnować.
Różne organizacje i sektory na całym świecie zaczęły wdrażać Big Data Analytics, aby uzyskać liczne korzyści. Big Data Analytics dostarcza informacji, które wiele firm zamienia w działania i osiąga ogromne zyski, a także odkrycia. Wymienię cztery takie powody wraz z interesującymi przykładami.
Pierwszym powodem jest to,
- Mądrzejsza i wydajniejsza organizacja
Pozwólcie, że opowiem o jednej z takich organizacji, nowojorskim wydziale policji (NYPD). NYPD świetnie wykorzystuje Big Data i analizy do wykrywania i identyfikowania przestępstw, zanim do nich dojdzie. Analizują historyczne wzorce aresztowań, a następnie mapują je z wydarzeniami, takimi jak święta federalne, dni wypłaty, natężenie ruchu, opady deszczu itp.Pomaga im to w natychmiastowej analizie informacji dzięki wykorzystaniu tych wzorców danych. Big Data i strategia analitycznapomagaidentyfikują miejsca przestępstw, za pośrednictwem których rozmieszczają swoich funkcjonariuszy w tych miejscach. W ten sposób docierając do tych miejsc jeszcze przed popełnieniem zbrodni, zapobiegają występowaniu przestępstw.
- Optymalizuj operacje biznesowe, analizując zachowania klientów Większość organizacji wykorzystuje analizę behawioralną klientów w celu zapewnienia satysfakcji klientów, a tym samym zwiększenia ich bazy klientów. Najlepszym tego przykładem jest Amazon. Amazon to jedna z najlepszych i najczęściej używanych witryn e-commerce z bazą około 300 milionów klientów. Korzystają z danych o strumieniu kliknięć klientów i historycznych danych o zakupach, aby zapewnić im spersonalizowane wyniki na dostosowanych stronach internetowych. Analizowanie kliknięcia każdego odwiedzającego ich witrynę pomagają im zrozumieć zachowanie związane z nawigacją w witrynie, ścieżki, którymi podążył użytkownik, aby kupić produkt, ścieżki, które doprowadziły go do opuszczenia witryny i nie tylko. Wszystkie te informacje pomagają Amazonowi poprawić komfort użytkowania, a tym samym poprawić sprzedaż i marketing.
- Redukcja kosztów Technologie Big Data i postęp technologiczny, taki jak przetwarzanie w chmurze, przynoszą znaczne korzyści kosztowe, jeśli chodzi o przechowywanie i przetwarzanie dużych zbiorów danych. Pozwólcie, że opowiem wam, jak służba zdrowia wykorzystuje analizę dużych zbiorów danych, aby obniżyć swoje koszty. Obecnie pacjenci w domu lub poza nim używają nowych czujników, które wysyłają ciągłe strumienie danych, które mogą być monitorowane i analizowane w czasie rzeczywistym, aby pomóc pacjentom uniknąć hospitalizacji poprzez samodzielne kontrolowanie ich stanu.W przypadku pacjentów hospitalizowanych lekarze mogą korzystać z analiz predykcyjnych w celu optymalizacji wyników i zmniejszenia liczby ponownych hospitalizacji.Parkland Hospital korzysta z narzędzi analitycznych i modelowania predykcyjnego do identyfikacji pacjentów wysokiego ryzyka i przewidywania prawdopodobnych wyników po odesłaniu pacjentów do domu. W rezultacie Parkland zmniejszył liczbę ponownych hospitalizacji w ciągu 30 dni u pacjentów z niewydolnością serca o 31%oszczędzając 500 000 dolarów rocznie.
Produkty nowej generacji
Dzięki możliwości oceny potrzeb i satysfakcji klientów za pomocą analiz, daje możliwość zaoferowania klientom tego, czego chcą. Znalazłem tutaj trzy takie interesujące produkty. Pierwszy , Googlesamochód autonomicznyktóra wykonuje miliony obliczeń podczas każdej podróży, które pomagają samochodowi zdecydować, kiedy i gdzie skręcić, czy zwolnić, czy przyspieszyć, a kiedy zmienić pas - te same decyzje podejmuje ludzki kierowca za kierownicą.
Plik druga Jeden jestNetflix, który zobowiązał się przez dwa sezony swojego niezwykle popularnego programu House of Cards, całkowicie ufając Big Data Analytics! W ubiegłym roku Netflix zwiększył bazę abonentów w USA o 10% i dodał prawie 20 milionów subskrybentów z całego świata.
Plik trzeci Przykładem jest jedna z naprawdę fajnych nowych rzeczy, z którymi się spotkałem, to inteligentna mata do jogi. Gdy po raz pierwszy użyjesz inteligentnej maty, przeprowadzi Cię ona przez szereg ruchów, aby skalibrować kształt ciała, rozmiar i osobiste ograniczenia. Te dane z profilu osobistego są przechowywane w aplikacji Smart Mat i pomogą Smart Mat wykryć, kiedy nie jesteś w stanie wyrównania lub równowagi. Z biegiem czasu będzie on automatycznie ewoluował wraz ze zaktualizowanymi danymi, gdy będziesz doskonalić swoją praktykę jogi.
Co to jest Big Data Analytics?
Teraz formalnie zdefiniujmy „Co to jest Big Data Analytics?” Analiza Big Data analizuje duże i różne typy danych, aby odkryć ukryte wzorce, korelacje i inne spostrzeżenia. Zasadniczo Big Data Analytics jest w dużej mierze wykorzystywana przez firmy w celu ułatwienia ich wzrostu i rozwoju. Wiąże się to głównie z zastosowaniem różnych algorytmów eksploracji danych na danym zestawie danych, które pomogą im w podejmowaniu lepszych decyzji.
Etapy w analizie Big Data
Są to następujące etapy zaangażowane w proces analizy Big Data:
Rodzaje analizy dużych zbiorów danych
Istnieją cztery typy:
- Analiza opisowa: Wykorzystuje agregację danych i eksplorację danych, aby zapewnić wgląd w przeszłość i odpowiedzieć: „Co się stało?” Analiza opisowa robi dokładnie to, co sugeruje nazwa, „opisuje” lub podsumowuje surowe dane i umożliwia ich interpretację przez ludzi.
- Analityka predykcyjna: Wykorzystuje modele statystyczne i techniki prognoz, aby zrozumieć przyszłość i odpowiedzieć: „Co może się stać?” Analizy predykcyjne zapewniają firmom przydatne informacje oparte na danych. Zapewnia szacunki dotyczące prawdopodobieństwa przyszłego wyniku.
- Analizy nakazowe: Korzysta z algorytmów optymalizacji i symulacji, aby uzyskać porady dotyczące możliwych wyników i odpowiedzi: „Co powinniśmy zrobić?” Pozwala użytkownikom „przepisać” szereg różnych możliwych działań i skierować ich do rozwiązania. Krótko mówiąc, ta analiza polega na udzielaniu porad.
- Analiza diagnostyczna: Służy do określenia, dlaczego coś wydarzyło się w przeszłości. Charakteryzuje się technikami takimi jak drążenie, odkrywanie danych, eksploracja danych i korelacje. Analiza diagnostyczna dokładniej analizuje dane, aby zrozumieć podstawowe przyczyny zdarzeń.
Big Data Przybory
Oto niektóre z następujących narzędzi używanych do analizy dużych zbiorów danych: Hadoop , , Apache HBase , Apache Spark , , , Apache Hive , Kafka .
Domeny Big Data
- Opieka zdrowotna: Opieka zdrowotna wykorzystuje analitykę dużych zbiorów danych do obniżania kosztów, przewidywania epidemii, unikania chorób, którym można zapobiegać i ogólnej poprawy jakości życia. Jeden z najbardziej rozpowszechnionychzastosowań Big Data w opiece zdrowotnej to Elektroniczna Karta Zdrowia (EHR).
- Telekomunikacja: Są jednym z najbardziej znaczących współtwórców Big Data. Branża telekomunikacyjna poprawia jakość usług ibardziej efektywnie kieruje ruchem. Analizując dane dotyczące połączeń w czasie rzeczywistym, firmy te mogą identyfikować nieuczciwe zachowania i natychmiast reagować na nie. Dział marketingu może modyfikować swoje kampanie, aby lepiej docierać do klientów i wykorzystywać zdobyte informacje do opracowywania nowych produktów i usług.
- Ubezpieczenie: Firmy te używają analizy dużych zbiorów danych do oceny ryzyka, wykrywania oszustw, marketingu, spostrzeżeń o klientach, doświadczeń klientów i nie tylko.
- Rząd: Rząd Indii wykorzystał analitykę dużych zbiorów danych do oszacowania handlu w kraju. Wykorzystali faktury z Centralnego podatku od sprzedaży, aby przeanalizować zakres, w jakim stany handlują między sobą.
- Finanse: Banki i firmy świadczące usługi finansowe wykorzystują narzędzia analityczne do odróżniania nieuczciwych interakcji od legalnych transakcji biznesowych. Systemy analityczne sugerują natychmiastowe działania, takie jak blokowanie nieregularnych transakcji, co zapobiega oszustwom przed ich wystąpieniem i poprawia rentowność.
- Samochód: Rolls Royce, który wykorzystał Big Data, instalując setki czujników w swoich silnikach i układach napędowych, które rejestrują każdy najmniejszy szczegół ich działania. Zmiany danych w czasie rzeczywistym są raportowane do inżynierów, którzy zdecydują o najlepszym sposobie działania, takim jak planowanie konserwacji lub wysyłanie zespołów inżynierów.
- Edukacja: Jest to dziedzina, w której Big Data Analytics jest powoli i stopniowo przyswajana.Wybór technologii opartej na dużych zbiorach danych jako narzędzia do nauki zamiast tradycyjnych metod wykładowych, poprawił naukę uczniów, a także pomógł nauczycielom lepiej śledzić ich wyniki.
- Sprzedaż: Handel detaliczny, w tym handel elektroniczny i sklepy stacjonarne, szeroko wykorzystuje Big Data Analytics do optymalizacji swojej działalności. Na przykład Amazon, Walmart itp.
Przypadki użycia Big Data
Pierwszy przypadek użycia, który tu wziąłem, dotyczy Starbucks.
Drugi przypadek użycia, którym chcę się z wami podzielić, dotyczy Procter & Gamble.
Trendy w Big Data Analytics
Poniższy obraz przedstawia przychody rynkowe z Big Data wmiliardDolary amerykańskie od roku 2011 do 2027.
Oto kilka Fakty i statystyki Forbesa :
Perspektywy rozwoju kariery w Big Data Analytics:
- Aspekty płacowe: Średnia pensja na stanowiskach analitycznych wynosi około 94 167 USD. Data Scientist jest uznawany za najlepszą pracę w Ameryce przez trzy lata z rzędu, z medianą pensji podstawowej w wysokości 110 000 USD i 4524 ofertami pracy. W Indiach odsetek analityków osiągających pensje poniżej 10 INR Lakhs spadł. Odsetek specjalistów od analityków zarabiających więcej niż 15 INR Lakhs wzrósł z 17% w 2016 do dwadzieścia jeden% w 2017 do 22, 3% w 2018 roku.
- Ogromne możliwości pracy: Firmy takie jak Google, Apple, IBM, Adobe, Qualcomm i wiele innych zatrudniają specjalistów ds. Analizy dużych zbiorów danych.
Zestaw umiejętności
Oto niektóre z umiejętności, które są wymagane w zależności od roli w dziedzinie analizy dużych zbiorów danych:
- Programowanie podstawowe: Należy mieć wiedzę na temat przynajmniej niektórych języków programowania ogólnego przeznaczenia, takich jak Java i Python.
- Analiza statystyczna i ilościowa: Idealnie byłoby mieć pojęcie o statystyce i analizie ilościowej.
- Magazyn danych: Wymagana jest znajomość baz danych SQL i NoSQL.
- Wizualizacja danych: Bardzo ważne jest, aby wiedzieć, jak wizualizować dane, aby móc zrozumieć spostrzeżenia i zastosować je w działaniu.
- Specyficzna wiedza biznesowa: Koniecznie trzeba mieć świadomość biznesu, w którym stosują analitykę, aby zoptymalizować swoje działania.
- Ramy obliczeniowe: Najlepiej wiedzieć o co najmniej jednym lub dwóch narzędziach, które są wymagane do analizy Big Data.
Teraz, gdy znasz już Big Data Analytics, zapoznaj się z autorstwa Edureka, zaufanej firmy zajmującej się edukacją online, z siecią ponad 250 000 zadowolonych uczniów rozsianych po całym świecie. Szkolenie Edureka Big Data Hadoop Certification Training pomaga uczniom stać się ekspertami w dziedzinie HDFS, Yarn, MapReduce, Pig, Hive, HBase, Oozie, Flume i Sqoop, wykorzystując przypadki użycia w czasie rzeczywistym w domenie handlu detalicznego, mediów społecznościowych, lotnictwa, turystyki, finansów.
Apache Spark vs Hadoop Mapreduce
Masz do nas pytanie? Wspomnij o tym w sekcji komentarzy, a my skontaktujemy się z Tobą.