Co to jest nauka o danych? Przewodnik dla początkujących po nauce o danych

Wraz z wkroczeniem świata w erę big data rosła również potrzeba ich przechowywania. Było to głównym wyzwaniem i zmartwieniem branż przedsiębiorstw do 2010 roku. Główny nacisk położono na zbudowanie ram i rozwiązań do przechowywania danych. Teraz, gdy Hadoop i inne frameworki z powodzeniem rozwiązały problem pamięci masowej, uwaga została przeniesiona na przetwarzanie tych danych. Data Science jest tutaj sekretnym sosem. Wszystkie pomysły, które widzisz w hollywoodzkich filmach science-fiction, mogą faktycznie przekształcić się w rzeczywistość dzięki nauce o danych. Data Science to przyszłość sztucznej inteligencji. Dlatego bardzo ważne jest, aby zrozumieć, czym jest nauka o danych i jak może wnieść wartość dodaną do Twojej firmy.

Na tym blogu omówię następujące tematy.

• Co to jest nauka o danych?
• Dlaczego nauka o danych?
• Kim jest Data Scientist?
  • Co robi Data Scientist?
• Czym różni się od Business Intelligence (BI) i Data Science?
• Cykl życia nauki o danych z pomocą przypadku użycia

Pod koniec tego bloga będziesz w stanie zrozumieć, czym jest nauka o danych i jej rola w wydobywaniu znaczących spostrzeżeń ze złożonych i dużych zbiorów danych wokół nas.Aby uzyskać dogłębną wiedzę na temat nauki o danych, możesz zapisać się na żywo by Edureka z całodobowym wsparciem i dożywotnim dostępem.

Co to jest nauka o danych?

Data Science to mieszanka różnych narzędzi, algorytmów i zasad uczenia maszynowego, której celem jest odkrywanie ukrytych wzorców z surowych danych. Ale czym to się różni od tego, co statystycy robią od lat?

Odpowiedź tkwi w różnicy między wyjaśnianiem a przewidywaniem.

Jak widać na powyższym obrazku, analityk danychzwykle wyjaśnia, co się dzieje, przetwarzając historię danych. Z drugiej strony Data Scientist nie tylko przeprowadza analizę eksploracyjną, aby uzyskać z niej spostrzeżenia, ale także wykorzystuje różne zaawansowane algorytmy uczenia maszynowego, aby zidentyfikować wystąpienie określonego zdarzenia w przyszłości. Data Scientist spojrzy na dane pod różnymi kątami, czasami z kątów nieznanych wcześniej.

Tak więc nauka o danych jest przede wszystkim wykorzystywana do podejmowania decyzji i prognoz z wykorzystaniem predykcyjnej analizy przyczynowej, analizy preskryptywnej (predykcja plus nauka o decyzjach) oraz uczenia maszynowego.

• Predykcyjna analiza przyczynowa - Jeśli potrzebujesz modelu, który może przewidywać możliwości konkretnego zdarzenia w przyszłości, musisz zastosować predykcyjną analizę przyczynową. Powiedzmy, że jeśli przekazujesz pieniądze na kredyt, to prawdopodobieństwo, że klienci dokonają w przyszłości spłaty kredytu w terminie, jest dla Ciebie problemem. Tutaj możesz zbudować model, który może przeprowadzać analizy predykcyjne dotyczące historii płatności klienta, aby przewidzieć, czy przyszłe płatności będą na czas, czy nie.

• Analizy nakazowe: Jeśli potrzebujesz modelu, który ma inteligencję podejmowania własnych decyzji i możliwość modyfikowania go za pomocą parametrów dynamicznych, z pewnością potrzebujesz do tego analizy preskryptywnej. Ta stosunkowo nowa dziedzina polega na udzielaniu porad. Innymi słowy, nie tylko przewiduje, ale sugeruje szereg zalecanych działań i związanych z nimi wyników.
  Najlepszym tego przykładem jest autonomiczny samochód Google, o którym też mówiłem wcześniej. Dane zebrane przez pojazdy można wykorzystać do szkolenia samochodów autonomicznych. Możesz uruchomić algorytmy na tych danych, aby dodać do nich inteligencję. Umożliwi to Twojemu samochodowi podjęcie decyzji, np. Kiedy skręcić, którą ścieżkę wybrać,kiedy zwolnić lub przyspieszyć.

• Uczenie maszynowe do prognozowania - Jeśli masz dane transakcyjne firmy finansowej i potrzebujesz zbudować model, aby określić przyszły trend, najlepszym rozwiązaniem są algorytmy uczenia maszynowego. To podpada pod paradygmat nadzorowanego uczenia się. Nazywa się to nadzorowanym, ponieważ masz już dane, na podstawie których możesz szkolić swoje maszyny. Na przykład model wykrywania oszustw można wyszkolić, korzystając z historycznego zapisu nieuczciwych zakupów.

• Uczenie maszynowe do wykrywania wzorców - Jeśli nie masz parametrów, na podstawie których możesz prognozować, musisz znaleźć ukryte wzorce w zbiorze danych, aby móc dokonać znaczących prognoz. To nic innego jak model bez nadzoru, ponieważ nie masz żadnych predefiniowanych etykiet do grupowania. Najpopularniejszym algorytmem używanym do wykrywania wzorców jest klastrowanie.
  Powiedzmy, że pracujesz w firmie telefonicznej i musisz utworzyć sieć, stawiając wieże w regionie. Następnie możesz użyć techniki klastrowania, aby znaleźć te lokalizacje wież, które zapewnią, że wszyscy użytkownicy otrzymają optymalną siłę sygnału.

Zobaczmy, jak różni się odsetek wyżej opisanych podejść w analizie danych i nauce o danych. Jak widać na poniższym obrazku, Analiza danychzawiera do pewnego stopnia analizy opisowe i prognozy. Z drugiej strony, nauka o danych bardziej dotyczy predykcyjnej analizy przyczynowej i uczenia maszynowego.

Teraz, gdy już wiesz, czym dokładnie jest nauka o danych, dowiedzmy się teraz, dlaczego była ona potrzebna.

Dlaczego nauka o danych?

• Tradycyjnie dane, które mieliśmy, były w większości ustrukturyzowane i niewielkie, co można było analizować za pomocą prostych narzędzi BI.W przeciwieństwie do danych wtradycyjne systemy, w większości ustrukturyzowane, obecnie większość danych jest nieustrukturyzowana lub częściowo ustrukturyzowana. Przyjrzyjmy się trendom danych na poniższym obrazku, który pokazuje, że do 2020 r. Ponad 80% danych będzie niestrukturalnych.
  
  Dane te są generowane z różnych źródeł, takich jak dzienniki finansowe, pliki tekstowe, formularze multimedialne, czujniki i instrumenty. Proste narzędzia BI nie są w stanie przetworzyć tak ogromnej ilości i różnorodności danych. Dlatego potrzebujemy bardziej złożonych i zaawansowanych narzędzi analitycznych i algorytmów do przetwarzania, analizowania i wyciągania z nich znaczących spostrzeżeń.

Nie jest to jedyny powód, dla którego nauka o danych stała się tak popularna. Przyjrzyjmy się głębiej i zobaczmy, jak nauka o danych jest wykorzystywana w różnych dziedzinach.

• Co powiesz na to, że możesz zrozumieć dokładne wymagania swoich klientów na podstawie istniejących danych, takich jak historia przeglądania, historia zakupów, wiek i dochód. Bez wątpienia wszystkie te dane miałeś także wcześniej, ale teraz, dzięki ogromnej ilości i różnorodności danych, możesz efektywniej trenować modele i precyzyjniej polecać produkt swoim klientom. Czy nie byłoby to niesamowite, ponieważ przyniesie więcej korzyści Twojej organizacji?

• Przyjrzyjmy się innym scenariuszom, aby zrozumieć rolę nauki o danych w podejmowanie decyzji.A co by było, gdyby twój samochód miał inteligencję, która odwiozła cię do domu? Samojezdne samochody zbierają na żywo dane z czujników, w tym radarów, kamer i laserów, aby stworzyć mapę otoczenia. Na podstawie tych danych podejmuje decyzje, kiedy przyspieszyć, kiedy zwolnić, kiedy wyprzedzać, gdzie skręcić - korzystając z zaawansowanych algorytmów uczenia maszynowego.
• Zobaczmy, jak można wykorzystać naukę o danych w analityce predykcyjnej. Weźmy na przykład prognozowanie pogody. Dane ze statków, samolotów, radarów, satelitów można gromadzić i analizować w celu tworzenia modeli. Modele te nie tylko będą prognozować pogodę, ale także pomogą przewidzieć wystąpienie wszelkich klęsk żywiołowych. Pomoże ci to wcześniej podjąć odpowiednie kroki i uratować wiele cennych istnień.

Rzućmy okiem na poniższą infografikę, aby zobaczyć wszystkie domeny, w których Data Science wywiera wrażenie.

Kim jest Data Scientist?

Istnieje kilka definicji dostępnych w Data Scientists. Krótko mówiąc, Data Scientist to ktoś, kto praktykuje sztukę Data Science.Termin „Data Scientist” byłukuty po rozważeniu faktu, że naukowiec danych czerpie wiele informacji z dziedzin naukowych i zastosowań, niezależnie od tego, czy są to statystyki, czy matematyka.

Co robi Data Scientist?

Naukowcy zajmujący się danymi to ci, którzy rozwiązują złożone problemy z danymi dzięki swojej dużej wiedzy specjalistycznej w niektórych dyscyplinach naukowych. Pracują z kilkoma elementami związanymi z matematyką, statystyką, informatyką itp. (Choć mogą nie być ekspertami we wszystkich tych dziedzinach).W dużym stopniu wykorzystują najnowsze technologie w znajdowaniu rozwiązań i wyciąganiu wniosków, które są kluczowe dla wzrostu i rozwoju organizacji. Naukowcy zajmujący się danymi przedstawiają dane w znacznie bardziej użytecznej formie w porównaniu z surowymi danymi dostępnymi w formie ustrukturyzowanej i nieustrukturyzowanej.

Aby dowiedzieć się więcej o Data Scientist, możesz zapoznać się z tym artykułem

Idąc dalej, omówimy teraz BI. Jestem pewien, że być może słyszałeś również o Business Intelligence (BI). Często nauka o danych jest mylona z BI. Powiem trochę zwięźle i jasnokontrasty między nimi, które pomogą ci w lepszym zrozumieniu. Spójrzmy.

Business Intelligence (BI) a Data Science

• Business Intelligence (BI) zasadniczo analizuje poprzednie dane, aby znaleźć informacje z przeszłości i wgląd w opis trendów biznesowych. Tutaj BI umożliwia pobieranie danych ze źródeł zewnętrznych i wewnętrznych, przygotowywanie ich, uruchamianie zapytań i tworzenie pulpitów nawigacyjnych w celu odpowiedzi na pytania takie jakkwartalna analiza przychodówlub problemy biznesowe. BI może ocenić wpływ pewnych wydarzeń w najbliższej przyszłości.

• Data Science to bardziej perspektywiczne podejście, eksploracyjna metoda skupiająca się na analizie przeszłych lub bieżących danych i przewidywaniu przyszłych wyników w celu podejmowania świadomych decyzji. Odpowiada na otwarte pytania, „co” i „jak” zachodzą wydarzenia.

Rzućmy okiem na kilka kontrastujących funkcji.

Chodziło o to, czym jest nauka o danych, teraz przyjrzyjmy się cyklowi życia nauki o danych.

Częstym błędem popełnianym w projektach Data Science jest pośpieszne zbieranie i analizowanie danych bez zrozumienia wymagań, a nawet właściwego ujęcia problemu biznesowego. Dlatego bardzo ważne jest, abyś śledził wszystkie etapy w całym cyklu życia Data Science, aby zapewnić sprawne funkcjonowanie projektu.

Cykl życia nauki o danych

Oto krótki przegląd głównych faz cyklu życia nauki o danych:

Faza 1 - odkrycie: Przed rozpoczęciem projektu ważne jest, aby zrozumieć różne specyfikacje, wymagania, priorytety i wymagany budżet. Musisz posiadać umiejętność zadawania właściwych pytań.Tutaj oceniasz, czy posiadasz wymagane zasoby pod względem ludzi, technologii, czasu i danych do wsparcia projektu.Na tym etapie musisz również ująć problem biznesowy i sformułować wstępne hipotezy (IH) do przetestowania.

Faza 2 - Przygotowanie danych: W tej fazie potrzebujesz analitycznej piaskownicy, w której możesz przeprowadzać analizy przez cały czas trwania projektu. Przed modelowaniem należy zbadać, wstępnie przetworzyć i uwarunkować dane. Ponadto wykonasz ETLT (wyodrębnianie, przekształcanie, ładowanie i przekształcanie), aby pobrać dane do piaskownicy. Przyjrzyjmy się poniższemu przepływowi analizy statystycznej.

Możesz używać języka R do czyszczenia, transformacji i wizualizacji danych. Pomoże ci to dostrzec wartości odstające i ustalić związek między zmiennymi.Po wyczyszczeniu i przygotowaniu danych nadszedł czas na eksploracjęanalitykana tym. Zobaczmy, jak możesz to osiągnąć.

Faza 3 - Planowanie modelu: Tutaj określisz metody i techniki rysowania relacji między zmiennymi.Te relacje stworzą podstawę dla algorytmów, które zaimplementujesz w następnej fazie.Zastosujesz eksploracyjną analizę danych (EDA) przy użyciu różnych formuł statystycznych i narzędzi do wizualizacji.

Przyjrzyjmy się różnym narzędziom do planowania modeli.

1. R ma pełny zestaw możliwości modelowania i zapewnia dobre środowisko do tworzenia modeli interpretacyjnych.
2. Usługi analizy SQL Potrafi przeprowadzać analizy w bazie danych przy użyciu typowych funkcji eksploracji danych i podstawowych modeli predykcyjnych.
3. SAS / DOSTĘP może być używany do uzyskiwania dostępu do danych z Hadoop i służy do tworzenia powtarzalnych i wielokrotnego użytku schematów przepływu modeli.

Chociaż na rynku dostępnych jest wiele narzędzi, najczęściej używanym narzędziem jest R.

Teraz, gdy masz wgląd w naturę swoich danych i zdecydowałeś, jakie algorytmy zostaną użyte. W następnym etapie będzieszzastosowaćalgorytm i zbuduj model.

rekurencja Fibonacciego c ++

Faza 4 - Budowanie modelu: W tej fazie opracujesz zestawy danych do celów szkoleniowych i testowych. Tutaj yMusisz się zastanowić, czy istniejące narzędzia wystarczą do uruchomienia modeli, czy też będzie wymagało bardziej niezawodnego środowiska (np. szybkie i równoległe przetwarzanie). Przeanalizujesz różne techniki uczenia się, takie jak klasyfikacja, skojarzenie i grupowanie, aby zbudować model.

Możesz zbudować model za pomocą następujących narzędzi.

Faza 5 - Operacjonalizacja: Na tym etapie dostarczasz raporty końcowe, odprawy, kod i dokumenty techniczne.Ponadto czasami projekt pilotażowy jest również wdrażany w środowisku produkcyjnym czasu rzeczywistego. Zapewni to jasny obraz wydajności i innych powiązanych ograniczeń na małą skalę przed pełnym wdrożeniem.

Faza 6 - Przekaż wyniki: Teraz ważne jest, aby ocenić, czy udało Ci się osiągnąć cel, który zaplanowałeś w pierwszej fazie. Tak więc w ostatniej fazie identyfikujesz wszystkie kluczowe ustalenia, komunikujesz się z interesariuszami i określasz, czy wynikiprojektu są sukcesem lub porażką w oparciu o kryteria opracowane w fazie 1.

Teraz przeprowadzę studium przypadku, aby wyjaśnić różne etapy opisane powyżej.

Studium przypadku: zapobieganie cukrzycy

A co by było, gdybyśmy mogli przewidzieć wystąpienie cukrzycy i wcześniej podjąć odpowiednie kroki, aby temu zapobiec?
W tym przypadku będziemy przewidywać wystąpienie cukrzycy, wykorzystując cały cykl życia, o którym mówiliśmy wcześniej. Przejdźmy przez różne kroki.

Krok 1:

• Pierwszy,będziemy zbierać dane na podstawie historii medycznejpacjenta, jak omówiono w fazie 1. Możesz zapoznać się z przykładowymi danymi poniżej.

• Jak widać, mamy różne atrybuty wymienione poniżej.

Atrybuty:

1. npreg - Liczba przypadków ciąży
2. glukoza - stężenie glukozy w osoczu
3. bp - Ciśnienie krwi
4. skóra - grubość fałdu skórnego tricepsa
5. bmi - wskaźnik masy ciała
6. ped - funkcja rodowodu cukrzycy
7. wiek - wiek
8. dochód - dochód

Krok 2:

• Teraz, gdy już mamy dane, musimy je wyczyścić i przygotować do analizy danych.
• Te dane mają wiele niespójności, takich jak brakujące wartości, puste kolumny, gwałtowne wartości i nieprawidłowy format danych, które należy wyczyścić.
• Tutaj uporządkowaliśmy dane w jednej tabeli pod różnymi atrybutami - dzięki czemu wyglądają na bardziej uporządkowane.
• Spójrzmy na przykładowe dane poniżej.

Te dane mają wiele niespójności.

1. W kolumnie npreg , Jest napisane „jeden”słowa,podczas gdy powinien mieć postać numeryczną, taką jak 1.
2. W kolumnie bp jedna z wartości to 6600, co jest niemożliwe (przynajmniej dla ludzi) ponieważ bp nie może osiągnąć tak dużej wartości.
3. Jak widać, plik Dochód kolumna jest pusta i również nie ma sensu w przewidywaniu cukrzycy. Dlatego posiadanie go tutaj jest zbędne i należy je usunąć ze stołu.

• Dlatego wyczyścimy i wstępnie przetworzymy te dane, usuwając wartości odstające, wypełniając wartości zerowe i normalizując typ danych. Jeśli pamiętasz, to jest nasza druga faza, czyli wstępne przetwarzanie danych.
• Wreszcie otrzymujemy czyste dane, jak pokazano poniżej, które można wykorzystać do analizy.

Krok 3:

Przeprowadźmy teraz analizę, jak omówiono wcześniej w fazie 3.

• Najpierw załadujemy dane do analitycznej piaskownicy i zastosujemy na niej różne funkcje statystyczne. Na przykład R ma funkcje takie jak opisuje co daje nam liczbę brakujących wartości i unikalnych wartości. Możemy również użyć funkcji podsumowującej, która dostarczy nam informacji statystycznych, takich jak średnia, mediana, zakres, wartości minimalne i maksymalne.
• Następnie używamy technik wizualizacji, takich jak histogramy, wykresy liniowe, wykresy pudełkowe, aby uzyskać rzetelny obraz dystrybucji danych.

Krok 4:

Opierając się na wnioskach z poprzedniego kroku, najlepiej dopasowanym do tego rodzaju problemu jest drzewo decyzyjne. Zobaczmy jak?

• Ponieważ mamy już główne atrybuty do analizy, takie jak npreg, bmi itp., więc użyjemynadzorowana technika uczenia się w celu zbudowaniamodel tutaj.
• Co więcej, użyliśmy szczególnie drzewa decyzyjnego, ponieważ bierze pod uwagę wszystkie atrybuty za jednym zamachem, takie jak te, które mają rozszerzeniezależność liniowa, a także te, które mają zależność nieliniową. W naszym przypadku mamy liniową zależność między npreg i wiek, podczas gdy nieliniowa relacja między npreg i ped .
• Modele drzew decyzyjnych są również bardzo solidne, ponieważ możemy użyć różnych kombinacji atrybutów, aby utworzyć różne drzewa, a następnie wdrożyć to z maksymalną wydajnością.

Rzućmy okiem na nasze drzewo decyzyjne.

Tutaj najważniejszym parametrem jest poziom glukozy, więc jest to nasz węzeł korzeniowy. Teraz bieżący węzeł i jego wartość określają następny ważny parametr, który należy wziąć. Trwa, dopóki nie otrzymamy wyniku w postaci poz lub neg . Poz oznacza, że ​​skłonność do cukrzycy jest pozytywna, a neg oznacza tendencję do zachorowania na cukrzycę, która jest negatywna.

Jeśli chcesz dowiedzieć się więcej o implementacji drzewa decyzyjnego, zajrzyj do tego bloga

Krok 5:

W tej fazie przeprowadzimy mały projekt pilotażowy, aby sprawdzić, czy nasze wyniki są odpowiednie. Będziemy również szukać ograniczeń wydajności, jeśli takie istnieją. Jeśli wyniki nie są dokładne, musimy ponownie zaplanować i przebudować model.

Krok 6:

Po pomyślnym wykonaniu projektu udostępnimy dane wyjściowe do pełnego wdrożenia.

Bycie Data Scientist jest łatwiejsze do powiedzenia niż do zrobienia. Zobaczmy więc, czego potrzebujesz, aby zostać analitykiem danych.Naukowiec danych zasadniczo wymaga umiejętnościz trzech głównych obszarów, jak pokazano poniżej.

Jak widać na powyższym obrazku, musisz zdobyć różne umiejętności twarde i miękkie. Musisz być w tym dobry Statystyka i matematyka analizować i wizualizować dane. Nie trzeba dodawać że, Nauczanie maszynowe stanowi serce nauki o danych i wymaga, abyś był w tym dobry. Musisz też dobrze zrozumieć specyfikację domena pracujesz nad zrozumieniem problemów biznesowych. Twoje zadanie nie kończy się tutaj. Powinieneś umieć implementować różne algorytmy, które wymagają dobrego kodowanie umiejętności. Wreszcie, gdy już podejmiesz pewne kluczowe decyzje, ważne jest, abyś przekazał je interesariuszom. Tak dobrze Komunikacja z pewnością doda dodatkowe punkty do twoich umiejętności.

Zachęcam do obejrzenia tego samouczka wideo z zakresu nauki o danych, który wyjaśnia, czym jest nauka o danych i wszystko, co omówiliśmy na blogu. Śmiało, obejrzyj wideo i powiedz mi, co myślisz.

Co to jest nauka o danych? Kurs nauki o danych - samouczek nauki o danych dla początkujących | Edureka

Ten film z kursu Edureka Data Science poprowadzi Cię przez potrzeby nauki o danych, czym jest nauka o danych, przypadki użycia nauki o danych w biznesie, BI vs nauka o danych, narzędzia do analizy danych, cykl życia nauki o danych wraz z wersją demonstracyjną.

Ostatecznie nie będzie błędem stwierdzenie, że przyszłość należy do naukowców zajmujących się danymi. Przewiduje się, że do końca 2018 roku będzie potrzeba około miliona Data Scientists. Coraz więcej danych zapewni możliwości podejmowania kluczowych decyzji biznesowych. Wkrótce zmieni to sposób, w jaki patrzymy na świat zalany otaczającymi nas danymi. Dlatego Data Scientist powinien być wysoko wykwalifikowany i zmotywowany do rozwiązywania najbardziej złożonych problemów.

Mam nadzieję, że podobało Ci się czytanie mojego bloga i zrozumiałeś, czym jest nauka o danych.Sprawdź nasze tutaj, który obejmuje szkolenie na żywo prowadzone przez instruktora i rzeczywiste doświadczenie projektowe.