Jeśli jesteś już z Branża IT musisz być tego świadomy Big Data jest rozmową dnia. Czy to nowe startupy wymyślające innowacyjne modele biznesowe, czy Twoi koledzy dołączają do nich z jakiegoś powodu, dzisiaj bardziej zielone pastwiska wydaje się być Big Data przemysł.
Jeśli zastanawiasz się, dlaczego, to polecam przeczytanie tego do samego końca, ponieważ może to być blog samoukający się, prowadzący do tego, do czego jesteś przeznaczony.
Więc po co to wszystkoSZUMotaczający DUŻE DANE?
Czy to tylko kolejna domena, do której tymczasowo trafią uchodźcy ze wszystkich innych domen? A może będzie tu na dłuższą metę?
Gdybym miał zgadywać, powiedziałbym, że nie tylko będzie tu na dłuższą metę, ale branża Big Data znajdzie się w epicentrum postępu technologicznego.
Bo o wszystko chodziDANE!
Podobnie jak SłońcerośniezWschódizestawywZachód, ciągłe korzystanie z urządzeń obliczeniowych / nie obliczeniowych spowoduje wybuch niemożliwych do zarządzania danych.
Kiedy dane te przekraczają próg, że są obsługiwane przez Excel lub dowolny system zarządzania bazami danych, nazywamy to DUŻE DANE .
Pomyśl, jaki był ostatni produkt, który kupiłeś od Amazon? Jaki może być następny produkt, który możesz kupić na podstawie wcześniejszej aktywności? Odpowiedzi na takie pytania są przechowywane w Big Data.
Czy za produktem stoi rosnący trend? Czy jest trend spadkowy? Czy klient kupi „Pończochy” kupując „Buty”? To są pytania dotyczące rozwiązywania problemów biznesowych.
A te pytania mogą być łatwe odpowiedział używając Analiza dużych zbiorów danych .
W końcu jaki jest pożytek z danych, kiedy tak nie jest analizowanie to?
Tak więc jest Big Datacałkowicie oAnalityka?Niezupełnie, ale Analytics to najwyższa nagroda.
Inne główne strumienie w Big Data toPrzechowywanieiZarządzanie.
Tutaj możesz wnieść swój wkład jako profesjonalista. Możesz wcielić się w rolę:
- Inżynier Big Data
- Architekt rozwiązań Big Data
I upewnij się, że generowane duże zbiory danych są zawsze dostępne i można ich użyć do analizy w późniejszym czasie. To prowadzi nas do pytania i hellip
Gdzie są przechowywane Big Data?
Czy można go przechowywać w plikuplik Excel? Czy można go przechowywać w plikusystem relacyjnych baz danych?
Do diabła, NIE!
Gdyby to mogło być, to byłoby!
I wszyscy nazywają się inaczej. Może coś takiegoDane programu ExcellubDane RDBMS:RE
A to zabrałoby nas z powrotem do KROK 1 : - Dlaczego nie można zarządzać Big Data za pomocą programu Excel? DlategoBig Data jest po prostu zbyt gorący, aby mógł obsługiwać Excel. A nawet inne systemy zarządzania bazami danych.
Więc jaka jest alternatywa?
Do obsługi Big Data mamy HADOOP . Możesz być również świadomy tego słowa. Ale możesz się zastanawiać, jak dokładnie to działa?
Na początek HADOOP jest produktemFundacja APACHE. Apache to amerykańska organizacja non-profit, która wspiera rozwój oprogramowania open source.
silnia przy użyciu rekurencji w c
Hadoop jest definiowany jako platforma programistyczna typu open source oparta na języku Java, która obsługuje przetwarzanie i przechowywanie bardzo dużych zestawów danych w rozproszonym środowisku obliczeniowym.
Co może zrobić Hadoop, a Excel nie?
Przetwarzaj i zrozum nieustrukturyzowane dane!Dane strukturalne, które są w formacie tabelarycznym lub w inny sposób, mogą być łatwo przetwarzane. Excel może to zrobić, podobnie jak każdy inny RDBMS.
Ale kiedy zmniejsza się czytelność, a dane są nieustrukturyzowane, wtedy właśnie Big Datanarzędzia takie jak Hadoopwynik. Przykładem danych nieustrukturyzowanych jest syslog . Przykładowy obraz znajduje się poniżej.
Takie dzienniki zdecydowanie nie podlegają zapytaniom za pomocą programu Excel.
Hadoop, podobnie jak narzędzia Big Data, może rozumieć dane takimi, jakimi są, poprzez odkrywanie wzorców i tworzenie relacji między różnymi polami. A gdy dane nabierają charakteru relacyjnego, to jestGotowy do analiz.
To właśnie analityka będzie miała wpływ na organizację! Twoja kariera w dużym stopniu skorzysta na zaangażowaniu w tę domenę Big Data.
' Czy mogę to zrobić jako Hadoop-er? '
… Może być następne pytanie, jakie przyjdzie ci do głowy. I słusznie pomyślano, Big Data to rynek, który jest gorący jak zawsze i równie ważny jak zawsze.
Bez Hadoop firmom będzie ciężko radzić sobie z Big Data. A bez tak wykwalifikowanych specjalistów jak Ty firmom będzie ciężko radzić sobie z Hadoop.
jak przekonwertować double na int w java
Jest raport, który mówi, że w tej dziedzinie jest deficyt talentów, deficyt talentów oznacza mniej specjalistów, ale duży popyt. I to w skali globalnej i nie ogranicza się do określonej geografii.
Chcesz liczb?
DO McKinsey Global Institute Badanie wskazuje, że w USA do 2018 r. zabraknie około 190 000 naukowców zajmujących się danymi oraz 1,5 miliona menedżerów i analityków, którzy potrafią rozumieć i podejmować decyzje przy użyciu Big Data.
Rady dotyczące kariery? Surfuj, gdy pływy są niskie!
Ale jesteś ograniczony tylko Hadoop ?
Nie całkiem. Istnieje wiele narzędzi do przetwarzania Big Data, a Hadoop jest uważany za jedno z najlepszych. Ale nie za każdym razem!
Są chwile, kiedy Hadoop nie jest najlepszym rozwiązaniem. Na przykład, jeśli jesteś osobą nietechniczną, która nie jest zbyt dobra w pisaniu programów MapReduce.
W takich przypadkach możesz użyćTALEND, który zapewnia graficzny interfejs użytkownika, dzięki któremu możesz zrobić wszystko, co w innym przypadku zrobiłbyś z MapReduce.
Do pisania prostszych kodów Java możesz użyćŚWINIA.
Jeśli chcesz uruchamiać zapytania podobne do SQL w Big Data, toULmoże być użyty.
Jeśli chcesz użyć danych przechowywanych w bazie danych NoSQL, toHBasemoże być użyty.
Do przeprowadzania analiz w czasie rzeczywistym możesz użyćISKRA.
Są to narzędzia Big Data, które idą w parze z Hadoopem, ale w ogóle nie zastępują Hadoopa. Są to dodatki Hadoop do Big Data.
Poza tym istnieje kilka innych narzędzi, takich jak SQOOP, FLUME, OOZIE itp., Które można zintegrować ze strukturą Hadoop w celu rozwiązywania różnych problemów biznesowych.
Czego branża oczekuje od Ciebie jako eksperta Big Data?
Branża pilnie tego potrzebuje ARCHITEKCI DUŻYCH DANYCH którzy mogą zbudować kompleksowe rozwiązanie Big Data dla swoich organizacji. Architekci Big Data to osoby posiadające doświadczenie we wszystkich wymienionych wcześniej narzędziach.
Oto świadectwo ucznia Edureki na temat kierunek:
Stać się zaczynając od szkolenia certyfikacyjnego Edureka Big Data i Hadoop, które pomaga uczniom stać się ekspertami w dziedzinie HDFS, Yarn, MapReduce, Pig, Hive, HBase, Oozie, Flume i Sqoop przy użyciu przypadków użycia w czasie rzeczywistym w handlu detalicznym, mediach społecznościowych, lotnictwie, turystyce, domenie finansów .