Kiedy byłem młodszy, uwielbiałem serię filmów Gwiezdne Wojny. Tak bardzo mi się podobało, że miałem te kasety wideo każdego z nich. Obserwowałem ich w kółko. Potem przyszedł czas na odtwarzacze DVD i musiałem ponownie nagrać te filmy na DVD. Nie miałem żadnych skrupułów przed ponownym zakupem całego zestawu na DVD, ponieważ chciałem doświadczyć nowej technologii i nadal cieszyć się moimi ulubionymi filmami. Było świetnie, dopóki nie pojawiła się kolejna nowa technologia, Blu-ray. Kupując filmy już dwa razy, nie mogłem się doczekać, aby kupić je ponownie. Od jakiegoś czasu nie starałem się „zaktualizować” siebie, myśląc, że poradziłbym sobie bez tej technologii. I poszło dobrze. I tak nie wpłynęło to na moje życie. Ale widziałem zmianę trendu i nie mogłem udostępniać moich filmów znajomym, tak jak robili to ze sobą. Naprawdę czułam się wykluczona.
W końcu wyszedłem i wziąłem film na Blu-ray. Pamiętam to nie dlatego, że kocham ten film, ale dlatego, że jakość wideo była oszałamiająca. A na dodatek mam cały zestaw filmów na jednym dysku Blu-ray.
Potrzeba lub chęć bycia na bieżąco jest najsilniejsza, jeśli chodzi o nasz zawód, ponieważ ryzyko jest większe. Pozostawanie na szczycie swojej gry stało się niezbędne.
4 praktyczne powody, dla których warto nauczyć się Hadoop 2.0:
Choć może to być nieuniknione, bycie na bieżąco w naszym zawodzie stało się ważną częścią naszego życia. Choć może to brzmieć zniechęcająco, nie ma powodu do niepokoju, ponieważ technologie tak naprawdę nie zmieniają się tak szybko ani drastycznie. Ale rozmowy i informacje o tych technologiach oraz o tym, co możemy z nimi zrobić, stają się coraz bardziej widoczne. Oto kilka powodów, dla których warto być na bieżąco:
# 1: Nie daj się złapać
Nie zwracanie uwagi na najnowsze aktualizacje technologii może sprawić, że będziesz wyglądać jak jeleń złapany w świetle reflektorów. Niezupełnie promienny obraz twoich możliwości zawodowych. Bycie na bieżąco sprawi, że rówieśnicy będą Cię szanować za Twoje umiejętności zawodowe. Być może nie będzie potrzeby wdrażania każdej nowej rzeczy, której się uczysz, ale świadomość aktualizacji jest niezbędna.
Na przykład, gdy jest mowa na Hadoop, możesz poinformować swoich rówieśników, że Hadoop 2.5.0 ma ulepszenia uwierzytelniania podczas korzystania z serwera proxy HTTP. Również w tej samej wersji Hadoop istnieje możliwość bezpośredniego zapisu do Graphite.
Śledzenie najnowszych aktualizacji staje się niezbędne, gdy organizacje rozważają migrację na Hadoop. A „wiedza” może mieć ogromny wpływ na Twoją karierę.
# 2: Posiadanie przewagi konkurencyjnej
czym jest model programowania oparty na pojo
Szanuje się fachowców biegłych w swoich dziedzinach. A bycie na bieżąco to najlepszy sposób, aby być na szczycie. Twoja potrzeba bycia na bieżąco odzwierciedla Twoją pasję do pracy. Rozwijając wiedzę na temat swojej pracy i branży, zyskasz zaufanie i szacunek ludzi wokół Ciebie. Z punktu widzenia przywództwa jest to nieocenione!
Nawet jeśli Twoja organizacja nadal pracuje z Hadoop 1.0, znajomość wszystkich najnowszych funkcji Hadoop 2 pozwoli Ci na to, ponieważ jest stosunkowo nowa i zdecydowanie lepsza. Jeśli nauczysz się tego jako pierwszy, będziesz mieć przewagę nad rówieśnikami.
# 3: Nowe możliwości
To smutna rzeczywistość, że nasza obecna rola ciągle się zmienia. Z czasem pojawiają się dodatkowe obowiązki i możliwości wykonywania nowych zadań. Będąc na bieżąco z trendami branżowymi, masz najlepszą pozycję, aby wykorzystać te możliwości.
Firmy takie jak Macy's, Lockheed Martin, California Creative Solutions, Capital One, CSpring, CACI International Inc., Oracle, Yahoo !, American Express, BlueHawk, Aetna, Lawrence Livermore National Laboratory i wiele innych poszukują osób wykwalifikowanych w najnowszych funkcjach Hadoop 2, podobnie jak YARN.
# 4: Podejmuj lepsze decyzje
Dodatkowe informacje pozwolą Ci podejmować świadome wybory i podejmować lepsze decyzje. Pomoże Ci rozpoznać możliwości i dodać wartość do strategii Twojej organizacji.
Hadoop 2 ma funkcje, które zwiększają szybkość, a także obniżają koszty. Sugerowanie opcji poprawy wydajności i przyspieszenia może zdecydowanie zwiększyć produktywność organizacji. Oto kilka cech Hadoop 2, które przyniosą korzyści organizacji i które sugerują, że przyspieszą także Twoją karierę.
Obsługa uruchamiania Hadoop w systemie Microsoft Windows
Uproszczona dystrybucja plików binarnych MapReduce przez HDFS w YARN Distributed Cache.
Ulepszona obsługa nowych aplikacji w YARN z serwerem historii aplikacji i serwerem osi czasu aplikacji
Pełna obsługa HTTPS w HDFS
Integracja Kerberos dla magazynu osi czasu YARN.
Obsługa heterogenicznej hierarchii pamięci w HDFS.
Pamięć podręczna dla danych HDFS ze scentralizowaną administracją i zarządzaniem.
Uproszczona dystrybucja plików binarnych MapReduce przez HDFS w YARN Distributed Cache.
Jest więcej niż tylko praktyczne powody, dla których warto być na bieżąco. Istnieją również przyczyny techniczne. Hadoop ma wiele funkcji, które są korzystne dla organizacji. Dogłębne przyjrzenie się im da ci jasny obraz tego, jakie są korzyści.
Jaka jest najnowsza aktualizacja w Hadoop?
Każdy produkt przechodzi różne etapy wydania i ma różne wersje samego siebie. Hadoop nie jest wyjątkiem i wymyślił Hadoop 2.0. Fundacja Apache wymyśliła kolejne wersje Hadoop, takie jak Hadoop 2.1.0, Hadoop 2.4.0 i dotarła do Hadoop 2.5.1, czyli najnowszej wersji wydanej we wrześniu 2014.
Dlaczego Hadoop 2 został wydany?
Nowa wersja zawiera dodatkowe funkcje i naprawione błędy. Dlatego za każdym razem, gdy używasz określonej wersji Hadoopa i myślisz, że można dodać jakąś funkcję lub trzeba naprawić kilka błędów, informujesz o tym pracowników fundacji Apache. Ci goście z kolei pracują nad tym i dają ci lepszy produkt w następnej wersji.
Hadoop 2 - nie tylko liczba
Hadoop 2 to nie tylko najnowsza wersja Hadoop. W zasadzie jest to architektura drugiej generacji. Arun Murthy, założyciel i architekt w dystrybutorze Hadoop Hortonworks, podkreśla, że to rozróżnienie jest ważne, ponieważ ilość przeprojektowania potrzebna do przeniesienia Hadoopa poza przetwarzanie wsadowe do świata analityki w czasie rzeczywistym była znaczna.
Omówmy, jak różni się Hadoop 2.0 od swojego poprzednika Hadoop 1.0. Oczywiście późniejsza wersja będzie lepsza od wcześniejszej. Poniżej przedstawiono cztery główne ulepszenia Hadoop 2.0 w porównaniu z Hadoop 1.x:
Federacja HDFS - pozioma skalowalność NameNode
Wysoka dostępność NameNode - NameNode nie jest już pojedynczym punktem awarii
YARN - Możliwość przetwarzania terabajtów i petabajtów danych dostępnych w HDFS przy użyciu aplikacji Non-MapReduce, takich jak MPI, GIRAPH
Menedżer zasobów - dzieli dwie główne funkcje przeciążonego narzędzia JobTracker (zarządzanie zasobami i planowanie / monitorowanie zadań) na dwa osobne demony: globalny menedżer zasobów i ApplicationMaster dla poszczególnych aplikacji
Dostępne są dodatkowe funkcje, takie jak Capacity Scheduler (włącz obsługę wielu dzierżawców w Hadoop), migawka danych, obsługa systemu Windows, dostęp do systemu plików NFS, umożliwiając zwiększone wykorzystanie Hadoop w branży w celu rozwiązywania problemów związanych z Big Data.
Hadoop 2.X kontra Hadoop 1.X
Zróbmy małe porównanie i zobaczmy, w jaki sposób Hadoop 2.0 jest lepszy i różni się od Hadoop 1.0
Dlaczego Hadoop 2 jest preferowany w stosunku do Hadoop 1.0?
Hadoop 2.0 oferuje ulepszenia wydajności, które są korzystne dla powiązanych technologii w ekosystemie Hadoop. Oprócz przełomowych funkcji HDFS i architektury drugiej generacji (YARN), jest jeszcze więcej powodów, by preferować Hadoop 2 nad Hadoop 1.0:
Hadoop 2 nie ma już ograniczeń językowych. Oznacza to, że obecnie z Hadoop może korzystać wielu profesjonalistów.
Dzięki Hadoop 2 przeszkody, takie jak niedobór programistów MapReduce, zostały pokonane.
2 razy szybciej niż Hadoop 1.0
2 razy większy zwrot z inwestycji w przypadku istniejącego sprzętu.
Dzięki YARN interfejs programowania aplikacji jest znacznie bardziej otwarty i elastyczny.
Hadoop 2 rozszerza możliwości wykorzystania Hadoop w projektach Big Data.
znacznik html do podziału wiersza
Dzięki Hadoop 2 programiści mogą teraz wykonywać różnorodne zadania związane z przetwarzaniem danych, wykraczające poza poprzedni zakres przetwarzania wsadowego Hadoop.
Oferuje nowe możliwości dla menedżerów informacji i usuwa niedociągnięcia w poprzednich wersjach.
Ta nowa wersja ma unikalną funkcję uruchamiania wielu obciążeń w tym samym klastrze Hadoop.
Hadoop nie jest już ograniczony do jednej funkcji. Jego zastosowanie wykracza teraz poza HDFS i MapReduce.
Kluczowe zalety przędzy
Jesteśmy świadomi, że YARN jest architekturą drugiej generacji, zobaczmy, co sprawia, że jest tak wspaniały.
Skala
Nowe modele i usługi programowania
Ulepszone wykorzystanie klastra
Zwinność
Znacznie więcej niż Java
I wiele więcej
Popyt na umiejętności Hadoop 2
Organizacje wprowadzają teraz lub eksperymentują z Hadoop 2. W związku z tym pojawia się zapotrzebowanie na specjalistów posiadających umiejętności w zakresie Hadoop 2. Wiele organizacji już zaczęło wewnętrznie poszukiwać ludzi do pracy z Hadoop. Istnieją wyraźne oznaki, że YARN rośnie i ostatecznie zastąpi zapotrzebowanie na umiejętność MapReduce.
co to jest .format w Pythonie
Oto kilka opinii na temat obecnego i przewidywanego zapotrzebowania na umiejętności Hadoop:
Według analityków z firmy Gartner, Hadoop 2 to kluczowy krok, ponieważ duże przedsiębiorstwa na całym świecie uznały Hadoop za przełom w zarządzaniu Big Data.
Według Erica Kavanagha z grupy Bloor, Hadoop 2.0 zyskał popularność wśród pracowników informacji, którzy chcą walczyć z Big Data.
Adaptacja Hadoop 2.0 nadal rośnie i obecnie wkracza w fazę dojrzałości.
Organizacje są świadome korzyści płynących z YARN i są tym podekscytowane.
Oto podsumowanie ofert pracy dla Hadoop 2.0 / YARN w Indeed.com
Kto przenosi się na Hadoop 2 lub już ma?
Wieśniak:
Wieśniak! , lider we wszystkim, co Hadoop wdrożył YARN (0.23.x). Według Murthy'ego klaster Yahoo obsługujący 35 000 węzłów przetwarza obecnie 130–150 zadań dziennie, w porównaniu z 50–60 przed YARN.
Mówiąc o znakomitej wydajności, Murthy cytuje: „Kiedy masz 2x ponad 35 000 do 40 000 węzłów, to jest fenomenalne”. Dodał również: „Opowiadanie dyrektorowi ds. Informatyki, że wystarczy uaktualnić oprogramowanie z Hadoop 1 do Hadoop 2, to 2 razy większa przepustowość w pracy”.
eBay:
eBay ma jedną z największych klastrów Hadoop w branży, w której dane są w petabajtach. Przenieśli również swoje klastry na Hadoop 2.
Wniosek:
Ponieważ Hadoop 2 jest dojrzały i łatwiejszy do wdrożenia, przekonują nawet sceptyków i coraz więcej organizacji migruje na Hadoop 2.0. Istnieją ważne powody, aby unikać wersji 1.x. Ale dzięki Hadoop 2 nawet niewierzący uważają, że może być używany do wielu różnych zastosowań. Ucząc się Hadoop 2.0 i wdrażając go do wykonywania obliczeń na Big Data, otworzysz wrota do technicznie zaawansowanej i satysfakcjonującej finansowo kariery.
Masz do nas pytanie? Wspomnij o nich w sekcji komentarzy, a my skontaktujemy się z Tobą.
Powiązane posty: