Wraz ze wzrostem wykorzystania Hadoop w tradycyjnych rozwiązaniach informatycznych dla przedsiębiorstw i zwiększoną liczbą wdrożeń Hadoop w środowisku produkcyjnym, potrzeba, aby eksperci ds. Operacji i administracji Hadoop zajmowali się dużymi klastrami Hadoop.
Obowiązki administratora Hadoop:
- Odpowiedzialny za wdrażanie i bieżące administrowanie infrastrukturą Hadoop.
- Współpraca z zespołem inżynierów systemów w celu zaproponowania i wdrożenia nowych środowisk sprzętowych i programowych wymaganych dla Hadoop oraz w celu rozszerzenia istniejących środowisk.
- Współpraca z zespołami dostarczającymi dane w celu skonfigurowania nowych użytkowników Hadoop. To zadanie obejmuje konfigurowanie użytkowników systemu Linux, konfigurowanie nazw użytkowników Kerberos i testowanie dostępu do HDFS, Hive, Pig i MapReduce dla nowych użytkowników.
- Utrzymanie klastra oraz tworzenie i usuwanie węzłów za pomocą narzędzi takich jak Ganglia, Nagios, Cloudera Manager Enterprise, Dell Open Manage i inne narzędzia.
- Dostrajanie wydajności klastrów Hadoop i procedur Hadoop MapReduce.
- Monitoruj wydajność i planowanie pojemności klastra Hadoop
- Monitoruj łączność i bezpieczeństwo klastra Hadoop
- Zarządzaj plikami dziennika Hadoop i przeglądaj je.
- Zarządzanie i monitorowanie systemu plików.
- Wsparcie i konserwacja HDFS.
- Starannie współpracujemy z zespołami infrastruktury, sieci, baz danych, aplikacji i analiz biznesowych, aby zagwarantować wysoką jakość i dostępność danych.
- Współpraca z zespołami ds. Aplikacji przy instalowaniu aktualizacji systemu operacyjnego i Hadoop, poprawek i uaktualnień wersji w razie potrzeby.
- Punkt kontaktowy do eskalacji dostawcy
Administracja Hadoop to satysfakcjonująca i lukratywna kariera z wieloma możliwościami rozwoju. Jeśli obowiązki zawodowe wymienione powyżej Cię interesują, nadszedł czas, aby podszkolić się w administracji Hadoop i rozpocząć ścieżkę kariery administratora Hadoop.
czytaj plik xml w przykładzie java
Obowiązki DBA wykonywane przez administratora Hadoop:
- Modelowanie, projektowanie i wdrażanie danych w oparciu o uznane standardy.
- Instalacja i konfiguracja oprogramowania.
- Tworzenie kopii zapasowych i odzyskiwanie baz danych.
- Łączność z bazą danych i bezpieczeństwo.
- Monitorowanie i dostrajanie wydajności.
- Zarządzanie przestrzenią dyskową.
- Poprawki i aktualizacje oprogramowania.
- Zautomatyzuj zadania ręczne.
Obowiązki deweloperskie DWH wykonywane przez administratora Hadoop:
Obowiązki administracyjne DWH obejmują tworzenie, testowanie i monitorowanie zadań wsadowych dla następujących zadań:
- Zapewnij uczciwość referencyjną.
- Wykonaj wykonanie klucza podstawowego.
- Dokonaj ponownego odtworzenia danych.
- Ładuj duże ilości danych w odpowiednim czasie.
Teraz, gdy wiesz już o obowiązkach zawodowych administratora Hadoop, przyjrzyjmy się umiejętnościom, które są wymagane.
Umiejętności wymagane do zostania administratorem Hadoop:
- Ogólna wiedza operacyjna, taka jak dobre umiejętności rozwiązywania problemów, zrozumienie pojemności systemu, wąskich gardeł, podstawy pamięci, procesora, systemu operacyjnego, pamięci masowej i sieci.
- Umiejętności Hadoop, takie jak HBase, Hive, Pig, Mahout itp.
- Najważniejsze wymagania to: Powinni być w stanie wdrożyć klaster Hadoop, dodawać i usuwać węzły, śledzić zadania, monitorować krytyczne części klastra, konfigurować wysoką dostępność węzła nazw, planować i konfigurować oraz wykonywać kopie zapasowe.
- Dobra znajomość systemu Linux, ponieważ Hadoop działa w systemie Linux.
- Znajomość narzędzi do zarządzania konfiguracją i wdrażania typu open source, takich jak Puppet lub Chef oraz skryptów Linux.
- Znajomość rozwiązywania problemów z podstawowymi aplikacjami Java jest dodatkowym atutem.
Edureka specjalnie przygotowała kurs dotyczący administracji Hadoop. Kliknij przycisk poniżej, aby rozpocząć pracę z administracją Hadoop i dowiedzieć się, jak kurs pomoże Ci zostać administratorem Hadoop.
Powiązane posty:
python co to jest __init__